Ротирање и лепљиви проксији у Сцрапи-у помоћу средњег софтвера за преузимање

Сцрапи је ХттпПрокиМиддлеваре подржава аутентификоване ХТТП прокси преко рекуест.мета ["проки"]. Конфигуришите стварни испоручени гатеваи, пропагирајући поставку да прате захтеве и проверите додељени режим сесије пре повећања конкурентности.

2 мин читати 4 секције Рецензиран 28. октобар 2026. Редакција тима Proxy Cyber

Најједноставнији верзија#

- У случају да је IP адреса не реши, нека друга страна неће моћи да је реши. За 429, погледајте чланак Поновни процес и смањите брзину захтева. Користите ограничену стопу поврата за привремену везу или неуспех сервера.

Спидер.пи

import scrapy

PROXY = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"

class PricesSpider(scrapy.Spider):
    name = "prices"
    start_urls = ["https://example.com/catalog"]

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={"proxy": PROXY})

    def parse(self, response):
        for href in response.css("a.product::attr(href)").getall():
            yield response.follow(href, callback=self.parse_product, meta={"proxy": PROXY})

    def parse_product(self, response):
        yield {"url": response.url, "price": response.css(".price::text").get()}

Миддлеваре за лепљиве сесије по комаду#

middlewares.py

import hashlib

class Proxy CyberMiddleware:
    GATEWAY = "res.proxy-cyber.com:9000"

    def __init__(self, user, password, country):
        self.user, self.password, self.country = user, password, country

    @classmethod
    def from_crawler(cls, crawler):
        s = crawler.settings
        return cls(s.get("KEY_PROXY_USER"), s.get("KEY_PROXY_PASS"), s.get("KEY_PROXY_COUNTRY", "us"))

    def process_request(self, request, spider):
        # Sticky when the request carries a session key (e.g. one per product flow), rotating otherwise
        key = request.meta.get("session_key")
        user = f"{self.user}-cc-{self.country}"
        if key:
            sid = hashlib.sha1(key.encode()).hexdigest()[:12]
            user += f"-sid-{sid}-ttl-10m"
        request.meta["proxy"] = f"http://{user}:{self.password}@{self.GATEWAY}"

Подешавања.пи

DOWNLOADER_MIDDLEWARES = {
    "myproject.middlewares.Proxy CyberMiddleware": 350,   # before HttpProxyMiddleware (750)
}
KEY_PROXY_USER = "USER"
KEY_PROXY_PASS = "PASS"
KEY_PROXY_COUNTRY = "de"

CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 8
AUTOTHROTTLE_ENABLED = True
AUTOTHROTTLE_TARGET_CONCURRENCY = 4.0
DOWNLOAD_TIMEOUT = 45
RETRY_ENABLED = True
RETRY_TIMES = 2
RETRY_HTTP_CODES = [408, 429, 500, 502, 503, 504, 522, 524]
COMPRESSION_ENABLED = True

Поновно коришћење везе и IP задатак су различите контроле. Прикључци за поновно коришћење клијентске сесије; само додељени мрежни уређаји одређују ротирање и понашање лепљивих сесија. Користите параметре сесије које се испоручују уз вашу услугу и верификујте излаз преко неколико захтева.

Одржавање рачуна доле#

Сцрапи не учитава слике или скрипте; само ХТМЛ и ЈСОН, тако да страница кошта своју величину ХТМЛ-а.
Омогућите компресију (подразумевано) и избегавајте Splash или прегледач који приказује, осим ако подаци то не требају.
Кеш са HTTPCACHE_ENABLED = True током развоја, тако да не плаћају да поново донесе исте странице док отклањање грешака селектора.

По-домен учтивост#

Базен је начин да будете многи љубазни посетиоци, а не један непристојан. CONCURRENT_REQUESTS_PER_DOMAIN и Аутотхроттле задржати сваки циљ по људском-уверљивој стопи по излазу; прихватљива политика коришћења забрањује све што изгледа као напад.

Питања која људи постављају#

Да ли ми требају сцрапи-ротирајуће-проксије?

Not with a gateway: rotation happens on the Proxy Cyber side for every new connection. That package manages lists of static proxies; with res.proxy-cyber.com there is one proxy to configure.

Како да користим другу земљу по захтеву?

Сет рекуест.мета ["земља"] у пауку и прочитајте га у средњем софтверу да се изгради -цц- параметар; пример користи једну поставку за краткоћу.

Управљајте свим проксијима са једног налога

Упоредите мреже, наручите и пратите свој баланс и захтеве за подршку са једне контролне табле. Наш тим прегледа плаћања и пружа детаље о вези након испоруке.

Направи налог

Проксији

Мени