Rotiranje i ljepljivi proxyji u Scrapyju s downloader middlewareom

Scrapy HttpProxyMiddleware podržava autentificirane HTTP proxyje preko request.meta ["proxy"] Konfigurirajte stvarni isporučen gateway, proširite postavku na zahtjeve za praćenje i provjerite dodijeljeni način sesije prije povećanja istodobnosti.

2 min čitanja 4 odjeljka Revidirano 28. listopada 2026. Uređivački tim Proxy Cyber

Najjednostavnija verzija#

Klasificirajte odgovor prije ponovnog pokušaja. 403 može ukazivati na pravilo pristupa koje drugi IP neće riješiti. Za 429, poštujte Retry-After i smanjite brzinu zahtjeva; koristite ograničeni backoff za privremenu vezu ili pogreške servera. Ponovno pokušajte operacije promjene stanja samo kada možete spriječiti duplicirane radnje.

pauk.py

import scrapy

PROXY = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"

class PricesSpider(scrapy.Spider):
    name = "prices"
    start_urls = ["https://example.com/catalog"]

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={"proxy": PROXY})

    def parse(self, response):
        for href in response.css("a.product::attr(href)").getall():
            yield response.follow(href, callback=self.parse_product, meta={"proxy": PROXY})

    def parse_product(self, response):
        yield {"url": response.url, "price": response.css(".price::text").get()}

Middleware za ljepljive sesije po stavciName#

middlewares.py

import hashlib

class Proxy CyberMiddleware:
    GATEWAY = "res.proxy-cyber.com:9000"

    def __init__(self, user, password, country):
        self.user, self.password, self.country = user, password, country

    @classmethod
    def from_crawler(cls, crawler):
        s = crawler.settings
        return cls(s.get("KEY_PROXY_USER"), s.get("KEY_PROXY_PASS"), s.get("KEY_PROXY_COUNTRY", "us"))

    def process_request(self, request, spider):
        # Sticky when the request carries a session key (e.g. one per product flow), rotating otherwise
        key = request.meta.get("session_key")
        user = f"{self.user}-cc-{self.country}"
        if key:
            sid = hashlib.sha1(key.encode()).hexdigest()[:12]
            user += f"-sid-{sid}-ttl-10m"
        request.meta["proxy"] = f"http://{user}:{self.password}@{self.GATEWAY}"

settings.py

DOWNLOADER_MIDDLEWARES = {
    "myproject.middlewares.Proxy CyberMiddleware": 350,   # before HttpProxyMiddleware (750)
}
KEY_PROXY_USER = "USER"
KEY_PROXY_PASS = "PASS"
KEY_PROXY_COUNTRY = "de"

CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 8
AUTOTHROTTLE_ENABLED = True
AUTOTHROTTLE_TARGET_CONCURRENCY = 4.0
DOWNLOAD_TIMEOUT = 45
RETRY_ENABLED = True
RETRY_TIMES = 2
RETRY_HTTP_CODES = [408, 429, 500, 502, 503, 504, 522, 524]
COMPRESSION_ENABLED = True

Ponovno korištenje veze i dodjela IP-a su različite kontrole. Klijentska sesija ponovno koristi socketove; samo dodijeljeni gateway određuje rotaciju i ponašanje lijepljene sesije. Koristite parametre sesije isporučenih s uslugom, te provjerite izlaz preko nekoliko zahtjeva. Zatvaranje socket ili slanje Connection: close ne jamči drugačiji IP.

Držati račun nizak#

Scrapy ne učitava slike ili skripte; samo HTML i JSON, tako da stranica košta svoju HTML veličinu.
Omogući kompresiju (standardno) i izbjegni Splash ili preglednik renderiranje osim ako podaci to trebaju.
Priprema s HTTPCACHE_ENABLED = True Upravljanje je automatizirano tijekom razvoja tako da ne plaćate za ponovno dohvaćanje istih stranica dok ispravljate selektore.

Uljudnost po domeni#

Bazen je način da bude mnogo pristojnih posjetitelja, a ne jedan nepristojan. CONCURRENT_REQUESTS_PER_DOMAIN i AutoThrottle drže svaku metu na ljudskoj vjerodostojnoj stopi po izlasku; Politika prihvatljive uporabe zabranjuje sve što izgleda kao napad.

Pitanja koja ljudi postavljaju#

Trebam li scrapy-rotating-proxyje?

Ne s gatewayom: rotacija se događa na Proxy Cyber strani za svaku novu vezu. Taj paket upravlja popisima statičkih proxyja; sa res.proxy-cyber.com postoji jedan proxy koji treba konfigurirati.

Kako mogu koristiti drugu zemlju za svaki zahtjev?

Postavite request.meta["country"] u spider i pročitajte ga u middlewareu kako biste izgradili -cc- parametar; primjer koristi jednu postavku za kratkoću.

Proxyji

Izbornik