Middleware con proxy rotanti e appiccicosi

Proxy rotanti e appiccicosi in Scrapy con un middleware di download

HttpProxyMiddleware di Scrapy supporta proxy HTTP autenticati tramite request.meta["proxy"]. Configura il gateway effettivamente consegnato, propaga l'impostazione alle richieste di follow-up e verifica la modalità di sessione assegnata prima di aumentare la concorrenza.

2 minuti di lettura 4 sezioni Verificato 28 ottobre 2026 Redazione Proxy Cyber

La versione più semplice#

Classificare la risposta prima di riprovare. Un 403 può indicare una regola di accesso che un altro IP non risolverà. Per 429, rispettare Retry-After e ridurre il tasso di richieste; utilizzare il backoff limitato per connessioni temporanee o errori del server. Riprovare le operazioni di modifica dello stato solo quando è possibile evitare azioni duplicate.

ragno.py

import scrapy

PROXY = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"

class PricesSpider(scrapy.Spider):
    name = "prices"
    start_urls = ["https://example.com/catalog"]

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={"proxy": PROXY})

    def parse(self, response):
        for href in response.css("a.product::attr(href)").getall():
            yield response.follow(href, callback=self.parse_product, meta={"proxy": PROXY})

    def parse_product(self, response):
        yield {"url": response.url, "price": response.css(".price::text").get()}

Un middleware per sessioni permanenti per articolo#

middlewares.py

import hashlib

class Proxy CyberMiddleware:
    GATEWAY = "res.proxy-cyber.com:9000"

    def __init__(self, user, password, country):
        self.user, self.password, self.country = user, password, country

    @classmethod
    def from_crawler(cls, crawler):
        s = crawler.settings
        return cls(s.get("KEY_PROXY_USER"), s.get("KEY_PROXY_PASS"), s.get("KEY_PROXY_COUNTRY", "us"))

    def process_request(self, request, spider):
        # Sticky when the request carries a session key (e.g. one per product flow), rotating otherwise
        key = request.meta.get("session_key")
        user = f"{self.user}-cc-{self.country}"
        if key:
            sid = hashlib.sha1(key.encode()).hexdigest()[:12]
            user += f"-sid-{sid}-ttl-10m"
        request.meta["proxy"] = f"http://{user}:{self.password}@{self.GATEWAY}"

impostazioni.py

DOWNLOADER_MIDDLEWARES = {
    "myproject.middlewares.Proxy CyberMiddleware": 350,   # before HttpProxyMiddleware (750)
}
KEY_PROXY_USER = "USER"
KEY_PROXY_PASS = "PASS"
KEY_PROXY_COUNTRY = "de"

CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 8
AUTOTHROTTLE_ENABLED = True
AUTOTHROTTLE_TARGET_CONCURRENCY = 4.0
DOWNLOAD_TIMEOUT = 45
RETRY_ENABLED = True
RETRY_TIMES = 2
RETRY_HTTP_CODES = [408, 429, 500, 502, 503, 504, 522, 524]
COMPRESSION_ENABLED = True

Il riutilizzo della connessione e l'assegnazione dell'IP sono controlli diversi. Una sessione client riutilizza i socket; solo il gateway assegnato determina la rotazione e il comportamento della sessione permanente. Utilizza i parametri di sessione forniti con il tuo servizio e verifica l'uscita su più richieste. La chiusura di un socket o l'invio di Connection: close non garantisce un IP diverso.

Mantenere il conto basso#

Scrapy non carica immagini o script; Solo HTML e JSON, quindi una pagina costa la sua dimensione HTML.
Abilita la compressione (impostazione predefinita) ed evita Splash o il rendering del browser a meno che i dati non lo richiedano.
Memorizza nella cache con HTTPCACHE_ENABLED = True durante lo sviluppo in modo da non pagare per recuperare nuovamente le stesse pagine durante il debug dei selettori.

Cortesia per dominio#

Una piscina è un modo per avere molti visitatori educati, non uno scortese. CONCURRENT_REQUESTS_PER_DOMAIN e AutoThrottle mantengono ciascun bersaglio a una velocità plausibile per ogni uscita; il politica di utilizzo accettabile vieta tutto ciò che assomiglia ad un attacco.

Domande che le persone fanno#

Ho bisogno di proxy rotanti scrapy?

Non con un gateway: la rotazione avviene lato Proxy Cyber per ogni nuova connessione. Quel pacchetto gestisce elenchi di proxy statici; con res.proxy-cyber.com c'è un proxy da configurare.

Come posso utilizzare un paese diverso per ogni richiesta?

Imposta request.meta["country"] nello spider e leggilo nel middleware per costruire il parametro -cc-; l'esempio utilizza una singola impostazione per brevità.

Proxy

Menù