Middleware de proxies rotativos e persistentes

Proxies rotativos e sessões persistentes no Scrapy com um middleware de download

O HttpProxyMiddleware do Scrapy suporta proxies HTTP autenticados através de request.meta["proxy"]. Configure o gateway efetivamente atribuído, mantenha a definição nos pedidos seguintes e verifique o modo da sessão antes de aumentar a concorrência.

2 minutos de leitura 4 seções Revisto 28 de outubro de 2026 Equipa editorial Proxy Cyber

A versão mais simples#

Identifique a causa antes de repetir. Um 403 pode resultar de uma regra de acesso que não se resolve mudando de IP. Perante um 429, respeite Retry-After e reduza a frequência; use pausas progressivas e limites para falhas temporárias de rede ou servidor. Evite duplicar operações que alteram dados.

aranha.py

import scrapy

PROXY = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"

class PricesSpider(scrapy.Spider):
    name = "prices"
    start_urls = ["https://example.com/catalog"]

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={"proxy": PROXY})

    def parse(self, response):
        for href in response.css("a.product::attr(href)").getall():
            yield response.follow(href, callback=self.parse_product, meta={"proxy": PROXY})

    def parse_product(self, response):
        yield {"url": response.url, "price": response.css(".price::text").get()}

Um middleware para sessões fixas por item#

middlewares.py

import hashlib

class Proxy CyberMiddleware:
    GATEWAY = "res.proxy-cyber.com:9000"

    def __init__(self, user, password, country):
        self.user, self.password, self.country = user, password, country

    @classmethod
    def from_crawler(cls, crawler):
        s = crawler.settings
        return cls(s.get("KEY_PROXY_USER"), s.get("KEY_PROXY_PASS"), s.get("KEY_PROXY_COUNTRY", "us"))

    def process_request(self, request, spider):
        # Sticky when the request carries a session key (e.g. one per product flow), rotating otherwise
        key = request.meta.get("session_key")
        user = f"{self.user}-cc-{self.country}"
        if key:
            sid = hashlib.sha1(key.encode()).hexdigest()[:12]
            user += f"-sid-{sid}-ttl-10m"
        request.meta["proxy"] = f"http://{user}:{self.password}@{self.GATEWAY}"

configurações.py

DOWNLOADER_MIDDLEWARES = {
    "myproject.middlewares.Proxy CyberMiddleware": 350,   # before HttpProxyMiddleware (750)
}
KEY_PROXY_USER = "USER"
KEY_PROXY_PASS = "PASS"
KEY_PROXY_COUNTRY = "de"

CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 8
AUTOTHROTTLE_ENABLED = True
AUTOTHROTTLE_TARGET_CONCURRENCY = 4.0
DOWNLOAD_TIMEOUT = 45
RETRY_ENABLED = True
RETRY_TIMES = 2
RETRY_HTTP_CODES = [408, 429, 500, 502, 503, 504, 522, 524]
COMPRESSION_ENABLED = True

Reutilizar ligações e atribuir IPs são mecanismos diferentes. A sessão do cliente mantém sockets; o gateway atribuído determina a rotação e as sessões persistentes. Utilize os parâmetros fornecidos com o serviço e verifique a saída com vários pedidos. Fechar um socket ou enviar Connection: close não garante outro IP.

Manter a conta baixa#

Scrapy não carrega imagens ou scripts; Apenas HTML e JSON, portanto, uma página custa seu tamanho HTML.
Habilite a compactação (padrão) e evite Splash ou renderização do navegador, a menos que os dados precisem disso.
Cache com HTTPCACHE_ENABLED = True durante o desenvolvimento, para que você não pague para buscar novamente as mesmas páginas durante a depuração dos seletores.

Polidez por domínio#

Umo pool é uma forma de receber muitos visitantes educados, e não um visitante indelicado. CONCURRENT_REQUESTS_PER_DOMAIN e o AutoThrottle mantém cada alvo em uma taxa plausível por saída; o política de uso aceitável proíbe qualquer coisa que pareça um ataque.

Perguntas que as pessoas fazem#

Eu preciso de proxies rotativos scrapy?

Não com um gateway: a rotação acontece no lado do Proxy Cyber para cada nova conexão. Esse pacote gerencia listas de proxies estáticos; com res.proxy-cyber.com há um proxy para configurar.

Como posso usar um país diferente por solicitação?

Defina request.meta["country"] no spider e leia-o no middleware para construir o parâmetro -cc-; o exemplo usa uma única configuração por questões de brevidade.

Proxies

Menu