Rotacyjne scrapy i lepkie proxy Middleware 124; klucz proxy

Rotacyjne i trwałe proxy w Scrapy z oprogramowaniem proxy do pobierania

HttpProxyMiddleware firmy Scrapy obsługuje uwierzytelnione serwery proxy HTTP za proxy request.meta["proxy"]. Skonfiguruj faktycznie dostarczoną bramę, przekaż ustawienie kolejnym żądaniom i zweryfikuj przypisany tryb sesji przed zwiększeniem współbieżności.

2 min odczytu 4 sekcje Sprawdzono 28 października 2026 Zespół redakcyjny Proxy Cyber

Najprostsza wersja#

Sklasyfikuj odpowiedź przed ponowną próbą. Wartość 403 może wskazywać regułę dostępu, której inny adres IP nie rozwiąże. W przypadku numeru 429 przestrzegaj opcji Retry-After i zmniejsz liczbę żądań; użyj ograniczonego wycofywania w przypadku tymczasowego połączenia lub awarii serwera. Ponów operację zmieniającą stan tylko wtedy, gdy możesz zapobiec duplikowaniu akcji.

spider.py

import scrapy

PROXY = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"

class PricesSpider(scrapy.Spider):
    name = "prices"
    start_urls = ["https://example.com/catalog"]

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={"proxy": PROXY})

    def parse(self, response):
        for href in response.css("a.product::attr(href)").getall():
            yield response.follow(href, callback=self.parse_product, meta={"proxy": PROXY})

    def parse_product(self, response):
        yield {"url": response.url, "price": response.css(".price::text").get()}

Zastawy do lepkich sesjach na element#

middlewares.py

import hashlib

class Proxy CyberMiddleware:
    GATEWAY = "res.proxy-cyber.com:9000"

    def __init__(self, user, password, country):
        self.user, self.password, self.country = user, password, country

    @classmethod
    def from_crawler(cls, crawler):
        s = crawler.settings
        return cls(s.get("KEY_PROXY_USER"), s.get("KEY_PROXY_PASS"), s.get("KEY_PROXY_COUNTRY", "us"))

    def process_request(self, request, spider):
        # Sticky when the request carries a session key (e.g. one per product flow), rotating otherwise
        key = request.meta.get("session_key")
        user = f"{self.user}-cc-{self.country}"
        if key:
            sid = hashlib.sha1(key.encode()).hexdigest()[:12]
            user += f"-sid-{sid}-ttl-10m"
        request.meta["proxy"] = f"http://{user}:{self.password}@{self.GATEWAY}"

settings.py

DOWNLOADER_MIDDLEWARES = {
    "myproject.middlewares.Proxy CyberMiddleware": 350,   # before HttpProxyMiddleware (750)
}
KEY_PROXY_USER = "USER"
KEY_PROXY_PASS = "PASS"
KEY_PROXY_COUNTRY = "de"

CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 8
AUTOTHROTTLE_ENABLED = True
AUTOTHROTTLE_TARGET_CONCURRENCY = 4.0
DOWNLOAD_TIMEOUT = 45
RETRY_ENABLED = True
RETRY_TIMES = 2
RETRY_HTTP_CODES = [408, 429, 500, 502, 503, 504, 522, 524]
COMPRESSION_ENABLED = True

Ponowne wykorzystanie połączenia i przypisanie adresu IP to różne elementy sterujące. Sesja klienta ponownie wykorzystuje gniazda; tylko przypisana brama określa zachowanie rotacji i sesji trwałej. Użyj parametrów sesji dostarczonych z usługą i zweryfikuj wyjście w kilku żądaniach. Zamknięcie gniazda lub wysłanie połączenia: zamknięcie nie gwarantuje innego adresu IP.

- Nie wychylaj się.#

Scrapy nie ładuje obrazów ani skryptów; Tylko HTML i JSON, więc strona kosztuje tyle, ile wynosi rozmiar HTML.
Włącz kompresję (domyślnie) i unikaj Splash lub renderowanie przeglądarki, chyba że dane jej potrzebują.
Kaszka z HTTPCACHE_ENABLED = True podczas programowania, więc nie płacisz za ponowne pobieranie tych samych stron podczas debugowania selektorów.

Grzeczność w domenie#

Basen to sposób na bycie wieloma uprzejmymi gośćmi, a nie jednym niegrzecznym. CONCURRENT_REQUESTS_PER_DOMAIN i funkcja AutoThrottle utrzymują każdy cel z prędkością akceptowalną dla człowieka przy każdym wyjściu; the akceptowalna polityka wykorzystania Zakazuje wszystkiego, co wygląda na atak.

Pytania, które ludzie zadają#

Czy potrzebuję scrapy-rotating-proxy?

Nie w przypadku bramy: rotacja odbywa się po stronie kluczowego serwera proxy dla każdego nowego połączenia. Pakiet ten zarządza listami statycznych serwerów proxy; w res.proxy-cyber.com istnieje jeden serwer proxy do skonfigurowania.

Jak korzystać z innego kraju na życzenie?

Ustaw request.meta["country"] w pająku i przeczytaj go w oprogramowaniu pośrednim, aby zbudować parametr -cc-; w przykładzie zastosowano jedno ustawienie dla zwięzłości.

Proxy

Menu