Forgó és ragacsos proxy-k a Scrapy-ban egy letöltő middleware-rel

A Scrapy HttpProxyMiddleware támogatja a hitelesített HTTP proxykat a request.meta ["proxy"] Konfigurálja a ténylegesen szállított átjárót, terjessze a beállítást a követő kérésekre és ellenőrizze a hozzárendelt munkamenet módot az egyidejűség növelése előtt.

2 perc olvasás 4 szakasz Áttekintés 2026. október 28. A szerkesztői csapat Proxy Cyber

A legegyszerűbb változat#

A 403-as hiba olyan hozzáférési szabályt jelez, amelyet egy másik IP nem tud feloldani. A 429-es hiba esetén tartsa tiszteletben a Retry-After beállítást és csökkentse a kérelmek számát; ideiglenes kapcsolat vagy szerverhiba esetén használjon korlátozott visszalépést. Az állapotváltozási műveleteket csak akkor próbálja meg újra, ha megakadályozhatja az ismétlődő műveleteket.

A pók.

import scrapy

PROXY = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"

class PricesSpider(scrapy.Spider):
    name = "prices"
    start_urls = ["https://example.com/catalog"]

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={"proxy": PROXY})

    def parse(self, response):
        for href in response.css("a.product::attr(href)").getall():
            yield response.follow(href, callback=self.parse_product, meta={"proxy": PROXY})

    def parse_product(self, response):
        yield {"url": response.url, "price": response.css(".price::text").get()}

Köztes szoftver a ragacsos munkamenetekhez elem szerint#

A middlewares.py fájlról

import hashlib

class Proxy CyberMiddleware:
    GATEWAY = "res.proxy-cyber.com:9000"

    def __init__(self, user, password, country):
        self.user, self.password, self.country = user, password, country

    @classmethod
    def from_crawler(cls, crawler):
        s = crawler.settings
        return cls(s.get("KEY_PROXY_USER"), s.get("KEY_PROXY_PASS"), s.get("KEY_PROXY_COUNTRY", "us"))

    def process_request(self, request, spider):
        # Sticky when the request carries a session key (e.g. one per product flow), rotating otherwise
        key = request.meta.get("session_key")
        user = f"{self.user}-cc-{self.country}"
        if key:
            sid = hashlib.sha1(key.encode()).hexdigest()[:12]
            user += f"-sid-{sid}-ttl-10m"
        request.meta["proxy"] = f"http://{user}:{self.password}@{self.GATEWAY}"

A settings.py fájl

DOWNLOADER_MIDDLEWARES = {
    "myproject.middlewares.Proxy CyberMiddleware": 350,   # before HttpProxyMiddleware (750)
}
KEY_PROXY_USER = "USER"
KEY_PROXY_PASS = "PASS"
KEY_PROXY_COUNTRY = "de"

CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 8
AUTOTHROTTLE_ENABLED = True
AUTOTHROTTLE_TARGET_CONCURRENCY = 4.0
DOWNLOAD_TIMEOUT = 45
RETRY_ENABLED = True
RETRY_TIMES = 2
RETRY_HTTP_CODES = [408, 429, 500, 502, 503, 504, 522, 524]
COMPRESSION_ENABLED = True

A kliens munkamenet újra használja a szoftverfoglalatokat; csak a hozzárendelt átjáró határozza meg az elforgatás és a ragasztott munkamenet viselkedését.Használja a szolgáltatáshoz kapott munkamenetparamétereket, és ellenőrizze a kilépést több kérésen keresztül.A szoftverbeállítások bezárása vagy a Connection: close parancs küldése nem garantál más IP-címet.A socket bezárásával vagy a Connections: close paranccsal nem biztosítható egy másik IP-cím.

Lejjebb tartjuk a számlát#

A Scrapy nem tölt be képeket vagy szkripteket; csak HTML és JSON, így egy oldal a HTML méretét költi.
Tömörítés engedélyezése (alapértelmezett) és elkerülése Splash vagy böngésző renderelés, hacsak az adatok igénylik.
Cache with HTTPCACHE_ENABLED = True A fejlesztés során, így nem fizet, hogy újra-letölteni ugyanazokat az oldalakat, miközben hibakeresés szelektorok.

Domainenkénti udvariasság#

A IP-készlet egy módja annak, hogy sok udvarias látogató legyen, nem egy udvariatlan. CONCURRENT_REQUESTS_PER_DOMAIN Az AutoThrottle és az AutoThrottel minden célpontot emberileg elfogadható sebességgel tart kijáratonként; a Elfogadható használati feltételek A játék tilt mindent, ami támadásnak tűnik.

Kérdések, amiket az emberek feltesznek#

Szükségem van scrapy-rotating-proxykra?

Nem átjáró esetén: a rotáció minden új kapcsolatnál a Proxy Cyber oldalon történik. Ez a csomag kezeli a statikus proxy-k listáját. A res.proxy-cyber.com esetében egy proxyt kell beállítani.

Hogyan használhatom a különböző országokat kérelemenként?

Állítsd be a request.meta["country"]-t a pókban és olvasd el a middleware-ben, hogy létrehozd a -cc- paramétert; a példa egyetlen rövidítési beállítást használ.

Proxyk

Menü