Scrapy Rotasi dan Sticky Proxies Middleware 124; Proxy Cyber

Rotasi dan proksi lengket dalam Scrapy dengan middleware downloader

Scrapy 's HttpProxyMiddleware mendukung proksi HTTP terotentikasi melalui request.meta ["proxy"]. Atur gateway yang dikirim yang sebenarnya, sebarkan pengaturan ke permintaan follow- up dan verifikasi mode sesi yang diberikan sebelum meningkatkan konmata uang.

2 menit baca 4 bagian Ditinjau 28 Oktober 2026 Tim editorial Proxy Cyber

Versi paling sederhana#

Klasifikasi respon sebelum mencoba ulang. A 403 mungkin mengindikasikan aturan akses yang IP lain tidak akan terselesaikan. Untuk 429, hormati Retry-Setelah dan kurangi laju permintaan; gunakan bunded backup untuk koneksi sementara atau server kegagalan. Coba ulang operasi perubahan status hanya bila Anda dapat mencegah duplikasi aksi.

spider.py

import scrapy

PROXY = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"

class PricesSpider(scrapy.Spider):
    name = "prices"
    start_urls = ["https://example.com/catalog"]

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={"proxy": PROXY})

    def parse(self, response):
        for href in response.css("a.product::attr(href)").getall():
            yield response.follow(href, callback=self.parse_product, meta={"proxy": PROXY})

    def parse_product(self, response):
        yield {"url": response.url, "price": response.css(".price::text").get()}

Sebuah perangkat menengah untuk sesi lengket per item#

middlewares.py

import hashlib

class Proxy CyberMiddleware:
    GATEWAY = "res.proxy-cyber.com:9000"

    def __init__(self, user, password, country):
        self.user, self.password, self.country = user, password, country

    @classmethod
    def from_crawler(cls, crawler):
        s = crawler.settings
        return cls(s.get("KEY_PROXY_USER"), s.get("KEY_PROXY_PASS"), s.get("KEY_PROXY_COUNTRY", "us"))

    def process_request(self, request, spider):
        # Sticky when the request carries a session key (e.g. one per product flow), rotating otherwise
        key = request.meta.get("session_key")
        user = f"{self.user}-cc-{self.country}"
        if key:
            sid = hashlib.sha1(key.encode()).hexdigest()[:12]
            user += f"-sid-{sid}-ttl-10m"
        request.meta["proxy"] = f"http://{user}:{self.password}@{self.GATEWAY}"

settings.py

DOWNLOADER_MIDDLEWARES = {
    "myproject.middlewares.Proxy CyberMiddleware": 350,   # before HttpProxyMiddleware (750)
}
KEY_PROXY_USER = "USER"
KEY_PROXY_PASS = "PASS"
KEY_PROXY_COUNTRY = "de"

CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 8
AUTOTHROTTLE_ENABLED = True
AUTOTHROTTLE_TARGET_CONCURRENCY = 4.0
DOWNLOAD_TIMEOUT = 45
RETRY_ENABLED = True
RETRY_TIMES = 2
RETRY_HTTP_CODES = [408, 429, 500, 502, 503, 504, 522, 524]
COMPRESSION_ENABLED = True

Penggunaan ulang koneksi dan penempatan IP berbeda. Sebuah sesi klien memakai soket; hanya gateway yang diberikan menentukan rotasi dan perilaku sesi. Gunakan parameter sesi yang disediakan dengan layanan Anda, dan verifikasi keluar melalui beberapa permintaan. Tutup soket atau kirim Koneksi: tutup tidak menjamin IP lain.

Menjaga tagihan turun#

Scrapy tidak memuat gambar atau skrip; HTML dan JSON saja, jadi halaman biaya ukuran HTML nya.
Aktifkan kompresi (baku) dan hindari Splash atau rendering peramban kecuali data membutuhkannya.
Cache dengan HTTPCACHE_ENABLED = True selama pembangunan sehingga anda tidak membayar untuk mengembalikan -mengambil halaman yang sama ketika pilihan debug.

Kebijakan perdomain#

Kolam renang adalah cara untuk menjadi pengunjung sopan banyak, tidak satu tidak sopan. CONCURRENT_REQUESTS_PER_DOMAIN dan AutoThrottle menjaga setiap target pada tingkat human- masuk akal setiap keluar; kebijakan penggunaan dapat diterima melarang apapun yang terlihat seperti serangan.

Pertanyaan yang orang tanyakan#

Apa aku perlu goresan-rotating-proxy?

Tidak dengan gateway: rotasi terjadi di sisi Proxy Cyber untuk setiap koneksi baru. Paket itu mengatur daftar proksi statis; dengan res.key- proxy.com ada satu proksi untuk mengkonfigurasi.

Bagaimana cara menggunakan negara yang berbeda sesuai permintaan?

Set request.meta ["negara"] dalam laba-laba dan membacanya di middleware untuk membangun parameter -cc - contoh menggunakan satu pengaturan untuk brevity.

Proksi

Menu