Scrapy'da yuklab oluvchi vositasi bilan aylanib turuvchi va yopishqoq proksilar

Scrapy'ning HttpProxyMiddleware request.meta["proxy"] orqali tasdiqlangan HTTP proksilarini qoʻllab-quvvatlaydi. Foydalanuvchiga taqdim etilgan geytni sozlang, buni talablar ortidan tarqating va bir vaqtda ishlash tezligini oshirishdan oldin tayinlangan sessiya rejimini tekshiring.

Oʻqish 4 boʻlim Ўрганилган 28-oktabr, 2026 Редакторлар гуруҳи Proxy Cyber

Eng oddiy versiya#

Qayta urinishdan oldin javobni klassifikatsiya qilish. 403 boshqa IP hal qilolmaydigan kirish qoidasini koʻrsatishi mumkin. 429 uchun, Retry-After'ga eʼtibor bering va talab darajasini kamaytiring; vaqtinchalik aloqa yoki server xatosi uchun cheklangan backoff'dan foydalaning. Faqat dublikat harakatlarni toʻxtatishingiz mumkin boʻlgan hol-ahvol oʻzgartirish operatsiyalarini qayta urinish.

spider.py

import scrapy

PROXY = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"

class PricesSpider(scrapy.Spider):
    name = "prices"
    start_urls = ["https://example.com/catalog"]

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={"proxy": PROXY})

    def parse(self, response):
        for href in response.css("a.product::attr(href)").getall():
            yield response.follow(href, callback=self.parse_product, meta={"proxy": PROXY})

    def parse_product(self, response):
        yield {"url": response.url, "price": response.css(".price::text").get()}

Har bir element uchun yopishqoq seanslar uchun oʻrta dastur#

middlewares.py

import hashlib

class Proxy CyberMiddleware:
    GATEWAY = "res.proxy-cyber.com:9000"

    def __init__(self, user, password, country):
        self.user, self.password, self.country = user, password, country

    @classmethod
    def from_crawler(cls, crawler):
        s = crawler.settings
        return cls(s.get("KEY_PROXY_USER"), s.get("KEY_PROXY_PASS"), s.get("KEY_PROXY_COUNTRY", "us"))

    def process_request(self, request, spider):
        # Sticky when the request carries a session key (e.g. one per product flow), rotating otherwise
        key = request.meta.get("session_key")
        user = f"{self.user}-cc-{self.country}"
        if key:
            sid = hashlib.sha1(key.encode()).hexdigest()[:12]
            user += f"-sid-{sid}-ttl-10m"
        request.meta["proxy"] = f"http://{user}:{self.password}@{self.GATEWAY}"

settings.py

DOWNLOADER_MIDDLEWARES = {
    "myproject.middlewares.Proxy CyberMiddleware": 350,   # before HttpProxyMiddleware (750)
}
KEY_PROXY_USER = "USER"
KEY_PROXY_PASS = "PASS"
KEY_PROXY_COUNTRY = "de"

CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 8
AUTOTHROTTLE_ENABLED = True
AUTOTHROTTLE_TARGET_CONCURRENCY = 4.0
DOWNLOAD_TIMEOUT = 45
RETRY_ENABLED = True
RETRY_TIMES = 2
RETRY_HTTP_CODES = [408, 429, 500, 502, 503, 504, 522, 524]
COMPRESSION_ENABLED = True

Aloqa qayta ishlash va IP taqsimlash turlicha boshqaruvdir. Klient seansi soketlarni qayta ishlaydi; faqatgina tayinlangan geytveyr aylanish va seansning tiklanishini belgilaydi. Xizmatingiz bilan taqdim etilgan seans parametrlarini qoʻllang, va bir necha iltimoslar orasida chiqishni tekshiring. Soketni yopish yoki Connection: close yuborish boshqa IP'ga kafolat bermaydi.

Hisobni past tutish#

Scrapy tasvirlar yoki skriptlarni yuklamaydi; faqat HTML va JSON, shuning uchun sahifa HTML hajmi bilan qiymatlanadi.
Siqishni ishga tushirish (odatdagi) va chetga olish Splash yoki brauzerni tasvirlash, agar maʼlumotlarga bu kerak boʻlmasa.
Kesh bilan HTTPCACHE_ENABLED = True Bu ishlash vaqtida, siz tanlab oluvchilarni tuzatish chogʻida bir xil sahifalarni qayta olish uchun pul toʻlamaslik uchun.

Domen boʻyicha odob#

Basseyn koʻplab mehmonlarni bir marta emas, balki bir necha marotaba hurmatli qilish uchundir. CONCURRENT_REQUESTS_PER_DOMAIN va AutoThrottle har bir maqsadni chiqishda inson uchun mumkin boʻlgan tezlikda saqlab turadi; qabul qilinadigan foydalanish siyosati hujumga oʻxshash narsani man qiladi.

Odamlar soʻraydigan savollar.#

Menga scrapy-rotating-proxy'lar kerakmi?

Geytuar bilan emas: har bir yangi bogʻlanishda aylanish klavish proksi tomonida boʻladi. Bu paket statik proksilar roʻyxatini boshqaradi; res.proxy-cyber.com bilan birgina proksini sozlash mumkin.

Qanday qilib bir iltimos uchun boshqa mamlakatni ishlatish mumkin?

request.meta ["country"] ni spider da oʻrnatib, -cc- parametrini yaratish uchun middleware da oʻqing; misolda qisqalik uchun bittagina moslama ishlatiladi.

Proksilar

Menyu