Скрапий Rotating і Sticky Proxies Middleware Proxy Cyber

Обертання та липкі проксі у скрапі з носієм для завантаження

Скрапий HttpProxyMiddleware підтримує автентичні HTTP-проксі за допомогою запиту.meta["proxy"]. Налаштуйте фактичну поставку шлюзу, пропагуйте налаштування, щоб слідувати запитам і перевірте режим сеансу перед збільшенням конвактиви.

2 хв читати 4 секція Перевірено 28 жовтня 2026 Редакція Proxy Cyber

Найлегша версія#

Класифікуйте відповідь перед переробкою. A 403 може вказати правила доступу, що інший IP не буде вирішуватися. Для 429, поважати Retry-After і зменшити швидкість запиту; використовувати обмежений зворотний зв'язок для тимчасового підключення або збою сервера. Ретривативні операції, тільки коли ви можете запобігти дублікати дій.

павук.п

import scrapy

PROXY = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"

class PricesSpider(scrapy.Spider):
    name = "prices"
    start_urls = ["https://example.com/catalog"]

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={"proxy": PROXY})

    def parse(self, response):
        for href in response.css("a.product::attr(href)").getall():
            yield response.follow(href, callback=self.parse_product, meta={"proxy": PROXY})

    def parse_product(self, response):
        yield {"url": response.url, "price": response.css(".price::text").get()}

Посередник для липкіх сеансів на предмет#

фритюрма

import hashlib

class Proxy CyberMiddleware:
    GATEWAY = "res.proxy-cyber.com:9000"

    def __init__(self, user, password, country):
        self.user, self.password, self.country = user, password, country

    @classmethod
    def from_crawler(cls, crawler):
        s = crawler.settings
        return cls(s.get("KEY_PROXY_USER"), s.get("KEY_PROXY_PASS"), s.get("KEY_PROXY_COUNTRY", "us"))

    def process_request(self, request, spider):
        # Sticky when the request carries a session key (e.g. one per product flow), rotating otherwise
        key = request.meta.get("session_key")
        user = f"{self.user}-cc-{self.country}"
        if key:
            sid = hashlib.sha1(key.encode()).hexdigest()[:12]
            user += f"-sid-{sid}-ttl-10m"
        request.meta["proxy"] = f"http://{user}:{self.password}@{self.GATEWAY}"

напляскване

DOWNLOADER_MIDDLEWARES = {
    "myproject.middlewares.Proxy CyberMiddleware": 350,   # before HttpProxyMiddleware (750)
}
KEY_PROXY_USER = "USER"
KEY_PROXY_PASS = "PASS"
KEY_PROXY_COUNTRY = "de"

CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 8
AUTOTHROTTLE_ENABLED = True
AUTOTHROTTLE_TARGET_CONCURRENCY = 4.0
DOWNLOAD_TIMEOUT = 45
RETRY_ENABLED = True
RETRY_TIMES = 2
RETRY_HTTP_CODES = [408, 429, 500, 502, 503, 504, 522, 524]
COMPRESSION_ENABLED = True

Відключення перевикористання та відведення IP-адреси є різними контрольними засобами. За допомогою сеансу використають розетки, тільки присвоєна шлюзу визначає обертання та липкі дії. Використовуйте параметри сеансу, що поставляються з вашим сервісом, і перевірте вихід за декількома запитами. Закриття розетки або відправлення Підключення Підключення: закрито не гарантує іншого IP.

Збереження векселів#

Скрапір не завантажує зображення або скрипти; HTML і JSON тільки, тому сторінка коштує його розмір HTML.
Увімкнути стиснення (default) і уникнути Splash або надаючи веб-переглядачу, якщо це потребує.
Кашот з HTTPCACHE_ENABLED = True при розробці, так що ви не платите перекопувати однакові сторінки, при цьому відхиляючи відбірники.

Пер-доменна полоімітність#

Басейн - це спосіб бути багато відвідувачів, не один непристойний. CONCURRENT_REQUESTS_PER_DOMAIN і AutoThrottle зберігають кожну ціль на рівні людини за вихід; прийнятна політика використання забороняє будь-яким, що виглядає як атака.

Питання, які говорять#

Чи потрібна брухтно-проксі?

Не з шлюзом: обертання відбувається на брелоку Proxy для кожного нового з'єднання. Цей пакет керує списками статичних проксіцій; з res.proxy-cyber.com є одним проксітом для налаштування.

Як використовувати іншу країну за запитом?

Встановити запит.meta["country"] в павуку і читати його в посереднику, щоб побудувати параметр -cc-cc-; приклад використовує один параметр для brevity.

Керуйте проксі в одному акаунті

Порівняти мережі, розмістити замовлення та дотримуйтесь ваших запитів на баланс та підтримку з однієї панелі інструментів. Наші відгуки про оплату та надає деталі з'єднання після доставки.

Створити акаунт

Проксі

ПАРА