Scrapy 回転およびスティッキープロキシミドルウェア |Proxy Cyber

ダウンローダーミドルウェアを使用した Scrapy のローテーションプロキシとスティッキープロキシ

Scrapy の HttpProxyMiddleware は、request.meta["proxy"] を通じて認証された HTTP プロキシをサポートします。実際に提供されるゲートウェイを構成し、その設定をフォローアップ要求に伝播し、同時実行性を高める前に割り当てられたセッションモードを確認します。

2 分で読めます 4つのセクション確認日 2026年10月28日編集チーム Proxy Cyber

最も単純なバージョン#

再試行する前に応答を分類してください。 403 は、別の IP が解決できないアクセスルールを示している可能性があります。 429 の場合は、Retry-After を尊重し、リクエスト率を下げます。一時的な接続またはサーバー障害の場合は、制限付きバックオフを使用します。重複したアクションを防止できる場合にのみ、状態変更操作を再試行してください。

スパイダー.py

import scrapy

PROXY = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"

class PricesSpider(scrapy.Spider):
    name = "prices"
    start_urls = ["https://example.com/catalog"]

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={"proxy": PROXY})

    def parse(self, response):
        for href in response.css("a.product::attr(href)").getall():
            yield response.follow(href, callback=self.parse_product, meta={"proxy": PROXY})

    def parse_product(self, response):
        yield {"url": response.url, "price": response.css(".price::text").get()}

アイテムごとのスティッキーセッション用のミドルウェア#

ミドルウェア.py

import hashlib

class Proxy CyberMiddleware:
    GATEWAY = "res.proxy-cyber.com:9000"

    def __init__(self, user, password, country):
        self.user, self.password, self.country = user, password, country

    @classmethod
    def from_crawler(cls, crawler):
        s = crawler.settings
        return cls(s.get("KEY_PROXY_USER"), s.get("KEY_PROXY_PASS"), s.get("KEY_PROXY_COUNTRY", "us"))

    def process_request(self, request, spider):
        # Sticky when the request carries a session key (e.g. one per product flow), rotating otherwise
        key = request.meta.get("session_key")
        user = f"{self.user}-cc-{self.country}"
        if key:
            sid = hashlib.sha1(key.encode()).hexdigest()[:12]
            user += f"-sid-{sid}-ttl-10m"
        request.meta["proxy"] = f"http://{user}:{self.password}@{self.GATEWAY}"

設定.py

DOWNLOADER_MIDDLEWARES = {
    "myproject.middlewares.Proxy CyberMiddleware": 350,   # before HttpProxyMiddleware (750)
}
KEY_PROXY_USER = "USER"
KEY_PROXY_PASS = "PASS"
KEY_PROXY_COUNTRY = "de"

CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 8
AUTOTHROTTLE_ENABLED = True
AUTOTHROTTLE_TARGET_CONCURRENCY = 4.0
DOWNLOAD_TIMEOUT = 45
RETRY_ENABLED = True
RETRY_TIMES = 2
RETRY_HTTP_CODES = [408, 429, 500, 502, 503, 504, 522, 524]
COMPRESSION_ENABLED = True

接続の再利用と IP 割り当ては異なる制御です。クライアントセッションはソケットを再利用します。割り当てられたゲートウェイのみがローテーションとスティッキーセッションの動作を決定します。サービスで提供されるセッションパラメーターを使用し、複数のリクエストにわたる終了を確認します。ソケットを閉じるか、Connection: close を送信しても、異なる IP が保証されるわけではありません。

請求額を抑える#

Scrapy は画像やスクリプトをロードしません。 HTML と JSON のみなので、ページには HTML サイズがかかります。
圧縮を有効にして (デフォルト)、圧縮を回避します。 Splash データに必要な場合を除き、ブラウザーでレンダリングすることもできます。
キャッシュ HTTPCACHE_ENABLED = True 開発中に、セレクターのデバッグ中に同じページを再フェッチするために料金を支払う必要はありません。

ドメインごとの丁寧さ#

プールは、一人の無礼な訪問者ではなく、多くの礼儀正しい訪問者が訪れる方法です。 CONCURRENT_REQUESTS_PER_DOMAIN AutoThrottle は、各ターゲットを出口ごとに人間が納得できる速度に保ちます。の利用規約攻撃と思われる行為を禁止します。

人々が尋ねる質問#

スクレイピーローテーションプロキシは必要ですか?

ゲートウェイを使用しない場合は、新しい接続ごとにキープロキシ側でローテーションが発生します。このパッケージは静的プロキシのリストを管理します。 res.proxy-cyber.com では、設定するプロキシが 1 つあります。

リクエストごとに異なる国を使用するにはどうすればよいですか?

request.meta["country"] をスパイダーに設定し、それをミドルウェアで読み取り、-cc- パラメーターを構築します。この例では、簡潔にするために単一の設定を使用しています。

プロキシ

メニュー