Scrapy 轮换与粘性代理中间件

最简单的版本#

重试前先判断响应原因。403 可能来自访问规则，更换 IP 不一定有效。遇到 429 时遵守 Retry-After 并降低请求速率；临时网络或服务器故障可采用有限次数的退避重试。会修改数据的操作必须防止重复执行。

spider.py

import scrapy

PROXY = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"

class PricesSpider(scrapy.Spider):
    name = "prices"
    start_urls = ["https://example.com/catalog"]

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, meta={"proxy": PROXY})

    def parse(self, response):
        for href in response.css("a.product::attr(href)").getall():
            yield response.follow(href, callback=self.parse_product, meta={"proxy": PROXY})

    def parse_product(self, response):
        yield {"url": response.url, "price": response.css(".price::text").get()}

为每个条目提供粘性会话的中间件#

middlewares.py

import hashlib

class Proxy CyberMiddleware:
    GATEWAY = "res.proxy-cyber.com:9000"

    def __init__(self, user, password, country):
        self.user, self.password, self.country = user, password, country

    @classmethod
    def from_crawler(cls, crawler):
        s = crawler.settings
        return cls(s.get("KEY_PROXY_USER"), s.get("KEY_PROXY_PASS"), s.get("KEY_PROXY_COUNTRY", "us"))

    def process_request(self, request, spider):
        # 请求携带会话键时使用粘性会话（例如每个商品流程一个），否则进行轮换
        key = request.meta.get("session_key")
        user = f"{self.user}-cc-{self.country}"
        if key:
            sid = hashlib.sha1(key.encode()).hexdigest()[:12]
            user += f"-sid-{sid}-ttl-10m"
        request.meta["proxy"] = f"http://{user}:{self.password}@{self.GATEWAY}"

settings.py

DOWNLOADER_MIDDLEWARES = {
    "myproject.middlewares.Proxy CyberMiddleware": 350,   # 位于 HttpProxyMiddleware (750) 之前
}
KEY_PROXY_USER = "USER"
KEY_PROXY_PASS = "PASS"
KEY_PROXY_COUNTRY = "de"

CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 8
AUTOTHROTTLE_ENABLED = True
AUTOTHROTTLE_TARGET_CONCURRENCY = 4.0
DOWNLOAD_TIMEOUT = 45
RETRY_ENABLED = True
RETRY_TIMES = 2
RETRY_HTTP_CODES = [408, 429, 500, 502, 503, 504, 522, 524]
COMPRESSION_ENABLED = True

连接复用与 IP 分配是不同的机制。客户端会话复用套接字，而轮换与持续会话由实际交付的网关控制。请使用服务中提供的会话参数，并通过多次请求检查出口。关闭连接或发送 Connection: close 并不保证获得另一个 IP。

控制费用#

Scrapy 不加载图片或脚本，只获取 HTML 和 JSON，因此单个页面的成本就是其 HTML 大小。
启用压缩（默认已启用）；除非数据确实需要，否则避免使用 Splash 或浏览器渲染。
开发期间使用 HTTPCACHE_ENABLED = True 开启缓存，以免在调试选择器时为重复获取同一页面付费。

按域名控制访问频率#

代理池的用途是模拟多位遵守规则的访问者，而不是制造一位肆无忌惮的访问者。CONCURRENT_REQUESTS_PER_DOMAIN 和 AutoThrottle 会让每个出口以符合真人行为的频率访问各个目标；可接受使用政策禁止任何类似攻击的行为。

大家常问的问题#

我需要 scrapy-rotating-proxies 吗？

使用网关时不需要：每次建立新连接时，轮换都在 Proxy Cyber 端完成。该软件包用于管理静态代理列表；使用 res.proxy-cyber.com 时只需配置一个代理。

如何让每个请求使用不同的国家/地区？

在爬虫中设置 request.meta["country"]，再由中间件读取它来构建 -cc- 参数；为简化示例，本文只使用一项全局设置。

代理

菜单

通过下载器中间件在 Scrapy 中使用轮换与粘性代理