Самый простой вариант#
Перед повтором определите причину ответа. Код 403 может означать правило доступа, которое смена IP не устранит. При 429 учитывайте Retry-After и снижайте частоту; для временных сетевых и серверных ошибок используйте ограниченные повторы с увеличением паузы. Операции, изменяющие данные, повторяйте только с защитой от дублирования.
import scrapy
PROXY = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"
class PricesSpider(scrapy.Spider):
name = "prices"
start_urls = ["https://example.com/catalog"]
def start_requests(self):
for url in self.start_urls:
yield scrapy.Request(url, meta={"proxy": PROXY})
def parse(self, response):
for href in response.css("a.product::attr(href)").getall():
yield response.follow(href, callback=self.parse_product, meta={"proxy": PROXY})
def parse_product(self, response):
yield {"url": response.url, "price": response.css(".price::text").get()}Промежуточное ПО для закреплённой сессии каждого объекта#
import hashlib
class Proxy CyberMiddleware:
GATEWAY = "res.proxy-cyber.com:9000"
def __init__(self, user, password, country):
self.user, self.password, self.country = user, password, country
@classmethod
def from_crawler(cls, crawler):
s = crawler.settings
return cls(s.get("KEY_PROXY_USER"), s.get("KEY_PROXY_PASS"), s.get("KEY_PROXY_COUNTRY", "us"))
def process_request(self, request, spider):
# Закреплённая сессия при наличии ключа сессии в запросе (например, по одному на цепочку обработки товара), иначе — ротация IP
key = request.meta.get("session_key")
user = f"{self.user}-cc-{self.country}"
if key:
sid = hashlib.sha1(key.encode()).hexdigest()[:12]
user += f"-sid-{sid}-ttl-10m"
request.meta["proxy"] = f"http://{user}:{self.password}@{self.GATEWAY}"DOWNLOADER_MIDDLEWARES = {
"myproject.middlewares.Proxy CyberMiddleware": 350, # перед HttpProxyMiddleware (750)
}
KEY_PROXY_USER = "USER"
KEY_PROXY_PASS = "PASS"
KEY_PROXY_COUNTRY = "de"
CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 8
AUTOTHROTTLE_ENABLED = True
AUTOTHROTTLE_TARGET_CONCURRENCY = 4.0
DOWNLOAD_TIMEOUT = 45
RETRY_ENABLED = True
RETRY_TIMES = 2
RETRY_HTTP_CODES = [408, 429, 500, 502, 503, 504, 522, 524]
COMPRESSION_ENABLED = TrueПовторное использование соединений и назначение IP — разные механизмы. Сессия клиента сохраняет сокеты, а ротацию и закрепление адреса определяет выданный шлюз. Используйте параметры сессии из своего заказа и проверьте выходной IP несколькими запросами. Закрытие сокета или заголовок Connection: close не гарантируют новый адрес.
Как сократить расходы#
- Scrapy не загружает изображения или скрипты, а только HTML и JSON, поэтому стоимость страницы определяется размером её HTML.
- Включите сжатие (оно включено по умолчанию) и не используйте
Splashили отрисовку в браузере, если этого не требуют данные. - Во время разработки включите кэширование с помощью
HTTPCACHE_ENABLED = True, чтобы не платить за повторную загрузку тех же страниц при отладке селекторов.
Корректная частота запросов для каждого домена#
Пул позволяет работать как множество корректных посетителей, а не как один назойливый. CONCURRENT_REQUESTS_PER_DOMAIN и AutoThrottle поддерживают для каждой цели правдоподобную для человека частоту запросов с каждого выходного узла; политика допустимого использования запрещает любые действия, похожие на атаку.
Частые вопросы#
Нужен ли мне пакет scrapy-rotating-proxies?
При использовании шлюза — нет: ротация IP выполняется на стороне Proxy Cyber для каждого нового соединения. Этот пакет управляет списками статических прокси, а с res.proxy-cyber.com достаточно настроить один прокси.
Как использовать разные страны для отдельных запросов?
Задайте request.meta["country"] в пауке и считывайте его в промежуточном ПО для формирования параметра -cc-; для краткости в примере используется одна настройка.