Веб-скрейпинг · рекомендуем Резидентские

Прокси для веб-скрейпинга, рассчитанные на большие объёмы и устойчивые к блокировкам.

Краулер с одного адреса легко обнаружить: сотни запросов в минуту из диапазона хостинг-провайдера, отсутствие истории браузера и один и тот же цифровой отпечаток при каждом обращении. Целевые сайты отвечают ограничениями частоты запросов, CAPTCHA, пустыми страницами или скрытыми блокировками. Пул резидентских прокси превращает этот поток в тысячи обычных посетителей из нужных вам стран, поэтому вы собираете именно те данные, которые увидел бы реальный пользователь.

Создать аккаунт Посмотреть схему
  • $1.72за ГБРезидентские прокси — наша рекомендация для этой задачи
  • $179.91в месяцРасчёт для 500,000 страниц по 350 КБ на единицу
  • 24 чзакреплённая сессияСохраняйте выходной узел пула от минуты до суток, когда это требуется процессу
  • ∞потоковЧисло параллельных подключений не ограничено ни в одной сети; частоту запросов к доменам задаёте вы

01 — Какая сеть

В первую очередь — Резидентские прокси. Вот обоснование для всех четырёх вариантов.

Рекомендация полезна только с учётом компромиссов. В карточках ниже указано, с чем каждая сеть хорошо справляется в сценарии «веб-скрейпинг» и когда расходы на неё перестают быть оправданными.

Резидентские прокси

Рекомендуется

Ротация IP при каждом запросе между реальными домашними подключениями помогает обходить ограничения частоты и антибот-проверки. Таргетинг по городу и ASN позволяет видеть то же, что местные пользователи. Оплата за ГБ, неиспользованный трафик не сгорает.

$1.72/ГБдействует по условиям, которые опубликуем до продаж · единая цена по всему миру
Резидентские прокси

Серверные прокси

Хорошо подходит

Самый дешёвый вариант в пересчёте на запрос для ресурсов, которые не распознают диапазоны хостинг-провайдеров: общедоступных API, файлов Sitemap, ваших собственных сайтов и слабо защищённых каталогов.

$0.49/IP/мес.срок 90 дней, базовая зона · без ограничения потоков
Серверные прокси

ISP-прокси

Допустимо

Нужны только тогда, когда для обхода требуется вход в аккаунт с сохранением одного адреса; иначе вы платите за стабильность, которой не пользуетесь.

$0.69/IP/мес.срок 90 дней, базовая зона · без ограничения потоков
ISP прокси

Мобильные прокси

Допустимо

Избыточны для большинства задач сбора данных, но подходят как запасной вариант для ресурсов, блокирующих все остальные типы прокси.

$1.83/ГБс ротацией IP · стоимость устройств зависит от страны
Мобильные прокси

02 — Схема

Как всё настроить.

Здесь приведены важные для сценария «веб-скрейпинг» параметры, а справа — рабочий пример. Замените USER и PASS учётными данными, полученными при регистрации.

Ротация
С ротацией IP: не указывайте -sid-, чтобы каждый запрос отправлялся через новый выходной узел.
Таргетинг
Используйте -cc- для рынка, данные которого собираете; добавьте -city-, если цены или объявления зависят от города.
Параллельность
Число потоков на шлюзе не ограничено, но соблюдайте разумную частоту запросов к каждому домену: доступ к пулу не даёт права перегружать сайты.
Протокол
HTTP(S) на порту 9000 для большинства клиентов; SOCKS5 на порту 9001 для инструментов, не использующих HTTP.
Повторные попытки
При ответе 403 или CAPTCHA повторите запрос один раз: следующий запрос уже идёт с другого IP-адреса.
Python 
import requests

proxy = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"
session = requests.Session()
session.proxies = {"http": proxy, "https": proxy}

for url in urls:
    r = session.get(url, timeout=30)   # новое домашнее подключение из США при каждом запросе
    if r.status_code in (403, 429):
        r = session.get(url, timeout=30)  # одна повторная попытка: выходной узел уже другой
    parse(r.text)
cc
Страна выходного узла; добавьте city или asn, чтобы сузить выбор.
sid
Любая выбранная вами строка; запросы с одинаковым идентификатором сессии используют один IP.
ttl
Время закрепления IP за сессией, до 24h; не указывайте параметр для ротации при каждом запросе.

03 — Бюджет

Стоимость сценария «веб-скрейпинг» при вашем объёме.

Стоимость за ГБ легко рассчитать, если известен размер страницы. Укажите месячный объём; средний размер предварительно заполнен реалистичным для этой задачи значением, которое можно изменить.

страниц
КБ

средний размер страницы (только HTML)

Трафик166.9 ГБв месяц
Тариф$1.08за ГБ по шкале резидентских прокси
Расчётная стоимость$179.91неиспользованный трафик не сгорает

Шкала тарифов на резидентские прокси одинакова во всех странах. При покупке месячного объёма одним платежом применяется указанный тариф; меньшие пополнения рассчитываются по соответствующему им тарифу. Полная шкала.

04 — Рекомендации

Какие ошибки возникают в сценарии «веб-скрейпинг» и как их избежать.

Пул редко становится причиной проблем. Эти четыре правила определяют долю успешных запросов и итоговую сумму.

Выбирайте выходной узел под нужный рынок

Собирайте данные немецкого магазина через домашние подключения из Германии: смешение локаций запускает проверки согласованности и искажает цены.

Сохраняйте сессии там, где сайт этого ожидает

Многостраничные сценарии (поиск, затем страницы результатов) лучше работают несколько минут через один выходной узел с закреплённой сессией, чем с новым IP-адресом на каждом шаге.

Убирайте лишний трафик

Блокируйте изображения, шрифты и трекеры в браузерах без графического интерфейса: вы платите за ГБ, а HTML составляет лишь малую часть страницы.

Уважайте целевой ресурс

Ограничивайте частоту запросов для каждого домена, соблюдайте robots.txt там, где он применим, и не собирайте персональные данные без законных оснований для их хранения.

05 — Вопросы

Частые вопросы об услуге

Какие прокси выбрать для скрейпинга: резидентские или серверные?

Начните с серверных прокси, если целевой ресурс не запускает проверки: это самый дешёвый вариант в пересчёте на запрос. Как только появятся CAPTCHA, ответы 403 или урезанный контент, переведите эту цель на резидентские прокси; оплата за ГБ обеспечивает более высокую долю успешных запросов.

Сколько трафика расходует скрейпинг?

Один только HTML обычно занимает от 100 до 500 КБ на страницу. Полмиллиона страниц по 350 КБ — это около 170 ГБ, которые стоят примерно $183.40 по шкале цен на резидентские прокси. Браузеры без графического интерфейса, загружающие изображения, могут увеличить расход в пять раз, поэтому блокируйте их.

Разрешаете ли вы скрейпинг?

Сбор общедоступных данных разрешён. Атаки на сайты, обход аутентификации и сбор персональных данных без законных оснований запрещены; правила допустимого использования применяются в обязательном порядке.

Можно ли включать ротацию для каждого запроса и при необходимости сохранять сессию?

Да, в одной и той же учётной записи. Не указывайте параметры сессии для ротации; добавляйте -sid- и -ttl- в запросы, которые должны использовать общий IP-адрес.

Какой доли успешных запросов ожидать?

Она гораздо сильнее зависит от целевого ресурса, чем от пула. Корректно настроенные краулеры на резидентских выходных узлах обычно успешно выполняют подавляющее большинство запросов; остальные повторяются с новым IP-адресом без дополнительных затрат, кроме переданных байтов.

Ваш аккаунт

Управляйте прокси в одном кабинете

Сравнивайте сети, оформляйте заказы и проверяйте баланс и обращения в одном кабинете. Платежи проверяются вручную, а данные для подключения появляются после выдачи.

Создать аккаунт