· Residential zalecane
Robot indeksujący z jednego adresu jest łatwy do wykrycia: setki żądań na minutę z zakresu hostingu, brak historii przeglądarki, ten sam odcisk palca przy każdym trafieniu. Cele odpowiadają limitami szybkości, kodami CAPTCHA, pustymi stronami lub cichymi zakazami. Pula mieszkaniowa zamienia ten strumień w tysiące zwykłych gości z wybranych krajów, więc zbierane dane są danymi, które widziałby prawdziwy użytkownik.
01 - Która sieć
Rekomendacja jest użyteczna tylko wtedy, gdy zawiera kompromisy. Poniższe karty mówią, co każda sieć radzi sobie dobrze ze skrobaniem sieci i gdzie przestaje być warta swojej ceny.
Rotacja przy każdym żądaniu w prawdziwych gospodarstwach domowych pokonuje limity szybkości i wyniki botów. Kierowanie na miasta i ASN odtwarza to, co widzą lokalni użytkownicy. Na każdy GB niewykorzystany ruch pozostaje dostępny do momentu wykorzystania.
Najtańsze na żądanie dla celów, które nie pobierają odcisków palców zakresów hostingu: publiczne interfejsy API, mapy witryn, własne właściwości, katalogi o niskim stopniu ochrony.
Tylko wtedy, gdy indeksowanie wymaga logowania, które musi pozostać pod jednym adresem; w przeciwnym razie płacisz za stabilność, z której nie korzystasz.
Przesada w przypadku większości kolekcji, ale alternatywa dla celów, które blokują wszystko inne.
02 - Przepis
Ustawienia istotne przy przeglądaniu stron internetowych i działający przykład po prawej stronie. Zastąp USER i PASS danymi uwierzytelniającymi wydanymi podczas rejestracji.
import requests
proxy = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"
session = requests.Session()
session.proxies = {"http": proxy, "https": proxy}
for url in urls:
r = session.get(url, timeout=30) # a new US household on every request
if r.status_code in (403, 429):
r = session.get(url, timeout=30) # retry once: different exit already
parse(r.text)03 - Budżet
Ceny za GB są przewidywalne, gdy znasz rozmiar strony. Wpisz swój miesięczny wolumen; średni rozmiar jest wstępnie wypełniony realistyczną wartością dla tego zadania i można go zmienić.
przeciętny rozmiar strony (tylko HTML)
Drabina stawek mieszkaniowych, identyczna w każdym kraju. Zakup miesięcznego ruchu w ramach jednego zakupu osiąga pokazany poziom; mniejsze doładowania są wyceniane na ich własnym poziomie. Pełna drabina.
04 - Najlepsze praktyki
Basen rzadko stanowi problem. Te cztery nawyki decydują o wskaźniku sukcesu i rachunku.
Zdrap niemiecki sklep z niemieckich gospodarstw domowych; lokalizacje mieszane powodują kontrolę spójności i zniekształcanie cen.
Przepływy wielostronicowe (strony wyszukiwania, a następnie strony wyników) działają lepiej w przypadku jednego stałego wyjścia przez kilka minut niż w przypadku nowego adresu IP na przeskok.
Blokuj obrazy, czcionki i moduły śledzące w przeglądarkach bezgłowych: płacisz za GB, a HTML to niewielki ułamek strony.
Limit stawek na domenę, honoruj plik robots.txt tam, gdzie ma to zastosowanie i nigdy nie zbieraj danych osobowych, do których posiadania nie masz podstaw.
05 - Pytania
Zacznij od centrum danych, jeśli cel nie stanowi dla Ciebie wyzwania: jest najtańszy na żądanie. W momencie, gdy zobaczysz komunikaty CAPTCHA, kody 403 lub treści o obniżonej jakości, przenieś cel do lokalizacji mieszkalnych; cena za GB kupuje wskaźnik sukcesu.
Sam HTML ma zwykle od 100 do 500 KB na stronę. Pół miliona stron przy 350 KB to około 170 GB, co kosztuje około 183,40 dolarów w wersji domowej. Bezgłowe przeglądarki ładujące obrazy mogą pomnożyć tę liczbę przez pięć; zablokuj je.
Dopuszczalne jest zbieranie danych publicznie dostępnych. Atakowanie witryny, omijanie uwierzytelniania lub zbieranie danych osobowych bez podstawy prawnej nie jest zabronione, a zasady dopuszczalnego użytkowania są egzekwowane.
Tak, na tym samym koncie. Pomiń parametry sesji przy rotacji; dodaj -sid- i -ttl- do żądań, które muszą mieć wspólny adres IP.
Dużo bardziej zależy to od celu niż od puli. Dobrze zachowujące się roboty znajdujące się przy wyjściach mieszkalnych zazwyczaj stwierdzają, że zdecydowana większość żądań kończy się sukcesem; reszta jest ponawiana na nowym adresie IP bez dodatkowych kosztów poza bajtami.
Twoje konto
Porównuj sieci, składaj zamówienia i śledź saldo oraz prośby o wsparcie z jednego pulpitu nawigacyjnego. Nasz zespół sprawdza płatności i podaje szczegóły połączenia po dostawie.
Utwórz konto