Razuire web · Recomandari rezidentiale
Un crawler de la o adresă este trivial la fața locului: sute de cereri pe minut de la o gamă de găzduire, nu istoricul browser-ului, aceeași amprentă pe fiecare hit. Ţintele răspund cu limite de rată, CAPTCHAs, pagini goale sau interdicții silențioase. Un bazin rezidențial transformă fluxul în mii de vizitatori obișnuiți din țările de care aveți nevoie, astfel încât datele pe care le colectați sunt datele pe care le-ar vedea un utilizator real.
01 bază de date
O recomandare este utilă doar cu compromisurile sale. Cardurile de mai jos spun ce face fiecare rețea bine pentru răzuirea web, și în cazul în care acesta nu mai este în valoare de bani.
Rotire la fiecare cerere în gospodăriile reale învinge limitele ratei și scoruri bot. Orașul și ASN vizează reproduce ceea ce utilizatorii locali văd. Per GB, traficul neutilizat rămâne disponibil până la utilizare.
Cele mai ieftine pentru fiecare cerere de obiective care nu amprentă game de găzduire: API publice, sitemaps, proprietăţile dumneavoastră, cataloage cu protecţie scăzută.
Doar atunci când crawlerul are nevoie de un login care trebuie să rămână pe o adresă; altfel plătiți pentru stabilitate nu utilizați.
Overkill pentru cele mai multe colectare, dar retragerea pentru ținte care blochează orice altceva.
02
Setările care contează pentru răzuirea web, și un exemplu de lucru pe dreapta. Înlocuiți UTILIZATOR și PASS cu acreditările emise la înscriere.
import requests
proxy = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"
session = requests.Session()
session.proxies = {"http": proxy, "https": proxy}
for url in urls:
r = session.get(url, timeout=30) # a new US household on every request
if r.status_code in (403, 429):
r = session.get(url, timeout=30) # retry once: different exit already
parse(r.text)03 - Bugetul
Preţul per-GB este previzibil odată ce ştii mărimea paginii tale. Introduceţi volumul lunar; dimensiunea medie este preumplută cu o cifră realistă pentru acest loc de muncă şi poate fi schimbat.
dimensiunea medie a paginii (numai HTML)
Scara ratei rezidenţiale, identică în fiecare ţară. Cumpărarea traficului lunar într-o singură achiziţie ajunge la nivelul indicat; primele mai mici sunt la preţul lor propriu. Scară completă.
04 - Cele mai bune practici
Aceste patru obiceiuri decid rata de succes şi proiectul de lege.
Scrape magazinul german de gospodării germane; locații mixte declanșa controale de consistență și prețurile de skew.
Fluxuri de mai multe pagini (căutare, apoi pagini rezultate) funcționează mai bine pe o ieșire lipicioasă pentru câteva minute decât pe un nou IP pe hop.
Blochează imagini, fonturi și trackere în browsere fără cap: plătești per GB, iar HTML este o mică parte dintr-o pagină.
Rata-limita pe domeniu, onoare roboți.txt în cazul în care se aplică, și nu colecta date cu caracter personal nu aveți nici o bază de a deține.
05 - Întrebări
Începeţi cu datacenter dacă ţinta nu vă provoacă: este cel mai ieftin pe cerere. În momentul în care vedeţi CAPTCHA, 403 sau conţinut degradat, mutaţi această ţintă la rezidenţială; preţul per-GB cumpără rata de succes.
Numai HTML este de obicei 100 până la 500 KB pe pagină. Jumătate de milion de pagini la 350 KB este de aproximativ 170 GB, care costă aproximativ 183,40 dolari pe scara rezidențială. Navigatoare fără cap care încarcă imagini se poate multiplica cu cinci; blocați-le.
Este permisă colectarea de date disponibile publicului. Atacarea unui site, ocolirea autentificării sau recoltarea datelor cu caracter personal fără temei juridic nu este permisă, iar politica de utilizare acceptabilă este aplicată.
Da, în același cont. Omiteți parametrii sesiunii pentru rotație; adăugați -sid- și -ttl- la cererile care trebuie să partajeze un IP.
Depinde de ţintă mult mai mult decât de piscină. Crawlers bine-au comportat pe ieşiri rezidenţiale de obicei vedea marea majoritate a cererilor reuşesc; restul este rejudecat pe un nou IP la nici un cost suplimentar dincolo de octeţi.
Contul dumneavoastră
Comparați rețelele, plasați comenzile și urmați cererile de echilibru și suport de la un tablou de bord. Echipa noastră evaluează plățile și oferă detalii de conexiune după livrare.
Creează cont