Webskraping · Bolig anbefalt
En søkerobot fra én adresse er trivielt å oppdage: hundrevis av forespørsler per minutt fra en hosting rekkevidde, ingen nettleserhistorikk, samme fingeravtrykk på hvert treff.Targets svar med hastighetsgrenser, CAPTCHAer, tomme sider eller stille banning.En boligpool gjør denne strømmen til tusenvis av vanlige besøkende fra landene du trenger, så dataene du samler inn er de dataene en ekte bruker ville se.
01 — Hvilket nettverk
Kortene nedenfor forteller hva hvert nettverk gjør bra for web scraping, og hvor det slutter å være verdt pengene.Dette er en liste over de beste nettverkene som tilbyr web skraping.
Rotasjon på hver forespørsel over ekte husholdninger slår hastighetsgrenser og bot-poengsummer. By- og ASN-målretting gjengir det lokale brukerne ser, og per GB er ubrukt trafikk tilgjengelig til den blir brukt opp.
Billigste per forespørsel for mål som ikke fingeravtrykk hosting spenner: offentlige API-er, nettstedskart, dine egne egenskaper, lav beskyttelse kataloger.
Bare når crawl trenger en innlogging som må bo på én adresse; ellers betaler du for stabilitet du ikke bruker.
Overkill for de fleste samling, men fallback for mål som blokkerer alt annet.
02 — Oppskriften
Innstillingene som er viktige for web scraping, og et fungerende eksempel til høyre.Erstatt USER og PASS med legitimasjonene utstedt ved registrering.
import requests
proxy = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"
session = requests.Session()
session.proxies = {"http": proxy, "https": proxy}
for url in urls:
r = session.get(url, timeout=30) # a new US household on every request
if r.status_code in (403, 429):
r = session.get(url, timeout=30) # retry once: different exit already
parse(r.text)Budsjett
Prisene per GB er forutsigbare når du vet sidestørrelsen. Skriv inn månedlig volum. Gjennomsnittsstørrelse er fylt ut med et realistisk tall for denne jobben, og kan endres.
Gjennomsnittlig sidestørrelse (kun HTML)
Prisstigning for privatpersoner, identisk i alle land.Kjøper du månedens trafikk med ett kjøp når du det viste nivået. Mindre påfyll prises på sitt eget nivå. Full stige.
04 — Beste praksis
Disse fire vanene avgjør hvor mye du lykkes med å fjerne bakterier fra IP-poolen og hvor mye regningen blir.
Skrap den tyske butikken fra tyske husholdninger; blandede lokasjoner utløser konsistenskontroller og skjeve priser.
Flersideflyter (søk, deretter resultatsider) fungerer bedre på en klebrig utgang i noen minutter enn på en ny IP per hopp.
Blokkere bilder, fonter og sporere i headless nettlesere: du betaler per GB, og HTML er en liten brøkdel av en side.
Begrense prisen per domene, overhold robots.txt der det er aktuelt, og samle aldri inn personopplysninger som du ikke har grunnlag for å beholde.
Spørsmål
Start med datasenteret hvis målet ikke utfordrer deg: Det er billigst per forespørsel. Når du ser CAPTCHA, 403 eller nedgradert innhold, flytter du det målet til boligområdet. Prisen per GB kjøper suksessraten.
HTML alene er vanligvis 100 til 500 KB per side. En halv million sider på 350 KB er omtrent 170 GB, som koster rundt $ 183,40 på boligstigen. headless nettlesere som laster bilder kan multiplisere det med fem; blokkere dem.
Innsamling av offentlig tilgjengelige data er tillatt, men angrep på et nettsted, omgåelse av autentisering eller innhenting av personlige data uten juridisk grunnlag er ikke tillatt, og retningslinjene for akseptabel bruk håndheves.
Ja, på samme konto. Utelat øktparametrene for rotasjon; legg til - sid- og - ttl- på forespørsler som må dele en IP.
Det avhenger mye mer av målet enn av utvalget. Godt oppførte søkeroboter på boligutganger vil vanligvis se det store flertallet av forespørsler som er vellykkede. Resten blir prøvd på nytt på en ny IP uten ekstra kostnad utover bytene.
Din konto og passord
Sammenlign nettverk, legg inn bestillinger og følg saldoen din og forespørsler om støtte fra ett dashbord.Vårt team gjennomgår betalinger og gir tilkoblingsdetaljer etter levering.
Opprett konto