Webskraber · Privat anbefalet
En crawler fra en adresse er triviel at spotte: hundredvis af forespørgsler i minuttet fra et hostingområde, ingen browserhistorik, det samme fingeraftryk på hvert hit. Mål svarer med hastighedsgrænser, CAPTCHA'er, tomme sider eller stille forbud.En boligpool gør denne strøm til tusindvis af almindelige besøgende fra de lande, du har brug for, så de data, du indsamler, er de data, som en rigtig bruger ville se.
01 — Hvilket netværk
Kortene nedenfor fortæller, hvad hvert netværk gør godt til webskraber, og hvor det stopper med at være pengene værd.Dette er en liste over de bedste webskrabere i 2018.
Rotation på hver anmodning blandt rigtige husstande overvinder hastighedsgrænser og bot-scorer. By- og ASN-målretning gengiver, hvad lokale brugere ser, og pr. GB er ubrugt trafik tilgængelig, indtil den bruges.
Billigste pr. anmodning for mål, der ikke fingeraftryk hosting rækker: offentlige API'er, sitemaps, dine egne ejendomme, lav-beskyttelse kataloger.
Kun når crawlen har brug for et login, der skal blive på én adresse; ellers betaler du for stabilitet, som du ikke bruger.
Overkill for de fleste indsamling, men tilbagefald til mål, der blokerer alt andet.
02 — Opskriften
Indstillingerne, der er vigtige for web scraping, og et fungerende eksempel til højre.Erstat USER og PASS med de legitimationsoplysninger, der udstedes ved tilmeldingen.
import requests
proxy = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"
session = requests.Session()
session.proxies = {"http": proxy, "https": proxy}
for url in urls:
r = session.get(url, timeout=30) # a new US household on every request
if r.status_code in (403, 429):
r = session.get(url, timeout=30) # retry once: different exit already
parse(r.text)03 — Budget
Priser pr. GB er forudsigelige, når du kender din sidestørrelse Indtast dit månedlige volumen; den gennemsnitlige størrelse er udfyldt med et realistisk tal for dette job og kan ændres.
Gennemsnitlig sidestørrelse (kun HTML)
Prisniveau for privatkunder, identisk i alle lande. Køb af månedens trafik på ét køb når det viste niveau. Mindre top-ups prissættes på deres eget niveau. Fuld stige.
04 — Bedste praksis
Poolen er sjældent problemet, men disse fire vaner afgør succesraten og regningen.
Skrab den tyske butik fra tyske husholdninger; blandede placeringer udløser konsistenskontrol og skæve priser.
Flow på flere sider (søgning og derefter resultatsider) fungerer bedre med en sticky exit i et par minutter end med en ny IP pr. hop.
Bloker billeder, skrifttyper og trackere i browsere uden hoved: Du betaler pr. GB, og HTML er en lille brøkdel af en side.
Vi sætter en prisgrænse pr. domæne, overholder robots.txt hvor det er relevant og indsamler aldrig personlige data, som vi ikke har grundlag for at gemme.
05 — Spørgsmål
Start med datacenter, hvis målet ikke udfordrer dig: Det er billigst pr. anmodning. I det øjeblik du ser CAPTCHA'er, 403'ere eller nedgraderet indhold, skal du flytte dette mål til boligområder. Prisen pr. GB køber succesraten.
HTML alene er normalt 100 til 500 KB pr. side, en halv million sider på 350 KB er omkring 170 GB, hvilket koster omkring $183.40 på boligstigen. Headless browsere, der indlæser billeder kan gange det med fem; blokere dem.
Indsamling af offentligt tilgængelige data er tilladt, men angreb på et websted, omgåelse af godkendelse eller indsamling af personlige oplysninger uden juridisk grundlag er ikke tilladt.
Ja, på samme konto.Udelad sessionsparametrene for rotation; tilføj -sid- og -ttl- på anmodninger, der skal dele en IP.
Det afhænger langt mere af målet end af puljen. Godt opførte crawlere på boligområder ser typisk det store flertal af anmodningerne lykkes; resten genforsøges på en ny IP uden ekstra omkostninger ud over bytes.
Din konto er blevet oprettet
Sammenlign netværk, placer ordrer og følg din saldo og supportanmodninger fra ét dashboard Vores team gennemgår betalinger og giver forbindelsesoplysninger efter levering.
Opret konto