Webbskrapning · Bostadsområden rekommenderas
En sökrobot från en adress är trivial att upptäcka: hundratals förfrågningar per minut från ett värdområde, ingen webbläsarhistorik, samma fingeravtryck på varje träff. Targets svarar med hastighetsgränser, CAPTCHA, tomma sidor eller tysta avstängningar.En bostadspool omvandlar den strömmen till tusentals vanliga besökare från de länder du behöver, så data som du samlar in är den data som en riktig användare skulle se.
01 — Vilket nätverk
En rekommendation är bara användbar med sina avvägningar.Korten nedan berättar vad varje nätverk gör bra för webbskrapning, och när det slutar vara värt pengarna.
Rotation på varje begäran över verkliga hushåll bryter mot hastighetsgränser och botpoäng. Stads- och ASN-inriktning återger vad lokala användare ser, per GB finns oanvänd trafik tillgänglig tills den används.
Billigast per begäran för mål som inte fingeravtryck värdområden: offentliga API, webbplatskartor, dina egna egenskaper, låg-skydd kataloger.
Endast när crawlen behöver en inloggning som måste stanna på en adress, annars betalar du för stabilitet du inte använder.
Overkill för de flesta insamling, men fallback för mål som blockerar allt annat.
02 — Receptet
Inställningarna som är viktiga för webbskrapande, och ett fungerande exempel till höger.Ersätt USER och PASS med de referenser som utfärdas vid registrering.
import requests
proxy = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"
session = requests.Session()
session.proxies = {"http": proxy, "https": proxy}
for url in urls:
r = session.get(url, timeout=30) # a new US household on every request
if r.status_code in (403, 429):
r = session.get(url, timeout=30) # retry once: different exit already
parse(r.text)03 — Budget
Prissättning per GB är förutsägbar när du vet sidstorleken. Ange din månatliga volym. Den genomsnittliga storleken är ifylld med en realistisk siffra för jobbet och kan ändras.
genomsnittlig sidstorlek (endast HTML)
Prisstegen för bostadskunder är identiska i alla länder. Köp av månadens trafik i ett köp når den angivna nivån. Mindre påfyllningar prissätts enligt sin egen nivå. Full stege med lås.
04 — Bästa praxis
Poolen är sällan problemet, dessa fyra vanor avgör framgångsgraden och räkningen.
Skrapa den tyska butiken från tyska hushåll; blandade platser utlöser konsekvenskontroller och snedvridna priser.
Flersidiga flöden (sök, sedan resultatsidor) fungerar bättre på en sticky exit under några minuter än på en ny IP per hopp.
Blockera bilder, typsnitt och trackers i headless webbläsare: du betalar per GB, och HTML är en liten del av en sida.
Begränsa sökningen per domän, följ robots.txt där det är tillämpligt och samla aldrig in personuppgifter som du inte har någon grund för att behålla.
05 — Frågor
Börja med datacenter om målet inte utmanar dig: det är billigast per begäran. När du ser CAPTCHA, 403 eller nedgraderat innehåll flyttar du målet till bostadsområden. Priset per GB köper framgångsgraden.
HTML ensam är vanligtvis 100 till 500 KB per sida. En halv miljon sidor på 350 KB är cirka 170 GB, vilket kostar runt $183.40 på bostadsstegen. Headless webbläsare som laddar bilder kan multiplicera det med fem; blockera dem.
Insamling av offentligt tillgängliga data är tillåtet, men att attackera en webbplats, kringgå autentisering eller samla in personuppgifter utan rättslig grund är inte tillåtet och policyn för godtagbar användning följs.
Ja, på samma konto.Uteslut sessionsparametrarna för rotation; lägg till -sid- och -ttl- på begäranden som måste dela en IP.
Det beror på målet mycket mer än poolen. Väluppfostrade crawlers på bostadsutgångar ser vanligtvis den stora majoriteten av förfrågningar som lyckas; resten försöks igen på en ny IP utan extra kostnad utöver bytes.
Ditt konto -
Jämför nätverk, placera beställningar och följ ditt saldo och supportbegäranden från en enda kontrollpanel.Vårt team granskar betalningar och ger anslutningsuppgifter efter leverans.
Skapa konto