Webscraping · Residentieel aanbevolen
Een crawler van één adres is triviaal om te spotten: honderden verzoeken per minuut van een hosting bereik, geen browser geschiedenis, dezelfde vingerafdruk op elke hit. Doelen antwoord met tarieflimieten, CAPTCHA's, lege pagina's of stille verbods. Een residentiële zwembad verandert die stroom in duizenden gewone bezoekers uit de landen die u nodig hebt, dus de gegevens die u verzamelt is de gegevens die een echte gebruiker zou zien.
01 — Welk netwerk
Een aanbeveling is alleen nuttig met zijn trade-offs. De kaarten hieronder zeggen wat elk netwerk doet goed voor web scraping, en waar het stopt met het waard zijn van het geld.
Rotatie op elk verzoek in echte huishoudens verslaat de tarieflimieten en botscores. Stad en ASN targeting reproduceren wat lokale gebruikers zien. Per GB, ongebruikt verkeer blijft beschikbaar tot gebruikt.
Goedkoopste per aanvraag voor doelen die geen vingerafdruk hosting bereik: openbare API's, sitemaps, uw eigen eigenschappen, catalogi met lage bescherming.
Alleen wanneer de kruip een login nodig heeft die op één adres moet blijven; anders betaal je voor stabiliteit die je niet gebruikt.
Overkill voor de meeste collectie, maar de terugval voor doelen die al het andere blokkeren.
02 — Het recept
De instellingen die van belang zijn voor het web schrapen, en een werkvoorbeeld aan de rechterkant. Vervang de GEBRUIKER en PASS met de referenties afgegeven bij aanmelden.
import requests
proxy = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"
session = requests.Session()
session.proxies = {"http": proxy, "https": proxy}
for url in urls:
r = session.get(url, timeout=30) # a new US household on every request
if r.status_code in (403, 429):
r = session.get(url, timeout=30) # retry once: different exit already
parse(r.text)03 — Begroting
Per-GB prijzen is voorspelbaar zodra u uw pagina grootte kent. Voer uw maandelijkse volume in; de gemiddelde grootte is voorgevuld met een realistisch cijfer voor deze functie en kan worden gewijzigd.
gemiddelde paginagrootte (alleen HTML)
Residentiële tariefladder, identiek in elk land. Kopen van het maandverkeer in één aankoop bereikt het getoonde niveau; kleinere top-ups worden geprijsd op hun eigen niveau. Volledige ladder.
04 — Beste praktijken
Het zwembad is zelden het probleem. Deze vier gewoonten bepalen het succespercentage en de rekening.
Schrap de Duitse winkel van Duitse huishoudens; gemengde locaties leiden tot consistentie controles en scheeftrekking prijzen.
Multi-page flows (zoek, dan resultaat pagina's) werken beter op een plakkerige uitgang voor een paar minuten dan op een nieuwe IP per hop.
Blokkeer afbeeldingen, lettertypen en trackers in hoofdloze browsers: u betaalt per GB, en HTML is een klein deel van een pagina.
Prijs-limit per domein, eer robots.txt waar het van toepassing is, en verzamel nooit persoonlijke gegevens die u niet hoeft te bewaren.
05 — Vragen
Begin met datacenter als de target u niet uitdagen: het is de goedkoopste per aanvraag. Het moment dat u CAPTCHA's, 403s of gedegradeerde inhoud ziet, verplaatsen dat doel naar residentiële; de per-GB prijs koopt het succespercentage.
Alleen al HTML is meestal 100 tot 500 KB per pagina. Een half miljoen pagina's bij 350 KB is ongeveer 170 GB, wat ongeveer $183,40 kost op de woonladder. Hoofdloze browsers die afbeeldingen laden kunnen vermenigvuldigen met vijf; blokkeer ze.
Het verzamelen van publiek beschikbare gegevens is toegestaan. Aanvallen van een site, het omzeilen van authenticatie, of het oogsten van persoonsgegevens zonder rechtsgrondslag is niet toegestaan, en het aanvaardbare gebruiksbeleid wordt gehandhaafd.
Ja, op dezelfde rekening. Geef de sessieparameters voor rotatie; voeg -sid- en -ttl- toe aan de verzoeken die een IP moeten delen.
Het hangt veel meer af van het doel dan van het zwembad. Goed gedragen kruipers op residentiële uitgangen zien meestal de overgrote meerderheid van de aanvragen slagen; de rest wordt op een vers IP-adres tegen geen extra kosten buiten de bytes.
Uw rekening
Vergelijk netwerken, plaats bestellingen en volg uw saldo en ondersteuningsverzoeken vanaf één dashboard. Ons team beoordeelt betalingen en verstrekt verbindingsgegevens na levering.
Account aanmaken