Web Scraping · Wohn empfohlen
Ein Crawler von einer Adresse aus ist leicht zu erkennen: Hunderte von Anfragen pro Minute von einem Hosting-Bereich, kein Browserverlauf, der gleiche Fingerabdruck bei jedem Treffer. Ziele antworten mit Ratenlimits, CAPTCHAs, leeren Seiten oder stillen Verboten. Ein privater Pool wandelt diesen Strom in Tausende von gewöhnlichen Besuchern aus den von Ihnen benötigten Ländern um, sodass die Daten, die Sie sammeln, die Daten sind, die ein echter Benutzer sehen würde.
01 — Welches Netz
Eine Empfehlung ist nur mit ihren Kompromissen sinnvoll. Die folgenden Karten zeigen, was jedes Netzwerk beim Web Scraping gut macht und wo es sein Geld nicht mehr wert ist.
Durch die Rotation bei jeder Anfrage in echten Haushalten werden Ratenbeschränkungen und Bot-Scores außer Kraft gesetzt. Stadt- und ASN-Targeting reproduzieren, was lokale Benutzer sehen. Pro GB bleibt ungenutzter Datenverkehr verfügbar, bis er verwendet wird.
Am günstigsten pro Anfrage für Ziele, die keine Fingerabdrücke von Hosting-Bereichen erstellen: öffentliche APIs, Sitemaps, Ihre eigenen Eigenschaften, Kataloge mit geringer Sicherheit.
Nur wenn für den Crawl ein Login erforderlich ist, das an einer Adresse bleiben muss; andernfalls zahlen Sie für die Stabilität, die Sie nicht nutzen.
Overkill für die meisten Sammlungen, aber der Ersatz für Ziele, die alles andere blockieren.
02 — Das Rezept
Die Einstellungen, die für Web Scraping wichtig sind, und rechts ein funktionierendes Beispiel. Ersetzen Sie USER und PASS durch die bei der Anmeldung ausgegebenen Anmeldeinformationen.
import requests
proxy = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"
session = requests.Session()
session.proxies = {"http": proxy, "https": proxy}
for url in urls:
r = session.get(url, timeout=30) # a new US household on every request
if r.status_code in (403, 429):
r = session.get(url, timeout=30) # retry once: different exit already
parse(r.text)03 — Haushaltsmittel
Die Preise pro GB sind vorhersehbar, sobald Sie Ihre Seitengröße kennen. Geben Sie Ihr monatliches Volumen ein; Die Durchschnittsgröße ist mit einem realistischen Wert für diesen Job vorgefüllt und kann geändert werden.
Durchschnittliche Seitengröße (nur HTML)
Tarifstaffel für Wohnimmobilien, in jedem Land identisch. Durch den Kauf des monatlichen Traffics in einem Kauf wird die angezeigte Stufe erreicht; Kleinere Aufladungen werden auf ihrer eigenen Stufe berechnet. Volle Leiter.
04 — Best Practices
Der Pool ist selten das Problem. Diese vier Gewohnheiten entscheiden über die Erfolgsquote und die Rechnung.
Den deutschen Laden aus deutschen Haushalten streichen; Gemischte Standorte lösen Konsistenzprüfungen und Preisverzerrungen aus.
Mehrseitige Abläufe (Suche, dann Ergebnisseiten) funktionieren bei einem Sticky-Exit für ein paar Minuten besser als bei einer neuen IP pro Hop.
Blockieren Sie Bilder, Schriftarten und Tracker in Headless-Browsern: Sie zahlen pro GB, und HTML macht einen kleinen Bruchteil einer Seite aus.
Begrenzen Sie die Rate pro Domain, respektieren Sie robots.txt, wo es gilt, und sammeln Sie niemals personenbezogene Daten, für deren Speicherung Sie keine Grundlage haben.
05 — Fragen
Beginnen Sie mit einem Rechenzentrum, wenn das Ziel Sie nicht überfordert: Es ist pro Anfrage am günstigsten. Sobald Sie CAPTCHAs, 403-Fehler oder fehlerhafte Inhalte sehen, verschieben Sie das Ziel auf „Wohngebiet“. Der Preis pro GB bestimmt die Erfolgsquote.
HTML allein beträgt normalerweise 100 bis 500 KB pro Seite. Eine halbe Million Seiten bei 350 KB entsprechen etwa 170 GB, was auf der privaten Leiter etwa 183,40 US-Dollar kostet. Headless-Browser, die Bilder laden, können diesen Wert verfünffachen; blockiere sie.
Das Sammeln öffentlich zugänglicher Daten ist erlaubt. Ein Angriff auf eine Website, das Umgehen der Authentifizierung oder das Sammeln personenbezogener Daten ohne Rechtsgrundlage ist nicht zulässig, und die Richtlinien zur akzeptablen Nutzung werden durchgesetzt.
Ja, auf demselben Konto. Lassen Sie die Sitzungsparameter für die Rotation weg; Fügen Sie -sid- und -ttl- zu den Anfragen hinzu, die eine IP teilen müssen.
Es kommt viel mehr auf das Ziel als auf den Pool an. Gut erzogene Crawler an Wohnausgängen sorgen in der Regel dafür, dass die überwiegende Mehrheit der Anfragen erfolgreich ist. Der Rest wird auf einer neuen IP ohne zusätzliche Kosten über die Bytes hinaus erneut versucht.
Dein Konto
Vergleichen Sie Netzwerke, geben Sie Bestellungen auf und verfolgen Sie Ihren Kontostand und Supportanfragen über ein Dashboard. Unser Team prüft die Zahlungen und stellt nach der Lieferung Verbindungsdetails bereit.
Konto erstellen