Web scraping · Résidentiel recommandé
Un robot d'exploration à partir d'une seule adresse est trivial à repérer : des centaines de requêtes par minute provenant d'une gamme d'hébergement, pas d'historique de navigateur, la même empreinte digitale à chaque appel. Les cibles répondent avec des limites de débit, des CAPTCHA, des pages vides ou des bans silencieux. Un pool résidentiel transforme ce flux en milliers de visiteurs ordinaires en provenance des pays dont vous avez besoin, de sorte que les données que vous collectez sont celles qu'un véritable utilisateur verrait.
01 — Quel réseau
Une recommandation n’est utile qu’avec ses compromis. Les cartes ci-dessous indiquent ce que chaque réseau fait bien en matière de web scraping et où il ne vaut plus la peine.
La rotation à chaque demande dans de vrais foyers dépasse les limites de débit et les scores des robots. Le ciblage par ville et ASN reproduit ce que voient les utilisateurs locaux. Par Go, le trafic inutilisé reste disponible jusqu'à son utilisation.
Le moins cher par requête pour les cibles qui ne prennent pas en compte les plages d'hébergement : API publiques, plans de site, vos propres propriétés, catalogues à faible protection.
Uniquement lorsque le crawl nécessite un identifiant qui doit rester sur une seule adresse ; sinon vous payez pour une stabilité que vous n'utilisez pas.
Exagération pour la plupart des collections, mais solution de repli pour les cibles qui bloquent tout le reste.
02 — La recette
Les paramètres importants pour le web scraping et un exemple fonctionnel à droite. Remplacez USER et PASS par les informations d'identification émises lors de l'inscription.
import requests
proxy = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"
session = requests.Session()
session.proxies = {"http": proxy, "https": proxy}
for url in urls:
r = session.get(url, timeout=30) # a new US household on every request
if r.status_code in (403, 429):
r = session.get(url, timeout=30) # retry once: different exit already
parse(r.text)03 — Budget
Le prix par Go est prévisible une fois que vous connaissez la taille de votre page. Entrez votre volume mensuel ; la taille moyenne est pré-remplie avec un chiffre réaliste pour ce travail et peut être modifiée.
taille moyenne des pages (HTML uniquement)
Échelle des tarifs résidentiels, identique dans tous les pays. L'achat du trafic du mois en un seul achat atteint le niveau indiqué ; les recharges plus petites sont tarifées à leur propre niveau. Échelle complète.
04 — Bonnes pratiques
La piscine est rarement le problème. Ces quatre habitudes décident du taux de réussite et de la facture.
Grattez le magasin allemand des ménages allemands ; des emplacements mixtes déclenchent des contrôles de cohérence et faussent les prix.
Les flux multipages (recherche, puis pages de résultats) fonctionnent mieux sur une sortie persistante pendant quelques minutes que sur une nouvelle IP par saut.
Bloquez les images, les polices et les trackers dans les navigateurs sans tête : vous payez par Go et le HTML ne représente qu'une petite fraction d'une page.
Limitez le débit par domaine, respectez le fichier robots.txt là où il s'applique et ne collectez jamais de données personnelles que vous n'avez aucune raison de détenir.
05 —Questions
Commencez par datacenter si la cible ne vous interpelle pas : c’est le moins cher par requête. Dès que vous voyez des CAPTCHA, des 403 ou du contenu dégradé, déplacez cette cible vers le résidentiel ; le prix par Go achète le taux de réussite.
Le HTML seul représente généralement entre 100 et 500 Ko par page. Un demi-million de pages de 350 Ko équivaut à environ 170 Go, ce qui coûte environ 183,40 $ sur l'échelle résidentielle. Les navigateurs sans tête qui chargent des images peuvent multiplier ce chiffre par cinq ; bloquez-les.
La collecte de données accessibles au public est autorisée. Attaquer un site, contourner l'authentification ou collecter des données personnelles sans base légale ne l'est pas, et la politique d'utilisation acceptable est appliquée.
Oui, sur le même compte. Omettez les paramètres de session pour la rotation ; ajoutez -sid- et -ttl- sur les requêtes qui doivent partager une IP.
Cela dépend bien plus de la cible que du pool. Les robots bien élevés à la sortie des résidences voient généralement la grande majorité des demandes aboutir ; le reste est réessayé sur une nouvelle adresse IP sans frais supplémentaires au-delà des octets.
Votre compte
Comparez les réseaux, passez des commandes et suivez votre solde et vos demandes d'assistance à partir d'un seul tableau de bord. Notre équipe examine les paiements et fournit les détails de connexion après la livraison.
Créer un compte