Web scraping · Consigliato per uso residenziale
Un crawler proveniente da un indirizzo è facile da individuare: centinaia di richieste al minuto da un intervallo di hosting, nessuna cronologia del browser, la stessa impronta digitale su ogni colpo. I target rispondono con limiti di velocità, CAPTCHA, pagine vuote o ban silenziosi. Un pool residenziale trasforma quel flusso in migliaia di visitatori ordinari provenienti dai paesi di cui hai bisogno, quindi i dati che raccogli sono quelli che vedrebbe un utente reale.
01 — Quale rete
Una raccomandazione è utile solo con i suoi compromessi. Le carte sottostanti dicono cosa fa bene ogni rete per il web scraping e dove smette di valere i soldi.
La rotazione su ogni richiesta tra le famiglie reali supera i limiti di tariffa e i punteggi dei bot. Il targeting per città e ASN riproduce ciò che vedono gli utenti locali. Per GB, il traffico non utilizzato rimane disponibile finché non viene utilizzato.
Più economico per richiesta per target che non identificano gli intervalli di hosting: API pubbliche, mappe dei siti, proprietà tue, cataloghi a bassa protezione.
Solo quando la scansione necessita di un login che deve rimanere su un indirizzo; altrimenti paghi per la stabilità che non usi.
Eccessivo per la maggior parte delle raccolte, ma fallback per obiettivi che bloccano tutto il resto.
02 — La ricetta
Le impostazioni importanti per il web scraping e un esempio funzionante a destra. Sostituisci USER e PASS con le credenziali rilasciate al momento della registrazione.
import requests
proxy = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"
session = requests.Session()
session.proxies = {"http": proxy, "https": proxy}
for url in urls:
r = session.get(url, timeout=30) # a new US household on every request
if r.status_code in (403, 429):
r = session.get(url, timeout=30) # retry once: different exit already
parse(r.text)03 — Bilancio
Il prezzo per GB è prevedibile una volta che conosci le dimensioni della pagina. Inserisci il tuo volume mensile; la dimensione media è precompilata con una figura realistica per questo lavoro e può essere modificata.
dimensione media della pagina (solo HTML)
Scala tariffaria residenziale, identica in ogni Paese. Acquistando il traffico del mese in un unico acquisto si raggiunge il livello indicato; le ricariche più piccole hanno un prezzo corrispondente al proprio livello. Scala completa.
04 — Migliori pratiche
La piscina raramente è il problema. Queste quattro abitudini determinano la percentuale di successo e il conto.
Raschiare il negozio tedesco dalle famiglie tedesche; le ubicazioni miste attivano controlli di coerenza e distorcono i prezzi.
I flussi multipagina (ricerca, quindi pagine dei risultati) funzionano meglio su un'uscita permanente per alcuni minuti che su un nuovo IP per hop.
Blocca immagini, caratteri e tracker nei browser headless: paghi per GB e l'HTML è una piccola frazione di una pagina.
Limita la velocità per dominio, rispetta il file robots.txt laddove applicabile e non raccogliere mai dati personali che non hai alcuna base per conservare.
05 — Domande
Inizia dal datacenter se il target non ti sfida: è il più economico per richiesta. Nel momento in cui vedi CAPTCHA, 403 o contenuti degradati, sposta il target su residenziale; il prezzo per GB acquista la percentuale di successo.
Il solo HTML è solitamente compreso tra 100 e 500 KB per pagina. Mezzo milione di pagine a 350 KB equivalgono a circa 170 GB, che costano circa $ 183,40 su scala residenziale. I browser headless che caricano immagini possono moltiplicarlo per cinque; bloccarli.
È consentita la raccolta di dati disponibili al pubblico. Attaccare un sito, aggirare l'autenticazione o raccogliere dati personali senza una base legale non lo è e viene applicata la politica di utilizzo accettabile.
Sì, per lo stesso conto. Omettere i parametri della sessione per la rotazione; aggiungi -sid- e -ttl- sulle richieste che devono condividere un IP.
Dipende dal target molto più che dal pool. I crawler ben educati sulle uscite residenziali in genere vedono la stragrande maggioranza delle richieste avere successo; il resto viene ritentato su un nuovo IP senza costi aggiuntivi oltre ai byte.
Il tuo conto
Confronta reti, effettua ordini e segui il tuo saldo e le richieste di supporto da un'unica dashboard. Il nostro team esamina i pagamenti e fornisce i dettagli di connessione dopo la consegna.
Crea un account