Web scraping · Preporučeno za rezidencijalne korisnike
Crawler s jedne adrese je trivijalan za uočiti: stotine zahtjeva u minuti iz hosting raspona, bez povijesti preglednika, isti otisak prsta na svakom hit-u.Targets odgovaraju s ograničenjima brzine, CAPTCHA-ma, praznim stranicama ili tihim zabranama.Rezidencijski bazen pretvara taj tok u tisuće običnih posjetitelja iz zemalja koje vam trebaju, tako da su podaci koje prikupljate podaci koje bi pravi korisnik vidio.
01 — Koja mreža
Preporuka je korisna samo s njezinim kompromisima.Kartice u nastavku govore što svaka mreža dobro radi za web scraping, a gdje prestaje biti vrijedna novca.
Rotacija na svakom zahtjevu u realnim kućanstvima nadvladava ograničenja brzine i bot ocjene. City i ASN ciljanje reproduciraju ono što lokalni korisnici vide.
Najjeftinije po zahtjevu za ciljeve koji ne bilježe raspone hostinga: javne API-je, mape web stranica, vlastite imovine, kataloge s niskom zaštitom.
Samo kada puzanje treba prijavu koja mora ostati na jednoj adresi; inače plaćate za stabilnost koju ne koristite.
Prekomjerno za većinu zbirke, ali rezervno za ciljeve koji blokiraju sve ostalo.
02 — Recept
Postavke koje su bitne za web scraping, i primjer rada na desnoj strani.Zamijenite USER i PASS s vjerodajnicama izdanim prilikom prijave.
import requests
proxy = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"
session = requests.Session()
session.proxies = {"http": proxy, "https": proxy}
for url in urls:
r = session.get(url, timeout=30) # a new US household on every request
if r.status_code in (403, 429):
r = session.get(url, timeout=30) # retry once: different exit already
parse(r.text)03 — Proračun
Cjenovna politika po GB-u predvidljiva je kada znate veličinu stranice. Unesite mjesečni opseg; prosječna veličina unaprijed je popunjena realističnom brojkom za taj posao i može se promijeniti.
Prosječna veličina stranice (samo HTML)
Kupnjom mjesečnog prometa u jednoj kupnji dostiže se prikazana razina; manja nadopunjavanja cijene se prema vlastitoj razini, a kupnja više mjesečnih nadopuna cijena je po svojoj razini. Pune ljestve.
04 — Najbolje prakse
Bazen je rijetko problem, a ove četiri navike odlučuju o uspješnosti i računu.
Odrežite njemačku trgovinu od njemačkih kućanstava; miješane lokacije pokreću provjere dosljednosti i izobličene cijene.
Tokovi s više stranica (pretraživanje, zatim stranice rezultata) bolje funkcioniraju na jednom ljepljivom izlasku nekoliko minuta nego na novom IP-u po skoku.
Blokirajte slike, fontove i trackere u preglednicima bez glave: plaćate po GB-u, a HTML je mali dio stranice.
Ograničite cijenu po domeni, poštujte robots.txt gdje je primjenjivo i nikada ne prikupljajte osobne podatke za koje nemate osnove za zadržavanje.
05 — Pitanja
Počnite s datacentrom ako vas cilj ne izaziva: to je najjeftiniji po zahtjevu.U trenutku kada vidite CAPTCHA, 403 ili degradirani sadržaj, premjestite taj cilj na rezidencijalni; cijena po GB kupuje stopu uspjeha.
Samo HTML obično ima 100 do 500 KB po stranici, a pola milijuna stranica od 350 KB je oko 170 GB, što košta oko $183.40 na kućnoj ljestvici. Headless preglednici koji učitavaju slike mogu to pomnožiti s pet; blokiraju ih.
Prikupljanje javno dostupnih podataka je dopušteno, ali napadanje stranice, zaobilaženje provjere autentičnosti ili prikupljanje osobnih podataka bez pravne osnove nije dopušteno i primjenjuju se pravila prihvatljive uporabe.
Da, na istom računu.Izbjegavajte parametre sesije za rotaciju; dodajte -sid- i -ttl- na zahtjevima koji moraju dijeliti IP.
Ovisi o cilju mnogo više nego o bazenu.Dobro ponašanje crawlera na rezidencijalnim izlazima obično vidi veliku većinu zahtjeva uspješno; ostatak se ponovno pokušava na novom IP-u bez dodatnih troškova osim bajtova.
Vaš račun
Usporedite mreže, pošaljite narudžbe i pratite svoje stanje i zahtjeve za podršku s jedne nadzorne ploče.Naš tim pregledava plaćanja i pruža detalje o povezivanju nakon isporuke.
Izradi račun