Pridobivanje spletnih podatkov · Stanovanjsko priporočeno
Crawler z enega naslova je trivialen za opazovanje: na stotine zahtevkov na minuto iz gostiteljskega območja, brez zgodovine brskalnika, isti prstni odtis pri vsakem zadetku. Targets odgovori z omejitvami hitrosti, CAPTCHA-ji, praznimi stranmi ali tihimi prepovedmi.Rezidenčni bazen spremeni ta tok v tisoče navadnih obiskovalcev iz držav, ki jih potrebujete, tako da so podatki, ki jih zbirate, podatki, katere bi videl pravi uporabnik.
01 — Katero omrežje
Spodnje kartice vam povedo, kaj vsako omrežje dobro naredi za spletno zbiranje podatkov in kje preneha biti vredno denarja.S spodnjimi kartami lahko ugotovite, katere so najboljše možnosti za vaše potrebe.
Rotacija na vsaki zahtevi med resničnimi gospodinjstvi premaga omejitve hitrosti in ocene bot-ov. Targetiranje mest in ASN-jev reproducira, kar vidijo lokalni uporabniki.
Najcenejši na zahtevo za cilje, ki ne uporabljajo prstnih odtisov: javni API-ji, zemljevidi spletnih mest, lastne lastnosti, katalogi z nizko zaščito.
Samo, ko je treba za crawl uporabiti prijavo, ki mora ostati na enem naslovu; sicer plačate stabilnost, ki je ne uporabljate.
Prekomerno za večino zbiranja, vendar pa je rezervna možnost za cilje, ki blokirajo vse ostalo.
02 — Recept
Nastavitve, ki so pomembne za spletno zbiranje podatkov in primer delovanja na desni strani.Uporabnik in PASS zamenjajte s poverilnicami, izdanimi ob prijavi.
import requests
proxy = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"
session = requests.Session()
session.proxies = {"http": proxy, "https": proxy}
for url in urls:
r = session.get(url, timeout=30) # a new US household on every request
if r.status_code in (403, 429):
r = session.get(url, timeout=30) # retry once: different exit already
parse(r.text)03 – Proračun
Cene na GB so predvidljive, ko poznate velikost strani. Vnesite mesečno količino; povprečna velikost je vnaprej izpolnjena z realno številko za to opravilo in jo lahko spremenite.
Povprečna velikost strani (samo HTML)
Stanovanjska cenovna lestvica, enaka v vseh državah: z nakupom mesečnega prometa v enem nakupu dosežete prikazano stopnjo; manjša polnjenja so cenejša po svoji stopnji. Polna lestev.
04 – Najboljše prakse
Bazen je redko problem, te štiri navade pa odločajo o uspehu in računu.
Iz nemških gospodinjstev odstranite nemško trgovino; mešane lokacije sprožijo preverjanje doslednosti in popačenje cen.
Toki z več stranmi (iskanje, nato strani z rezultati) delujejo bolje na enem lepljivem izhodu za nekaj minut kot na novem IP-ju na skok.
Blok slike, pisave in sledilnike v headless brskalnikih: plačate za GB, HTML je majhen del strani.
Omejite hitrost na domeno, upoštevajte robots.txt, kjer je to primerno, in nikoli ne zbirajte osebnih podatkov, za katere nimate nobene podlage.
05 – Vprašanja
Začnite z datacenterjem, če vas cilj ne izziva: je najcenejši na zahtevo. V trenutku, ko vidite CAPTCHA-je, 403 ali degradirano vsebino, premaknite ta cilj v rezidenčno; cena na GB kupi uspešnost.
Samo HTML je običajno od 100 do 500 KB na stran, pol milijona strani pri 350 KB pa približno 170 GB, kar stane okoli $183.40 na stanovanjski lestvici. Brezglavi brskalniki, ki nalagajo slike, lahko to pomnožijo s pet; jih blokirajo.
Zbiranje javno dostopnih podatkov je dovoljeno, napad na spletno mesto, izogibanje preverjanju pristnosti ali zbiranje osebnih podatkov brez pravne podlage pa ni dovoljeno in velja pravilnik o sprejemljivi uporabi.
Da, na istem računu. Izpustite parametre seje za rotacijo; dodajte -sid- in -ttl- na zahtevke, ki morajo deliti IP.
Odvisno je od cilja veliko bolj kot od bazena. Dobro obnašajoči se iskalci na stanovanjskih izhodih običajno vidijo, da je velika večina zahtevkov uspešnih; ostalo se ponovno poskusi na svežem IP brez dodatnih stroškov poleg bajtov.
Vaš račun |
Primerjajte omrežja, oddajajte naročila in spremljajte svoje stanje ter zahteve za podporo z ene nadzorne plošče.Naša ekipa pregleda plačila in po dostavi zagotovi podrobnosti o povezavi.
Ustvari račun