Verkkosivujen kaavinta · Asuinrakennukset
Yhdestä osoitteesta tuleva indeksoija on helppo havaita: satoja pyyntöjä minuutissa hosting-alueelta, ei selainhistoriaa, sama sormenjälki jokaisella osumalla. Kohde vastaa nopeuden rajoituksilla, CAPTCHA:lla, tyhjillä sivuilla tai hiljaisilla kieltoilla. Asuinpooli muuttaa virran tuhansiksi tavallisia kävijöitä tarvitsemistasi maista, joten keräämäsi data on sitä, mitä todellinen käyttäjä näkisi.
01 — Mikä verkko
Suositus on hyödyllinen vain sen kompromissien kanssa. Alla olevat kortit kertovat, mitä kukin verkosto tekee hyvin web scraping -palvelussa ja missä se ei enää ole rahan arvoinen.
Jokaisen pyynnön kiertäminen todellisten kotitalouksien välillä voittaa nopeusrajoitukset ja bottien pisteet. Kaupunki- ja ASN-kohdistus toistaa paikallisten käyttäjien näkemän sisällön, ja jokaista gigatavua kohden käytetty liikenne pysyy käytettävissä, kunnes se on käytetty.
Halvin pyyntökohtainen hinta kohteille, jotka eivät käytä sormenjälkipalveluja: julkiset APIt, sivustokartat, omat palvelusi ja alhaisen suojauksen luettelot.
Vain silloin, kun indeksointi tarvitsee kirjautumisen, joka on pysyttävä yhdessä osoitteessa; muuten maksat vakaudesta, jota et käytä.
Ylivoimainen useimmille keräyksille, mutta varaus kohteille, jotka estävät kaiken muun.
02 — Resepti
Web scraping -toiminnon asetukset ja toimiva esimerkki oikealla. Korvaa USER- ja PASS-kentät rekisteröitymisen yhteydessä annettujen tunnistetietojen kanssa.
import requests
proxy = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"
session = requests.Session()
session.proxies = {"http": proxy, "https": proxy}
for url in urls:
r = session.get(url, timeout=30) # a new US household on every request
if r.status_code in (403, 429):
r = session.get(url, timeout=30) # retry once: different exit already
parse(r.text)03 — Talousarvio
GB-hinta on ennustettavissa, kun sivukoko on tiedossa. Anna kuukausittainen volyymisi. Keskimääräinen koko on valmiiksi täytetty realistisella luvulla tätä työtä varten ja sitä voi muuttaa.
Keskimääräinen sivun koko (vain HTML)
Asuinalueiden hintaportaikko, joka on sama kaikissa maissa. Kuukauden liikenteen ostaminen yhdellä ostokerralla saavuttaa näytetyn tason. Pienemmät lataukset ovat hinnoiteltu omassa tasossaan. Täysi tikkaat.
04 — Parhaat käytännöt
IP-osoitepooli on harvoin ongelma, nämä neljä tapaa ratkaisevat onnistumisen ja laskun.
Kaavi saksalainen myymälä saksalaisista kotitalouksista; sekoitetut sijainnit laukaisevat johdonmukaisuustarkastukset ja vääristyneet hinnat.
Monisivuiset virrat (haku, sitten tulossivut) toimivat paremmin yhdellä sticky exitillä muutaman minuutin ajan kuin uudella IP:llä per hyppy.
Estä kuvat, fontit ja seurantapäätteet ylätunnisteettomissa selaimissa: maksat gigatavua kohden, ja HTML on vain pieni osa sivua.
Aseta verkkotunnusta kohti hintarajoitus, noudata robots.txt-asetuksia soveltuvin osin ja älä koskaan kerää henkilötietoja, joita sinulla ei ole perusteita säilyttää.
05 — Kysymykset
Aloita datakeskuksesta, jos kohde ei haasta sinua: se on halvin pyyntökohtainen hinta. Siinä vaiheessa kun näet CAPTCHA-viestejä, 403-viesteitä tai huonolaatuista sisältöä, siirrä kohde asuinkäyttöön. GB-hinta ostaa onnistumisasteen.
Pelkästään HTML-koodin koko on yleensä 100–500 kt sivua kohden, kun taas puolen miljoonan sivun 350 kt:n koko on noin 170 gigatavua, mikä maksaa kotitalouksissa noin $183.40. Kuvia lataavat headless-selaimet voivat kerätä tämän viidenkertaiseksi; ne estävät kuvat.
Julkisesti saatavilla olevan tiedon kerääminen on sallittua, mutta sivuston hyökkäys, tunnistuksen ohitus tai henkilötietojen kerääminen ilman laillista perustetta ei ole sallittua ja hyväksyttävän käytön periaatteet ovat voimassa.
Kyllä, samalla tilillä. Jätä istuntoparametrit pois vuorottelua varten. Lisää -sid- ja -ttl- pyyntöihin, joiden on jaettava IP-osoite.
Se riippuu kohteesta paljon enemmän kuin poolista. Hyvin käyttäytyvät indeksoijat asuinalueiden uloskäynneillä näkevät tyypillisesti valtaosan pyynnöistä onnistuvan. Loput yritetään uudelleen tuoreella IP-osoitteella ilman tavujen ylimääräisiä kustannuksia.
Oma tilisi »
Vertaa verkkoja, tee tilauksia ja seuraa saldoasi ja tukipyyntöjäsi yhdestä hallintapaneelista.Tiimimme tarkastaa maksut ja antaa yhteystiedot toimituksen jälkeen.
Luo tili