Webes adatgyűjtés · Lakossági ajánlott
Egy címről érkező robotot triviális felismerni: percenként több száz kérés egy hosting tartományból, nincs böngészési előzmény, minden találatnál ugyanaz az ujjlenyomat. A célok válaszolnak a sebességkorlátozásokra, CAPTCHA-kra, üres oldalakra vagy csendes tiltásokra. Egy rezidens pool ezután átváltoztatja ezt az áramlatot ezernyi hétköznapi látogatóvá azokból az országokból, amelyekre szükséged van, így az adatokat, amiket gyűjtesz, olyan adatok lesznek, mint amit egy valódi felhasználó látna.
01 — Melyik hálózat
Az alábbi kártyák megmutatják, hogy az egyes hálózatok miben jók a web scrapinghez, és hol nem éri meg többé a pénzt.A legtöbb ajánlás csak akkor hasznos, ha van kompromisszuma.
A valódi háztartások közötti minden kérés rotációja megdönti a sebességkorlátokat és a botpontszámokat. A város- és ASN-célzás reprodukálja azt, amit a helyi felhasználók látnak. GB-onként a fel nem használt forgalom elérhető marad, amíg felhasználják.
A legolcsóbb kérelemre olyan célok esetében, amelyek nem ujjlenyomat-tárolási tartományt tartalmaznak: nyilvános API-k, webhelytérképek, saját tulajdonságok, alacsony védelmi katalógusok.
Csak akkor, ha a crawl szüksége van egy bejelentkezési nevet, amelynek meg kell maradnia egy címen; különben fizet stabilitásért, amit nem használ.
Túlságosan nagy a gyűjtéshez, de a célpontok elkerülésére használható, amelyek minden mást blokkolnak.
02 — A recept
A webes adatgyűjtéshez szükséges beállítások, és egy működő példa a jobb oldalon.Cserélje ki az USER és PASS értékeket a regisztrációkor kapott hitelesítő adatokkal.
import requests
proxy = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"
session = requests.Session()
session.proxies = {"http": proxy, "https": proxy}
for url in urls:
r = session.get(url, timeout=30) # a new US household on every request
if r.status_code in (403, 429):
r = session.get(url, timeout=30) # retry once: different exit already
parse(r.text)03 – Költségvetés
A GB-onkénti díjszabás kiszámítható, ha ismered az oldalméretet. Írd be a havi mennyiséget. Az átlagos méret előre ki van töltve egy reális számmal erre a feladatra, és módosítható.
Átlagos oldalméret (csak HTML)
Lakossági díjszabás, minden országban azonos. A havi forgalom egy vásárlással történő megvásárlása eléri a megjelenített szintet; a kisebb feltöltések ára saját szintjük szerint kerül meghatározásra. Teljes létra 1.
04 — Legjobb gyakorlatok
A IP-készlet ritkán jelent problémát, ez a négy szokás dönti el a sikerességi rátát és a számlát.
Kaparja le a német áruházat a német háztartásokból; a vegyes helyszínek következetességi ellenőrzéseket és torz árakat váltanak ki.
A többoldalas folyamatok (keresés, majd eredményoldalak) jobban működnek egy néhány perces ragacsos kilépésnél, mint ugrásonként új IP-cím esetén.
Blokkolja a képeket, betűtípusokat és nyomkövetőket fej nélküli böngészőkben: GB-onként fizet, és a HTML az oldal egy kis töredékét teszi ki.
Domainenként korlátozza a díjakat, tartsa be a robots.txt rendelkezéseit, ahol alkalmazható, és soha ne gyűjtsön olyan személyes adatokat, amelyek megőrzésére nincs jogalapja.
05 — Kérdések
Kezdje a datacenterrel, ha nem kihívást jelent a cél: ez a legolcsóbb kérelemenként. Abban a pillanatban, amikor CAPTCHA-kat, 403-as hibákat vagy degradált tartalmat lát, helyezze át a célt lakossági célra; a GB-onkénti ár megvásárolja a sikerességi arányt.
A HTML oldalanként 100-500 KB, félmillió oldal 350 KB-ban kb. 170 GB, ami egy átlagos otthon költsége körülbelül $183.40. A képeket betöltő headless böngészők ötszörösére növelhetik ezt a mennyiséget; blokkolják őket.
A nyilvánosan elérhető adatok gyűjtése megengedett, de a webhelyek támadása, a hitelesítés megkerülése vagy a személyes adatok törvényi alap nélküli begyűjtése nem, és az elfogadható használatra vonatkozó szabályzat érvényben van.
Igen, ugyanazon a fiókon. Hagyja ki a munkamenet paramétereket a rotációhoz; adja hozzá a -sid- és -ttl- paramétereket azokhoz a kérelmekhez, amelyeknek megosztaniuk kell az IP-címet.
A célponttól függ, nem a pooltól. A jól viselkedő feltérképezők a lakóépületek kijáratánál általában sikeresen teljesítik a kérelmek nagy részét. A többi kérést újra megpróbálják egy friss IP-címen, a bájtszámon túlmenően semmilyen extra költség nélkül.
Az Ön fiókja
Hasonlítsa össze a hálózatokat, adja le megrendelését és kövesse nyomon egyenlegét és támogatási kérelmeit egyetlen irányítópulton keresztül.Csapatunk ellenőrzi a fizetéseket és biztosítja a csatlakozási adatokat a szállítás után.
Fiók létrehozása