Web scraping · Rezidenční doporučeno
Crawler z jedné adresy je triviální odhalit: stovky požadavků za minutu z hostingového rozsahu, žádná historie prohlížeče, stejný otisk při každém přístupu.Cíle odpovídá s omezeními rychlosti, CAPTCHA, prázdné stránky nebo tiché zákazy.Rezidenční pool změní tento proud na tisíce běžných návštěvníků ze zemí, které potřebujete, takže data, která shromažďujete, jsou data, ktera by viděl skutečný uživatel.
01 — Která síť
Níže uvedené karty vám řeknou, co každá síť dělá dobře pro web scraping a kde přestává stát za to peníze.
Rotace na každém požadavku mezi reálnými domácnostmi překonává omezení rychlosti a skóre botů. Cílení města a ASN reprodukuje to, co vidí místní uživatelé.
Nejlevnější za požadavek pro cíle, které nepodporují fingerprint hosting: veřejné API, Sitemapy, vlastní služby, katalogy s nízkou ochranou.
Pouze v případě, že procházení potřebuje přihlášení, které musí zůstat na jedné adrese; jinak platíte za stabilitu, kterou nepoužíváte.
Overkill pro většinu sběru, ale záloha pro cíle, které blokují vše ostatní.
02 — Recept
Nastavení, která jsou důležitá pro web scraping a funkční příklad vpravo.Nahraďte USER a PASS s přihlašovacími údaji vydanými při registraci.
import requests
proxy = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"
session = requests.Session()
session.proxies = {"http": proxy, "https": proxy}
for url in urls:
r = session.get(url, timeout=30) # a new US household on every request
if r.status_code in (403, 429):
r = session.get(url, timeout=30) # retry once: different exit already
parse(r.text)03 — Rozpočet
Zadejte měsíční objem. Průměrná velikost je předem vyplněna realistickou hodnotou pro danou úlohu a lze ji změnit. V případě, že se vám zobrazí požadavek na tisk více stránek, můžete jej změnit.
průměrná velikost stránky (pouze HTML)
Nákup měsíčního provozu v jednom nákupu dosahuje zobrazené úrovně, menší dobíjení je zpoplatněno ve své vlastní úrovni.V případě větších dobíjecích balíčků se cena pohybuje na stejné úrovni jako u ostatních tarifů. Full ladder.
04 — Osvědčené postupy
Bazén je jen zřídka problém, tyto čtyři návyky rozhodují o úspěšnosti a účtu.
Vytrhněte německý obchod z německých domácností; smíšené lokality spouštějí kontroly konzistence a zkreslené ceny.
Vícestránkové toky (vyhledávání, pak výsledky) fungují lépe na jednom sticky exitu po dobu několika minut než na nové IP za skok.
Blokujte obrázky, písma a sledovací prvky v prohlížečích bez hlavy: platíte za GB a HTML je malý zlomek stránky.
Nastavte limity pro každou doménu, respektujte soubor robots.txt tam, kde je to možné, a nikdy neshromažďujte osobní údaje, které nemáte důvod uchovávat.
05 — Otázky a odpovědi
Pokud vás cíl neznepokojuje, začněte s datacentrem: je to nejlevnější na požadavek. V okamžiku, kdy uvidíte CAPTCHA, 403 nebo degradovaný obsah, přesuňte tento cíl do rezidenčního prostředí. Cena za GB vám koupí úspěšnost.
HTML samotné obvykle zabírá 100 až 500 KB na stránku, půl milionu stránek o velikosti 350 KB je asi 170 GB, což stojí kolem $183.40 v domácnostech. Headless prohlížeče, které načítají obrázky, mohou tento počet pětinásobně zvýšit; blokují je.
Sběr veřejně dostupných dat je povolen, útok na web, obcházení ověřování nebo shromažďování osobních údajů bez právního základu není a zásady přijatelného použití jsou vynucovány.
Ano, na stejném účtu.Vypište parametry relace pro rotaci; přidejte -sid- a -ttl- u požadavků, které musí sdílet IP.
Dobře se chovající prohledávače na rezidenčních výjezdech obvykle vidí velkou většinu požadavků úspěšných; zbytek je znovu vyzkoušen na nové IP bez dalších nákladů nad rámec bajtů.
Váš účet |
Porovnejte sítě, zadejte objednávky a sledujte zůstatek a požadavky na podporu z jednoho panelu.Náš tým kontroluje platby a poskytuje podrobnosti o připojení po dodání.
Vytvořit účet