Web scraping · Residencial recomendado
É fácil detectar um rastreador de um endereço: centenas de solicitações por minuto de um intervalo de hospedagem, nenhum histórico do navegador, a mesma impressão digital em cada acesso. Os alvos respondem com limites de taxa, CAPTCHAs, páginas vazias ou banimentos silenciosos. Um pool residencial transforma esse fluxo em milhares de visitantes comuns dos países que você precisa, de modo que os dados coletados são os dados que um usuário real veria.
01 — Qual rede
Uma recomendação só é útil com as suas compensações. Os cartões abaixo dizem o que cada rede faz bem para web scraping e onde ela deixa de valer o dinheiro gasto.
A rotação em cada solicitação entre famílias reais supera os limites de taxas e as pontuações dos bots. A segmentação por cidade e ASN reproduz o que os usuários locais veem. Por GB, o tráfego não utilizado permanece disponível até ser usado.
Mais barato por solicitação para alvos que não identificam intervalos de hospedagem: APIs públicas, mapas de sites, suas próprias propriedades, catálogos de baixa proteção.
Somente quando o rastreamento necessita de um login que deve permanecer em um endereço; caso contrário, você paga pela estabilidade que não usa.
Exagero para a maior parte da coleta, mas substituto para alvos que bloqueiam todo o resto.
02 — A receita
As configurações importantes para web scraping e um exemplo prático à direita. Substitua USER e PASS pelas credenciais emitidas na inscrição.
import requests
proxy = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"
session = requests.Session()
session.proxies = {"http": proxy, "https": proxy}
for url in urls:
r = session.get(url, timeout=30) # a new US household on every request
if r.status_code in (403, 429):
r = session.get(url, timeout=30) # retry once: different exit already
parse(r.text)03 – Orçamento
O preço por GB é previsível quando você conhece o tamanho da página. Insira seu volume mensal; o tamanho médio é pré-preenchido com um valor realista para este trabalho e pode ser alterado.
tamanho médio da página (somente HTML)
Escada de taxas residenciais, idêntica em todos os países. Comprar o tráfego do mês em uma compra atinge o nível mostrado; recargas menores custam seu próprio nível. Escada completa.
04 — Melhores práticas
O pool raramente é o problema. Esses quatro hábitos decidem a taxa de sucesso e a conta.
Raspe a loja alemã das famílias alemãs; locais mistos desencadeiam verificações de consistência e distorcem os preços.
Os fluxos de várias páginas (pesquisa e depois páginas de resultados) funcionam melhor em uma saída fixa por alguns minutos do que em um novo IP por salto.
Bloqueie imagens, fontes e rastreadores em navegadores headless: você paga por GB e o HTML é uma pequena fração de uma página.
Limite de taxa por domínio, respeite o robots.txt onde for aplicável e nunca colete dados pessoais que você não tem base para manter.
05 — Perguntas
Comece pelo datacenter se o alvo não o desafiar: é o mais barato por solicitação. No momento em que você vir CAPTCHAs, 403s ou conteúdo degradado, mova esse alvo para residencial; o preço por GB compra a taxa de sucesso.
Somente o HTML geralmente tem de 100 a 500 KB por página. Meio milhão de páginas com 350 KB equivalem a cerca de 170 GB, o que custa cerca de US$ 183,40 na escala residencial. Navegadores sem interface gráfica que carregam imagens podem multiplicar isso por cinco; bloqueá-los.
A coleta de dados publicamente disponíveis é permitida. Atacar um site, ignorar a autenticação ou coletar dados pessoais sem base legal não é, e a política de uso aceitável é aplicada.
Sim, na mesma conta. Omita os parâmetros de sessão para rotação; adicione -sid- e -ttl- nas solicitações que devem compartilhar um IP.
Depende muito mais do alvo do que do pool. Rastreadores bem comportados em saídas residenciais normalmente vêem a grande maioria das solicitações bem-sucedidas; o restante é repetido em um novo IP sem nenhum custo extra além dos bytes.
Sua conta
Compare redes, faça pedidos e acompanhe seu saldo e solicitações de suporte em um painel. Nossa equipe analisa os pagamentos e fornece detalhes de conexão após a entrega.
Criar conta