Pembengkakan web direkomendasikan
Sebuah crawler dari satu alamat sepele untuk spot: ratusan permintaan per menit dari jangkauan hosting, tidak ada riwayat browser, sidik jari yang sama pada setiap hit. Jawaban target dengan batas laju, CAPTCHA, halaman kosong atau bar sunyi. Sebuah kolam air berubah menjadi ribuan pengunjung biasa dari negara-negara yang Anda butuhkan, sehingga data yang Anda kumpulkan adalah data yang akan dilihat pengguna sebenarnya.
01-Yang jaringan
Rekomendasi A hanya berguna dengan trading-offs. kartu di bawah mengatakan apa yang setiap jaringan lakukan dengan baik untuk web scraping, dan di mana berhenti menjadi layak uang.
Rotasi atas setiap permintaan di setiap rumah tangga yang benar-benar mengalahkan batas tingkat dan skor bot.
Termurah atas permintaan target yang tidak memiliki sidik jari host: APIs publik, sitemaps, properti Anda sendiri, katalog perlindungan rendah.
Hanya ketika merangkak membutuhkan login yang harus tetap pada satu alamat; jika tidak Anda membayar untuk stabilitas yang tidak Anda gunakan.
Overkill untuk sebagian besar koleksi, tetapi fallback untuk target yang memblokir segala sesuatu yang lain.
- Resep
Pengaturan yang penting untuk garukan web, dan contoh kerja di sebelah kanan. Ganti USER dan PASS dengan kredensial yang dikeluarkan di pendaftaran.
import requests
proxy = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"
session = requests.Session()
session.proxies = {"http": proxy, "https": proxy}
for url in urls:
r = session.get(url, timeout=30) # a new US household on every request
if r.status_code in (403, 429):
r = session.get(url, timeout=30) # retry once: different exit already
parse(r.text)03 - Anggaran
Per-GB nilai dapat diprediksi setelah Anda tahu ukuran halaman Anda. Masukkan volume bulanan Anda; ukuran rata-rata telah diisi dengan angka realistik untuk pekerjaan ini dan dapat diubah.
ukuran halaman rata-rata (hanya HTML)
Tangga tingkat perumahan, identik di setiap negara, membeli lalu lintas bulan dalam satu pembelian mencapai tingkat yang ditampilkan, top-up lebih kecil harganya di tingkat mereka sendiri. Tangga penuh.
04-Praktek Terbaik
Kolam renang jarang menjadi masalah, empat kebiasaan ini menentukan tingkat keberhasilan dan tagihan.
Scrape toko Jerman dari rumah tangga Jerman; lokasi campuran memicu konsistensi cek dan harga skew.
Multi- halaman mengalir (pencarian, kemudian hasil halaman) bekerja lebih baik pada satu keluar lengket selama beberapa menit daripada pada IP per hop baru.
Gambar blok, fonta, dan pelacak pada browser tanpa kepala: Anda bayar per GB, dan HTML adalah bagian kecil dari satu halaman.
Batas Rate- per domain, menghormati robots.txt di mana ia berlaku, dan tidak pernah mengumpulkan data pribadi Anda tidak memiliki dasar untuk memegang.
05 - Pertanyaan
Mulai dengan datacenter jika target tidak menantang anda: ini adalah permintaan termurah. Saat anda melihat CAPTCHas, 403 atau degraded konten, pindahkan target itu ke residential; harga per- GB membeli tingkat keberhasilan.
HTML saja biasanya 100 sampai 500 KB per halaman. Setengah juta halaman di 350 KB adalah sekitar 170 GB, yang harganya sekitar $183.40 pada tangga residential. Browser tanpa kepala yang memuat gambar dapat mengalikan dengan lima; blok mereka.
Mengumpulkan data publik yang tersedia diperbolehkan. Menyerang situs, melewati otentikasi, atau memanen data pribadi tanpa dasar hukum, dan kebijakan penggunaan yang dapat diterima diberlakukan.
Ya, pada akun yang sama. Abaikan parameter sesi untuk rotasi; tambahkan -sid- dan -ttl- pada permintaan yang harus berbagi IP.
Itu tergantung pada target jauh lebih dari pada kolam renang. Baik berperilaku crawler pada keluar perumahan biasanya melihat sebagian besar permintaan berhasil; sisanya adalah retried pada IP segar di tidak ada biaya ekstra di luar bytes.
Akun Anda
Bandingkan jaringan, perintah tempatan dan ikuti permintaan keseimbangan dan dukungan anda dari satu dasbor.
Buat akun