Veb-skreping · Uy sharoitida tavsiya etiladi
Bir manzildan keladigan crawler'ni aniqlash juda oson: xostlar doirasidan daqiqasiga yuzlab talablar, brauzer tarixi yoʻq, har bir bosishda xuddi shu alomat. Tarkib tezlik chegaralari, CAPTCHA'lar, boʻsh sahifalar yoki jimgina bloklash bilan javob beradi. Uydagi pul bu oqimni sizga kerak boʻlgan mamlakatlardan minglab oddiy mehmonlarga aylantiradi, shuning uchun siz toʻplagan maʼlumotlar haqiqiy foydalanuvchi koʻrgan maʼlumotlardir.
01 - Qaysi tarmoq
Rekomendatsiya faqat oʻz qiymati bilan foydali. Quyidagi kartalar har bir tarmoq veb-skreping uchun nimani yaxshi bajarishini va bu pulga arzimaydigan joyda toʻxtaganini koʻrsatadi.
Har bir talab boʻyicha real uy xoʻjaliklari orasida aylanish tezlik chegaralarini va bot ballarini engadi. Shahar va ASN ga yoʻnaltirish mahalliy foydalanuvchilar koʻrgan narsani qayta ishlaydi. Har bir GB uchun, foydalanilmagan trafik foydalanilguncha mavjud boʻladi.
Barcha maqsadlar uchun qoʻl alomati xosting diapazoni boʻlmagan talab boʻyicha eng arzon: jamoat API, sayt xaritasi, oʻzingizning xossalaringiz, past himoyalangan kataloglar.
Faqatgina crawl'ga kirish kerak boʻlganda, bu bir manzilda qolishi lozim; aks holda siz foydalanmaydigan barqarorlik uchun toʻlov toʻlaysiz.
Koʻpchilik toʻplamlar uchun oʻta koʻp, lekin boshqa hamma narsani bloklaydigan maqsadlar uchun zaxira.
02 - Retsept
Veb-skreping uchun muhim boʻlgan parametrlar va oʻngda ishlovchi misol. USER va PASS'ni kirish vaqtida berilgan ishonchli maʼlumotlar bilan almashtiring.
import requests
proxy = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"
session = requests.Session()
session.proxies = {"http": proxy, "https": proxy}
for url in urls:
r = session.get(url, timeout=30) # a new US household on every request
if r.status_code in (403, 429):
r = session.get(url, timeout=30) # retry once: different exit already
parse(r.text)Byudjet
Har bir GB uchun narxlar sahifangiz hajmini bilganingizda oldindan aytib boʻlmaydi. Sizning oylik hajmingizni kiriting; oʻrtacha hajm bu ish uchun real raqam bilan toʻldirilgan va oʻzgartirilishi mumkin.
oʻrtacha sahifa hajmi (faqat HTML)
Har bir mamlakatda bir xil boʻlgan turar joy narxlari shkalasi. Bir martalik xaridda oylik trafikni sotib olish koʻrsatilgan darajaga etadi; kichik toʻlovlar oʻz darajasida baholanadi. toʻliq zinapoya.
Eng yaxshi amaliyotlar
Bu toʻrt odat muvaffaqiyat darajasi va hisob-kitobni belgilaydi.
Germaniya doʻkonini Germaniya uylaridan qirqib oling; aralash joylar muvofiqlik tekshiruvlarini va narxlarni oʻzgartirishni chaqiradi.
Koʻp sahifali oqimlar (qidiruv, keyin natija sahifalari) har bir yangi IP-manzilda bir necha daqiqa davomida bir martalik yopiq chiqishdan koʻra yaxshiroq ishlaydi.
Boshsiz brauzerlarda tasvirlarni, shriftlarni va kuzatuvchilarni bloklash: siz GB uchun toʻlayapsiz, HTML esa sahifaning kichik bir qismidir.
Domen uchun stavkani cheklash, robots.txt faylini qoʻllash va hech qachon saqlash uchun asossiz shaxsiy maʼlumotlarni toʻplamaslik.
Savollar
Agar maqsad sizga qarshilik koʻrsatmasa, maʼlumotlar markazi bilan boshlang: bu talab boʻyicha eng arzon. CAPTCHA'lar, 403'lar yoki buzilgan mazmunni koʻrganingizda, bu maqsadni uy-joyga koʻchiring; har bir GB uchun narx muvaffaqiyat darajasini xarid qiladi.
HTML oʻzi odatda sahifa uchun 100-500 KBni tashkil qiladi. 350 KBdagi yarim millionta sahifa 170 Gb, bu esa uy sharoitida $183.40ga tushadi. Rasmlarni yuklaydigan boshsiz brauzerlar buni besh marta koʻpaytirib yuborishi mumkin; ularni bloklash kerak.
Aholiga maʼlum maʼlumotlarni yigʻish mumkin. Saytga hujum qilish, autentifikatsiyadan oʻtish yoki qonuniy asossiz shaxsiy maʼlumotlarni yiqish mumkin emas va qabul qilinadigan foydalanish siyosati qoʻllaniladi.
Ha, bir hisobda. Seans parametrlarini aylanish uchun qoldiring; IP'ni oʻrtoqlashishi kerak boʻlgan talablarda -sid- va -ttl- qoʻshing.
Bu puldan koʻra maqsadga koʻproq bogʻliq. Uydagi chiqishlarda yaxshi harakat qiluvchi crawlers odatda talablarning katta qismi muvaffaqiyatli boʻlishini koʻradi; qolganlari yangi IP-manzilda baytlardan tashqari qoʻshimcha xarajatlarsiz qayta urinadi.
Hisobingiz
Tarmoqlarni taqqoslang, buyurtma bering va bir paneldan balansingizni va qoʻllab-quvvatlash talablarini kuzating. Bizning jamoamiz toʻlovlarni koʻrib chiqadi va etkazib berishdan keyin aloqa maʼlumotlarini taqdim etadi.
Hisob yaratish