دانلود رایگان آموزش وب سایت · توصیه می شود
یک خزنده از یک آدرس بی اهمیت است: صدها درخواست یک دقیقه از محدوده میزبانی، هیچ سابقه مرورگر، همان اثر انگشت در هر ضربه.هدف پاسخ با محدودیت نرخ، CAPTCHAs، صفحات خالی یا ممنوعیت های خاموش است. استخر مسکونی تبدیل می شود که به هزاران بازدید کننده عادی از کشورهایی که شما نیاز دارید، بنابراین داده هایی که شما جمع آوری داده ها یک کاربر واقعی است.
1 - کدام شبکه
یک توصیه تنها با تخفیف های تجاری آن مفید است.کارت های زیر می گویند که هر شبکه چه کاری برای خراب کردن وب انجام می دهد و جایی که ارزش پول را متوقف می کند.
تنظیمات بر روی هر درخواست در سراسر خانواده های واقعی محدودیت های نرخ و امتیازات ربات را شکست می دهد.شهر و ASN هدف قرار دادن بازتولید آنچه کاربران محلی می بینند. Per GB، ترافیک استفاده نشده تا زمانی که مورد استفاده قرار گیرد در دسترس باقی می ماند.
ارزان ترین درخواست برای اهدافی که دامنه میزبانی اثر انگشت را ندارند: API های عمومی، نقشه سایت ها، خواص خود، کاتالوگ های محافظ پایین.
فقط زمانی که خزیدن نیاز به یک ورود دارد که باید در یک آدرس باقی بماند، در غیر این صورت شما برای ثبات که استفاده نمی کنید پرداخت می کنید.
بیش از حد برای اکثر مجموعه ها، اما شکست برای اهدافی که همه چیز را مسدود می کنند.
۲- دستورالعمل
تنظیماتی که برای خراب کردن وب مهم است و یک مثال کار بر روی سمت راست، USER و PASS را با مدارک صادر شده در ثبت نام جایگزین می کند.
import requests
proxy = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"
session = requests.Session()
session.proxies = {"http": proxy, "https": proxy}
for url in urls:
r = session.get(url, timeout=30) # a new US household on every request
if r.status_code in (403, 429):
r = session.get(url, timeout=30) # retry once: different exit already
parse(r.text)03 - بودجه
قیمت گذاری Per-GB زمانی قابل پیش بینی است که شما اندازه صفحه خود را می دانید، حجم ماهانه خود را وارد کنید؛ اندازه متوسط با یک رقم واقعی برای این کار پر شده و می تواند تغییر کند.
اندازه متوسط صفحه (HTML only)
نردبان نرخ اقامت، یکسان در هر کشور، خرید ترافیک ماه در یک خرید به سطح نشان داده شده است؛ بالا برد های کوچکتر با قیمت های خود قیمت گذاری می شوند. نردبان کامل.
۴- بهترین شیوه ها
استخر به ندرت مشکل است، این چهار عادت نرخ موفقیت و لایحه را تعیین می کنند.
فروشگاه آلمانی را از خانواده های آلمانی جدا کنید؛ مکان های مختلط باعث می شوند که چک های سازگاری و قیمت های انحرافی ایجاد کنند.
جریان های چند صفحه ای (جستجو، سپس صفحات نتیجه) برای چند دقیقه بهتر از یک IP جدید در هر پرش کار می کنند.
تصاویر، فونت ها و ردیاب ها را در مرورگرهای بدون سر مسدود کنید: شما هر گیگابایت را پرداخت می کنید و HTML بخش کوچکی از یک صفحه است.
محدود کردن نرخ در هر دامنه، robots.txt افتخار که در آن اعمال می شود، و هرگز اطلاعات شخصی را که هیچ مبنایی برای نگه داشتن ندارید جمع آوری نکنید.
پرسش ها - سوالات
با مرکز داده شروع کنید اگر هدف شما را به چالش نکشد: ارزان ترین درخواست است. لحظه ای که شما CAPTCHAs، 403s یا محتوای تخریب شده را می بینید، آن هدف را به مسکونی منتقل کنید؛ قیمت هر گیگابایت نرخ موفقیت را خریداری می کند.
HTML به تنهایی معمولاً 100 تا 500 کیلوبایت در هر صفحه است. نیمی از یک میلیون صفحه در 350 کیلوبایت حدود 170 گیگابایت است که هزینه آن حدود 83.40 دلار در نردبان مسکونی است.
جمع آوری داده های عمومی در دسترس مجاز است.حمله به یک سایت، دور زدن تأیید هویت یا برداشت اطلاعات شخصی بدون یک مبنای قانونی، و سیاست استفاده قابل قبول اجرا است.
بله، در همان حساب، پارامترهای جلسه برای چرخش را حذف کنید؛ اضافه کردن -sid- و -tl - در درخواست هایی که باید IP را به اشتراک بگذارند.
این بستگی به هدف بسیار بیشتر از استخر دارد، خزنده های خوب در خروجی های مسکونی به طور معمول اکثریت قریب به اتفاق درخواست ها را می بینند؛ بقیه در یک IP جدید بدون هزینه اضافی فراتر از بایت ها دوباره مورد توجه قرار می گیرند.
حساب کاربری شما
مقایسه شبکه ها، سفارش مکان و پیگیری تعادل و درخواست های پشتیبانی خود را از یک داشبورد.تیم ما پرداخت ها را بررسی می کند و جزئیات اتصال را پس از تحویل فراهم می کند.
ایجاد حساب