גירוד באינטרנט · מומלץ לשימוש חוזר
סורק מכתובת אחת הוא טריוויאלי כדי לזהות: מאות בקשות בדקה מטווח אירוח, אין היסטוריית דפדפן, אותה טביעת אצבע על כל להיט. מטרות תשובה עם הגבלת שיעור, CAPTCHAs, דפים ריקים או איסורים שקטים. בריכת מגורים הופכת את זרם לאלפי מבקרים רגילים מהמדינות שאתה צריך, כך שהנתונים שאתה אוסף הם הנתונים שהמשתמש אמיתי יראה.
01 – איזו רשת
המלצה שימושית רק עם הטרייד-אוף שלה. הקלפים שלהלן אומרים מה כל רשת עושה טוב עבור גירוד באינטרנט, והיכן היא מפסיקה להיות שווה את הכסף.
רוטציה על כל בקשה על פני משקי בית אמיתיים מביס את גבולות הריבית ואת ציוני הבוט. עיר ו-ASN מיקוד לשחזר את מה שהמשתמשים המקומיים רואים. לכל GB, תעבורה לא מנוצלת נשארת זמינה עד לשימוש.
זול ביותר לכל בקשה עבור מטרות שאינן טביעות אצבע טווחי אירוח: ממשקי API ציבוריים, שיתופי פעולה, נכסים משלך, קטלוגים להגנה נמוכה.
רק כאשר הסריקה צריכה כניסה שחייבת להישאר על כתובת אחת; אחרת אתה משלם עבור יציבות אתה לא משתמש.
להרוג יתר על המידה עבור רוב האוסף, אבל את הנסיגה למטרות לחסום כל דבר אחר.
02 – המתכון
ההגדרות שחשובות לגרד באינטרנט, ודוגמה עובדת מימין. החלף את המשתמש והעבר בתעודות שהונפקו בעת ההרשמה.
import requests
proxy = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"
session = requests.Session()
session.proxies = {"http": proxy, "https": proxy}
for url in urls:
r = session.get(url, timeout=30) # a new US household on every request
if r.status_code in (403, 429):
r = session.get(url, timeout=30) # retry once: different exit already
parse(r.text)03 – תקציב
לכל תמחור GB צפוי ברגע שאתה יודע את גודל הדף שלך. הזן את נפח החודשי שלך; הגודל הממוצע מלא מראש באיור מציאותי עבור עבודה זו וניתן לשנות אותו.
גודל דף ממוצע (HTML בלבד)
סולם שיעור ריבית, זהה בכל מדינה. רכישת התעבורה של החודש ברכישה אחת מגיעה לרמה המוצגת; תוספות קטנות יותר מתומחרות ברמה שלהם. סולם מלא.
04 – שיטות עבודה מומלצות
המאגר כתובות היא לעתים רחוקות הבעיה. ארבעה הרגלים אלה מחליטים את שיעור ההצלחה ואת הצעת החוק.
לגרד את החנות הגרמנית מבתים גרמניים; מיקומים מעורבים לעורר בדיקות קפדניות ומחירי sku.
זרימת דפים מרובים (חיפוש, ואז דפי תוצאות) עובדים טוב יותר על יציאה דביקה אחת לכמה דקות מאשר על IP חדש לכל הופ.
חסימת תמונות, גופנים ועוקבים בדפדפנים ללא ראש: אתה משלם לכל GB, ו- HTML הוא חלק קטן של דף.
הגבלת שיעור לכל תחום, כבוד robots.txt שבו הוא חל, ולעולם לא לאסוף נתונים אישיים אין לך בסיס להחזיק.
05 – שאלות
התחל עם Datacenter אם היעד אינו מאתגר אותך: זה הזול ביותר לכל בקשה. ברגע שאתה רואה CAPTCHAs, 403s או תוכן פגום, להעביר את היעד הזה למגורים; המחיר לכל GB קונה את שיעור ההצלחה.
HTML בלבד הוא בדרך כלל 100 עד 500 KB לדף. חצי מיליון עמודים ב 350 KB הוא כ 170 GB, אשר עולה סביב $183.40 על סולם המגורים. דפדפנים ללא ראש שטעינת תמונות יכולים להכפיל את זה על ידי חמישה; לחסום אותם.
איסוף נתונים הזמינים לציבור מותר. תקיפת אתר, עקיפת אימות, או קצירת נתונים אישיים ללא בסיס משפטי אינה, ומדיניות השימוש המקובלת נאכף.
כן, באותו חשבון. השמט את פרמטרי ההפעלה לרוטציה; הוסף-sid- ו-ttl- על הבקשות שחייבות לשתף IP.
זה תלוי במטרה הרבה יותר מאשר במאגר כתובות. סורקים התנהגותיים היטב על יציאות מגורים בדרך כלל לראות את הרוב המכריע של בקשות להצליח; השאר הוא חזר על IP טרי ללא עלות נוספת מעבר בתים.
החשבון שלך
השווה רשתות, לבצע הזמנות ולעקוב אחר בקשות האיזון והתמיכה שלך מלוח מחוונים אחד. הצוות שלנו סוקר תשלומים ומספק פרטי חיבור לאחר הלידה.
יצירת חשבון