Πώς να χρησιμοποιήσετε διακομιστές proxy με αιτήματα και Πώς να δημιουργήσετε ένα πρόγραμμα

Η διεύθυνση του διακομιστή proxy#

Κάθε βιβλιοθήκη παίρνει ένα διακομιστή proxy ως διεύθυνση Με το κλειδί η διεύθυνσή σας μεταφέρει τα διαπιστευτήριά σας και την εντολή που χρησιμοποιείτε για να εκτελέσετε. Παράμετροι στόχευσης Το όνομα υπολογιστή είναι η πύλη και η θύρα επιλέγει το πρωτόκολλο.

# Rotating: a new United States household on every new connection
http://USER-cc-us:PASS@res.proxy-cyber.com:9000

# Sticky: one Berlin household held for 30 minutes under the id "job42"
http://USER-cc-de-city-berlin-sid-job42-ttl-30m:PASS@res.proxy-cyber.com:9000

# SOCKS5 with remote DNS (socks5h), same parameters
socks5h://USER-cc-us:PASS@res.proxy-cyber.com:9001

αιτήματα#

Η επαναχρησιμοποίηση σύνδεσης και η εκχώρηση είναι διαφορετικά στοιχεία ελέγχου. Μια περίοδος λειτουργίας υπολογιστή-πελάτη χρησιμοποιεί ξανά τις υποδοχές, μόνο η πύλη που έχει ανατεθεί καθορίζει την περιστροφή και τη συμπεριφορά της συνεδρίας Χρησιμοποιήστε τις παραμέτρους περιόδου λειτουργίας που παρέχονται με την υπηρεσία σας και επιβεβαιώστε την έξοδο σε πολλά αιτήματα. Το κλείσιμο μιας υποδοχής ή η αποστολή του μηνύματος δεν εγγυάται διαφορετική διεύθυνση IP Ο χρήστης μπορεί να επιλέξει ένα από τα δύο παρακάτω:

import requests

PROXY = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"
proxies = {"http": PROXY, "https": PROXY}

# One request, one exit
r = requests.get("https://api.ipify.org", proxies=proxies, timeout=30)
print(r.text)

# A sticky flow: same exit for every request of this session
sticky = "http://USER-cc-de-city-berlin-sid-cart42-ttl-15m:PASS@res.proxy-cyber.com:9000"
s = requests.Session()
s.proxies = {"http": sticky, "https": sticky}
s.get("https://example.com/product/1", timeout=30)
s.post("https://example.com/cart", json={"id": 1}, timeout=30)

httpx#

Παίρνει ένα ενιαίο proxy= Ψηφιακή Πύλη: Παλαιότερες εκδόσεις: proxies=Υποστηρίζει HTTP/2 στον προορισμό μέσω της σήραγγας ΣΥΝΔΕΣΗ και λειτουργεί με τον ίδιο τρόπο σε ασύγχρονο κώδικα.

import httpx

PROXY = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"

with httpx.Client(proxy=PROXY, timeout=30) as client:
    print(client.get("https://api.ipify.org").text)

# async, one sticky exit per task
import asyncio

async def fetch(sid: str, url: str) -> str:
    proxy = f"http://USER-cc-us-sid-{sid}-ttl-10m:PASS@res.proxy-cyber.com:9000"
    async with httpx.AsyncClient(proxy=proxy, timeout=30) as client:
        return (await client.get(url)).text

asyncio.run(fetch("task1", "https://api.ipify.org"))

aiohttp#

Το παίρνει τον διακομιστή proxy ανά αίτημα ή ανά συνεδρία και μιλάει εγγενώς τους διακομιστές μεσολάβηση. aiohttp-socks συνδετήρας.

import aiohttp, asyncio

PROXY = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"

async def main():
    async with aiohttp.ClientSession() as session:
        async with session.get("https://api.ipify.org", proxy=PROXY, timeout=aiohttp.ClientTimeout(total=30)) as r:
            print(await r.text())

asyncio.run(main())

Περιστροφή, διατήρηση και επαναλήψεις#

• Μια νέα σύνδεση είναι μια νέα σύνδεσης μεταφοράς, όχι απόδειξη μιας νέας εξόδου.Η λειτουργία περιστροφής που έχει εκχωρηθεί στην πύλη αποφασίζει τον τρόπο δρομολόγησης αυτής της σύνδεσης.
• Χρησιμοποιήστε ένα ξεχωριστό αναγνωριστικό περιόδου λειτουργίας για κάθε ανεξάρτητη ροή εργασίας, όπου η πύλη που σας έχει εκχωρηθεί το υποστηρίζει. Επιβεβαιώστε τις επιτρεπόμενες παραμέτρους διάρκειας και τοποθεσίας στα στοιχεία σύνδεσής σας. Μια συσκευή κατοικιών μπορεί να αποσυνδεθεί πριν από την απαιτούμενη διάρκεια. Μια συνεδρία δεν εγγυάται την ίδια διεύθυνση IP για ημέρες. Για μια σταθερή διεύθυνσης, συγκρίνετε ένα αποκλειστικό στατικό προϊόν.
• Κατηγοριοποιήστε την απόκριση πριν προσπαθήσετε ξανά. Ένα σφάλμα 403 μπορεί να υποδεικνύει έναν κανόνα πρόσβασης που δεν θα επιλύσει μια άλλη διεύθυνση IP Για το σφάλμα του 429, σεβαστείτε τη δυνατότητα και μειώστε τον ρυθμό αίτησης. Χρησιμοποιήστε περιορισμένη αναμονή για προσωρινές συνδέσεις ή αποτυχίες διακομιστή. Δοκιμάστε ξανά τις λειτουργίες αλλαγής κατάστασης μόνο όταν μπορείτε να αποφύγετε διπλότυπες ενέργειες.
• Ορίστε χρονικά όρια στον τύπο εξόδου: 15 δευτ. σύνδεση και 45 δευτ. ανάγνωση για κατοικίες, περισσότερο για κινητά.

Εξοικονόμηση σε gigabytes#

Η κίνηση των κατοικιών χρεώνεται ανά και στις δύο κατευθύνσεις. Ζητήστε συμπιεσμένες απαντήσεις (Accept-Encoding: gzip, br Προτιμήστε τα τελικά σημεία από το και μην κατεβάζετε ποτέ εικόνες, γραμματοσειρές ή πολυμέσα εκτός αν είναι τα δεδομένα.Μια σελίδα των 350 είναι φθηνή· μια σελίδα με στοιχεία μεγέθους 4 δεν είναι.

Ερωτήσεις που κάνουν οι χρήστες#