Hvordan bruke proxyer med Python forespørsler, httpx og aiohttp

URL- en til mellomtjeneren#

Med Proxy Cyber bærer URL-en dine legitimasjoner og nøkkelen til nettstedet du besøker, mens en proxy er et annet navn for en proxy. målrettingsparametre I brukernavnet; vertsnavnet er gatewayen og porten velger protokollen.

# Rotating: a new United States household on every new connection
http://USER-cc-us:PASS@res.proxy-cyber.com:9000

# Sticky: one Berlin household held for 30 minutes under the id "job42"
http://USER-cc-de-city-berlin-sid-job42-ttl-30m:PASS@res.proxy-cyber.com:9000

# SOCKS5 with remote DNS (socks5h), same parameters
socks5h://USER-cc-us:PASS@res.proxy-cyber.com:9001

forespørsler#

En klientøkt bruker sokler på nytt; bare den tildelte gatewayen bestemmer rotasjon og oppførsel for faste økter. Bruk øktparametrene som følger med tjenesten, og bekreft avslutningen over flere forespørsler. Å lukke en sokkel eller sende Connection: close garanterer ikke en annen IP.

import requests

PROXY = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"
proxies = {"http": PROXY, "https": PROXY}

# One request, one exit
r = requests.get("https://api.ipify.org", proxies=proxies, timeout=30)
print(r.text)

# A sticky flow: same exit for every request of this session
sticky = "http://USER-cc-de-city-berlin-sid-cart42-ttl-15m:PASS@res.proxy-cyber.com:9000"
s = requests.Session()
s.proxies = {"http": sticky, "https": sticky}
s.get("https://example.com/product/1", timeout=30)
s.post("https://example.com/cart", json={"id": 1}, timeout=30)

httpx#

httpx tar en enkelt proxy= argument (eldre versjoner: proxies=Den støtter HTTP / 2 til destinasjonen gjennom CONNECT tunnelen og fungerer på samme måte i asynkron kode.

import httpx

PROXY = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"

with httpx.Client(proxy=PROXY, timeout=30) as client:
    print(client.get("https://api.ipify.org").text)

# async, one sticky exit per task
import asyncio

async def fetch(sid: str, url: str) -> str:
    proxy = f"http://USER-cc-us-sid-{sid}-ttl-10m:PASS@res.proxy-cyber.com:9000"
    async with httpx.AsyncClient(proxy=proxy, timeout=30) as client:
        return (await client.get(url)).text

asyncio.run(fetch("task1", "https://api.ipify.org"))

aiohttp#

aiohttp tar proxy per forespørsel eller per økt og snakker HTTP-proxyer innfødt; SOCKS5 trenger aiohttp-socks kobling.

import aiohttp, asyncio

PROXY = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"

async def main():
    async with aiohttp.ClientSession() as session:
        async with session.get("https://api.ipify.org", proxy=PROXY, timeout=aiohttp.ClientTimeout(total=30)) as r:
            print(await r.text())

asyncio.run(main())

Rotasjon, hold-i-live og nye forsøk#

• En ny TCP-tilkobling er en ny transporttilkobling, ikke bevis på en ny utgang.Gatewayens tildelte rotasjonsmodus bestemmer hvordan denne forbindelsen rutes.
• Bruk en distinkt øktidentifikator for hver uavhengige arbeidsflyt, der den tildelte gatewayen støtter det. Bekreft tillatt varighet og plasseringsparametre i dine forbindelsesdetaljer. En hjemmeenhet kan koble fra før forespurt varighet; en fast økt er ikke en garanti for samme IP i dager. For en fast adresse, sammenlign et dedikert statisk produkt.
• Klassifiser svaret før du prøver på nytt. En 403 kan indikere en tilgangsregel som en annen IP ikke vil løse. For 429, respekter Retry- After og reduser forespørselsfrekvensen; bruk begrenset tilbaketrekking for midlertidige tilkoblinger eller tjenerfeil. Prøv tilstandsendring bare når du kan unngå dupliserte handlinger.
• Sett tidsgrenser til exit type: 15 s koble og 45 s lese for bolig, mer for mobil.

Sparer gigabyte#

Trafikk i boligområder faktureres per GB i begge retninger. Spør etter komprimerte svar (Accept-Encoding: gzip, br Bruk JavaScript (som er på som standard i disse bibliotekene), og foretrekk JSON-endepunkter fremfor HTML. Last aldri ned bilder, fonter eller medier med mindre det er dataene. En side på 350 KB er billig, en side på 4 MB med ressurser er ikke det.

Spørsmål folk stiller#