วิธีใช้พร็อกซีกับคําร้องขอของ Python, httpx และ aiohttp

ที่อยู่ URL ของพร็อกซี#

ทุกไลบรารี Python HTTP จะรับพร็อกซีเป็นที่อยู่ URL โดยมีProxy Cyberที่ URL จะนําใบรับรองของคุณและ พารามิเตอร์เป้าหมาย ในชื่อผู้ใช้; ชื่อโฮสต์คือประตู และพอร์ตเลือกโพรโทคอล

# Rotating: a new United States household on every new connection
http://USER-cc-us:PASS@res.proxy-cyber.com:9000

# Sticky: one Berlin household held for 30 minutes under the id "job42"
http://USER-cc-de-city-berlin-sid-job42-ttl-30m:PASS@res.proxy-cyber.com:9000

# SOCKS5 with remote DNS (socks5h), same parameters
socks5h://USER-cc-us:PASS@res.proxy-cyber.com:9001

ต้องการ#

การกําหนดค่าต่าง ๆ ของการเชื่อมต่อและค่า IP นั้นเป็นค่าควบคุมที่แตกต่างกัน การใช้ค่าฐานของไคลเอนต์ซ้ํา การใช้ค่าต่าง ๆ ของจุดเชื่อมต่อ ซึ่งกําหนดเฉพาะเกตเวย์ที่กําหนดให้ใช้ค่าพฤติกรรมการหมุนและค่าความกํามะหยี่ของกลุ่มการทํางาน โดยใช้พารามิเตอร์ต่าง ๆ ที่ให้มากับบริการของคุณ และตรวจสอบค่าออกตามต้องการหลาย ๆ แบบ การปิดหรือการส่งการเชื่อมต่อของไคลเอนต์: ปิดไม่รับประกันหมายเลขไอพีอื่น

import requests

PROXY = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"
proxies = {"http": PROXY, "https": PROXY}

# One request, one exit
r = requests.get("https://api.ipify.org", proxies=proxies, timeout=30)
print(r.text)

# A sticky flow: same exit for every request of this session
sticky = "http://USER-cc-de-city-berlin-sid-cart42-ttl-15m:PASS@res.proxy-cyber.com:9000"
s = requests.Session()
s.proxies = {"http": sticky, "https": sticky}
s.get("https://example.com/product/1", timeout=30)
s.post("https://example.com/cart", json={"id": 1}, timeout=30)

httpx#

httpx ซิงเกิล proxy= อาร์กิวเมนต์ (รุ่นเก่า: proxies=).มันรองรับ HTTP/2 ถึงจุดหมายปลายทางผ่านอุโมงค์คอนเน็ตเทค และใช้รหัสแอซิงค์แบบเดียวกัน

import httpx

PROXY = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"

with httpx.Client(proxy=PROXY, timeout=30) as client:
    print(client.get("https://api.ipify.org").text)

# async, one sticky exit per task
import asyncio

async def fetch(sid: str, url: str) -> str:
    proxy = f"http://USER-cc-us-sid-{sid}-ttl-10m:PASS@res.proxy-cyber.com:9000"
    async with httpx.AsyncClient(proxy=proxy, timeout=30) as client:
        return (await client.get(url)).text

asyncio.run(fetch("task1", "https://api.ipify.org"))

Aiohtp#

Aiohtp รับพร็อกซีต่อคําร้องขอหรือต่อวาระ และพูด hTTPPFFFF; SOCKL5 ต้องการ aiohttp-socks การเชื่อมต่อ

import aiohttp, asyncio

PROXY = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"

async def main():
    async with aiohttp.ClientSession() as session:
        async with session.get("https://api.ipify.org", proxy=PROXY, timeout=aiohttp.ClientTimeout(total=30)) as r:
            print(await r.text())

asyncio.run(main())

การหมุน, การคงตําแหน่งและการปรับปรุง#

• การเชื่อมต่อ TCP ใหม่ คือการเชื่อมต่อการขนส่งแบบใหม่ ไม่ใช่การพิสูจน์ทางออกใหม่
• ใช้ตัวระบุวาระการทํางานแต่ละตัวแบบแยกต่างหาก โดยเกตเวย์ของแต่ละค่า จะรองรับการทํางานแบบมีการกําหนดไว้ คุณยืนยันค่าช่วงเวลา และค่าที่ตั้งของตําแหน่งต่าง ๆ ในรายละเอียดการเชื่อมต่อของคุณ อุปกรณ์ที่พักสามารถยุติการทํางานได้ก่อนที่จะมีการเรียกดูระยะเวลาที่ต้องการ ซึ่งวาระการทํางานแบบกํามะหยี่นั้นไม่ใช่การรับประกันหมายเลขไอพีเดียวกันสําหรับที่อยู่คงที่ ให้เปรียบเทียบผลิตภัณฑ์แบบคงที่ที่ทํางานอยู่
• จําแนกการตอบสนองก่อนที่จะลองใหม่ โดย 403 อาจหมายถึง กฎการเข้าใช้ที่ IP อื่น ๆ จะไม่สามารถแก้ไขได้ สําหรับ 429, นับถือ retric- rates และลดอัตราการร้องขอไป, ใช้การสํารองข้อมูลแบบผูกขาดสําหรับการเชื่อมต่อชั่วคราวหรือความล้มเหลวของระบบแม่ข่าย การทําการแก้ไขสถานะเปลี่ยนแปลงสถานะเฉพาะเมื่อคุณสามารถป้องกันการกระทําซ้ําได้เท่านั้น
• ตั้งค่าเวลาออกที่ประเภทออก: 15 s เชื่อมต่อ และ 45 s อ่านสําหรับที่อยู่อาศัย, มากขึ้นสําหรับมือถือ

จัดเก็บ Guide#

ปริมาณข้อมูล ติด ต่อ จะ ได้ รับ การ เรียก ค่า ใช้ จ่าย ต่อ จีบี ใน สอง ทาง.Accept-Encoding: gzip, br จะอยู่บนค่าปริยายในไลบรารีเหล่านี้), เลือก Json ปลายจุดเป็น HTML และไม่เคยดาวน์โหลดภาพ, แบบอักษร หรือสื่อ ยกเว้นว่าเป็นข้อมูล. หน้า 148 ราคาถูก; หน้า 4 MB กับ สินทรัพย์ไม่ใช่.

คําถามที่คนถาม#