Välityspalvelimien käyttäminen Selenium WebDriverin kanssa (Chrome ja Firefox)

Vaihtoehto 1: IP-osoitteen lisääminen sallittujen osoitteiden luetteloon (suositus palvelimille)#

Lähetä palvelimen todellinen lähtevä julkinen IPv4 Accessissa ja odota järjestelmänvalvojan aktivointia. NAT tai VPN voi muuttaa yhdyskäytävän näkemää osoitetta. Salasanaton käyttö toimii vasta sen jälkeen, kun merkintä on vahvistettu määritetylle palvelulle. Vahvista maa- ja istuntoasetukset erikseen; lähde-IP-sallittujen luettelo ei lähetä käyttäjänimiparametreja. valkoinen lista

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

opts = Options()
opts.add_argument("--proxy-server=http://res.proxy-cyber.com:9000")
opts.add_argument("--headless=new")
driver = webdriver.Chrome(options=opts)
driver.get("https://api.ipify.org")
print(driver.find_element("tag name", "body").text)
driver.quit()

Vaihtoehto 2: WebDriver BiDi -todennus #

Esimerkki käyttää Seleniumin ylläpitämään WebDriver BiDi API, enable_bidi ja network.add_auth_handler. Testaa HTTP proxy haaste asennettu selain ja ajuri ennen kuin käytät sitä työhön. Käsittelijä ei ole rajoitettu yhteen isäntään, joten käytä eristetty selausistunto ilman todennus kehotteita. Jos välityspalvelimen todentaminen ei tueta versio yhdistelmä, käytä aktivoitu IP allowlist.

import os
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()
options.enable_bidi = True
options.add_argument("--proxy-server=" + os.environ["PROXY_SERVER"])

with webdriver.Chrome(options=options) as driver:
    handler = driver.network.add_auth_handler(
        os.environ["PROXY_USER"], os.environ["PROXY_PASSWORD"]
    )
    try:
        driver.get("https://api.ipify.org")
        print(driver.find_element("tag name", "body").text)
    finally:
        driver.network.remove_auth_handler(handler)

Firefox#

from selenium import webdriver
from selenium.webdriver.firefox.options import Options

opts = Options()
opts.set_preference("network.proxy.type", 1)
opts.set_preference("network.proxy.http", "res.proxy-cyber.com")
opts.set_preference("network.proxy.http_port", 9000)
opts.set_preference("network.proxy.ssl", "res.proxy-cyber.com")
opts.set_preference("network.proxy.ssl_port", 9000)
opts.set_preference("media.peerconnection.enabled", False)  # no WebRTC leak
driver = webdriver.Firefox(options=opts)  # whitelisted server, no prompt

Käytännön säännöt#

• Käytä erillistä istuntotunnistetta jokaiselle itsenäiselle työnkululle, jos määritetty yhdyskäytävä tukee sitä. Vahvista sallittu kesto ja sijaintiparametrit yhteystiedoissasi. Kotilaite voi katkaista yhteyden ennen pyydettyä kestoa; pysyvä istunto ei takaa samaa IP-osoitetta päivien ajan. Kiinteän osoitteen saamiseksi vertaile omaan staattiseen tuotteeseen.
• Käyttö --headless=new Chromessa; vanha headless-tila on erottuva sormenjälki.
• Erilliset istuntotunnisteet eristävät reititysasetukset, eivät selaimen evästeitä tai sovelluksen tilaa. Aloita pienellä työntekijämäärällä, mittaa virheitä ja liikennettä ja kasvata vähitellen tilaustasi ja kohdetta varten vahvistettujen rajojen puitteissa.Kaupunki- tai kuljettajavalinnan rajaaminen voi vähentää käytettävissä olevaa kapasiteettia.

Ihmiset kysyvät kysymyksiä#