住宅用プロキシ
おすすめ実際の世帯全体ですべてのリクエストをローテーションすることで、レート制限とボット スコアを無効にします。都市と ASN のターゲティングは、地元のユーザーが目にするものを再現します。 GB ごとに、未使用のトラフィックは使用されるまで利用可能なままになります。
$1.72/GB未使用のトラフィックは使用されるまで利用可能 – 世界中で同じ料金
住宅用プロキシ
- $1.72GB住宅用プロキシ、この仕事への推奨事項
- $179.91月あたり各 350 KB で 500,000 ページの見積もり
- 24時間粘着性のあるフローが必要な場合は、1 分から 1 日までプールの出口を保持します。
- ∞スレッドどのネットワークにも同時実行の上限はありません。自分でドメインごとのペースを決める
01 — どのネットワークか
まずは居住用プロキシ。 4つすべての理由は次のとおりです。
推奨事項は、トレードオフがある場合にのみ役に立ちます。以下のカードは、各ネットワークが Web スクレイピングに適している点と、それがお金を払う価値がなくなる場所を示しています。
データセンタープロキシ
フィット感が良いホスティング範囲のフィンガープリントを行わないターゲット (パブリック API、サイトマップ、独自のプロパティ、保護レベルの低いカタログ) のリクエストあたりの料金が最も安くなります。
$0.49/IP/月90 日間の期間、参照ゾーン、無制限のスレッド
データセンタープロキシ
ISPプロキシ
可能クロールで 1 つのアドレスにとどまる必要があるログインが必要な場合のみ。そうしないと、使用しない安定性に対してお金を払うことになります。
$0.69/IP/月90 日間の期間、参照ゾーン、無制限のスレッド
ISPプロキシ
モバイルプロキシ
可能ほとんどのコレクションでは過剰ですが、他のすべてをブロックするターゲットのフォールバックです。
$1.83/GB回転機器の国ごとの価格
モバイルプロキシ
02 — レシピ
設定方法。
Web スクレイピングに重要な設定と、右側にある実際の例。 USER と PASS を、新規登録時に発行された資格情報に置き換えます。
- 回転
- ローテーション: -sid- を省略すると、すべてのリクエストが新しい出口から出力されます。
- ターゲティング
- -cc- あなたがかき集めた市場のために。価格またはリストがローカルの場合は、-city- を追加します。
- 同時実行性
- ゲートウェイ上の無制限のスレッド。ドメインごとの料金を丁寧に保ち、プールはハンマーで叩くライセンスではありません。
- プロトコル
- ほとんどのクライアントではポート 9000 上の HTTP(S)。非 HTTP ツール用の 9001 上の SOCKS5。
- 再試行
- 403 または CAPTCHA では、1 回再試行します。次のリクエストはすでに別の IP です。
import requests
proxy = "http://USER-cc-us:PASS@res.proxy-cyber.com:9000"
session = requests.Session()
session.proxies = {"http": proxy, "https": proxy}
for url in urls:
r = session.get(url, timeout=30) # a new US household on every request
if r.status_code in (403, 429):
r = session.get(url, timeout=30) # retry once: different exit already
parse(r.text)- cc
- 出口の国。追加する 市 または として 狭くする。
- シド
- 任意の文字列を選択します。同じセッション ID を持つリクエストは 1 つの IP を共有します。
- ttl
- セッションが IP を保持する期間 (最大) 24時間;リクエストごとのローテーションを省略します。
03 — 予算
あなたのボリュームでの Web スクレイピングにかかる費用。
ページ サイズがわかれば、GB あたりの料金を予測できます。毎月のボリュームを入力してください。平均サイズには、このジョブの現実的な数値が事前に入力されており、変更できます。
ページ
KB
平均ページサイズ (HTML のみ)
通信量166.9GB月あたり
料金$1.08住宅用はしごの GB あたり
推定コスト$179.91未使用のトラフィックは使用されるまで利用可能です
住宅料金のはしご、どの国でも同一。 1 回の購入で月のトラフィックを購入すると、表示されているレベルに達します。小規模なトップアップの価格は独自の段階で設定されます。 フルラダー.
04 — ベストプラクティス
Web スクレイピングが失敗する場所と、失敗しない方法。
プールが問題になることはほとんどありません。これら 4 つの習慣が成功率と請求額を決定します。
市場への出口を一致させる
ドイツの家庭からドイツの店をかき集めなさい。場所が混在していると、一貫性チェックがトリガーされ、価格が歪められます。
サイトが期待する場所でセッションを維持する
複数ページのフロー (検索ページ、結果ページ) は、ホップごとに新しい IP を使用するよりも、数分間 1 回のスティッキー出口で動作する方が適切に機能します。
重みを取り除く
ヘッドレス ブラウザで画像、フォント、トラッカーをブロックします。料金は GB ごとに発生し、HTML はページのほんの一部にすぎません。
ターゲットを尊重する
ドメインごとにレート制限を設け、適用される場合には robots.txt を尊重し、保持する根拠のない個人データは決して収集しないでください。
05 — 質問
Webスクレイピングのプロキシについての率直な答え。
スクレイピングには住宅かデータセンターか?
ターゲットに抵抗がない場合は、データセンターから始めます。リクエストごとに最も安価です。 CAPTCHA、403、または劣化したコンテンツを見つけたら、そのターゲットを住宅地に移動します。 GB あたりの価格で成功率が決まります。
スクレイピングではどのくらいのトラフィックが使用されますか?
通常、HTML だけで 1 ページあたり 100 ～ 500 KB になります。 350 KB で 50 万ページは約 170 GB に相当し、家庭用のはしごで約 183.40 ドルかかります。画像を読み込むヘッドレス ブラウザでは、この値が 5 倍になる可能性があります。それらをブロックしてください。
スクレイピングを許可しますか?
公開されているデータの収集は許可されています。法的根拠なしにサイトを攻撃したり、認証を回避したり、個人データを収集したりすることは禁止されており、利用規定が適用されます。
リクエストごとにローテーションして、必要なときにセッションを維持できますか?
はい、同じアカウントで。ローテーションのセッションパラメータを省略します。 IP を共有する必要があるリクエストに -sid- と -ttl- を追加します。
どれくらいの成功率を期待すればよいでしょうか?
それはプールよりもはるかにターゲットに依存します。住宅の出口で行儀の良いクローラーは通常、リクエストの大部分が成功するのを確認します。残りは、バイトを超えた追加コストなしで新しい IP で再試行されます。
あなたのアカウント
1 つのアカウントでプロキシを管理
1 つのダッシュボードからネットワークを比較し、注文し、残高とサポート リクエストを追跡します。私たちのチームが支払いを確認し、配達後に接続の詳細を提供します。
アカウント作成