住宅用プロキシ
おすすめ保護された情報源または地理的にゲートされた情報源を、一度に 1 つの市場ごとに、ボリュームに合わせてローテーションしながら完全にローカルにカバーします。
$1.72/GB未使用のトラフィックは使用されるまで利用可能 – 世界中で同じ料金
住宅用プロキシ
- $1.72GB住宅用プロキシ、この仕事への推奨事項
- $467.30月あたり各 250 KB で 2,000,000 個のドキュメントの見積もり
- 24時間粘着性のあるフローが必要な場合は、1 分から 1 日までプールの出口を保持します。
- ∞スレッドどのネットワークにも同時実行の上限はありません。自分でドメインごとのペースを決める
01 — どのネットワークか
まずは居住用プロキシ。 4つすべての理由は次のとおりです。
推奨事項は、トレードオフがある場合にのみ役に立ちます。以下のカードは、各ネットワークが市場調査とデータ収集にどのような効果を発揮するのか、またどこでネットワークが価値を失うのかを示しています。
データセンタープロキシ
おすすめオープンソース、パブリック API、アーカイブからの一括収集を、リクエストあたりの最低コストで実現します。
$0.49/IP/月90 日間の期間、参照ゾーン、無制限のスレッド
データセンタープロキシ
ISPプロキシ
可能長時間のクロールにわたって安定した認証セッションを必要とするソース向け。
$0.69/IP/月90 日間の期間、参照ゾーン、無制限のスレッド
ISPプロキシ
モバイルプロキシ
可能モバイル専用のソースとアプリのコンテンツのみ。
$1.83/GB回転機器の国ごとの価格
モバイルプロキシ
02 — レシピ
設定方法。
市場調査とデータ収集に重要な設定と、右側の実例。 USER と PASS を、新規登録時に発行された資格情報に置き換えます。
- ソースごとに分割
- オープンソースの場合はデータセンター、保護されたソースまたはジオゲートされたソースの場合は住宅。 1 つのアカウント、両方のネットワーク。
- ターゲティング
- -cc- 市場ごと。比較可能なサンプルを得るために各国を国内から収集します。
- 回転
- 幅を広げるために回転します。ページネーションがセッション Cookie に依存する場合はスティッキーです。
- ストレージ
- 終了メタデータを含む生の HTML を保持します。後で再解析する方が、再クロールするよりもコストがかかりません。
import requests
OPEN = "http://USER:PASS@203.0.113.42:8000" # dedicated datacenter IP, bulk sources
GUARDED = "http://USER-cc-{cc}:PASS@res.proxy-cyber.com:9000" # residential, geo-gated sources
def fetch(url, market=None):
proxy = GUARDED.format(cc=market) if market else OPEN
return requests.get(url, proxies={"http": proxy, "https": proxy}, timeout=30).text- cc
- 出口の国。追加する 市 または として 狭くする。
- シド
- 任意の文字列を選択します。同じセッション ID を持つリクエストは 1 つの IP を共有します。
- ttl
- セッションが IP を保持する期間 (最大) 24時間;リクエストごとのローテーションを省略します。
03 — 予算
市場調査とデータ収集にかかる費用。
ページ サイズがわかれば、GB あたりの料金を予測できます。毎月のボリュームを入力してください。平均サイズには、このジョブの現実的な数値が事前に入力されており、変更できます。
書類
KB
平均的なドキュメント (HTML または JSON)
通信量476.8GB月あたり
料金$0.98住宅用はしごの GB あたり
推定コスト$467.30未使用のトラフィックは使用されるまで利用可能です
住宅料金のはしご、どの国でも同一。 1 回の購入で月のトラフィックを購入すると、表示されているレベルに達します。小規模なトップアップの価格は独自の段階で設定されます。 フルラダー.
04 — ベストプラクティス
市場調査とデータ収集が失敗する場所と、失敗しない方法。
プールが問題になることはほとんどありません。これら 4 つの習慣が成功率と請求額を決定します。
習慣ではなく保護によってルートを設定する
住宅に関するあらゆる情報源はお金を無駄にしています。データセンター上のすべてのソースがカバレッジを失います。一度分類してください。
市場内からの市場ごとのサンプル
国をまたいだ比較には、各国が現地で収集される必要があります。
料金と条件を尊重する
研究はサイトに過負荷をかけるためのライセンスではありません。ドメインごとのペースで、適用される robots.txt を尊重します。
個人データに配慮する
法的根拠があるものを収集し、残りは最小限に抑えます。
05 — 質問
市場調査とデータ収集のためのプロキシについての率直な回答。
データセットは住宅用ですか、それともデータセンター用ですか?
両方: オープンソースのデータセンターは IP あたり 0.56 ドルで毎月 100 GB がプールされ、レジデンシャルの場合は 1 GB あたりガードまたはジオゲートされたものになります。各ソースを成功した最も安価なネットワークにルーティングします。
200 万件のドキュメントのクロールにはどれくらいの費用がかかりますか?
ドキュメントあたり 250 KB とすると、約 500 GB になります。家庭用の 500 GB 階層は 1 GB あたり 0.83 ドル、つまり約 416.50 ドルです。データセンターでは、5 つの IP が毎月 500 GB をプールし、約 2.80 ドルです。
AIトレーニング用のデータを収集できますか?
公開データの収集は、利用規約およびお客様と情報源に適用される法律の範囲内で許可されています。個人データ、ペイウォールで保護されたコンテンツ、およびそれを禁止するサイトを除外するのはあなたの責任です。
同時実行に制限を設けていますか?
いいえ。すべてのネットワーク上でスレッド数は無制限です。ドメインごとの礼儀正しさはあなた次第です。
あなたのアカウント
1 つのアカウントでプロキシを管理
1 つのダッシュボードからネットワークを比較し、注文し、残高とサポート リクエストを追跡します。私たちのチームが支払いを確認し、配達後に接続の詳細を提供します。
アカウント作成