ローテーティングプロキシ

Rotating proxy とは？

rotating proxy — 日本語でよく使われる呼び方では ローテーションプロキシ 、あるいは IP を自動で切り替えるプロキシとも呼ばれ、リクエストを固定の 1 つの IP ではなく、広大なプール内の異なるアドレスから順番に送出する仕組みです。アプリケーションには接続先(ゲートウェイ)を 1 つ設定するだけで、どのリクエストがどの IP から出るかはインフラが決めます。

このアーキテクチャの最大の利点は、運用のシンプルさです。何百もの IP を買ってリスト、健全性、ブロック状況を管理する代わりに、1 行のプロキシ設定で数百万のアドレスにアクセスできます。複雑さはインフラ側へ移り、あなたはデータに集中できます。

backconnect アーキテクチャ: 舞台裏

rotating proxy の心臓部は backconnect(ゲートウェイ) サーバーです。アプリケーションに設定するアドレス — 例えば gw.freeproxy.tr:7777 — は IP ではなく入口です。すべての接続はこの入口を通り、背後の巨大な IP プールから適切なアドレスでインターネットへ出ます。

どの IP が選ばれるかはランダムではありません。インフラは IP の健全性、直近でそのターゲットへ接続したかどうか、そしてあなたのローテーション設定を考慮します。この賢い選択の層が、コード側で書くはずだった数百行のエラー処理を肩代わりします。

IP 切替のロジック — 3 つのモード

リクエスト単位のローテーション

HTTP リクエストごとにプールの異なる IP から出ます。1.000 ページのスクレイピングでは、対象サイトに 1.000 人の別々の訪問者が見えます。IP あたりのリクエスト制限は事実上意味を失います。大規模な web scraping 作業の既定モードです。互いに独立したページを取得する際に最適です。

時間単位のローテーション

IP は指定した間隔(例えば 5 分ごと)で自動的に変わります。ページ間の移動はあるが長いセッションは不要な流れに向きます。カテゴリを見て回り、いくつかの商品を確認するような中程度の長さの処理で役立ちます。

Sticky session

接続パラメータに session ID を加えると、同じ ID は 1-30 分のあいだ同じ IP に割り当てられます。ログインの流れ、カートの処理、複数ステップのフォームはこのモードで完了します。重要な点: 作業ごとに異なる session ID を与えてください。 1 つの ID ですべてを同じ IP に集めると、ローテーションの目的が丸ごと無意味になります。

賢いプール管理

優れた rotating 基盤は IP をランダムに選びません。裏側では健全性の層が常に動いています:

• 遅くなった IP や、ターゲットにフラグを立てられた IP は自動的にローテーションから外されます。
• 失敗したリクエストは別の IP で自動的に再試行されます(スマートな retry)。
• 対象のドメインに応じて「最近そのターゲットへ行っていない」IP が優先され、パターンの形成を防ぎます。
• プールの健全性はリアルタイムで監視され、全体の成功率が高く保たれます。

スクレイピング面での利点

rotating proxy は大規模なデータ収集の背骨です。得られる利点は:

• IP あたりのリクエストが少ない: 各 IP に届くリクエストはターゲットの許容範囲を下回り、BAN のリスクは最小になります。
• 無制限の同時実行: 数千のリクエストを並列で送れます。接続数の上限はありません。
• 自動 retry: 失敗したリクエストは別の IP で再試行され、手動のエラー処理は不要です。
• リスト管理が不要: 死んだ IP の選別やブロック管理といった雑務がなくなります。

どのプール？ レジデンシャルかモバイルか

ローテーションは仕組みであり、その下の IP プールは別の選択です。この違いを理解することが大切です:

• Rotating レジデンシャル: レジデンシャルプール は最も広い多様性(10M+ IP)をもたらし、ほとんどの用途で標準です。保護されたターゲットでも高い成功率を出します。
• Rotating モバイル: モバイルプール は最も高い信頼スコアを提供し、最も厳格に保護されたターゲットで活きます。
• Rotating データセンター: 保護のないターゲットでは最も速く安価な選択肢ですが、強力な保護に対しては効果が限られます。

ターゲットの保護レベルに応じて選びます。迷ったら、レジデンシャルから始めるのが安全な既定です。

自動化とツール連携

Scrapy、Puppeteer、Playwright、Selenium、そしてすべての HTTP クライアントが、ゲートウェイの設定 1 つで動きます。 自動化プロキシ のページに、ツール別の設定例があります。

正しい使い方のパターン

1. 一覧 + 詳細のパターン: カテゴリページはリクエスト単位で、商品詳細へ進むセッションは sticky で取得してください。
2. ペースの管理: ローテーションは制限からあなたを守りますが、ターゲットに配慮したペースは依然としてあなたの責任です。ランダムな遅延を使ってください。
3. 成功率の指標を追う: 403/429 の比率をログに残してください。増加は、プールかペースの調整が必要なサインです。
4. session ID を分ける: スレッドごとに別の ID を。並列性は保たれ、セッションの一貫性も維持されます。

料金の考え方

rotating パッケージは GB 単位です。すべてのローテーションモード(リクエスト、時間、sticky)は同じトラフィックカウンターから引かれ、未使用の GB は翌月に繰り越されます。同時実行が無制限のため、「何接続か」ではなく「どれだけデータを使ったか」で支払います。これはスケールする運用にとって予測しやすいモデルです。容量が増えるほど GB 単価は下がります。

よくある技術的な質問

• 同じ IP がまた出てきますか？ プールの規模から、短期間での可能性は非常に低いです。厳密な一意性が必要な場合は、session パラメータで制御します。
• ゲートウェイは単一障害点ですか？ いいえ。ゲートウェイ層は冗長化されており、1 つのノードが落ちればトラフィックは自動的に移されます。
• 国を選べますか？ はい。ターゲティングのパラメータはリクエストごとに変更でき、1 つのアカウントで 150+ カ国にアクセスできます。