セルフホスト vs 商用プロキシサービス
商用の「レジデンシャルプロキシ」サービスは法的なグレーゾーンで運営されていることが多く、価格もそれに見合って高額です。セルフホストなら、データセンタープロキシを10分の1のコストで手に入れられます。ローテーションもログも法的リスクも、すべてお客様自身がコントロールします。
推奨スタック
HTTP(S)フォワードプロキシにはSquid、SOCKSには3proxy、ロードバランシングにはHAProxy、独自ローテーションにはPythonのaiohttp/httpxが使えます。VPS-Sインスタンス5〜10台をローテーションさせるクラスターで、5〜10個のIPプールを$75–150/moで構築できます。
法域 & scraping
モルドバとロシアは、西側のスクレイピング関連不正利用報告の大半の対象外です。ルーマニアとパナマも有力な代替候補です。「コンピュータ不正利用」が広く定義され、スクレイピングにまで適用される法域(米国、英国)は避けてください。
Scraping ホスティング — FAQ
01 Are IPs クリーン?
新しい VPS には新しい IP が割り当てられます。当社は悪用された IP を一般プールから除外してローテーションします。大規模なスクレイピングには追加 IPv4 の申請をお勧めします(有料アドオン)。
02 苦情があった場合、プロキシをシャットダウンしますか?
サーバー所在地の法域で有効な裁判所命令が出た場合のみです。通常のスクレイピング関連の苦情は、情報としてお客様へ転送します。
03 10台のVPSをデプロイしてIPをrotateできますか?
はい。各VPSには固有のIPv4が付属します。デプロイや設定の自動化にはAPIをご利用ください。
04 レジデンシャルIPでのスクレイピングはどうですか?
当社が提供するのはデータセンターIPv4のみです。レジデンシャルIPが必要な場合は、レジデンシャルプロキシサービスと組み合わせてください(ただし、そうしたサービスの法的な問題点にはご注意ください)。
05 スニーカー/チケットの自動購入に使えますか?
技術的には可能ですが、対象サイトの利用規約を確認してください。ホスティング先がどこであれ、規約が拘束力を持つ場合があります。