ウェブスクレイピング用プロキシ
スクレイパーは短時間に1つのサイトへ大量のリクエストを送ります。StarProxyの無制限プランは、それを多数の家庭回線のIPに分散させ、受け取るデータ量に関係なく1日単位の料金で課金します。
スクレイパーがブロックされる理由
サイトはIPごとのリクエスト数を監視しています。一定の基準を超えると応答を遅くしたり、確認ページを表示したりします。1台のサーバーから数千のリクエストを送れば、数分でその上限に達します。
ゲートウェイ (プロキシの入口) を通すと、リクエストは数千の住宅用IP、つまり家庭のインターネット回線のアドレスに分散されます。全体の量は変わりませんが、各IPから送られるのは普通の訪問者と同じくらいの量になります。
料金を決めるもの
期間と接続数の段階です。同時接続数200、100 Mbpsの場合、Dayは$4.55、Weekは1日$4.28 (合計$29.96)、Monthは1日$3.87 (合計$116.10)、Seasonは1日$3.46 (合計$311.40) です。
データ量は計測しません。1日およそ11~14 GBを超える作業なら、住宅用プロキシをGB単位で買うより無制限のほうが安くなります。画像の多いページではすぐにその量を超えます。
必要な接続数の段階は
同時に開いているリクエストの数で決めてください。ワーカーが120なら、同時接続数200の段階で足り、再試行の余裕も残ります。
複数のスクレイパーを同時に動かすなら、ワーカー数を合計します。300なら同時接続数500 (200 Mbps) の段階が合います。Dayで$7.44、Monthなら1日$6.32です。段階は次回の購入時に変更できます。
何を収集できますか
ログインなしで開ける公開ページです。商品一覧、記事、公開されている企業情報などです。始める前に、サイトの利用規約と事業を行う地域の法令を確認してください。
流出した認証情報でのログイン、スパム、DDoS、政府機関サイトへのアクセスに使われたアカウントは停止されます。ドメインごとにリクエストの間隔を空ければ、対象サーバーに負担をかけず、収集を続けられます。
ウェブスクレイピング向けのStarProxy設定
1
ユーザー名とパスワードで新規登録し、決済画面から暗号資産で残高をチャージします。最低チャージ額は$25です。
2
無制限住宅用プロキシで期間 (Day、Week、Month、Season) と接続数の段階を選び、支払います。
3
プロキシユーザー名に-zone-unlを付けます。国によってデータが異なる場合は、-cc-deのような国コードも付けます。
4
スクレイパーのプロキシ設定をgate.starproxy.shopに向けます。HTTPはポート6100、SOCKS5はポート6200です。
よくある質問
IPはどのくらいの頻度で変わりますか。
ユーザー名に-sidオプションがなければ、リクエストは1件ごとに新しい住宅用IPから送信されます。
ログイン後の数ページは同じIPで見たいです。
ユーザー名に-sid-と任意のセッション名を付けてください。同じ名前のリクエストは1つのIPを共有します。維持時間は-ttl-で最大60分まで設定できます。
データ量以外に上限はありますか。
同時接続数と速度は、選んだ段階までです。データ量は計測しません。
注文が「開通中」になっています。
お支払いは完了しており、プランを開通している最中です。開通できなかった注文はキャンセルされ、全額が残高に戻ります。