AI学習データ用プロキシ

公開ウェブからデータセットを作るには、複数の言語で数週間続くクロールが必要です。StarProxyの無制限住宅用プロキシなら、初日に費用を確定でき、60か国からリクエストを送れます。

この用途ではGB課金の予算が立てにくい

数千のドメインを相手にすると、ページの大きさは自分では決められません。画像やスクリプトの重いサイトがいくつかあるだけで、GBの使用量が見積もりの何倍にもなることがあります。

無制限プランの料金は、期間と接続数の段階だけで決まります。90日間のクロールの費用を、最初のリクエストの前に1つの数字で書き出せます。

多くのサイトは、訪問者のIPの国で言語版を選びます。ユーザー名に-cc-fr (フランス) や-cc-br (ブラジル) のような国コードを付けると、リクエストはその国から送信されます。

言語ごとにジョブキューを分け、別々のユーザー名を割り当ててください。クローラーのコードはそのままで、結果は言語ごとに別のフォルダに保存されます。

同時接続数200、100 MbpsをSeason (90日) で使うと1日$3.46、合計$311.40です。Dayを90回買うと$409.50なので、Seasonなら$98.10安くなります。

より大きなクロールなら、同時接続数1,000、200 MbpsのSeasonが1日$7.52、合計$676.80です。ダッシュボードでは1~365日の任意の期間も指定できるので、クロールの日程分だけ支払えます。

収集するのは公開コンテンツだけにし、robots.txtとサイトの利用規約に従ってください。学習に使う際の著作権とプライバシーのルールを確認し、保存する前に不要な個人情報を取り除いてください。

プロキシの容量に余裕があっても、ドメインごとのリクエスト上限を設定してください。次のバージョンのデータセットでも、同じサイトを再訪することになります。

1つのプランで複数の国を使えますか。

はい。1つの無制限プランで60か国すべてに対応します。国はユーザー名でリクエストごとに指定します。

クロールにスティッキーセッションは必要ですか。

ほとんどの場合は不要です。リクエストごとに新しいIPを使えば、負荷が均等に分散されます。-sidは、Cookieを複数ページにわたって引き継ぐ必要があるサイトでだけ使ってください。

どの暗号資産でチャージできますか。

対応している通貨とネットワークは決済画面に表示されます。金額はUSDの残高に入ります。

クロール後に残高が残ったらどうなりますか。

残高に有効期限はありません。次のクロールやほかの製品に使えます。

ユーザー名とパスワードを決めるだけで始められます。残高に有効期限はありません。