跳到內容
starproxy
開始使用

AI 訓練資料用代理

從公開網路建立資料集,需要跨多種語言、持續數週的爬取工作。StarProxy 無限流量住宅代理讓您在第一天就確定費用,並從 60 個國家送出請求。

這種工作很難用按 GB 計費來編列預算

面對數千個網域,頁面大小不是您能控制的。少數圖片與腳本很多的網站,就可能讓 GB 用量超出預估好幾倍。

無限流量只依期間與連線級距計價。在送出第一個請求之前,就能用一個數字寫出 90 天爬取工作的費用。

將各語言分開

許多網站會依訪客 IP 所在國家選擇語言版本。在使用者名稱加上 -cc-fr(法國)或 -cc-br(巴西)之類的國家代碼,請求就會從該國家發出。

為每種語言設定各自的工作佇列與不同的使用者名稱。爬蟲程式碼不變,結果會依語言存到不同資料夾。

範例:90 天爬取工作的費用

200 個連線、100 Mbps 級距在 Season(90 天)方案為每天 $3.46,合計 $311.40。購買 90 次 Day 方案則為 $409.50,因此 Season 可省下 $98.10。

規模較大的爬取工作,1,000 個連線、200 Mbps 級距在 Season 方案為每天 $7.52,合計 $676.80。控制台也可選擇 1~365 天的任意期間,只需依爬取排程付費。

收集的基本規則

只收集公開內容,並遵守 robots.txt 與網站條款。確認用於訓練時的著作權與隱私規定,儲存前刪除不需要的個人資料。

即使代理還有餘裕,也請為每個網域設定請求上限。下一版資料集時,您還會想再造訪同樣的網站。

為AI 訓練資料設定 StarProxy

  1. 1

    用加密貨幣儲值足以支應整個爬取期間的金額。單次儲值最高 $5,000。

  2. 2

    依爬取工作的天數購買無限流量住宅代理。Season(90 天)的每日費率最低。

  3. 3

    每種語言建立一個使用者名稱,例如 spexample1-zone-unl-cc-jp,並分別對應到工作佇列。

  4. 4

    將爬蟲連線到 gate.starproxy.shop:6100,同時連線數請維持在購買的級距內。

常見問題

一個方案可以使用多個國家嗎?

可以。一個無限流量方案即可使用全部 60 個國家。國家在使用者名稱中依每個請求設定。

爬取工作需要固定 IP 工作階段嗎?

大多不需要。每個請求使用新 IP,可以平均分散負載。只有在 Cookie 必須跨多個頁面保留的網站才使用 -sid。

可以用哪些幣種儲值?

可接受的幣種與網路會顯示在付款視窗中。金額會存入您的 USD 餘額。

爬取結束後還有剩餘餘額怎麼辦?

餘額沒有期限。可用於下一次爬取工作或其他任何產品。

儲值 $25,可取得 69 GB 住宅代理流量

選好使用者名稱與密碼就能開始使用。餘額永不過期。