AI 訓練資料用代理
從公開網路建立資料集,需要跨多種語言、持續數週的爬取工作。StarProxy 無限流量住宅代理讓您在第一天就確定費用,並從 60 個國家送出請求。
這種工作很難用按 GB 計費來編列預算
面對數千個網域,頁面大小不是您能控制的。少數圖片與腳本很多的網站,就可能讓 GB 用量超出預估好幾倍。
無限流量只依期間與連線級距計價。在送出第一個請求之前,就能用一個數字寫出 90 天爬取工作的費用。
將各語言分開
許多網站會依訪客 IP 所在國家選擇語言版本。在使用者名稱加上 -cc-fr(法國)或 -cc-br(巴西)之類的國家代碼,請求就會從該國家發出。
為每種語言設定各自的工作佇列與不同的使用者名稱。爬蟲程式碼不變,結果會依語言存到不同資料夾。
範例:90 天爬取工作的費用
200 個連線、100 Mbps 級距在 Season(90 天)方案為每天 $3.46,合計 $311.40。購買 90 次 Day 方案則為 $409.50,因此 Season 可省下 $98.10。
規模較大的爬取工作,1,000 個連線、200 Mbps 級距在 Season 方案為每天 $7.52,合計 $676.80。控制台也可選擇 1~365 天的任意期間,只需依爬取排程付費。
收集的基本規則
只收集公開內容,並遵守 robots.txt 與網站條款。確認用於訓練時的著作權與隱私規定,儲存前刪除不需要的個人資料。
即使代理還有餘裕,也請為每個網域設定請求上限。下一版資料集時,您還會想再造訪同樣的網站。
為AI 訓練資料設定 StarProxy
1
用加密貨幣儲值足以支應整個爬取期間的金額。單次儲值最高 $5,000。
2
依爬取工作的天數購買無限流量住宅代理。Season(90 天)的每日費率最低。
3
每種語言建立一個使用者名稱,例如 spexample1-zone-unl-cc-jp,並分別對應到工作佇列。
4
將爬蟲連線到 gate.starproxy.shop:6100,同時連線數請維持在購買的級距內。
常見問題
一個方案可以使用多個國家嗎?
可以。一個無限流量方案即可使用全部 60 個國家。國家在使用者名稱中依每個請求設定。
爬取工作需要固定 IP 工作階段嗎?
大多不需要。每個請求使用新 IP,可以平均分散負載。只有在 Cookie 必須跨多個頁面保留的網站才使用 -sid。
可以用哪些幣種儲值?
可接受的幣種與網路會顯示在付款視窗中。金額會存入您的 USD 餘額。
爬取結束後還有剩餘餘額怎麼辦?
餘額沒有期限。可用於下一次爬取工作或其他任何產品。