AI 训练数据代理
用公开网页构建数据集,意味着要在多种语言之间运行数周的爬取任务。StarProxy 不限流量住宅代理让您在第一天就确定费用,并从 60 个国家发送请求。
这种场景下按 GB 计费很难做预算
面对成千上万个域名,页面大小不由您控制。少数图片和脚本很多的网站,就可能让 GB 用量超出预估好几倍。
不限流量只按时长和连接数档位计价。在发出第一个请求之前,您就能把 90 天爬取的费用写成一个确定的数字。
按语言分开
很多网站会根据访客 IP 所在国家选择语言版本。在用户名中添加 -cc-fr(法国)或 -cc-br(巴西)这样的国家代码,请求就会从该国出口。
为每种语言设置单独的任务队列和不同的用户名。爬虫代码不变,结果按语言存放到不同的文件夹。
示例:90 天爬取的费用
200 个连接、100 Mbps 档位选 Season(90 天)为每天 $3.46,共 $311.40。如果买 90 次 Day 则为 $409.50,选 Season 可节省 $98.10。
爬取规模更大时,1,000 个连接、200 Mbps 档位选 Season 为每天 $7.52,共 $676.80。控制台也支持 1~365 天的任意时长,只需按您的爬取计划付费。
采集的基本规则
只采集公开内容,并遵守 robots.txt 和网站条款。确认用于训练时的版权和隐私规定,存储前删除不需要的个人数据。
即使代理还有余量,也要为每个域名设置请求上限。下一个数据集版本时,您还会需要再次访问这些网站。
为AI 训练数据设置 StarProxy
1
用加密货币充值,覆盖整个爬取周期。单次充值最多 $5,000。
2
按爬取运行的天数购买不限流量住宅代理。Season(90 天)的日单价最低。
3
每种语言创建一个用户名,例如 spexample1-zone-unl-cc-jp,并分别对应一个任务队列。
4
将爬虫连接到 gate.starproxy.shop:6100,并将并发连接数控制在您购买的档位以内。
常见问题
一个套餐可以使用多个国家吗?
可以。一个不限流量套餐覆盖全部 60 个国家。您可以在用户名中为每个请求设置国家。
爬取需要粘性会话吗?
大多数情况下不需要。每个请求换新 IP 可以均匀分散负载。只有在需要跨多个页面保留 Cookie 的网站上才使用 -sid。
可以用哪些币种充值?
支持的币种和网络显示在支付窗口中。金额会计入您的 USD 余额。
爬取结束后还有余额怎么办?
余额没有有效期。可用于下一次爬取或其他任何产品。