跳到内容
starproxy
开始使用

AI 训练数据代理

用公开网页构建数据集,意味着要在多种语言之间运行数周的爬取任务。StarProxy 不限流量住宅代理让您在第一天就确定费用,并从 60 个国家发送请求。

这种场景下按 GB 计费很难做预算

面对成千上万个域名,页面大小不由您控制。少数图片和脚本很多的网站,就可能让 GB 用量超出预估好几倍。

不限流量只按时长和连接数档位计价。在发出第一个请求之前,您就能把 90 天爬取的费用写成一个确定的数字。

按语言分开

很多网站会根据访客 IP 所在国家选择语言版本。在用户名中添加 -cc-fr(法国)或 -cc-br(巴西)这样的国家代码,请求就会从该国出口。

为每种语言设置单独的任务队列和不同的用户名。爬虫代码不变,结果按语言存放到不同的文件夹。

示例:90 天爬取的费用

200 个连接、100 Mbps 档位选 Season(90 天)为每天 $3.46,共 $311.40。如果买 90 次 Day 则为 $409.50,选 Season 可节省 $98.10。

爬取规模更大时,1,000 个连接、200 Mbps 档位选 Season 为每天 $7.52,共 $676.80。控制台也支持 1~365 天的任意时长,只需按您的爬取计划付费。

采集的基本规则

只采集公开内容,并遵守 robots.txt 和网站条款。确认用于训练时的版权和隐私规定,存储前删除不需要的个人数据。

即使代理还有余量,也要为每个域名设置请求上限。下一个数据集版本时,您还会需要再次访问这些网站。

为AI 训练数据设置 StarProxy

  1. 1

    用加密货币充值,覆盖整个爬取周期。单次充值最多 $5,000。

  2. 2

    按爬取运行的天数购买不限流量住宅代理。Season(90 天)的日单价最低。

  3. 3

    每种语言创建一个用户名,例如 spexample1-zone-unl-cc-jp,并分别对应一个任务队列。

  4. 4

    将爬虫连接到 gate.starproxy.shop:6100,并将并发连接数控制在您购买的档位以内。

常见问题

一个套餐可以使用多个国家吗?

可以。一个不限流量套餐覆盖全部 60 个国家。您可以在用户名中为每个请求设置国家。

爬取需要粘性会话吗?

大多数情况下不需要。每个请求换新 IP 可以均匀分散负载。只有在需要跨多个页面保留 Cookie 的网站上才使用 -sid。

可以用哪些币种充值?

支持的币种和网络显示在支付窗口中。金额会计入您的 USD 余额。

爬取结束后还有余额怎么办?

余额没有有效期。可用于下一次爬取或其他任何产品。

充值 $25,即可获得 69 GB 住宅代理流量

设置用户名和密码即可开始使用。余额永不过期。