网页采集代理
采集程序会在短时间内向同一个网站发送大量请求。StarProxy 不限流量套餐把这些请求分散到大量家庭宽带 IP 上,按天收费,无论返回多少数据都一样。
采集程序为什么会被封?
网站会监控每个 IP 发来的请求数量。超过一定阈值后,就会放慢响应或显示验证页面。从一台服务器发出几千个请求,几分钟内就会触发这个限制。
通过网关(代理的接入点),请求会分散到数千个住宅 IP,也就是家庭宽带线路的地址。总请求量不变,但每个 IP 发出的请求量与普通访客差不多。
价格由什么决定?
由时长和连接数档位决定。200 个连接、100 Mbps 时,Day 为 $4.55,Week 为每天 $4.28(共 $29.96),Month 为每天 $3.87(共 $116.10),Season 为每天 $3.46(共 $311.40)。
不计数据量。当任务每天拉取超过约 11~14 GB 时,不限流量比按 GB 购买住宅代理更便宜。图片多的页面很快就会超过这个量。
我需要哪个连接数档位?
按同一时刻打开的请求数来选。如果有 120 个工作线程,200 个连接的档位就够用,还能留出重试的余量。
如果同时运行多个采集程序,把它们的工作线程数相加。合计 300 时,适合 500 个连接档位(200 Mbps)。Day 为 $7.44,Month 为每天 $6.32。下次购买时可以更换档位。
可以采集什么?
无需登录即可打开的公开页面:商品列表、文章、公开的企业信息。开始之前,请先确认网站条款和您所在地的法律。
用于泄露凭据登录、垃圾信息、DDoS 或访问政府网站的账户将被暂停。按域名控制请求频率,可以让目标服务器保持正常运行,您也能持续采集。
为网页数据采集设置 StarProxy
1
用用户名和密码注册,然后在支付窗口中用加密货币充值。最低充值 $25。
2
在不限流量住宅代理下,选择时长(Day、Week、Month 或 Season)和连接数档位,然后付款。
3
在代理用户名中添加 -zone-unl。如果数据因国家而异,再添加国家代码,例如 -cc-de。
4
将采集程序的代理设置指向 gate.starproxy.shop。HTTP 使用端口 6100,SOCKS5 使用端口 6200。
常见问题
IP 多久更换一次?
用户名中不加 -sid 参数时,每个请求都会从新的住宅 IP 发出。
登录后的几个页面需要使用同一个 IP。
在用户名中添加 -sid- 和您自定义的会话名。使用相同名称的请求共用一个 IP。用 -ttl- 设置保持时间,最长 60 分钟。
除了数据量,还有其他限制吗?
并发连接数和速度以您选择的档位为上限。数据量不计。
我的订单显示开通中。
付款已完成,套餐正在开通。如果订单无法开通,会被取消,全部金额退回您的余额。