網路爬蟲代理
爬蟲會在短時間內對同一個網站送出大量請求。StarProxy 無限流量方案會將請求分散到許多家用網路 IP,不論回傳多少資料,都以每日費率計費。
爬蟲為什麼會被封鎖?
網站會監看每個 IP 送出多少請求。超過一定門檻後,就會放慢回應或顯示驗證頁面。從一台伺服器送出幾千個請求,幾分鐘內就會碰到這個限制。
透過連線位址(代理的入口),請求會分散到數千個住宅 IP,也就是家用網路線路的位址。總量不變,但每個 IP 送出的量和一般訪客差不多。
價格由什麼決定?
由期間與連線級距決定。200 個連線、100 Mbps 時,Day 為 $4.55,Week 為每天 $4.28(合計 $29.96),Month 為每天 $3.87(合計 $116.10),Season 為每天 $3.46(合計 $311.40)。
資料量不計費。工作每天抓取超過約 11~14 GB 時,無限流量會比按 GB 購買住宅代理便宜。圖片多的頁面很快就會超過這條線。
我需要哪個連線級距?
依同一時間開啟的請求數來判斷。120 個 worker 時,200 個連線的級距就夠用,還能保留重試的空間。
如果同時執行多個爬蟲,請把 worker 數加總。300 個時,500 個連線的級距(200 Mbps)適合。Day 方案為 $7.44,Month 方案為每天 $6.32。下次購買時可以更換級距。
可以收集哪些資料?
不需登入即可開啟的公開頁面:商品列表、文章、公開的商家資訊。開始前請確認網站條款與您所在地的法律。
用於以外洩帳密登入、垃圾訊息、DDoS 或連線政府網站的帳號會被停權。依網域控制請求頻率,可以讓目標伺服器正常運作,您也能持續收集。
為網路爬蟲設定 StarProxy
1
用使用者名稱與密碼註冊,再於付款視窗中用加密貨幣儲值。最低儲值金額為 $25。
2
在無限流量住宅代理中選擇期間(Day、Week、Month 或 Season)與連線級距,然後付款。
3
在代理使用者名稱加上 -zone-unl。如果資料因國家而不同,也加上國家代碼,例如 -cc-de。
4
將爬蟲的代理設定指向 gate.starproxy.shop。HTTP 使用連接埠 6100,SOCKS5 使用連接埠 6200。
常見問題
IP 多久換一次?
使用者名稱中沒有 -sid 選項時,每個請求都會從新的住宅 IP 發出。
登入後需要用同一個 IP 瀏覽幾個頁面。
在使用者名稱加上 -sid- 與您自訂的工作階段名稱。相同名稱的請求會共用一個 IP。用 -ttl- 設定保持時間,最長 60 分鐘。
除了資料量之外還有其他限制嗎?
同時連線數與速度以您選擇的級距為上限。資料量不計算。
我的訂單顯示開通中。
付款已完成,方案正在開通。如果訂單無法開通,會被取消,全部金額退回您的餘額。