網頁抓取代理
抓取程式會在短時間內向同一網站發送大量請求。StarProxy 無限流量計劃把請求分散到大量家居網絡 IP,並按日收費,無論傳回多少數據都一樣。
抓取程式為何會被封鎖?
網站會留意每個 IP 發出的請求數量,超過一定門檻便會減慢回應或顯示驗證頁面。從一部伺服器發出數千個請求,幾分鐘內就會觸及這個限制。
經由閘道(代理的接入點),請求會分散到數千個住宅 IP,即家居上網線路的地址。總請求量不變,但每個 IP 發出的數量大約與普通訪客相若。
價格由甚麼決定?
由使用期及連線級別決定。以 200 個連線、100 Mbps 計,Day 為 $4.55,Week 每日 $4.28(合共 $29.96),Month 每日 $3.87(合共 $116.10),Season 每日 $3.46(合共 $311.40)。
數據用量不計算。當工作每日傳輸超過大約 11~14 GB,無限流量會比按 GB 購買住宅代理便宜。圖片多的頁面很快就會超過這條線。
我需要哪個連線級別?
按同一時間開啟的請求數量決定。有 120 個工作程序的話,200 個連線的級別已足夠,並留有空間重試。
如同時運行多個抓取程式,請把工作程序數量相加。若合共 300 個,500 個連線級別(200 Mbps)就合適,Day 為 $7.44,Month 為每日 $6.32。下次購買時可轉換級別。
可以收集甚麼?
毋須登入即可開啟的公開頁面:產品列表、文章、已公開的商業資料。開始前請查閱網站條款及你所在地的法律。
用於以外洩登入資料登入、發送垃圾訊息、DDoS 或存取政府網站的帳戶會被暫停。按網域控制請求速度,可讓目標伺服器正常運作,你也能繼續從中收集數據。
為 網頁數據爬取 設定 StarProxy
1
以用戶名稱和密碼註冊,然後在付款視窗用加密貨幣增值。最低增值金額為 $25。
2
在無限流量住宅代理下,選擇使用期(Day、Week、Month 或 Season)及連線級別,然後付款。
3
在代理用戶名稱加入 -zone-unl。如數據因國家而異,也可加入國家代碼,例如 -cc-de。
4
把抓取程式的代理設定指向 gate.starproxy.shop。HTTP 用端口 6100,SOCKS5 用端口 6200。
常見問題
IP 多久更換一次?
用戶名稱沒有 -sid 選項時,每一個請求都會從新的住宅 IP 發出。
登入後幾個頁面我需要使用同一 IP。
在用戶名稱加入 -sid- 及你自訂的連線階段名稱。名稱相同的請求會共用一個 IP。用 -ttl- 設定保持時間,最長 60 分鐘。
除了數據,還有其他上限嗎?
同時連線數及速度以你所選的級別為上限。數據用量不計算。
我的訂單顯示「啟用中」。
表示已完成付款,計劃正在開通。如訂單未能啟用,會被取消,全數金額退回你的餘額。