Proxy para sa AI training data
Ang pagbuo ng dataset mula sa pampublikong web ay nangangahulugang crawl na tumatakbo nang ilang linggo sa iba't ibang wika. Sa StarProxy unlimited residential, maitatakda mo ang gastos sa unang araw pa lang at makakapagpadala ng request mula sa 60 bansa.
Mahirap i-budget dito ang singil kada GB
Sa libu-libong domain, hindi mo hawak ang laki ng page. Ilang site lang na mabigat sa larawan at script ay puwedeng magpalaki ng GB nang ilang beses lampas sa tantya.
Period at connection tier lang ang batayan ng presyo ng unlimited. Maisusulat mo ang gastos ng 90 araw na crawl bilang iisang numero bago pa ang unang request.
Paghihiwalay ng mga wika
Maraming site ang pumipili ng bersyon ng wika batay sa bansa ng IP ng bisita. Magdagdag ng country code gaya ng -cc-fr (France) o -cc-br (Brazil) sa username at doon lalabas ang mga request.
Bigyan ang bawat wika ng sariling job queue at ibang username. Pareho pa rin ang code ng crawler, at napupunta ang resulta sa hiwalay na folder kada wika.
Halimbawa: gastos ng 90 araw na crawl
Ang 200 koneksyon, 100 Mbps na tier sa Season (90 araw) ay $3.46 kada araw, $311.40 lahat. Kung bibili ng Day nang 90 beses, $409.50 ito, kaya $98.10 ang matitipid sa Season.
Para sa mas malaking crawl, ang 1,000 koneksyon, 200 Mbps na tier sa Season ay $7.52 kada araw, $676.80 lahat. Tumatanggap din ang dashboard ng kahit anong period mula 1~365 araw, kaya ang iskedyul lang ng crawl mo ang babayaran mo.
Mga pangunahing patakaran sa pagkuha ng data
Pampublikong content lang ang kunin at sundin ang robots.txt at terms ng site. Suriin ang mga patakaran sa copyright at privacy para sa training, at alisin ang personal data na hindi kailangan bago mag-imbak.
Magtakda ng limit sa request kada domain kahit may sobrang kapasidad ang proxy. Babalikan mo pa ang parehong mga site para sa susunod na bersyon ng dataset.
Pag-setup ng StarProxy para sa AI training data
1
Mag-top up gamit ang crypto para sa buong period ng crawl. Hanggang $5,000 ang isang top-up.
2
Bumili ng unlimited residential para sa bilang ng araw ng crawl mo. Ang Season (90 araw) ang may pinakamababang rate kada araw.
3
Gumawa ng isang username kada wika, gaya ng spexample1-zone-unl-cc-jp, at ikabit ang bawat isa sa isang job queue.
4
Ikonekta ang crawler sa gate.starproxy.shop:6100 at panatilihin ang sabay-sabay na koneksyon sa loob ng tier na binili mo.
Mga karaniwang tanong
Puwede bang gumamit ng ilang bansa ang isang plan?
Oo. Saklaw ng isang unlimited plan ang lahat ng 60 bansa. Itinatakda mo ang bansa sa bawat request sa username.
Kailangan ba ng sticky session sa crawl?
Kadalasan hindi. Pantay na nahahati ang load kapag bagong IP sa bawat request. Gamitin lang ang -sid sa mga site kung saan kailangang dalhin ang cookies sa ilang page.
Anong mga coin ang puwede kong gamitin sa top-up?
Nakalagay sa payment window ang mga tinatanggap na coin at network. Pumapasok ang halaga sa USD balance mo.
Paano kung may natirang balance pagkatapos ng crawl?
Walang expiry ang balance. Gamitin ito sa susunod na crawl o sa ibang produkto.
Mag-top up ng $25, makakuha ng 69 GB na residential traffic
Pumili ng username at password at nakapasok ka na. Hindi nag-e-expire ang balance mo.