Proxy para sa web scraping
Nagpapadala ang scraper ng maraming request sa isang site sa maikling oras. Hinahati ito ng StarProxy unlimited plan sa maraming IP ng home connection at naniningil ng rate kada araw, gaano man karaming data ang bumalik.
Bakit nabo-block ang mga scraper?
Binabantayan ng mga site kung ilang request ang galing sa bawat IP. Kapag lumampas sa isang threshold, binabagalan nila ang sagot o nagpapakita ng challenge page. Ilang libong request mula sa isang server ay aabot sa limit na iyon sa loob ng ilang minuto.
Sa gateway (ang pasukan ng proxy), nahahati ang mga request sa libu-libong residential IP, ang mga address ng home internet line. Hindi nagbabago ang kabuuang dami, pero ang bawat IP ay nagpapadala lang ng halos kasindami ng normal na bisita.
Ano ang nagtatakda ng presyo?
Ang period at ang connection tier. Sa 200 koneksyon at 100 Mbps, $4.55 ang Day, $4.28 kada araw ang Week ($29.96 lahat), $3.87 kada araw ang Month ($116.10 lahat) at $3.46 kada araw ang Season ($311.40 lahat).
Hindi binibilang ang data. Kapag kumukuha ang trabaho ng higit sa mga 11~14 GB kada araw, mas mura ang unlimited kaysa bumili ng residential kada GB. Mabilis lumampas doon ang mga page na maraming larawan.
Anong connection tier ang kailangan ko?
Ibatay sa dami ng request na bukas nang sabay. Kung 120 worker, sapat na ang 200 na connection tier at may sobra pa para sa retry.
Kung ilang scraper ang sabay na tumatakbo, pagsamahin ang mga worker nila. Sa 300, bagay ang 500 na connection tier (200 Mbps). $7.44 ito sa Day, o $6.32 kada araw sa Month. Puwede kang magpalit ng tier sa susunod mong bili.
Ano ang puwede kong kunin?
Mga pampublikong page na bumubukas nang walang login: listahan ng produkto, artikulo, nakalathalang detalye ng negosyo. Suriin muna ang terms ng site at ang batas kung saan ka nag-o-operate bago magsimula.
Sinu-suspend ang mga account na ginagamit sa login gamit ang na-leak na credentials, spam, DDoS o pagpasok sa mga site ng gobyerno. Ang pag-pace ng request kada domain ay nagpapanatiling gumagana ang target server at hinahayaan kang patuloy na kumuha mula rito.
Pag-setup ng StarProxy para sa Web scraping
1
Mag-sign up gamit ang username at password, tapos magdagdag ng balance gamit ang crypto sa payment window. $25 ang minimum na top-up.
2
Sa unlimited residential, pumili ng period (Day, Week, Month o Season) at connection tier, tapos magbayad.
3
Idagdag ang -zone-unl sa proxy username mo. Kung nag-iiba ang data ayon sa bansa, magdagdag din ng country code, gaya ng -cc-de.
4
Ituro ang proxy setting ng scraper sa gate.starproxy.shop. Port 6100 ang HTTP at port 6200 ang SOCKS5.
Mga karaniwang tanong
Gaano kadalas nagbabago ang IP?
Kapag walang -sid na opsyon sa username, lalabas ang bawat request mula sa bagong residential IP.
Kailangan ko ng parehong IP sa ilang page pagkatapos mag-log in.
Idagdag ang -sid- at kahit anong pangalan ng session sa username. Iisang IP ang gagamitin ng mga request na may parehong pangalan. Itakda ang tagal gamit ang -ttl-, hanggang 60 minuto.
May iba pa bang limit bukod sa data?
Ang sabay-sabay na koneksyon at bilis ay hanggang sa tier na pinili mo. Hindi sinusukat ang data.
Activating ang nakalagay sa order ko.
Pumasok na ang bayad at ina-activate na ang plan. Kung hindi ma-activate ang order, kakanselahin ito at babalik nang buo ang halaga sa balance mo.
Mag-top up ng $25, makakuha ng 69 GB na residential traffic
Pumili ng username at password at nakapasok ka na. Hindi nag-e-expire ang balance mo.