Proxy do web scrapingu
Scraper wysyła wiele zapytań do jednej strony w krótkim czasie. Pakiet nielimitowany StarProxy rozkłada je na wiele IP z łączy domowych i pobiera stałą stawkę dzienną, niezależnie od ilości pobranych danych.
Dlaczego scrapery są blokowane?
Strony obserwują, ile zapytań przychodzi z każdego IP. Po przekroczeniu progu spowalniają odpowiedzi lub pokazują stronę weryfikacji. Kilka tysięcy zapytań z jednego serwera osiąga ten limit w ciągu minut.
Przez bramkę (punkt wejścia do proxy) zapytania rozkładają się na tysiące IP rezydencjalnych, czyli adresów domowych łączy internetowych. Łączna liczba się nie zmienia, ale każde IP wysyła mniej więcej tyle, co zwykły odwiedzający.
Od czego zależy cena?
Od okresu i progu połączeń. Przy 200 połączeniach i 100 Mbps Day kosztuje $4.55, Week $4.28 dziennie (razem $29.96), Month $3.87 dziennie (razem $116.10), a Season $3.46 dziennie (razem $311.40).
Dane nie są liczone. Gdy zadanie pobiera więcej niż około 11~14 GB dziennie, pakiet nielimitowany wychodzi taniej niż proxy rezydencjalne za GB. Strony z dużą liczbą zdjęć szybko przekraczają ten próg.
Jakiego progu połączeń potrzebuję?
Kieruj się tym, ile zapytań jest otwartych w tym samym momencie. Przy 120 workerach wystarczy próg 200 połączeń i zostaje zapas na ponowienia.
Jeśli działa kilka scraperów naraz, zsumuj ich workery. Przy 300 pasuje próg 500 połączeń (200 Mbps). Kosztuje $7.44 w Day lub $6.32 dziennie w Month. Próg możesz zmienić przy następnym zakupie.
Co mogę zbierać?
Publiczne strony, które otwierają się bez logowania: listy produktów, artykuły, opublikowane dane firm. Przed rozpoczęciem sprawdź regulamin strony i prawo obowiązujące tam, gdzie działasz.
Konta używane do logowania wykradzionymi danymi, spamu, DDoS lub dostępu do stron rządowych są zawieszane. Rozłożenie zapytań w czasie dla każdej domeny utrzymuje serwer docelowy przy życiu i pozwala dalej z niego zbierać dane.
Konfiguracja StarProxy: Web scraping
1
Zarejestruj się nazwą użytkownika i hasłem, a potem doładuj saldo kryptowalutami w oknie płatności. Minimalne doładowanie to $25.
2
W sekcji nielimitowanych proxy rezydencjalnych wybierz okres (Day, Week, Month lub Season) i próg połączeń, a potem zapłać.
3
Dodaj -zone-unl do nazwy użytkownika proxy. Jeśli dane różnią się w zależności od kraju, dodaj też kod kraju, np. -cc-de.
4
W ustawieniach proxy scrapera wskaż gate.starproxy.shop. HTTP korzysta z portu 6100, a SOCKS5 z portu 6200.
Częste pytania
Jak często zmienia się IP?
Bez opcji -sid w nazwie użytkownika każde pojedyncze zapytanie wychodzi z nowego IP rezydencjalnego.
Potrzebuję tego samego IP przez kilka stron po zalogowaniu.
Dodaj do nazwy użytkownika -sid- i wybraną nazwę sesji. Zapytania z tą samą nazwą korzystają z jednego IP. Czas trzymania ustawisz przez -ttl-, maksymalnie 60 minut.
Czy coś poza danymi jest ograniczone?
Równoczesne połączenia i prędkość są ograniczone do wybranego progu. Dane nie są mierzone.
Moje zamówienie ma status „aktywacja”.
Płatność przeszła, a pakiet jest uruchamiany. Jeśli zamówienia nie da się aktywować, zostaje anulowane, a cała kwota wraca na saldo.
Doładuj $25 i dostań 69 GB transferu rezydencjalnego
Wybierz nazwę użytkownika i hasło i gotowe. Saldo nie wygasa.