Proxy do danych treningowych AI
Budowa zbioru danych z publicznej sieci to crawle trwające tygodniami w kilku językach. Nielimitowane proxy rezydencjalne StarProxy pozwalają ustalić ten koszt pierwszego dnia i wysyłać zapytania z 60 krajów.
Rozliczenie za GB trudno tu zaplanować
Przy tysiącach domen nie masz wpływu na rozmiar stron. Kilka stron z ciężkimi obrazami i skryptami może kilkukrotnie przekroczyć szacowane zużycie GB.
Pakiet nielimitowany jest wyceniany tylko według okresu i progu połączeń. Koszt 90-dniowego crawla możesz zapisać jedną liczbą przed pierwszym zapytaniem.
Rozdzielanie języków
Wiele stron wybiera wersję językową według kraju IP odwiedzającego. Dodaj do nazwy użytkownika kod kraju, np. -cc-fr (Francja) lub -cc-br (Brazylia), a zapytania wyjdą z tego kraju.
Daj każdemu językowi osobną kolejkę zadań i inną nazwę użytkownika. Kod crawlera pozostaje ten sam, a wyniki trafiają do osobnego folderu dla każdego języka.
Przykład: koszt 90-dniowego crawla
Próg 200 połączeń i 100 Mbps w Season (90 dni) kosztuje $3.46 dziennie, razem $311.40. Kupowanie Day 90 razy kosztowałoby $409.50, więc Season oszczędza $98.10.
Przy większym crawlu próg 1,000 połączeń i 200 Mbps w Season kosztuje $7.52 dziennie, razem $676.80. Panel przyjmuje też dowolny okres od 1~365 dni, więc płacisz za harmonogram crawla i nic więcej.
Podstawowe zasady zbierania danych
Zbieraj tylko publiczne treści i przestrzegaj robots.txt oraz regulaminów stron. Sprawdź przepisy o prawie autorskim i prywatności dotyczące trenowania modeli, a przed zapisaniem usuń dane osobowe, których nie potrzebujesz.
Ustaw limit zapytań na domenę nawet wtedy, gdy proxy ma wolną przepustowość. Do tych samych stron będziesz chciał wrócić przy następnej wersji zbioru danych.
Konfiguracja StarProxy: Dane do trenowania AI
1
Doładuj saldo kryptowalutami na cały okres crawla. Jedno doładowanie może wynosić do $5,000.
2
Kup nielimitowane proxy rezydencjalne na tyle dni, ile trwa crawl. Season (90 dni) ma najniższą stawkę dzienną.
3
Utwórz jedną nazwę użytkownika na język, np. spexample1-zone-unl-cc-jp, i przypisz każdą do kolejki zadań.
4
Połącz crawler z gate.starproxy.shop:6100 i utrzymuj liczbę równoczesnych połączeń w ramach kupionego progu.
Częste pytania
Czy jeden pakiet może korzystać z kilku krajów?
Tak. Jeden pakiet nielimitowany obejmuje wszystkie 60 krajów. Kraj ustawiasz dla każdego zapytania w nazwie użytkownika.
Czy crawl potrzebuje sesji sticky?
Zwykle nie. Nowe IP przy każdym zapytaniu równomiernie rozkłada obciążenie. Używaj -sid tylko na stronach, gdzie cookies muszą przechodzić między kilkoma stronami.
Jakimi kryptowalutami mogę doładować?
Akceptowane waluty i sieci są pokazane w oknie płatności. Kwota trafia na twoje saldo w USD.
Co jeśli po crawlu zostanie saldo?
Saldo nie wygasa. Wykorzystaj je przy następnym crawlu lub na dowolny inny produkt.
Doładuj $25 i dostań 69 GB transferu rezydencjalnego
Wybierz nazwę użytkownika i hasło i gotowe. Saldo nie wygasa.