Proxy per dati di addestramento IA
Costruire un dataset dal web pubblico significa crawl che durano settimane in diverse lingue. I residenziali illimitati StarProxy ti permettono di fissare il costo dal primo giorno e di inviare richieste da 60 paesi.
Con la fatturazione a GB è difficile fare un budget
Su migliaia di domini, la dimensione delle pagine non dipende da te. Pochi siti con molte immagini e script possono far salire l'uso di GB di parecchie volte oltre la stima.
L'illimitato ha un prezzo che dipende solo da periodo e fascia di connessioni. Puoi scrivere il costo di un crawl di 90 giorni come un unico numero prima della prima richiesta.
Tenere separate le lingue
Molti siti scelgono la versione linguistica in base al paese dell'IP del visitatore. Aggiungi al nome utente un codice paese come -cc-fr (Francia) o -cc-br (Brasile) e le richieste escono da lì.
Assegna a ogni lingua la sua coda di lavoro e un nome utente diverso. Il codice del crawler resta lo stesso, e i risultati finiscono in una cartella separata per lingua.
Esempio: costo di un crawl di 90 giorni
La fascia da 200 connessioni e 100 Mbps con Season (90 giorni) costa $3.46 al giorno, $311.40 in totale. Acquistare Day 90 volte costerebbe $409.50, quindi Season fa risparmiare $98.10.
Per un crawl più grande, la fascia da 1,000 connessioni e 200 Mbps con Season costa $7.52 al giorno, $676.80 in totale. La dashboard accetta anche qualsiasi periodo da 1~365 giorni, quindi paghi per il calendario del tuo crawl e niente di più.
Regole di base per la raccolta
Raccogli solo contenuti pubblici e rispetta robots.txt e i termini dei siti. Verifica le norme su copyright e privacy per l'uso in addestramento, ed elimina i dati personali che non ti servono prima di salvare qualsiasi cosa.
Imposta un limite di richieste per dominio anche quando il proxy ha capacità in eccesso. Vorrai tornare sugli stessi siti per la prossima versione del dataset.
Configurare StarProxy per Dati per l'addestramento di AI
1
Ricarica in criptovalute quanto basta a coprire tutto il periodo del crawl. Una ricarica può arrivare a $5,000.
2
Acquista i residenziali illimitati per il numero di giorni del tuo crawl. Season (90 giorni) ha la tariffa giornaliera più bassa.
3
Crea un nome utente per ogni lingua, come spexample1-zone-unl-cc-jp, e collega ciascuno a una coda di lavoro.
4
Collega il crawler a gate.starproxy.shop:6100 e mantieni le connessioni simultanee entro la fascia acquistata.
Domande comuni
Un solo piano può usare più paesi?
Sì. Un piano illimitato copre tutti i 60 paesi. Il paese si imposta per ogni richiesta nel nome utente.
Un crawl ha bisogno di sessioni sticky?
Quasi mai. Un nuovo IP per richiesta distribuisce il carico in modo uniforme. Usa -sid solo sui siti in cui i cookie devono restare validi su più pagine.
Con quali criptovalute posso ricaricare?
Le monete e le reti accettate sono indicate nella finestra di pagamento. L'importo va sul tuo saldo in USD.
E se dopo il crawl avanza del saldo?
Il saldo non scade. Usalo per il prossimo crawl o per qualsiasi altro prodotto.
Ricarica $25, ottieni 69 GB di traffico residenziale
Scegli nome utente e password e sei dentro. Il saldo non scade mai.