Proxy per web scraping
Uno scraper invia molte richieste a un solo sito in poco tempo. Il piano illimitato StarProxy le distribuisce su molti IP di connessioni domestiche e applica una tariffa giornaliera, qualunque sia la quantità di dati ricevuta.
Perché gli scraper vengono bloccati?
I siti controllano quante richieste arrivano da ogni IP. Oltre una certa soglia rallentano le risposte o mostrano una pagina di verifica. Qualche migliaio di richieste da un solo server raggiunge quel limite in pochi minuti.
Attraverso il gateway (il punto di accesso al proxy), le richieste si dividono su migliaia di IP residenziali, cioè gli indirizzi di linee internet domestiche. Il volume totale non cambia, ma ogni IP invia più o meno quanto un normale visitatore.
Da cosa dipende il prezzo?
Dal periodo e dalla fascia di connessioni. Con 200 connessioni e 100 Mbps, Day costa $4.55, Week $4.28 al giorno ($29.96 in totale), Month $3.87 al giorno ($116.10 in totale) e Season $3.46 al giorno ($311.40 in totale).
I dati non vengono conteggiati. Quando un lavoro scarica più di circa 11~14 GB al giorno, l'illimitato costa meno del residenziale a GB. Le pagine con molte immagini superano quella soglia in fretta.
Di quale fascia di connessioni ho bisogno?
Basati su quante richieste sono aperte nello stesso momento. Con 120 worker basta la fascia da 200 connessioni, che lascia margine per i nuovi tentativi.
Se più scraper girano insieme, somma i loro worker. Con 300, va bene la fascia da 500 connessioni (200 Mbps). Costa $7.44 con Day, oppure $6.32 al giorno con Month. Puoi cambiare fascia al prossimo acquisto.
Cosa posso raccogliere?
Pagine pubbliche che si aprono senza accesso: schede prodotto, articoli, dati aziendali pubblicati. Prima di iniziare controlla i termini del sito e la legge del paese in cui operi.
Gli account usati per accessi con credenziali rubate, spam, DDoS o accesso a siti governativi vengono sospesi. Distribuire le richieste per dominio mantiene attivo il server di destinazione e ti permette di continuare a raccoglierne i dati.
Configurare StarProxy per Web scraping
1
Registrati con nome utente e password, poi ricarica il saldo in criptovalute nella finestra di pagamento. La ricarica minima è $25.
2
In residenziali illimitati, scegli un periodo (Day, Week, Month o Season) e una fascia di connessioni, poi paga.
3
Aggiungi -zone-unl al nome utente del proxy. Se i dati cambiano in base al paese, aggiungi anche un codice paese, come -cc-de.
4
Imposta il proxy dello scraper su gate.starproxy.shop. HTTP usa la porta 6100 e SOCKS5 la porta 6200.
Domande comuni
Ogni quanto cambia l'IP?
Senza l'opzione -sid nel nome utente, ogni singola richiesta esce da un nuovo IP residenziale.
Mi serve lo stesso IP per alcune pagine dopo l'accesso.
Aggiungi al nome utente -sid- e un nome di sessione a tua scelta. Le richieste con lo stesso nome condividono un IP. Imposta quanto dura con -ttl-, fino a 60 minuti.
Oltre ai dati, c'è qualche altro limite?
Connessioni simultanee e velocità arrivano fino alla fascia che hai scelto. I dati non vengono misurati.
Il mio ordine risulta In attivazione.
Il pagamento è andato a buon fine e il piano si sta attivando. Se un ordine non può essere attivato, viene annullato e l'intero importo torna sul saldo.
Ricarica $25, ottieni 69 GB di traffico residenziale
Scegli nome utente e password e sei dentro. Il saldo non scade mai.