Proxies para web scraping
Un scraper envía muchas solicitudes a un mismo sitio en poco tiempo. El plan ilimitado de StarProxy las reparte entre muchas IP de conexiones domésticas y cobra una tarifa diaria, sin importar cuántos datos vuelvan.
¿Por qué se bloquean los scrapers?
Los sitios vigilan cuántas solicitudes llegan desde cada IP. Al pasar cierto umbral, ralentizan las respuestas o muestran una página de verificación. Unos pocos miles de solicitudes desde un solo servidor alcanzan ese límite en minutos.
A través del gateway (el punto de entrada del proxy), las solicitudes se reparten entre miles de IP residenciales, las direcciones de líneas de internet domésticas. El volumen total no cambia, pero cada IP envía más o menos lo que enviaría un visitante normal.
¿Qué define el precio?
El periodo y el nivel de conexiones. Con 200 conexiones y 100 Mbps, Day cuesta $4.55, Week $4.28 al día ($29.96 en total), Month $3.87 al día ($116.10 en total) y Season $3.46 al día ($311.40 en total).
Los datos no se cuentan. Cuando un trabajo descarga más de unos 11~14 GB al día, el ilimitado cuesta menos que comprar residencial por GB. Las páginas con muchas imágenes superan ese límite rápido.
¿Qué nivel de conexiones necesito?
Guíate por cuántas solicitudes están abiertas al mismo tiempo. Con 120 workers, el nivel de 200 conexiones basta y deja margen para reintentos.
Si funcionan varios scrapers a la vez, suma sus workers. Con 300, te sirve el nivel de 500 conexiones (200 Mbps). Cuesta $7.44 en Day, o $6.32 al día en Month. Puedes cambiar de nivel en tu próxima compra.
¿Qué puedo recopilar?
Páginas públicas que se abren sin iniciar sesión: listados de productos, artículos, datos de empresas publicados. Antes de empezar, revisa los términos del sitio y la ley del lugar donde operas.
Se suspenden las cuentas usadas para iniciar sesión con credenciales filtradas, spam, DDoS o acceso a sitios gubernamentales. Espaciar las solicitudes por dominio mantiene en pie el servidor del sitio y te permite seguir recopilando de él.
Cómo configurar StarProxy para Web scraping
1
Regístrate con un nombre de usuario y una contraseña, y luego añade saldo con criptomonedas en la ventana de pago. La recarga mínima es $25.
2
En residencial ilimitado, elige un periodo (Day, Week, Month o Season) y un nivel de conexiones, y paga.
3
Añade -zone-unl a tu usuario del proxy. Si los datos cambian según el país, añade también un código de país, como -cc-de.
4
Configura el proxy del scraper con gate.starproxy.shop. HTTP usa el puerto 6100 y SOCKS5 usa el puerto 6200.
Preguntas comunes
¿Cada cuánto cambia la IP?
Sin la opción -sid en el usuario, cada solicitud sale desde una IP residencial nueva.
Necesito la misma IP para varias páginas después de iniciar sesión.
Añade -sid- y un nombre de sesión que elijas al usuario. Las solicitudes con el mismo nombre comparten una IP. Define cuánto dura con -ttl-, hasta 60 minutos.
¿Hay algún límite además de los datos?
Las conexiones simultáneas y la velocidad llegan hasta el nivel que elegiste. Los datos no se miden.
Mi pedido dice Activando.
El pago se realizó y el plan se está activando. Si un pedido no se puede activar, se cancela y el importe completo vuelve a tu saldo.
Recarga $25 y obtén 69 GB de tráfico residencial
Elige un nombre de usuario y una contraseña y listo. Tu saldo no caduca.