Proxies para datos de entrenamiento de IA
Crear un dataset a partir de la web pública implica rastreos que duran semanas en varios idiomas. El residencial ilimitado de StarProxy te permite fijar ese costo el primer día y enviar solicitudes desde 60 países.
Aquí la facturación por GB es difícil de presupuestar
En miles de dominios, el tamaño de las páginas no depende de ti. Unos pocos sitios con muchas imágenes y scripts pueden multiplicar el uso de GB respecto a lo estimado.
El ilimitado se cobra solo por periodo y nivel de conexiones. Puedes escribir el costo de un rastreo de 90 días como una sola cifra antes de la primera solicitud.
Separar los idiomas
Muchos sitios eligen la versión de idioma según el país de la IP del visitante. Añade un código de país como -cc-fr (Francia) o -cc-br (Brasil) al usuario y las solicitudes salen desde allí.
Da a cada idioma su propia cola de trabajos y un usuario distinto. El código del crawler no cambia, y los resultados quedan en una carpeta separada por idioma.
Ejemplo: costo de un rastreo de 90 días
El nivel de 200 conexiones y 100 Mbps en Season (90 días) cuesta $3.46 al día, $311.40 en total. Comprar Day 90 veces costaría $409.50, así que Season ahorra $98.10.
Para un rastreo más grande, el nivel de 1,000 conexiones y 200 Mbps en Season cuesta $7.52 al día, $676.80 en total. El panel también acepta cualquier periodo de 1~365 días, así que pagas según el calendario de tu rastreo y nada más.
Reglas básicas de recopilación
Recopila solo contenido público y respeta robots.txt y los términos de cada sitio. Revisa las normas de derechos de autor y privacidad para uso en entrenamiento, y elimina los datos personales que no necesites antes de guardar nada.
Define un límite de solicitudes por dominio aunque el proxy tenga capacidad de sobra. Querrás volver a los mismos sitios para la siguiente versión del dataset.
Cómo configurar StarProxy para Datos para entrenar IA
1
Recarga con criptomonedas lo suficiente para cubrir todo el periodo del rastreo. Una recarga puede ser de hasta $5,000.
2
Compra residencial ilimitado para los días que dura tu rastreo. Season (90 días) tiene la tarifa diaria más baja.
3
Crea un usuario por idioma, como spexample1-zone-unl-cc-jp, y asigna cada uno a una cola de trabajos.
4
Conecta el crawler a gate.starproxy.shop:6100 y mantén las conexiones simultáneas dentro del nivel que compraste.
Preguntas comunes
¿Un plan puede usar varios países?
Sí. Un plan ilimitado cubre los 60 países. Defines el país por solicitud en el usuario.
¿Un rastreo necesita sesiones fijas?
Casi nunca. Una IP nueva por solicitud reparte la carga de forma pareja. Usa -sid solo en sitios donde las cookies tienen que mantenerse entre varias páginas.
¿Con qué monedas puedo recargar?
Las monedas y redes aceptadas aparecen en la ventana de pago. El importe va a tu saldo en USD.
¿Qué pasa si sobra saldo después del rastreo?
El saldo no caduca. Úsalo en el siguiente rastreo o en cualquier otro producto.
Recarga $25 y obtén 69 GB de tráfico residencial
Elige un nombre de usuario y una contraseña y listo. Tu saldo no caduca.