Proxies para dados de treinamento de IA
Montar um dataset a partir da web pública significa coletas que rodam por semanas em vários idiomas. O residencial ilimitado da StarProxy permite fixar esse custo no primeiro dia e enviar requisições a partir de 60 países.
Aqui, a cobrança por GB é difícil de orçar
Em milhares de domínios, o tamanho das páginas não depende de você. Alguns sites com muitas imagens e scripts podem levar o uso de GB a várias vezes a estimativa.
O ilimitado tem preço definido só pelo período e pela faixa de conexões. Você consegue escrever o custo de uma coleta de 90 dias como um único número antes da primeira requisição.
Como separar os idiomas
Muitos sites escolhem a versão de idioma pelo país do IP do visitante. Adicione um código de país como -cc-fr (França) ou -cc-br (Brasil) ao usuário e as requisições saem por lá.
Dê a cada idioma sua própria fila de tarefas e um usuário diferente. O código do crawler continua o mesmo, e os resultados vão para uma pasta separada por idioma.
Exemplo: custo de uma coleta de 90 dias
A faixa de 200 conexões e 100 Mbps no Season (90 dias) sai a $3.46 por dia, $311.40 no total. Comprar o Day 90 vezes daria $409.50, então o Season economiza $98.10.
Para uma coleta maior, a faixa de 1,000 conexões e 200 Mbps no Season sai a $7.52 por dia, $676.80 no total. O painel também aceita qualquer período de 1~365 dias, então você paga pelo cronograma da sua coleta e nada mais.
Regras básicas de coleta
Colete apenas conteúdo público e siga o robots.txt e os termos dos sites. Confira as regras de direitos autorais e de privacidade para uso em treinamento e remova os dados pessoais de que não precisa antes de guardar qualquer coisa.
Defina um limite de requisições por domínio mesmo quando o proxy tiver capacidade sobrando. Você vai querer voltar aos mesmos sites na próxima versão do dataset.
Configurando a StarProxy para Dados para treinar IA
1
Recarregue em cripto o suficiente para todo o período da coleta. Uma recarga pode ser de até $5,000.
2
Compre o residencial ilimitado pelo número de dias que a sua coleta vai rodar. O Season (90 dias) tem a menor tarifa diária.
3
Crie um usuário por idioma, como spexample1-zone-unl-cc-jp, e associe cada um a uma fila de tarefas.
4
Conecte o crawler a gate.starproxy.shop:6100 e mantenha as conexões simultâneas dentro da faixa que você comprou.
Dúvidas comuns
Um plano pode usar vários países?
Sim. Um plano ilimitado cobre todos os 60 países. Você define o país por requisição no usuário.
Uma coleta precisa de sessões fixas?
Na maioria das vezes, não. Um novo IP por requisição distribui a carga de forma uniforme. Use -sid só em sites em que os cookies precisam continuar entre várias páginas.
Com quais moedas posso recarregar?
As moedas e redes aceitas aparecem na janela de pagamento. O valor entra no seu saldo em USD.
E se sobrar saldo depois da coleta?
O saldo não expira. Use na próxima coleta ou em qualquer outro produto.
Recarregue $25 e leve 69 GB de tráfego residencial
Escolha um nome de usuário e uma senha e pronto. Seu saldo não expira.