Proxies para web scraping
Um scraper envia muitas requisições a um site em pouco tempo. O plano ilimitado da StarProxy distribui essas requisições por muitos IPs de conexões residenciais e cobra uma tarifa diária, não importa quantos dados voltem.
Por que os scrapers são bloqueados?
Os sites observam quantas requisições chegam de cada IP. Passado um limite, eles deixam as respostas lentas ou mostram uma página de verificação. Alguns milhares de requisições de um único servidor atingem esse limite em minutos.
Pelo gateway (o ponto de entrada do proxy), as requisições se dividem entre milhares de IPs residenciais, os endereços de linhas de internet de casa. O volume total não muda, mas cada IP envia mais ou menos o que um visitante comum enviaria.
O que define o preço?
O período e a faixa de conexões. Com 200 conexões e 100 Mbps, o Day custa $4.55, o Week $4.28 por dia ($29.96 no total), o Month $3.87 por dia ($116.10 no total) e o Season $3.46 por dia ($311.40 no total).
Os dados não são contados. Quando uma tarefa passa de uns 11~14 GB por dia, o ilimitado custa menos do que comprar residencial por GB. Páginas com muitas imagens passam desse ponto rápido.
De qual faixa de conexões eu preciso?
Considere quantas requisições ficam abertas no mesmo instante. Com 120 workers, a faixa de 200 conexões basta e ainda sobra folga para novas tentativas.
Se vários scrapers rodam ao mesmo tempo, some os workers deles. Com 300, a faixa de 500 conexões (200 Mbps) serve. Ela custa $7.44 no Day, ou $6.32 por dia no Month. Você pode trocar de faixa na próxima compra.
O que posso coletar?
Páginas públicas que abrem sem login: listas de produtos, artigos, dados de empresas publicados. Antes de começar, confira os termos do site e a lei do lugar onde você atua.
Contas usadas para logins com credenciais vazadas, spam, DDoS ou acesso a sites do governo são suspensas. Controlar o ritmo de requisições por domínio mantém o servidor de destino no ar e permite que você continue coletando dele.
Configurando a StarProxy para Web scraping
1
Crie uma conta com nome de usuário e senha e depois adicione saldo em cripto na janela de pagamento. A recarga mínima é de $25.
2
Em residencial ilimitado, escolha um período (Day, Week, Month ou Season) e uma faixa de conexões e pague.
3
Adicione -zone-unl ao seu usuário do proxy. Se os dados mudam conforme o país, adicione também um código de país, como -cc-de.
4
Aponte a configuração de proxy do scraper para gate.starproxy.shop. O HTTP usa a porta 6100 e o SOCKS5 usa a porta 6200.
Dúvidas comuns
Com que frequência o IP muda?
Sem a opção -sid no usuário, cada requisição sai de um novo IP residencial.
Preciso do mesmo IP em algumas páginas depois do login.
Adicione -sid- e um nome de sessão à sua escolha ao usuário. Requisições com o mesmo nome compartilham um IP. Defina quanto tempo ele dura com -ttl-, até 60 minutos.
Há algum limite além dos dados?
As conexões simultâneas e a velocidade vão até a faixa que você escolheu. Os dados não são medidos.
Meu pedido mostra "Ativando".
O pagamento foi aprovado e o plano está sendo ligado. Se um pedido não puder ser ativado, ele é cancelado e o valor total volta para o seu saldo.
Recarregue $25 e leve 69 GB de tráfego residencial
Escolha um nome de usuário e uma senha e pronto. Seu saldo não expira.