Proxys pour web scraping
Un scraper envoie de nombreuses requêtes à un même site en peu de temps. L'offre illimitée StarProxy les répartit sur de nombreuses IP de connexions de particuliers et facture un tarif journalier, quel que soit le volume de données reçu.
Pourquoi les scrapers sont-ils bloqués ?
Les sites surveillent le nombre de requêtes venant de chaque IP. Au-delà d'un certain seuil, ils ralentissent les réponses ou affichent une page de vérification. Quelques milliers de requêtes depuis un seul serveur atteignent cette limite en quelques minutes.
Via la passerelle (le point d'entrée du proxy), les requêtes sont réparties sur des milliers d'IP résidentielles, les adresses de lignes internet de particuliers. Le volume total ne change pas, mais chaque IP envoie à peu près ce qu'enverrait un visiteur normal.
Qu'est-ce qui détermine le prix ?
La durée et le palier de connexions. À 200 connexions et 100 Mbps, Day coûte $4.55, Week $4.28 par jour ($29.96 au total), Month $3.87 par jour ($116.10 au total) et Season $3.46 par jour ($311.40 au total).
Les données ne sont pas comptées. Dès qu'une tâche dépasse environ 11~14 GB par jour, l'illimité coûte moins cher que le résidentiel au GB. Les pages chargées en images franchissent vite ce seuil.
De quel palier de connexions ai-je besoin ?
Basez-vous sur le nombre de requêtes ouvertes au même moment. Avec 120 workers, le palier de 200 connexions suffit et laisse de la marge pour les nouvelles tentatives.
Si plusieurs scrapers tournent en même temps, additionnez leurs workers. À 300, le palier de 500 connexions (200 Mbps) convient. Il coûte $7.44 en Day, ou $6.32 par jour en Month. Vous pouvez changer de palier lors de votre prochain achat.
Que puis-je collecter ?
Les pages publiques accessibles sans connexion : fiches produits, articles, informations d'entreprise publiées. Vérifiez les conditions du site et la loi du pays où vous opérez avant de commencer.
Les comptes utilisés pour des connexions avec des identifiants volés, du spam, des DDoS ou l'accès à des sites gouvernementaux sont suspendus. Espacer les requêtes par domaine préserve le serveur cible et vous permet de continuer à y collecter des données.
Configurer StarProxy pour Web scraping
1
Inscrivez-vous avec un nom d'utilisateur et un mot de passe, puis ajoutez du solde en cryptomonnaies dans la fenêtre de paiement. La recharge minimale est de $25.
2
Dans Résidentiel illimité, choisissez une durée (Day, Week, Month ou Season) et un palier de connexions, puis payez.
3
Ajoutez -zone-unl à votre identifiant proxy. Si les données varient selon le pays, ajoutez aussi un code pays, comme -cc-de.
4
Dans les réglages proxy du scraper, indiquez gate.starproxy.shop. HTTP utilise le port 6100 et SOCKS5 le port 6200.
Questions fréquentes
À quelle fréquence l'IP change-t-elle ?
Sans option -sid dans l'identifiant, chaque requête sort depuis une nouvelle IP résidentielle.
J'ai besoin de la même IP sur quelques pages après la connexion.
Ajoutez -sid- et un nom de session de votre choix à l'identifiant. Les requêtes avec le même nom partagent une IP. Réglez sa durée avec -ttl-, jusqu'à 60 minutes.
Y a-t-il d'autres limites que les données ?
Les connexions simultanées et la vitesse vont jusqu'au palier choisi. Les données ne sont pas mesurées.
Ma commande indique « En activation ».
Le paiement est passé et l'offre est en cours d'activation. Si une commande ne peut pas être activée, elle est annulée et le montant total revient sur votre solde.
Rechargez $25, obtenez 69 GB de trafic résidentiel
Choisissez un nom d'utilisateur et un mot de passe, c'est tout. Votre solde n'expire jamais.