Proxys pour données d'entraînement IA
Construire un dataset à partir du web public implique des crawls de plusieurs semaines dans plusieurs langues. Le résidentiel illimité StarProxy vous permet de fixer ce coût dès le premier jour et d'envoyer des requêtes depuis 60 pays.
La facturation au GB est difficile à budgéter ici
Sur des milliers de domaines, la taille des pages ne dépend pas de vous. Quelques sites chargés en images et en scripts peuvent multiplier la consommation de GB par rapport à l'estimation.
L'illimité dépend uniquement de la durée et du palier de connexions. Vous pouvez chiffrer le coût d'un crawl de 90 jours en un seul montant avant la première requête.
Séparer les langues
Beaucoup de sites choisissent la version linguistique selon le pays de l'IP du visiteur. Ajoutez un code pays comme -cc-fr (France) ou -cc-br (Brésil) à l'identifiant et les requêtes sortent depuis ce pays.
Donnez à chaque langue sa propre file de tâches et un identifiant différent. Le code du crawler reste le même, et les résultats arrivent dans un dossier séparé par langue.
Exemple : coût d'un crawl de 90 jours
Le palier 200 connexions, 100 Mbps en Season (90 jours) coûte $3.46 par jour, soit $311.40 au total. Acheter Day 90 fois reviendrait à $409.50 : Season fait donc économiser $98.10.
Pour un crawl plus important, le palier 1,000 connexions, 200 Mbps en Season coûte $7.52 par jour, soit $676.80 au total. Le tableau de bord accepte aussi n'importe quelle durée de 1~365 jours : vous payez votre calendrier de crawl, rien de plus.
Règles de base pour la collecte
Ne collectez que du contenu public et respectez robots.txt et les conditions des sites. Vérifiez les règles de droit d'auteur et de protection des données pour l'entraînement, et supprimez les données personnelles inutiles avant tout stockage.
Fixez un plafond de requêtes par domaine même si le proxy a de la capacité en réserve. Vous voudrez revenir sur les mêmes sites pour la prochaine version du dataset.
Configurer StarProxy pour Données d'entraînement IA
1
Rechargez en cryptomonnaies de quoi couvrir toute la durée du crawl. Une recharge peut aller jusqu'à $5,000.
2
Achetez du résidentiel illimité pour le nombre de jours de votre crawl. Season (90 jours) a le tarif journalier le plus bas.
3
Créez un identifiant par langue, comme spexample1-zone-unl-cc-jp, et associez chacun à une file de tâches.
4
Connectez le crawler à gate.starproxy.shop:6100 et restez dans la limite de connexions simultanées du palier acheté.
Questions fréquentes
Une offre peut-elle utiliser plusieurs pays ?
Oui. Une offre illimitée couvre les 60 pays. Vous choisissez le pays pour chaque requête dans l'identifiant.
Un crawl a-t-il besoin de sessions persistantes ?
En général non. Une nouvelle IP par requête répartit la charge de façon égale. Utilisez -sid seulement sur les sites où les cookies doivent suivre sur plusieurs pages.
Avec quelles cryptomonnaies puis-je recharger ?
Les cryptomonnaies et réseaux acceptés sont affichés dans la fenêtre de paiement. Le montant est ajouté à votre solde en USD.
Et s'il reste du solde après le crawl ?
Le solde n'expire pas. Utilisez-le pour le prochain crawl ou pour n'importe quel autre produit.
Rechargez $25, obtenez 69 GB de trafic résidentiel
Choisissez un nom d'utilisateur et un mot de passe, c'est tout. Votre solde n'expire jamais.