Proxys für KI-Trainingsdaten
Wer einen Datensatz aus dem öffentlichen Web aufbaut, lässt Crawls über Wochen in mehreren Sprachen laufen. Mit Unlimited Residential von StarProxy legen Sie diese Kosten am ersten Tag fest und senden Anfragen aus 60 Ländern.
Abrechnung pro GB ist hier schwer zu planen
Bei Tausenden Domains haben Sie die Seitengröße nicht in der Hand. Einige wenige Websites mit vielen Bildern und Skripten können den GB-Verbrauch auf ein Mehrfaches der Schätzung treiben.
Unlimited richtet sich nur nach Laufzeit und Verbindungsstufe. Die Kosten eines 90-tägigen Crawls können Sie vor der ersten Anfrage als eine einzige Zahl festhalten.
Sprachen getrennt halten
Viele Websites wählen die Sprachversion nach dem Land der Besucher-IP. Hängen Sie einen Ländercode wie -cc-fr (Frankreich) oder -cc-br (Brasilien) an den Benutzernamen an, dann laufen die Anfragen über dieses Land.
Geben Sie jeder Sprache eine eigene Job-Warteschlange und einen eigenen Benutzernamen. Der Crawler-Code bleibt gleich, und die Ergebnisse landen pro Sprache in einem eigenen Ordner.
Beispiel: Kosten eines 90-tägigen Crawls
Die Stufe mit 200 Verbindungen und 100 Mbps kostet bei Season (90 Tage) $3.46 pro Tag, insgesamt $311.40. 90 Mal Day zu kaufen würde $409.50 kosten, mit Season sparen Sie also $98.10.
Für einen größeren Crawl kostet die Stufe mit 1,000 Verbindungen und 200 Mbps bei Season $7.52 pro Tag, insgesamt $676.80. Im Dashboard ist auch jede Laufzeit von 1~365 Tagen möglich, Sie bezahlen also genau Ihren Crawl-Zeitplan.
Grundregeln für die Datensammlung
Sammeln Sie nur öffentliche Inhalte und halten Sie sich an robots.txt und die Bedingungen der Websites. Prüfen Sie die Urheberrechts- und Datenschutzregeln für die Nutzung zum Training und entfernen Sie nicht benötigte personenbezogene Daten, bevor Sie etwas speichern.
Setzen Sie eine Obergrenze für Anfragen pro Domain, auch wenn der Proxy noch Kapazität frei hat. Für die nächste Version des Datensatzes wollen Sie dieselben Websites wieder besuchen.
StarProxy für KI-Trainingsdaten einrichten
1
Laden Sie Guthaben mit Krypto für die gesamte Crawl-Dauer auf. Eine Aufladung kann bis zu $5,000 betragen.
2
Kaufen Sie Unlimited Residential für die Anzahl der Tage, die Ihr Crawl läuft. Season (90 Tage) hat den niedrigsten Tagespreis.
3
Legen Sie pro Sprache einen Benutzernamen an, etwa spexample1-zone-unl-cc-jp, und ordnen Sie jeden einer Job-Warteschlange zu.
4
Verbinden Sie den Crawler mit gate.starproxy.shop:6100 und halten Sie die gleichzeitigen Verbindungen innerhalb der gekauften Stufe.
Häufige Fragen
Kann ein Tarif mehrere Länder nutzen?
Ja. Ein Unlimited-Tarif deckt alle 60 Länder ab. Das Land legen Sie pro Anfrage im Benutzernamen fest.
Braucht ein Crawl Sticky Sessions?
Meistens nicht. Eine neue IP pro Anfrage verteilt die Last gleichmäßig. Nutzen Sie -sid nur auf Websites, bei denen Cookies über mehrere Seiten erhalten bleiben müssen.
Mit welchen Coins kann ich aufladen?
Die akzeptierten Coins und Netzwerke werden im Zahlungsfenster angezeigt. Der Betrag wird Ihrem USD-Guthaben gutgeschrieben.
Was ist, wenn nach dem Crawl Guthaben übrig bleibt?
Guthaben verfällt nicht. Nutzen Sie es für den nächsten Crawl oder für jedes andere Produkt.
Weitere Anwendungsfälle
$25 aufladen, 69 GB Residential-Traffic erhalten
Benutzernamen und Passwort wählen, und schon sind Sie dabei. Ihr Guthaben verfällt nie.