Proxys für Web Scraping
Ein Scraper sendet in kurzer Zeit viele Anfragen an eine Website. Der Unlimited-Tarif von StarProxy verteilt sie auf viele IPs privater Anschlüsse und berechnet einen Tagespreis, egal wie viele Daten zurückkommen.
Warum werden Scraper gesperrt?
Websites beobachten, wie viele Anfragen von jeder IP kommen. Ab einer bestimmten Schwelle verlangsamen sie die Antworten oder zeigen eine Prüfseite. Einige tausend Anfragen von einem Server erreichen diese Grenze in wenigen Minuten.
Über das Gateway (den Einstiegspunkt des Proxys) werden die Anfragen auf Tausende Residential IPs verteilt, also Adressen privater Internetanschlüsse. Das Gesamtvolumen bleibt gleich, aber jede IP sendet etwa so viel wie ein normaler Besucher.
Wovon hängt der Preis ab?
Von der Laufzeit und der Verbindungsstufe. Bei 200 Verbindungen und 100 Mbps kostet Day $4.55, Week $4.28 pro Tag (insgesamt $29.96), Month $3.87 pro Tag (insgesamt $116.10) und Season $3.46 pro Tag (insgesamt $311.40).
Die Datenmenge wird nicht gezählt. Sobald ein Job mehr als etwa 11~14 GB pro Tag lädt, ist Unlimited günstiger als Residential pro GB. Seiten mit vielen Bildern überschreiten diese Grenze schnell.
Welche Verbindungsstufe brauche ich?
Richten Sie sich danach, wie viele Anfragen gleichzeitig offen sind. Bei 120 Workern reicht die Stufe mit 200 Verbindungen und lässt noch Spielraum für Wiederholungen.
Wenn mehrere Scraper gleichzeitig laufen, zählen Sie ihre Worker zusammen. Bei 300 passt die Stufe mit 500 Verbindungen (200 Mbps). Sie kostet im Tarif Day $7.44, bei Month $6.32 pro Tag. Beim nächsten Kauf können Sie die Stufe wechseln.
Was darf ich sammeln?
Öffentliche Seiten, die ohne Anmeldung aufrufbar sind: Produktlisten, Artikel, veröffentlichte Firmendaten. Prüfen Sie vor dem Start die Bedingungen der Website und die Gesetze an Ihrem Standort.
Konten, die für Anmeldungen mit geleakten Zugangsdaten, Spam, DDoS oder den Zugriff auf Behördenseiten genutzt werden, werden gesperrt. Wenn Sie die Anfragen pro Domain drosseln, bleibt der Zielserver erreichbar und Sie können weiter davon sammeln.
StarProxy für Web Scraping einrichten
1
Registrieren Sie sich mit Benutzername und Passwort und laden Sie dann im Zahlungsfenster Guthaben mit Krypto auf. Die Mindestaufladung beträgt $25.
2
Wählen Sie unter Unlimited Residential eine Laufzeit (Day, Week, Month oder Season) und eine Verbindungsstufe und bezahlen Sie.
3
Hängen Sie -zone-unl an Ihren Proxy-Benutzernamen an. Wenn sich die Daten je nach Land unterscheiden, fügen Sie auch einen Ländercode hinzu, etwa -cc-de.
4
Tragen Sie in den Proxy-Einstellungen des Scrapers gate.starproxy.shop ein. HTTP nutzt Port 6100, SOCKS5 Port 6200.
Häufige Fragen
Wie oft wechselt die IP?
Ohne die Option -sid im Benutzernamen geht jede einzelne Anfrage über eine neue Residential IP.
Ich brauche nach der Anmeldung für einige Seiten dieselbe IP.
Hängen Sie -sid- und einen frei gewählten Session-Namen an den Benutzernamen an. Anfragen mit demselben Namen teilen sich eine IP. Wie lange sie gehalten wird, legen Sie mit -ttl- fest, bis zu 60 Minuten.
Ist außer der Datenmenge noch etwas begrenzt?
Gleichzeitige Verbindungen und Geschwindigkeit reichen bis zur gewählten Stufe. Die Datenmenge wird nicht gemessen.
Bei meiner Bestellung steht „Wird aktiviert“.
Die Zahlung ist durch und der Tarif wird gerade freigeschaltet. Kann eine Bestellung nicht aktiviert werden, wird sie storniert und der volle Betrag geht zurück auf Ihr Guthaben.
Weitere Anwendungsfälle
$25 aufladen, 69 GB Residential-Traffic erhalten
Benutzernamen und Passwort wählen, und schon sind Sie dabei. Ihr Guthaben verfällt nie.