Проксі для парсингу сайтів
Парсер надсилає багато запитів до одного сайту за короткий час. Безлімітний тариф StarProxy розподіляє їх між багатьма IP домашніх підключень і бере щоденну плату, хоч скільки даних повертається.
Чому парсери блокують?
Сайти стежать, скільки запитів надходить з кожного IP. Після певного порогу вони сповільнюють відповіді або показують сторінку перевірки. Кілька тисяч запитів з одного сервера досягають цієї межі за лічені хвилини.
Через шлюз (точку входу проксі) запити розподіляються між тисячами резидентних IP, тобто адрес домашніх інтернет-ліній. Загальний обсяг не змінюється, але кожен IP надсилає приблизно стільки, скільки звичайний відвідувач.
Від чого залежить ціна?
Від терміну й рівня підключень. За 200 підключень і 100 Mbps Day коштує $4.55, Week $4.28 на день (разом $29.96), Month $3.87 на день (разом $116.10), а Season $3.46 на день (разом $311.40).
Дані не рахуються. Коли завдання завантажує більше ніж приблизно 11~14 GB на день, безлімітний тариф дешевший за купівлю резидентного трафіку за GB. Сторінки з великою кількістю зображень швидко перетинають цю межу.
Який рівень підключень мені потрібен?
Орієнтуйтеся на кількість запитів, відкритих одночасно. Зі 120 воркерами достатньо рівня 200 підключень, і ще лишається запас для повторних спроб.
Якщо одночасно працюють кілька парсерів, складіть їхніх воркерів. Для 300 підходить рівень 500 підключень (200 Mbps). Він коштує $7.44 на Day або $6.32 на день на Month. Рівень можна змінити під час наступної купівлі.
Що можна збирати?
Публічні сторінки, що відкриваються без входу: списки товарів, статті, опубліковані дані компаній. Перед початком перевірте умови сайту та закони країни, де ви працюєте.
Акаунти, що використовуються для входу з викраденими даними, спаму, DDoS чи доступу до державних сайтів, призупиняються. Помірна частота запитів до кожного домену не перевантажує цільовий сервер і дає змогу збирати з нього дані й надалі.
Налаштування StarProxy для Парсинг сайтів
1
Зареєструйтеся з логіном і паролем, потім поповніть баланс криптовалютою у вікні оплати. Мінімальне поповнення становить $25.
2
У розділі безлімітних резидентних проксі оберіть термін (Day, Week, Month або Season) і рівень підключень, потім оплатіть.
3
Додайте -zone-unl до логіна проксі. Якщо дані відрізняються за країнами, додайте ще код країни, наприклад -cc-de.
4
Вкажіть у налаштуваннях проксі парсера gate.starproxy.shop. HTTP використовує порт 6100, а SOCKS5 порт 6200.
Поширені запитання
Як часто змінюється IP?
Без параметра -sid у логіні кожен окремий запит виходить з нового резидентного IP.
Мені потрібен той самий IP для кількох сторінок після входу.
Додайте до логіна -sid- і будь-яку назву сесії. Запити з однаковою назвою використовують один IP. Час утримання задайте через -ttl-, до 60 хвилин.
Чи обмежено щось, крім даних?
Одночасні підключення та швидкість обмежені обраним рівнем. Дані не вимірюються.
Моє замовлення має статус «Активується».
Оплату проведено, тариф вмикається. Якщо замовлення не вдається активувати, воно скасовується, і вся сума повертається на баланс.
Інші сценарії використання
Поповніть на $25, отримайте 69 GB резидентного трафіку
Оберіть логін і пароль, і ви в системі. Баланс не згорає.