Прокси для парсинга сайтов
Парсер отправляет много запросов к одному сайту за короткое время. Безлимитный тариф StarProxy распределяет их по множеству IP домашних подключений и берет плату за день, сколько бы данных ни пришло в ответ.
Почему парсеры блокируют?
Сайты следят, сколько запросов приходит с каждого IP. После определенного порога они замедляют ответы или показывают страницу проверки. Несколько тысяч запросов с одного сервера достигают этого лимита за минуты.
Через шлюз (точку входа прокси) запросы распределяются по тысячам резидентных IP, то есть адресов домашних интернет-линий. Общий объем не меняется, но каждый IP отправляет примерно столько, сколько обычный посетитель.
От чего зависит цена?
От срока и уровня подключений. При 200 подключениях и 100 Mbps Day стоит $4.55, Week $4.28 в день (всего $29.96), Month $3.87 в день (всего $116.10), Season $3.46 в день (всего $311.40).
Трафик не учитывается. Если задача скачивает больше примерно 11~14 GB в день, безлимит обходится дешевле резидентных прокси с оплатой за GB. Страницы с большим количеством изображений быстро переходят этот порог.
Какой уровень подключений нужен?
Ориентируйтесь на число запросов, открытых одновременно. Для 120 воркеров хватит уровня 200 подключений, и останется запас на повторы.
Если одновременно работают несколько парсеров, сложите их воркеры. При 300 подойдет уровень 500 подключений (200 Mbps). Он стоит $7.44 на Day или $6.32 в день на Month. Уровень можно сменить при следующей покупке.
Что можно собирать?
Открытые страницы, доступные без входа: карточки товаров, статьи, опубликованные данные компаний. Перед началом проверьте условия сайта и законы там, где вы работаете.
Аккаунты, которые используют для входа по утекшим учетным данным, спама, DDoS или доступа к государственным сайтам, блокируются. Если ограничивать частоту запросов к каждому домену, целевой сервер не падает, и вы можете продолжать с него собирать данные.
Настройка StarProxy для Парсинг сайтов
1
Зарегистрируйтесь с логином и паролем, затем пополните баланс криптовалютой в окне оплаты. Минимальное пополнение: $25.
2
В разделе безлимитных резидентных прокси выберите срок (Day, Week, Month или Season) и уровень подключений, затем оплатите.
3
Добавьте -zone-unl к логину прокси. Если данные отличаются по странам, добавьте и код страны, например -cc-de.
4
В настройках прокси парсера укажите gate.starproxy.shop. HTTP использует порт 6100, SOCKS5 порт 6200.
Частые вопросы
Как часто меняется IP?
Без параметра -sid в логине каждый запрос выходит с нового резидентного IP.
Мне нужен один IP на несколько страниц после входа.
Добавьте к логину -sid- и любое имя сессии. Запросы с одинаковым именем идут через один IP. Время удержания задайте через -ttl-, до 60 минут.
Есть ли ограничения, кроме трафика?
Одновременные подключения и скорость ограничены выбранным уровнем. Трафик не учитывается.
У моего заказа статус "Активируется".
Оплата прошла, и тариф включается. Если заказ не удается активировать, он отменяется, а вся сумма возвращается на баланс.
Пополните на $25 и получите 69 GB резидентного трафика
Придумайте логин и пароль, и вы в системе. Баланс не сгорает.