Прокси для сбора обучающих данных ИИ
Датасет из открытого веба означает краулинг, который неделями идет на нескольких языках. Безлимитные резидентные прокси StarProxy позволяют зафиксировать эту стоимость в первый же день и отправлять запросы из 60 стран.
При оплате за GB бюджет здесь сложно планировать
На тысячах доменов размер страниц от вас не зависит. Несколько сайтов с тяжелыми изображениями и скриптами могут в разы превысить расчетный расход GB.
Цена безлимита зависит только от срока и уровня подключений. Стоимость краулинга на 90 дней можно записать одним числом еще до первого запроса.
Разделение языков
Многие сайты выбирают языковую версию по стране IP посетителя. Добавьте к логину код страны, например -cc-fr (Франция) или -cc-br (Бразилия), и запросы будут выходить оттуда.
Дайте каждому языку свою очередь задач и отдельный логин. Код краулера остается тем же, а результаты попадают в отдельную папку для каждого языка.
Пример: стоимость краулинга на 90 дней
Уровень 200 подключений и 100 Mbps на Season (90 дней) стоит $3.46 в день, всего $311.40. Покупка Day 90 раз обошлась бы в $409.50, так что Season экономит $98.10.
Для более крупного краулинга уровень 1,000 подключений и 200 Mbps на Season стоит $7.52 в день, всего $676.80. В личном кабинете можно указать и любой срок от 1~365 дней, так что вы платите ровно за график краулинга.
Основные правила сбора
Собирайте только открытый контент и соблюдайте robots.txt и условия сайтов. Проверьте правила авторского права и защиты данных для обучения моделей и удаляйте ненужные персональные данные до сохранения.
Задайте лимит запросов на домен, даже если у прокси есть запас мощности. Вам еще понадобится вернуться на те же сайты для следующей версии датасета.
Настройка StarProxy для Данные для обучения ИИ
1
Пополните баланс криптовалютой на весь срок краулинга. Одно пополнение может быть до $5,000.
2
Купите безлимитные резидентные прокси на столько дней, сколько идет краулинг. У Season (90 дней) самая низкая цена за день.
3
Создайте по логину на каждый язык, например spexample1-zone-unl-cc-jp, и привяжите каждый к очереди задач.
4
Подключите краулер к gate.starproxy.shop:6100 и держите число одновременных подключений в пределах купленного уровня.
Частые вопросы
Можно ли использовать несколько стран в одном тарифе?
Да. Один безлимитный тариф охватывает все 60 стран. Страна задается в логине для каждого запроса.
Нужны ли краулеру фиксированные сессии?
Обычно нет. Новый IP на каждый запрос равномерно распределяет нагрузку. Используйте -sid только на сайтах, где cookie должны сохраняться между несколькими страницами.
Какими монетами можно пополнить баланс?
Принимаемые монеты и сети указаны в окне оплаты. Сумма зачисляется на баланс в USD.
Что если после краулинга останется баланс?
Баланс не сгорает. Используйте его для следующего краулинга или любого другого продукта.
Пополните на $25 и получите 69 GB резидентного трафика
Придумайте логин и пароль, и вы в системе. Баланс не сгорает.