Проксі для даних навчання AI
Створення датасету з публічного вебу означає краулінг, що триває тижнями кількома мовами. Безлімітні резидентні проксі StarProxy дають змогу зафіксувати вартість у перший день і надсилати запити з 60 країн.
Оплату за GB тут важко планувати
На тисячах доменів розмір сторінок від вас не залежить. Кілька сайтів з важкими зображеннями та скриптами можуть у рази перевищити оцінку використання GB.
Ціна безлімітного тарифу залежить лише від терміну й рівня підключень. Вартість 90-денного краулінгу можна записати одним числом ще до першого запиту.
Розділення мов
Багато сайтів обирають мовну версію за країною IP відвідувача. Додайте до логіна код країни, наприклад -cc-fr (Франція) або -cc-br (Бразилія), і запити виходитимуть звідти.
Дайте кожній мові окрему чергу завдань і окремий логін. Код краулера лишається тим самим, а результати потрапляють в окрему папку для кожної мови.
Приклад: вартість 90-денного краулінгу
Рівень 200 підключень і 100 Mbps на Season (90 днів) коштує $3.46 на день, разом $311.40. Купівля Day 90 разів коштувала б $409.50, тож Season заощаджує $98.10.
Для більшого краулінгу рівень 1,000 підключень і 200 Mbps на Season коштує $7.52 на день, разом $676.80. У кабінеті можна також обрати будь-який термін від 1~365 днів, тож ви платите лише за свій графік краулінгу.
Основні правила збору
Збирайте лише публічний вміст і дотримуйтеся robots.txt та умов сайтів. Перевірте правила щодо авторського права й конфіденційності для навчання моделей і видаліть непотрібні персональні дані, перш ніж щось зберігати.
Встановіть ліміт запитів для кожного домену, навіть якщо проксі має запас потужності. Вам ще захочеться повернутися до тих самих сайтів для наступної версії датасету.
Налаштування StarProxy для Дані для навчання ШІ
1
Поповніть баланс криптовалютою на весь період краулінгу. Одне поповнення може бути до $5,000.
2
Купіть безлімітні резидентні проксі на стільки днів, скільки триває краулінг. Season (90 днів) має найнижчу ціну за день.
3
Створіть окремий логін для кожної мови, наприклад spexample1-zone-unl-cc-jp, і прив'яжіть кожен до черги завдань.
4
Підключіть краулер до gate.starproxy.shop:6100 і тримайте кількість одночасних підключень у межах купленого рівня.
Поширені запитання
Чи можна на одному тарифі використовувати кілька країн?
Так. Один безлімітний тариф охоплює всі 60 країн. Країну ви задаєте для кожного запиту в логіні.
Чи потрібні фіксовані сесії для краулінгу?
Здебільшого ні. Новий IP на кожен запит рівномірно розподіляє навантаження. Використовуйте -sid лише на сайтах, де cookie мають зберігатися на кількох сторінках.
Якими монетами можна поповнити баланс?
Прийнятні монети та мережі показані у вікні оплати. Сума зараховується на ваш баланс у USD.
Що, якщо після краулінгу лишився баланс?
Баланс не має терміну дії. Використайте його на наступний краулінг або на будь-який інший продукт.
Інші сценарії використання
Поповніть на $25, отримайте 69 GB резидентного трафіку
Оберіть логін і пароль, і ви в системі. Баланс не згорає.