Proxy untuk data pelatihan AI
Membangun dataset dari web publik berarti crawl yang berjalan berminggu-minggu dalam beberapa bahasa. Residensial unlimited StarProxy memungkinkan Anda menetapkan biaya itu sejak hari pertama dan mengirim permintaan dari 60 negara.
Tagihan per GB sulit dianggarkan di sini
Di ribuan domain, ukuran halaman di luar kendali Anda. Beberapa situs dengan gambar dan skrip berat bisa membuat pemakaian GB beberapa kali lipat dari perkiraan.
Harga unlimited hanya ditentukan oleh periode dan tingkat koneksi. Anda bisa menuliskan biaya crawl 90 hari sebagai satu angka sebelum permintaan pertama.
Memisahkan bahasa
Banyak situs memilih edisi bahasa berdasarkan negara IP pengunjung. Tambahkan kode negara seperti -cc-fr (Prancis) atau -cc-br (Brasil) ke username, maka permintaan keluar dari sana.
Beri setiap bahasa antrean tugas sendiri dan username yang berbeda. Kode crawler tetap sama, dan hasilnya masuk ke folder terpisah per bahasa.
Contoh: biaya crawl 90 hari
Tingkat 200 koneksi, 100 Mbps di Season (90 hari) seharga $3.46 per hari, total $311.40. Membeli Day 90 kali akan menjadi $409.50, jadi Season menghemat $98.10.
Untuk crawl yang lebih besar, tingkat 1,000 koneksi, 200 Mbps di Season seharga $7.52 per hari, total $676.80. Dashboard juga menerima periode berapa pun dari 1~365 hari, jadi Anda membayar sesuai jadwal crawl, tidak lebih.
Aturan dasar pengumpulan
Kumpulkan konten publik saja dan ikuti robots.txt serta ketentuan situs. Periksa aturan hak cipta dan privasi untuk penggunaan pelatihan, dan hapus data pribadi yang tidak diperlukan sebelum menyimpan apa pun.
Tetapkan batas permintaan per domain meskipun proxy masih punya kapasitas. Anda tentu ingin kembali ke situs yang sama untuk versi dataset berikutnya.
Mengatur StarProxy untuk Data pelatihan AI
1
Isi saldo dengan kripto untuk menutupi seluruh periode crawl. Sekali isi bisa hingga $5,000.
2
Beli residensial unlimited sesuai jumlah hari crawl Anda berjalan. Season (90 hari) punya tarif harian terendah.
3
Buat satu username per bahasa, misalnya spexample1-zone-unl-cc-jp, dan pasangkan masing-masing ke antrean tugas.
4
Hubungkan crawler ke gate.starproxy.shop:6100 dan jaga koneksi bersamaan tetap dalam tingkat yang Anda beli.
Pertanyaan umum
Bisakah satu paket memakai beberapa negara?
Bisa. Satu paket unlimited mencakup semua 60 negara. Anda mengatur negara per permintaan di username.
Apakah crawl butuh sesi sticky?
Umumnya tidak. IP baru di setiap permintaan menyebarkan beban secara merata. Gunakan -sid hanya di situs yang cookie-nya harus terbawa ke beberapa halaman.
Koin apa saja yang bisa dipakai untuk isi saldo?
Koin dan jaringan yang diterima tampil di jendela pembayaran. Jumlahnya masuk ke saldo USD Anda.
Bagaimana jika saldo masih tersisa setelah crawl?
Saldo tidak punya masa berlaku. Pakai untuk crawl berikutnya atau produk lain.
Kasus penggunaan lain
Isi saldo $25, dapatkan 69 GB trafik residensial
Pilih username dan kata sandi, dan Anda langsung bisa masuk. Saldo Anda tidak pernah hangus.