Proxy untuk data latihan AI
Membina set data daripada web awam bermakna crawl yang berjalan berminggu-minggu dalam beberapa bahasa. Proxy kediaman tanpa had StarProxy membolehkan anda menetapkan kos itu pada hari pertama dan menghantar permintaan dari 60 negara.
Bil mengikut GB sukar dibajet di sini
Merentasi beribu-ribu domain, saiz halaman di luar kawalan anda. Beberapa laman dengan imej dan skrip yang berat boleh menaikkan penggunaan GB beberapa kali ganda melebihi anggaran.
Pakej tanpa had hanya dikira mengikut tempoh dan peringkat sambungan. Anda boleh menulis kos crawl 90 hari sebagai satu angka sebelum permintaan pertama.
Mengasingkan bahasa
Banyak laman memilih edisi bahasa berdasarkan negara IP pelawat. Tambah kod negara seperti -cc-fr (Perancis) atau -cc-br (Brazil) pada nama pengguna dan permintaan keluar dari negara tersebut.
Beri setiap bahasa barisan kerja sendiri dan nama pengguna yang berbeza. Kod crawler kekal sama, dan hasilnya disimpan dalam folder berasingan bagi setiap bahasa.
Contoh: kos crawl 90 hari
Peringkat 200 sambungan, 100 Mbps dengan Season (90 hari) ialah $3.46 sehari, jumlahnya $311.40. Membeli Day sebanyak 90 kali berharga $409.50, jadi Season menjimatkan $98.10.
Untuk crawl lebih besar, peringkat 1,000 sambungan, 200 Mbps dengan Season ialah $7.52 sehari, jumlahnya $676.80. Dashboard juga menerima apa-apa tempoh dari 1~365 hari, jadi anda membayar mengikut jadual crawl anda sahaja.
Peraturan asas pengumpulan
Kumpul kandungan awam sahaja dan patuhi robots.txt serta terma laman. Semak peraturan hak cipta dan privasi untuk kegunaan latihan, dan buang data peribadi yang tidak diperlukan sebelum menyimpan apa-apa.
Tetapkan had permintaan bagi setiap domain walaupun proxy masih ada kapasiti. Anda pasti mahu kembali ke laman yang sama untuk versi set data seterusnya.
Menyediakan StarProxy untuk Data latihan AI
1
Tambah nilai dengan kripto untuk menampung keseluruhan tempoh crawl. Satu tambah nilai boleh mencapai $5,000.
2
Beli proxy kediaman tanpa had untuk bilangan hari crawl anda berjalan. Season (90 hari) mempunyai kadar harian paling rendah.
3
Cipta satu nama pengguna bagi setiap bahasa, seperti spexample1-zone-unl-cc-jp, dan pautkan setiap satu pada barisan kerja.
4
Sambungkan crawler ke gate.starproxy.shop:6100 dan pastikan sambungan serentak tidak melebihi peringkat yang anda beli.
Soalan biasa
Bolehkah satu pakej menggunakan beberapa negara?
Boleh. Satu pakej tanpa had meliputi kesemua 60 negara. Anda menetapkan negara bagi setiap permintaan dalam nama pengguna.
Adakah crawl memerlukan sesi sticky?
Biasanya tidak. IP baharu bagi setiap permintaan menyebarkan beban secara sekata. Gunakan -sid hanya pada laman yang memerlukan kuki dibawa merentasi beberapa halaman.
Syiling apa yang boleh digunakan untuk tambah nilai?
Syiling dan rangkaian yang diterima dipaparkan dalam tetingkap pembayaran. Jumlahnya masuk ke baki USD anda.
Bagaimana jika masih ada baki selepas crawl?
Baki tiada tarikh luput. Gunakan untuk crawl seterusnya atau untuk mana-mana produk lain.
Tambah nilai $25, dapat 69 GB trafik kediaman
Pilih nama pengguna dan kata laluan, dan anda boleh terus mula. Baki anda tidak pernah luput.