Proxy cho dữ liệu huấn luyện AI
Xây dựng bộ dữ liệu từ web công khai nghĩa là các đợt thu thập kéo dài nhiều tuần với nhiều ngôn ngữ. Proxy dân cư không giới hạn của StarProxy giúp bạn cố định chi phí ngay từ ngày đầu và gửi yêu cầu từ 60 quốc gia.
Tính tiền theo GB khó dự trù ngân sách trong trường hợp này
Với hàng nghìn tên miền, bạn không kiểm soát được kích thước trang. Chỉ vài trang nặng hình ảnh và script cũng có thể đẩy mức dùng GB lên gấp nhiều lần dự tính.
Gói không giới hạn chỉ tính giá theo thời hạn và mức kết nối. Bạn có thể ghi chi phí của đợt thu thập 90 ngày thành một con số trước cả yêu cầu đầu tiên.
Tách riêng từng ngôn ngữ
Nhiều trang chọn phiên bản ngôn ngữ theo quốc gia của IP người truy cập. Thêm mã quốc gia như -cc-fr (Pháp) hoặc -cc-br (Brazil) vào tên người dùng, yêu cầu sẽ đi ra từ quốc gia đó.
Mỗi ngôn ngữ dùng một hàng đợi tác vụ và một tên người dùng riêng. Code crawler giữ nguyên, kết quả được lưu vào thư mục riêng cho từng ngôn ngữ.
Ví dụ: chi phí thu thập trong 90 ngày
Mức 200 kết nối, 100 Mbps với Season (90 ngày) là $3.46 mỗi ngày, tổng cộng $311.40. Mua Day 90 lần sẽ là $409.50, nên Season tiết kiệm $98.10.
Với đợt thu thập lớn hơn, mức 1,000 kết nối, 200 Mbps với Season là $7.52 mỗi ngày, tổng cộng $676.80. Bảng điều khiển cũng nhận thời hạn bất kỳ từ 1~365 ngày, nên bạn chỉ trả đúng theo lịch thu thập.
Nguyên tắc cơ bản khi thu thập
Chỉ thu thập nội dung công khai và tuân thủ robots.txt cùng điều khoản của trang. Kiểm tra quy định về bản quyền và quyền riêng tư khi dùng để huấn luyện, và loại bỏ dữ liệu cá nhân không cần thiết trước khi lưu.
Đặt giới hạn số yêu cầu cho từng tên miền, kể cả khi proxy còn dư công suất. Bạn sẽ còn muốn quay lại các trang đó cho phiên bản bộ dữ liệu tiếp theo.
Cài đặt StarProxy cho Dữ liệu huấn luyện AI
1
Nạp tiền mã hóa đủ cho toàn bộ thời gian thu thập. Mỗi lần nạp tối đa $5,000.
2
Mua proxy dân cư không giới hạn cho số ngày đợt thu thập chạy. Season (90 ngày) có giá mỗi ngày thấp nhất.
3
Tạo một tên người dùng cho mỗi ngôn ngữ, như spexample1-zone-unl-cc-jp, và gắn mỗi tên vào một hàng đợi tác vụ.
4
Kết nối crawler đến gate.starproxy.shop:6100 và giữ số kết nối đồng thời trong mức bạn đã mua.
Câu hỏi thường gặp
Một gói có dùng được cho nhiều quốc gia không?
Được. Một gói không giới hạn dùng được cho cả 60 quốc gia. Bạn đặt quốc gia cho từng yêu cầu trong tên người dùng.
Thu thập dữ liệu có cần phiên cố định không?
Phần lớn là không. IP mới cho mỗi yêu cầu giúp chia đều tải. Chỉ dùng -sid với các trang cần giữ cookie qua nhiều trang.
Tôi nạp tiền bằng những đồng coin nào?
Các loại coin và mạng được chấp nhận hiển thị trong cửa sổ thanh toán. Số tiền được cộng vào số dư USD của bạn.
Nếu còn dư số dư sau đợt thu thập thì sao?
Số dư không hết hạn. Dùng cho đợt thu thập tiếp theo hoặc cho bất kỳ sản phẩm nào khác.
Mục đích sử dụng khác
Nạp $25, nhận 69 GB lưu lượng dân cư
Chọn tên đăng nhập và mật khẩu là xong. Số dư không bao giờ hết hạn.