Proxy thu thập dữ liệu web
Công cụ thu thập dữ liệu gửi nhiều yêu cầu đến một trang trong thời gian ngắn. Gói không giới hạn của StarProxy chia các yêu cầu đó qua nhiều IP mạng gia đình và tính giá theo ngày, dù dữ liệu trả về nhiều đến đâu.
Vì sao công cụ thu thập dữ liệu bị chặn?
Các trang web theo dõi số yêu cầu đến từ mỗi IP. Vượt quá ngưỡng nhất định, trang sẽ phản hồi chậm lại hoặc hiện trang xác minh. Vài nghìn yêu cầu từ một máy chủ sẽ chạm giới hạn đó chỉ trong vài phút.
Qua cổng kết nối (điểm vào của proxy), các yêu cầu được chia cho hàng nghìn IP dân cư, tức địa chỉ của đường truyền internet gia đình. Tổng số yêu cầu không đổi, nhưng mỗi IP chỉ gửi khoảng bằng một khách truy cập bình thường.
Giá được tính dựa trên gì?
Thời hạn và mức kết nối. Với 200 kết nối và 100 Mbps, Day là $4.55, Week $4.28 mỗi ngày (tổng $29.96), Month $3.87 mỗi ngày (tổng $116.10) và Season $3.46 mỗi ngày (tổng $311.40).
Dữ liệu không bị tính. Khi một tác vụ tải hơn khoảng 11~14 GB mỗi ngày, gói không giới hạn rẻ hơn mua proxy dân cư theo GB. Trang có nhiều hình ảnh vượt mốc này rất nhanh.
Tôi cần mức kết nối nào?
Căn cứ vào số yêu cầu mở cùng một lúc. Với 120 worker, mức 200 kết nối là đủ và còn dư cho các lần thử lại.
Nếu nhiều công cụ chạy cùng lúc, hãy cộng số worker lại. Với 300, mức 500 kết nối (200 Mbps) là phù hợp. Giá $7.44 với Day, hoặc $6.32 mỗi ngày với Month. Bạn có thể đổi mức ở lần mua tiếp theo.
Tôi có thể thu thập những gì?
Các trang công khai mở được mà không cần đăng nhập: danh sách sản phẩm, bài viết, thông tin doanh nghiệp đã công bố. Hãy kiểm tra điều khoản của trang và pháp luật nơi bạn hoạt động trước khi bắt đầu.
Tài khoản dùng để đăng nhập bằng thông tin bị rò rỉ, gửi spam, DDoS hoặc truy cập trang của cơ quan nhà nước sẽ bị tạm khóa. Giới hạn tốc độ yêu cầu cho từng tên miền giúp máy chủ đích hoạt động ổn định và bạn có thể tiếp tục thu thập từ đó.
Cài đặt StarProxy cho Web scraping
1
Đăng ký bằng tên đăng nhập và mật khẩu, rồi nạp tiền mã hóa vào số dư trong cửa sổ thanh toán. Số tiền nạp tối thiểu là $25.
2
Trong mục proxy dân cư không giới hạn, chọn thời hạn (Day, Week, Month hoặc Season) và mức kết nối, rồi thanh toán.
3
Thêm -zone-unl vào tên người dùng proxy. Nếu dữ liệu khác nhau theo quốc gia, hãy thêm cả mã quốc gia, như -cc-de.
4
Đặt proxy của công cụ thu thập dữ liệu về gate.starproxy.shop. HTTP dùng cổng 6100 và SOCKS5 dùng cổng 6200.
Câu hỏi thường gặp
IP thay đổi bao lâu một lần?
Khi tên người dùng không có tùy chọn -sid, mỗi yêu cầu đều đi ra từ một IP dân cư mới.
Tôi cần cùng một IP cho vài trang sau khi đăng nhập.
Thêm -sid- và một tên phiên tùy ý vào tên người dùng. Các yêu cầu có cùng tên dùng chung một IP. Đặt thời gian giữ bằng -ttl-, tối đa 60 phút.
Ngoài dữ liệu, có giới hạn gì khác không?
Kết nối đồng thời và tốc độ tối đa theo mức bạn đã chọn. Dữ liệu không bị đo.
Đơn hàng của tôi hiển thị Đang kích hoạt.
Thanh toán đã thành công và gói đang được bật. Nếu đơn hàng không kích hoạt được, đơn sẽ bị hủy và toàn bộ số tiền được hoàn về số dư.
Nạp $25, nhận 69 GB lưu lượng dân cư
Chọn tên đăng nhập và mật khẩu là xong. Số dư không bao giờ hết hạn.