AI 학습 데이터 수집용 프록시
공개 웹으로 데이터셋을 만들면 크롤링이 몇 주씩 이어지고 언어도 여러 개예요. StarProxy 무제한 주거용을 쓰면 그 기간 비용을 첫날 정해 두고, 60개 나라에서 요청을 보낼 수 있어요.
GB 요금으로는 예산 잡기가 어려워요
도메인이 수천 개면 페이지 크기는 내가 고를 수 없어요. 이미지와 스크립트가 무거운 사이트 몇 곳만 섞여도 GB 사용량이 예상의 몇 배로 뛰어요.
무제한 요금은 기간과 접속 구간으로만 정해져요. 90일 크롤링 비용을 첫 요청 전에 숫자 하나로 적어 둘 수 있어요.
언어별로 따로 모으려면
많은 사이트가 방문자 IP의 나라를 보고 언어판을 정해요. 사용자 이름에 -cc-fr(프랑스), -cc-br(브라질)처럼 나라 코드를 넣으면 그 나라에서 요청이 나가요.
언어마다 작업 대기열을 하나씩 두고 사용자 이름만 다르게 주세요. 크롤러 코드는 그대로 쓰고, 결과도 언어별 폴더에 따로 쌓여요.
90일 크롤링 비용 예시
200개, 100 Mbps 구간을 Season(90일)으로 사면 하루 $3.46, 합계 $311.40이에요. Day를 90번 사면 $409.50이라 $98.10이 덜 들어요.
더 크게 돌리면 1,000개, 200 Mbps 구간이 Season 하루 $7.52, 합계 $676.80이에요. 대시보드에서는 기간을 1~365일 사이로 직접 넣을 수 있어서 크롤링 일정만큼만 사면 돼요.
수집할 때 지킬 것
공개 콘텐츠만 모으고 robots.txt와 사이트 약관을 따르세요. 학습용 사용에 걸리는 저작권과 개인정보 규정도 확인하고, 필요 없는 개인정보는 저장하기 전에 지우세요.
프록시에 여유가 있어도 도메인마다 요청 상한을 두세요. 다음 버전 데이터셋을 만들 때 같은 사이트를 다시 찾아가야 하니까요.
AI 학습 데이터용 StarProxy 설정 순서
1
크롤링 기간 비용만큼 암호화폐로 충전해요. 한 번에 최대 $5,000까지 넣을 수 있어요.
2
무제한 주거용을 크롤링 일수에 맞춰 사요. 하루 단가는 Season(90일)이 가장 낮아요.
3
spexample1-zone-unl-cc-jp처럼 언어마다 사용자 이름을 만들어 작업 대기열에 하나씩 연결해요.
4
크롤러를 gate.starproxy.shop:6100에 붙이고, 동시 접속 수가 산 구간을 넘지 않게 맞춰요.
자주 묻는 질문
요금제 하나로 여러 나라를 써도 되나요?
네. 무제한 요금제 하나로 60개 나라를 다 써요. 나라는 요청마다 사용자 이름으로 정해요.
크롤링에 고정 세션이 필요한가요?
대부분은 필요 없어요. 요청마다 IP가 바뀌어야 부하가 고르게 퍼져요. 쿠키가 여러 페이지에 이어져야 하는 사이트만 -sid를 쓰세요.
어떤 코인으로 충전하나요?
받는 코인과 네트워크는 결제 창에 나와요. 충전한 금액은 USD 잔액으로 들어가요.
크롤링이 끝나고 잔액이 남으면요?
잔액에는 기한이 없어요. 다음 크롤링이나 다른 상품에 그대로 써요.