웹 스크래핑용 프록시
스크래퍼는 한 사이트에 짧은 시간 동안 요청을 몰아서 보내요. StarProxy 무제한 요금제는 이 요청을 가정용 회선 IP 여러 개로 나눠 보내고, 받은 양과 관계없이 하루 요금만 받아요.
차단은 왜 생기나요?
사이트는 IP 하나가 보내는 요청 수를 지켜봐요. 정해 둔 수를 넘으면 응답을 늦추거나 확인 페이지를 띄워요. 서버 한 대에서 몇천 번을 보내면 몇 분 안에 걸려요.
게이트웨이(프록시 접속 지점)를 거치면 요청이 주거용 IP 수천 개로 나뉘어요. 주거용 IP는 가정용 인터넷 회선의 주소예요. 전체 양은 같아도 IP 하나당 요청은 일반 방문자 정도로 줄어요.
요금은 무엇으로 정해지나요?
기간과 접속 구간으로 정해져요. 동시 접속 200개, 100 Mbps 구간은 Day $4.55, Week 하루 $4.28(합계 $29.96), Month 하루 $3.87(합계 $116.10), Season 하루 $3.46(합계 $311.40)이에요.
용량은 세지 않아요. 하루에 받는 양이 대략 11~14 GB를 넘으면 GB로 사는 주거용보다 무제한이 싸져요. 이미지가 많은 페이지를 긁는다면 이 선은 금방 넘어요.
접속 구간은 어떻게 고르나요?
동시에 열려 있는 요청 수가 기준이에요. 작업자 120개를 돌리면 200개 구간으로 충분하고, 실패한 요청을 다시 보낼 여유도 남아요.
스크래퍼 여러 대를 함께 돌리면 작업자 수를 합쳐서 보세요. 합이 300개라면 500개 구간(200 Mbps)이 맞아요. Day는 $7.44, Month로 사면 하루 $6.32이에요. 구간은 다음 요금제를 살 때 바꿀 수 있어요.
수집 대상은 어디까지인가요?
로그인 없이 열리는 공개 페이지가 대상이에요. 상품 목록, 기사, 공개된 업체 정보 같은 것들이요. 시작하기 전에 사이트 약관과 사업하는 나라의 법을 확인하세요.
유출된 계정으로 로그인 시도, 스팸, DDoS, 정부 사이트 접근에 쓰면 계정이 정지돼요. 도메인마다 요청 간격을 두면 상대 서버도 버티고, 같은 사이트를 오래 수집할 수 있어요.
웹 스크래핑용 StarProxy 설정 순서
1
아이디와 비밀번호로 가입한 뒤 결제 창에서 암호화폐로 잔액을 넣어요. 최소 충전 금액은 $25이에요.
2
무제한 주거용에서 기간(Day, Week, Month, Season)과 접속 구간을 골라 결제해요.
3
프록시 사용자 이름 뒤에 -zone-unl을 붙여요. 나라마다 다른 데이터가 필요하면 -cc-de처럼 나라 코드도 붙여요.
4
스크래퍼의 프록시 주소를 gate.starproxy.shop으로 바꿔요. HTTP는 6100 포트, SOCKS5는 6200 포트예요.
자주 묻는 질문
IP는 얼마나 자주 바뀌나요?
사용자 이름에 -sid 옵션을 넣지 않으면 요청 하나하나가 새 주거용 IP로 나가요.
로그인한 뒤 몇 페이지는 같은 IP로 봐야 해요.
사용자 이름에 -sid-와 원하는 세션 이름을 붙이세요. 이름이 같은 요청은 같은 IP를 써요. 유지 시간은 -ttl-로 정하고, 최대 60분이에요.
용량 말고 정해진 한도가 있나요?
동시 접속 수와 속도는 고른 구간까지 써요. 용량은 재지 않아요.
주문이 '개통 진행'으로 보여요.
결제가 끝나고 요금제를 켜는 중이라는 뜻이에요. 개통할 수 없는 주문은 취소되고, 낸 금액 전부가 잔액으로 돌아와요.