[Python] 쿠팡 크롤링할 때 소소한 팁

토이 프로젝트로 쿠팡에 대한 camelcamelcamel과 유사한 사이트를 구축할 예정입니다.

 

개발 도중에 알게 된 소소한 팁을 적어봅니다 ^^

 

 

1. Headers

 

https://coupang.com의 상품 관련 정보를 크롤링할 때

 

requests 모듈을 이용한 요청에 문제가 발생한다면

 

headers에 'User-Agent' 이외에도 'Accept-Language'를 추가하면 해결되는 경우가 많습니다.

 

 

2. 가격 정보

 

개별 상품 페이지에서의 가격 정보는 동적 크롤링를 통해 얻어올 수 있습니다.

 

해당 URL은 아래와 같습니다.

 

https://www.coupang.com/vp/products/제품ID/vendoritems/벤더아이템ID/quantity-info?quantity=1

 

위 URL에 get 요청을 하여 response.text를 json으로 파싱한 후

 

'price' -> 'finalPrice'에서 할인이 적용된 가격 정보를 얻을 수 있습니다.

 

 

여담이지만 쿠팡은 기본가격 자체가 할인이 적용된 가격인 경우도 많아서

 

할인 여부를 떠나서 금액 자체를 놓고 구매 타이밍을 판단하시는 것을 추천 드립니다 ^^