ParseWEB 프로젝트를 시작하였습니다.

humit 님께서 올려주신 강좌 덕분에 잘 보고 가네요~!
저같은 초보자는 감히 따라할 수 없는, 파이썬의 취지에 부합되는 간결함의 미학이 담긴 정말 아름다운 코딩이네요 ^-^
동적 웹페이지를 selenium을 사용하지 않고 requests로 바로 파싱하는 것도 인상적이네요~
 
여러 커뮤니티를 돌아다니다보면 크롤링에 대해 관심 있으신 분들은 많지만 상당수가 바트파싱기를 구입하는 방향으로 빠지시더군요 ㅠㅠ
그 분들이 대체로 궁금해하시는 내용들은 다음과 같더군요.
 

1. 장기적인 관점에서 안정적으로 주기적으로 파싱을 하기 

   (주가지수를 API 사용하지 않고 실시간에 가깝게 파싱하고 싶으신 분들이 많이 계시더군요)
2. selenium 없이 로그인하고, 리퍼러나 세션과 관련된 처리하기 

   (저도 궁금한 내용인데요. 단순히 login.php 등에 id, pw를 post 방식으로 넘겨주고 세션 유지하면 되는 사이트가 아닌 경우에는 막히더군요 ㅜㅜ)
3. 파싱한 결과를 효율적으로 DB로 저장하는 방법

얼마 전에 스포어의 joyful 님께서 멜론차트 파싱과 관련하여 궁금하셨던 내용도 결국 1, 3번으로 귀결되는 것 같네요 :)
 
1번과 관련하여 장기적으로 안정적인 파싱을 위해 제가 막연히 알고 있는 방법은  
1) User-agent와 Referer 등을 적절히 변경하고,
2) 가능하다면 VPN이나 프록시를 사용하여 IP를 변경해주며,
3) 해당 사이트에 피해가 가지 않을 정도의 적절한 주기와 방법을 택하는 것 정도인데요~!
humit 님께서는 크롤링 경험이 많을테니 보다 구체적인 방법을 잘 알고 계실 것 같네요 ^^
 
그럼 humit 님의 앞으로의 강좌도 기대하겠습니다 :)  
항상 감사드립니다! 편안한 저녁 되세요~! ^-^

음..왕고가 되셨군요?

이거 이용해서 파싱한걸 게시글 형태로 뿌려주는 모듈같은걸 만들고 싶습니다

ParseWeb 프로젝트는 리눅스 기반인가요?

아님 파이썬이 실행가능만 하면 되는 환경으로 리눅스, 윈도우 구분을 안하나요?

지금 필요한 정보네요~

하지만 궁금한 것과 원하는 정보가 많은데

차후 블로그에서 알려주시면 감사하겠습니다!

음원 스트리밍 사이트의 차트 크롤링과

크롤링한 정보를 DB로 등록하는것

이 있엇으면 좋뎄습니다

감사합니다!

강좌 따라해봐야겠네요!!