- 11
- humit
- 조회 수 198
해당 프로젝트는 파이썬을 이용해서 웹 크롤링 및 파싱을 할 수 있도록 하는 프로그램을 제작하는 프로젝트입니다.
프로젝트의 시작 동기는 아래 링크에 있습니다.
현재 강좌로는 네이버, 다음, 네이트의 실시간 검색어를 가지고 오는 방식을 이해하고 코드를 작성하는 방법에 대해서 소개해놓았습니다.
강좌는 아래 페이지에서 계속 업데이트가 될 예정입니다.
https://humit.tistory.com/pages/project
이 게시물에 댓글로 궁금하신 파싱 방법에 대해 문의하시면 고려해서 강좌로 올려드리겠습니다. :)
추천인 1
작성자
댓글 11
네 감사합니다 :) 해당 내용을 고려해서 강좌를 작성해보도록 하겠습니다.
옙 번번이 정말 감사합니다 ^^
오늘 자정을 지나면 이제 12일 남으셨겠네요.
시간이 느리게 흐르는 것처럼 느껴지시겠지만 부디 무사 전역하시길 기원합니다~! :)
음..왕고가 되셨군요?
이거 이용해서 파싱한걸 게시글 형태로 뿌려주는 모듈같은걸 만들고 싶습니다
왕고는 진작에 되었고 마지막 말년입니다 ㅎㅎ...
참고로 해당 방법은 거의 끝 부분에 다룰 것 같습니다..ㅎ.....
좋네요!
ParseWeb 프로젝트는 리눅스 기반인가요?
아님 파이썬이 실행가능만 하면 되는 환경으로 리눅스, 윈도우 구분을 안하나요?
어차피 GUI를 작성할 때 PyQT로 사용하기 때문에 플랫폼에 따른 변화는 없을 것 같네요 ㅎㅎ
일단 개발은 윈도우로 할 예정입니다
지금 필요한 정보네요~
하지만 궁금한 것과 원하는 정보가 많은데
차후 블로그에서 알려주시면 감사하겠습니다!
음원 스트리밍 사이트의 차트 크롤링과
크롤링한 정보를 DB로 등록하는것
이 있엇으면 좋뎄습니다
감사합니다!
네 해당 사항 고려해서 강좌를 작성해보겠습니다 :)
강좌 따라해봐야겠네요!!
humit 님께서 올려주신 강좌 덕분에 잘 보고 가네요~!
저같은 초보자는 감히 따라할 수 없는, 파이썬의 취지에 부합되는 간결함의 미학이 담긴 정말 아름다운 코딩이네요 ^-^
동적 웹페이지를 selenium을 사용하지 않고 requests로 바로 파싱하는 것도 인상적이네요~
여러 커뮤니티를 돌아다니다보면 크롤링에 대해 관심 있으신 분들은 많지만 상당수가 바트파싱기를 구입하는 방향으로 빠지시더군요 ㅠㅠ
그 분들이 대체로 궁금해하시는 내용들은 다음과 같더군요.
1. 장기적인 관점에서 안정적으로 주기적으로 파싱을 하기
(주가지수를 API 사용하지 않고 실시간에 가깝게 파싱하고 싶으신 분들이 많이 계시더군요)
2. selenium 없이 로그인하고, 리퍼러나 세션과 관련된 처리하기
(저도 궁금한 내용인데요. 단순히 login.php 등에 id, pw를 post 방식으로 넘겨주고 세션 유지하면 되는 사이트가 아닌 경우에는 막히더군요 ㅜㅜ)
3. 파싱한 결과를 효율적으로 DB로 저장하는 방법
얼마 전에 스포어의 joyful 님께서 멜론차트 파싱과 관련하여 궁금하셨던 내용도 결국 1, 3번으로 귀결되는 것 같네요 :)
1번과 관련하여 장기적으로 안정적인 파싱을 위해 제가 막연히 알고 있는 방법은
1) User-agent와 Referer 등을 적절히 변경하고,
2) 가능하다면 VPN이나 프록시를 사용하여 IP를 변경해주며,
3) 해당 사이트에 피해가 가지 않을 정도의 적절한 주기와 방법을 택하는 것 정도인데요~!
humit 님께서는 크롤링 경험이 많을테니 보다 구체적인 방법을 잘 알고 계실 것 같네요 ^^
그럼 humit 님의 앞으로의 강좌도 기대하겠습니다 :)
항상 감사드립니다! 편안한 저녁 되세요~! ^-^