자유게시판

ParseWEB 프로젝트를 시작하였습니다.

title: 황금 서버 (30일)humit2018.12.17 19:01조회 수 128추천 수 1댓글 11

    • 글자 크기

해당 프로젝트는 파이썬을 이용해서 웹 크롤링 및 파싱을 할 수 있도록 하는 프로그램을 제작하는 프로젝트입니다.



프로젝트의 시작 동기는 아래 링크에 있습니다.



https://humit.tistory.com/300



현재 강좌로는 네이버, 다음, 네이트의 실시간 검색어를 가지고 오는 방식을 이해하고 코드를 작성하는 방법에 대해서 소개해놓았습니다.


강좌는 아래 페이지에서 계속 업데이트가 될 예정입니다.


https://humit.tistory.com/pages/project


이 게시물에 댓글로 궁금하신 파싱 방법에 대해 문의하시면 고려해서 강좌로 올려드리겠습니다. :)

Study For Us Hosting 1기 모니터링 관리자 (16.12.01 ~ 17.01.08.)

C++, Python, PHP를 주로 사용하며 알고리즘, DL, 해킹 쪽에 관심이 있습니다.

휴학생입니다.

티스토리 블로그 : http://humit.tistory.com/

카카오톡 봇 : http://pf.kakao.com/_Efrbu/chat

지식인 프로필 : https://kin.naver.com/profile/jhjang1005

    • 글자 크기
스크린샷 폴더에서 3년 전 유물(?)을 찾아냈습니다. (by 제르엘) 광고에서 JavaScript의 한계를 뛰어넘으세요라는데 의도가 무엇일까요..? (by Seia)
  • 2018.12.17 19:20

    humit 님께서 올려주신 강좌 덕분에 잘 보고 가네요~!
    저같은 초보자는 감히 따라할 수 없는, 파이썬의 취지에 부합되는 간결함의 미학이 담긴 정말 아름다운 코딩이네요 ^-^
    동적 웹페이지를 selenium을 사용하지 않고 requests로 바로 파싱하는 것도 인상적이네요~
     
    여러 커뮤니티를 돌아다니다보면 크롤링에 대해 관심 있으신 분들은 많지만 상당수가 바트파싱기를 구입하는 방향으로 빠지시더군요 ㅠㅠ
    그 분들이 대체로 궁금해하시는 내용들은 다음과 같더군요.
     


    1. 장기적인 관점에서 안정적으로 주기적으로 파싱을 하기 

       (주가지수를 API 사용하지 않고 실시간에 가깝게 파싱하고 싶으신 분들이 많이 계시더군요)
    2. selenium 없이 로그인하고, 리퍼러나 세션과 관련된 처리하기 

       (저도 궁금한 내용인데요. 단순히 login.php 등에 id, pw를 post 방식으로 넘겨주고 세션 유지하면 되는 사이트가 아닌 경우에는 막히더군요 ㅜㅜ)
    3. 파싱한 결과를 효율적으로 DB로 저장하는 방법



    얼마 전에 스포어의 joyful 님께서 멜론차트 파싱과 관련하여 궁금하셨던 내용도 결국 1, 3번으로 귀결되는 것 같네요 :)
     
    1번과 관련하여 장기적으로 안정적인 파싱을 위해 제가 막연히 알고 있는 방법은  
    1) User-agent와 Referer 등을 적절히 변경하고,
    2) 가능하다면 VPN이나 프록시를 사용하여 IP를 변경해주며,
    3) 해당 사이트에 피해가 가지 않을 정도의 적절한 주기와 방법을 택하는 것 정도인데요~!
    humit 님께서는 크롤링 경험이 많을테니 보다 구체적인 방법을 잘 알고 계실 것 같네요 ^^
     
    그럼 humit 님의 앞으로의 강좌도 기대하겠습니다 :)  
    항상 감사드립니다! 편안한 저녁 되세요~! ^-^

  • @이니스프리
    title: 황금 서버 (30일)humit글쓴이
    2018.12.17 19:28

    네 감사합니다 :) 해당 내용을 고려해서 강좌를 작성해보도록 하겠습니다.

  • @humit
    2018.12.17 19:30

    옙 번번이 정말 감사합니다 ^^

    오늘 자정을 지나면 이제 12일 남으셨겠네요.

    시간이 느리게 흐르는 것처럼 느껴지시겠지만 부디 무사 전역하시길 기원합니다~! :)

  • 2018.12.18 00:08

    음..왕고가 되셨군요?

    이거 이용해서 파싱한걸 게시글 형태로 뿌려주는 모듈같은걸 만들고 싶습니다

  • @도토리묵
    title: 황금 서버 (30일)humit글쓴이
    2018.12.18 00:45

    왕고는 진작에 되었고 마지막 말년입니다 ㅎㅎ...

    참고로 해당 방법은 거의 끝 부분에 다룰 것 같습니다..ㅎ.....

  • @humit
    2018.12.18 07:05

    좋네요!

  • 2018.12.18 01:45

    ParseWeb 프로젝트는 리눅스 기반인가요?

     

    아님 파이썬이 실행가능만 하면 되는 환경으로 리눅스, 윈도우 구분을 안하나요?

  • @맛스타
    title: 황금 서버 (30일)humit글쓴이
    2018.12.18 17:58

    어차피 GUI를 작성할 때 PyQT로 사용하기 때문에 플랫폼에 따른 변화는 없을 것 같네요 ㅎㅎ

    일단 개발은 윈도우로 할 예정입니다

  • 2018.12.18 08:30

    지금 필요한 정보네요~

    하지만 궁금한 것과 원하는 정보가 많은데

    차후 블로그에서 알려주시면 감사하겠습니다!

     

    음원 스트리밍 사이트의 차트 크롤링과

    크롤링한 정보를 DB로 등록하는것

    이 있엇으면 좋뎄습니다

    감사합니다!

  • @joyful
    title: 황금 서버 (30일)humit글쓴이
    2018.12.18 17:58

    네 해당 사항 고려해서 강좌를 작성해보겠습니다 :)

  • 2018.12.19 00:04

    강좌 따라해봐야겠네요!!

댓글 달기

번호 제목 글쓴이 날짜 조회 수
공지 sfuh.tk 기본 도메인 사용하는 분들 확인바랍니다.5 마스터 7시간 전 55
공지 2019년 새해 복 많이 받으세요!15 마스터 2019.01.01 349
공지 사이트 정보등록을 신경써서 해주시기 바랍니다.3 마스터 2018.12.31 433
공지 회원 전용 페이지가 생겼습니다.15 마스터 2018.03.20 3884
공지 슬기로운 포인트 벌이를 하는 법43 네모 2018.06.17 1099
4205 시험이 이제 쉬운거 2개 고난 1개남았습니다.4 BVC_Liper_Okbul 2018.12.17 49
4204 스크린샷 폴더에서 3년 전 유물(?)을 찾아냈습니다.4 title: 애프터 이펙트제르엘 2018.12.17 84
ParseWEB 프로젝트를 시작하였습니다.11 title: 황금 서버 (30일)humit 2018.12.17 128
4202 광고에서 JavaScript의 한계를 뛰어넘으세요라는데 의도가 무엇일까요..?4 Seia 2018.12.17 60
4201 아이폰 Xs가 현재 미국 애플 스토어에서는 699$입니다.4 Seia 2018.12.17 57
4200 면접 보고 집갑니다...12 title: 네모톰톰 미로치 라미츄허니버터뚠뚜니라이츄 2018.12.17 82
4199 내일도 면접...3 title: 네모톰톰 미로치 라미츄허니버터뚠뚜니라이츄 2018.12.17 50
4198 우와 커뮤니티 메뉴에 불 다들어온건 처음보네요!! 슬기 2018.12.17 32
4197 오늘의 출췍 title: 보물상자gimmepoint 2018.12.17 30
4196 캡쳐보드를 사고싶습니다.5 BVC_Liper_Okbul 2018.12.16 68
4195 3일 연속 올 꽝...6 αGO 2018.12.16 37
4194 서버 관리에서 가장 중요하게 생각하시는 부분이 무엇인가요?4 기기덕후 2018.12.16 74
4193 VPS 토론의 장24 title: 만렙이 되어보자도토리묵 2018.12.16 175
4192 으에엑?!4 title: 크리퍼탄소 2018.12.16 47
4191 홈스피커 구축기11 협스 2018.12.15 87
4190 iOS 12.1.1이 출시되었습니다7 Seia 2018.12.15 67
4189 담달에 블로그 레이아웃 구성 의뢰해야갯내요 ^^6 핫슈 2018.12.15 59
4188 아침은 양송이껍질콩해물봉골레요3 title: 네모톰톰 미로치 라미츄허니버터뚠뚜니라이츄 2018.12.15 34
4187 국내 갤럭시S10 테스트기기 포착5 기기덕후 2018.12.15 62
4186 시험이 끝났습니다!1 Piedots 2018.12.15 35
이전 1 2 3 4 5 6 7 8 9 10 11... 217다음
첨부 (0)
서버에 요청 중입니다. 잠시만 기다려 주십시오...