도와주세요

페북이나 트위터처럼 태그 속성이 자주 변경되는 사이트의 크롤링은 어떻게 해야 될까요??

이니스프리2020.03.09 00:27조회 수 77댓글 4

    • 글자 크기

안녕하세요??


미세먼지가 심한데 주말 잘 보내셨는지요?? ^^


페북이나 트위터처럼 태그 속성이 자주 변경되는 사이트의 크롤링에 대해 여쭤봅니다.



BeautifulSoup을 이용하면 태그의 class, id 등을 주로 활용하여 접근하잖아요.


그런데 페북이나 트위터는 의도적으로 이런 속성을 자주 변경하는 것 같더군요.


그렇다고 자체 API에서 이미지나 영상의 다운로드를 지원하는 것 같지는 않던데요 ㄷㄷ



그렇다면 어떻게 이미지나 영상을 포함하는 태그에 접근하는 것이 가장 장기간 안정적일까요??


페북이나 트위터의 이미지를 다운로드하는 프로그램이나 사이트가 있는 것을 보면 뭔가 좋은 방법이 있을 것 같은데요.


BeautifulSoup에서는 지원하지 않지만 XPATH로 접근을 하면 그나마 안정적이려나요??



크롤러를 영리적인 목적으로 이용하려는건 아니고 제 개인적으로 연습해보고 사용하려구요 :)


크롤링 고수님들의 답변을 부탁드립니다!


그럼 굿밤 되세요~! ^-^


ཇོ་མོ་གླང་མ

    • 글자 크기
VPS 웹서버 설치 후 보안을 위해 추가로 해야되는 조치에는 어떤 것이 있을까요?? (by 이니스프리) 브라우저 개발자도구에서 formdata를 숨기는 방법이 있는가요? (by 이니스프리)
  • 2020.3.11 18:16

    큰 범위에서 파싱하고 적절히 필터링 하는 방법이 있겠죠.

    태그 속성 바꾸는건는 크롤링, 파싱방지, 광고차단프로그램 방지 용도로 많이 쓰더라구요.

    https://m.blog.naver.com/PostView.nhn?blogId=yoyo3299&logNo=220981434571 하지만 유저들이 결국엔 승리한다!

  • @라엘
    이니스프리글쓴이
    2020.3.11 21:06

    오오~ 말씀하신대로 적절히 큰 범위에서 파싱하고 필터링해야겠네요~! ^^

    유저들이 결국 승리하기는 하겠지만... 저같은 쪼렙은 힘들듯요~ ㅠㅠ

    감사합니다!! 라엘 사마께서도 편안한 저녁 되세요오~

  • 2020.3.11 19:14

    태그 속성이 바뀌는 이유는 직접 바꾸는 경우도 있겠지만 개발 과정에서 자동으로 css가 업데이트 되기도 합니다.

     

    styled-component나 emotion과 같이 javascript 상에서 css를 정의하는 라이브러리를 사용하면 자동으로 클래스 이름을 생성해줍니다.

     

    그래서 클래스 이름이 이상한 형태가 아닌 정상적으로 보이는 형태에 대해서만 사용하고 되도록 id와 같이 거의 바뀔 일이 없는 값을 기준으로 차례대로 훑어내려가는 식으로 구현합니다.

  • @humit
    이니스프리글쓴이
    2020.3.11 21:06

    개발과정에서 자동으로 CSS가 업데이트되는 것이군요 ㅎㄷㄷ

    말씀해주신대로 거의 변경되지 않는 값을 기준으로 구현해봐야겠네요!

    감사합니다 ^-^ humit 님께서도 좋은 저녁 되세요~

댓글 달기

번호 제목 글쓴이 날짜 조회 수
공지 [중요] sfuh.tk 기본 제공 도메인 사용하는 분들 확인해주시기 바랍니다.6 마스터 2019.12.29 641
공지 회원 전용 페이지가 생겼습니다.17 마스터 2018.03.20 12161
공지 [필독] 질문하는 방법17 마스터 2018.02.23 1837
710 Liberty Skin 대제목 관련 질문1 sweetenpotato 22시간 전 21
709 네이버 카페의 게시글 크롤링과 관련하여 질문 드려요 ^^5 이니스프리 2020.04.04 54
708 파이썬 Requests과 HTTP 통신에 관하여 이론적으로 궁금한건데요~4 이니스프리 2020.04.03 67
707 아이콘 구매와 활용법에 대한 질문10 해피보이 2020.04.02 87
706 사이트 메인페이지에 갈림길 화면이 뜨게 하는 법에 대하여 어쭈어 봅니다.5 논문쓰는중3 2020.04.01 61
705 Cloudflare와 관련하여 질문 드려요 ^-^4 이니스프리 2020.03.30 59
704 크롤링 용도로 사용하는 VPS의 트래픽이 얼마나 될까요??2 이니스프리 2020.03.29 40
703 안녕하세요ㅠㅠ 위키 URL 리다이렉션 관련 질문입니다1 김광현 2020.03.26 63
702 그누보드용 회원차단 크롬 확장프로그램을 만들어보려는데요~ ^-^7 이니스프리 2020.03.24 77
701 VPS 웹서버 설치 후 보안을 위해 추가로 해야되는 조치에는 어떤 것이 있을까요??6 이니스프리 2020.03.13 90
페북이나 트위터처럼 태그 속성이 자주 변경되는 사이트의 크롤링은 어떻게 해야 될까요??4 이니스프리 2020.03.09 77
699 브라우저 개발자도구에서 formdata를 숨기는 방법이 있는가요?6 이니스프리 2020.03.07 88
698 그누보드5 홈피 관리해주실분 찾습니다. 찰리 2020.03.04 74
697 [파이썬] 윈도우에서 datetime 객체의 invalid format string 에러3 이니스프리 2020.03.04 52
696 XE 에디터가 작동하지 않아요 ㅠㅠ4 논문쓰는중3 2020.03.03 92
695 VPS 플랜 선택과 관련하여 질문 드립니다 ^-^4 이니스프리 2020.02.28 77
694 스터디포어스 웹호스팅상에서 비주얼에디터 설치하는 중 오류가 났습니다 ㅠㅠ 논문쓰는중3 2020.02.28 67
693 [해결][CURL/PHP] 스터디포어스서버에서의 PHP CURL에 대한 특정 서버의 잘못된 응답에 대하여3 title: 투명 아이콘Hanam09 2020.02.27 84
692 [파이썬] 웹 페이지 크롤링 시 조건에 따라 보여졌다 안보여지는 class를 조건문으로 사용 하고 싶은데요..4 위돈톡애니모 2020.02.25 77
691 [파이썬] Temporary failure in name resolution에 대해 여쭤봅니다2 이니스프리 2020.02.25 68
이전 1 2 3 4 5 6 7 8 9 10... 36다음
첨부 (0)
서버에 요청 중입니다. 잠시만 기다려 주십시오...