- 7
- 이니스프리
- 조회 수 1548
안녕하세요?
주말 잘 보내고 계시는가요?? ^^
친구의 부탁으로 프로모션 정보가 담긴 네이버 카페를 크롤링 하려다가 막히는 부분이 있어서 질문 드려요~
https://m.cafe.naver.com/ca-fe/web/cafes/25490972/menus/1
여기에서 '이달의 이벤트'라는 게시글 제목을 찾아서 아래 URL로 들어가는 것까지는 네트워크탭의 XHR에서 의심스러운 전송을 찾아서 구현했어요!
https://m.cafe.naver.com/ca-fe/web/cafes/25490972/articles/1742?fromList=true&menuId=1
그런데 게시글의 내용이 동적 웹페이지로 구현되어 있더군요 ㄷㄷ
XHR 중에 의심스러운 전송이 첫번째 항목에 있던데요.
마지막 파라미터인 buid 항목의 인자값을 찾아낼 수가 없네요.
저번에 humit 님께서 구체적으로 XHR 항목 중에 어떤 Name이 있는지는 프록시 등을 이용하지 않고서는 알 수 없다고 말씀하신 것으로 기억하는데요~
브라우저로 접근을 하면 다음과 같은 JSON 데이터를 얻을 수 있는데요.
보시다시피 json -> image -> url이라는 항목과 json -> originalImage -> originUrl이라는 항목이 존재하는데요 ㄷㄷ
"contentElements":[{"type":"IMAGE","json":{"image":{"url":"https://mcafethumb-phinf.pstatic.net/MjAyMDA0MDJfMTcy/MDAxNTg1Nzk1NjMwOTAy.2lPNDpuQRjUbFdvfPrB5SWLuTzc1r5jtF2BFx8W99gIg.sTxyf_9O9Yb2vj-VErglaujvR6K6mkvQEMQhuAV4ydgg.JPEG/4-5.jpg","service":"CAFE","type":"w740","width":880,"height":922},"originalImage":{"originUrl":"http://cafefiles.naver.net/MjAyMDA0MDJfMTcy/MDAxNTg1Nzk1NjMwOTAy.2lPNDpuQRjUbFdvfPrB5SWLuTzc1r5jtF2BFx8W99gIg.sTxyf_9O9Yb2vj-VErglaujvR6K6mkvQEMQhuAV4ydgg.JPEG/4-5.jpg","originSize":70177,"originName":"4-5.jpg"},"from":"MOBILEWEB"}}
requests로 접근을 하면 request header를 그대로 긁어서 모바일 브라우저의 user-agent로 변경을 해도 다음과 같이 originUrl 항목이 뜨지 않네요 ㅠㅠ
'type': 'IMAGE', 'json': {'image': {'url': 'https://mcafethumb-phinf.pstatic.net/MjAyMDA0MDJfMTQw/MDAxNTg1Nzk1NjMxODA2.eMucvUUm8Rjx6m5NoFtQjN1SIO8Ok6sBADyk00-qmFUg.vMD4Jtiv42q6NN3k6Ol2rWnXQyF2F-UagzJHef4cC8Qg.JPEG/4-3.jpg', 'service': 'CAFE', 'type': 'w740', 'width': 740, 'height': 1046}, 'from': 'MOBILEWEB'}}
그냥 url 항목의 url 값을 긁어서 접근하면 브라우저에서 해당 파일이 not found라고 뜨기 때문에 반드시 originUrl 항목을 긁어서 접근해야 되더군요 ㄷㄷ
이상한 점은 브라우저에서는 buid를 입력하지 않고 접근을 해도 originURL이 뜨더군요.
그래서 referer의 문제라고 생각을 했는데 request header에 referer 항목을 올바로 입력해도 마찬가지로 안 되네요 ㅠㅠ
코로나 때문에 다들 경황이 없으실텐데 장황한 질문을 드려서 죄송하네요~
그럼 즐거운 주말 되시고 항상 건강하세요!
답변 달아주실 분들께 미리 감사드려요 ^-^
작성자
댓글 7
![profile image](/files/member_extra_info/profile_image/819/059/59819.png?t=1717193427)
![comment menu](/modules/board/skins/comely_board/images/icn_more.png)
![profile image](/files/member_extra_info/profile_image/840/162/162840.png?t=1497669415)
buid 는 그냥 js에서 생성한 GUID입니다. 없어도 큰 문제가 없는것을 확인하였습니다.
fetch("https://apis.naver.com/cafe-web/cafe-articleapi/cafes/25490972/articles/1742?fromList=true&menuId=1&useCafeId=true&buid=", {"credentials":"omit","headers":{"accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9","accept-language":"ko,en-US;q=0.9,en;q=0.8,ko-KR;q=0.7","sec-fetch-dest":"document","sec-fetch-mode":"navigate","sec-fetch-site":"none","upgrade-insecure-requests":"1"},"referrerPolicy":"no-referrer-when-downgrade","body":null,"method":"GET","mode":"cors"});
확인중입니다.
![comment menu](/modules/board/skins/comely_board/images/icn_more.png)
![profile image](/files/member_extra_info/profile_image/819/059/59819.png?t=1717193427)
오오~ 그렇군요! ㅎㄷㄷ
바쁘신데 확인해주셔서 감사합니다 :)
그럼 즐거운 주말 되세요~!!
![comment menu](/modules/board/skins/comely_board/images/icn_more.png)
![profile image](/files/member_extra_info/profile_image/840/162/162840.png?t=1497669415)
# Can We Do? > Yes! We Can Do It! import requests, json ARTICLE_LIST_MAIN_PATH = 'https://apis.naver.com/cafe-web/cafe2/ArticleList.json' def getArticleList(CAFE_UNIQUE_ID, REQUEST_LIST_PAGE_NUM, REQUEST_LIST_SCOPE, MODULE_REQUEST_SESSION): requestParameter = { "search.clubid": CAFE_UNIQUE_ID, "search.menuid": REQUEST_LIST_SCOPE, "search.page": REQUEST_LIST_PAGE_NUM } session = MODULE_REQUEST_SESSION request = session.get(ARTICLE_LIST_MAIN_PATH, params=requestParameter) resp = request.text if request.status_code == 200: return json.loads(resp) else: print("아이고야... 오늘 장날인가 봅니다.") return False def getArticleBody(CAFE_UNIQUE_ID, ARTICLE_UNIQUE_ID, MODULE_REQUEST_SESSION): Request_URI = "https://apis.naver.com/cafe-web/cafe-articleapi/cafes/"+CAFE_UNIQUE_ID+"/articles/"+ARTICLE_UNIQUE_ID request = MODULE_REQUEST_SESSION resp = request.get(Request_URI) return json.loads(resp.text)["article"] def main(): MainSession = requests.Session() response = getArticleList(25490972, 1, 1, MainSession) ArticleList = response['message']['result']['articleList'] for Article in ArticleList: if '달의 이벤트' in Article["subject"]: print(Article["subject"]) number = str(Article["articleId"]) break print(getArticleBody("25490972", number, MainSession)) main()
잘 되는것 같습니다.
![comment menu](/modules/board/skins/comely_board/images/icn_more.png)
![profile image](/files/member_extra_info/profile_image/819/059/59819.png?t=1717193427)
오오~ 감사합니다!! ^^
그런데 제가 그대로 ctrl+c, v해서 실행해봤는데 제가 뭘 잘못했는지 모르겠지만 그래도 브라우저에서 보는 것과 다른데요 ㅠㅠㅠㅠㅠ
첫번째 짤이 올려주신 소스로 얻은 JSON 값인데요~
image의 url에 있는 URL로 접근하면 404 에러가 뜨거든요 ㅠㅠ
아마도 네이버측에서 막아놓은 것 같아요 ㄷㄷ
두번째 짤이 브라우저에서 긁은 것인데 originalImage의 URL로 접근하면 제대로 된 이미지가 뜨더군요~!
제가 어디에서 잘못한 것일까요오??
역시 크롤링의 세계는 심오하고 어렵군요 ㅜㅜ
그럼 즐거운 주말 저녁 되세요~!
![comment menu](/modules/board/skins/comely_board/images/icn_more.png)
![title : 황금 서버 (30일) title: 황금 서버 (30일)](https://studyforus.com/./files/iconshop/33055af84f02ddedb19db038cdae0d2f.gif)
![profile image](/files/member_extra_info/profile_image/569/001/1569.png?t=1527385219)
로그인 여부에 따라서 로그인이 되어 있는 경우에만 originalImage가 노출이 되고, 로그인이 되지 않은 경우에는 originalImage가 노출이 되지 않는 걸로 확인됩니다.
로그인이 안되더라도 이미지를 띄우는 것이 목표라면 image > url 에 있는 주소에다가 type 값을 query string으로 전달을 해주면 됩니다.
![comment menu](/modules/board/skins/comely_board/images/icn_more.png)
![profile image](/files/member_extra_info/profile_image/819/059/59819.png?t=1717193427)
코로나 때문에 학사일정이 꼬여서 바쁘실텐데 설명해주셔서 정말 감사합니다!!
이것 때문에 며칠 고민했는데 이렇게 간단히 해결되는 방법이 있을줄은 꿈에도 몰랐네요 ㅎㄷㄷ
그럼 humit 님께서도 좋은 하루 되시고 항상 건강하세요 :)
번번이 큰 도움을 주셔서 진심으로 감사드려요~! ^-^
![comment menu](/modules/board/skins/comely_board/images/icn_more.png)
현재까지는 대략 이 정도를 작성했는데 말씀드린 부분에서 막혔네요 ㅠㅠ