• 목록
  • 아래로
  • 위로

안녕하세요?


주말 잘 보내고 계시는가요?? ^^


친구의 부탁으로 프로모션 정보가 담긴 네이버 카페를 크롤링 하려다가 막히는 부분이 있어서 질문 드려요~



https://m.cafe.naver.com/ca-fe/web/cafes/25490972/menus/1 


여기에서 '이달의 이벤트'라는 게시글 제목을 찾아서 아래 URL로 들어가는 것까지는 네트워크탭의 XHR에서 의심스러운 전송을 찾아서 구현했어요!


https://m.cafe.naver.com/ca-fe/web/cafes/25490972/articles/1742?fromList=true&menuId=1



그런데 게시글의 내용이 동적 웹페이지로 구현되어 있더군요 ㄷㄷ


XHR 중에 의심스러운 전송이 첫번째 항목에 있던데요.


마지막 파라미터인 buid 항목의 인자값을 찾아낼 수가 없네요.


저번에 humit 님께서 구체적으로 XHR 항목 중에 어떤 Name이 있는지는 프록시 등을 이용하지 않고서는 알 수 없다고 말씀하신 것으로 기억하는데요~






브라우저로 접근을 하면  다음과 같은 JSON 데이터를 얻을 수 있는데요.


보시다시피 json -> image -> url이라는 항목과 json -> originalImage -> originUrl이라는 항목이 존재하는데요 ㄷㄷ


"contentElements":[{"type":"IMAGE","json":{"image":{"url":"https://mcafethumb-phinf.pstatic.net/MjAyMDA0MDJfMTcy/MDAxNTg1Nzk1NjMwOTAy.2lPNDpuQRjUbFdvfPrB5SWLuTzc1r5jtF2BFx8W99gIg.sTxyf_9O9Yb2vj-VErglaujvR6K6mkvQEMQhuAV4ydgg.JPEG/4-5.jpg","service":"CAFE","type":"w740","width":880,"height":922},"originalImage":{"originUrl":"http://cafefiles.naver.net/MjAyMDA0MDJfMTcy/MDAxNTg1Nzk1NjMwOTAy.2lPNDpuQRjUbFdvfPrB5SWLuTzc1r5jtF2BFx8W99gIg.sTxyf_9O9Yb2vj-VErglaujvR6K6mkvQEMQhuAV4ydgg.JPEG/4-5.jpg","originSize":70177,"originName":"4-5.jpg"},"from":"MOBILEWEB"}}



requests로 접근을 하면 request header를 그대로 긁어서 모바일 브라우저의 user-agent로 변경을 해도 다음과 같이 originUrl 항목이 뜨지 않네요 ㅠㅠ


'type': 'IMAGE', 'json': {'image': {'url': 'https://mcafethumb-phinf.pstatic.net/MjAyMDA0MDJfMTQw/MDAxNTg1Nzk1NjMxODA2.eMucvUUm8Rjx6m5NoFtQjN1SIO8Ok6sBADyk00-qmFUg.vMD4Jtiv42q6NN3k6Ol2rWnXQyF2F-UagzJHef4cC8Qg.JPEG/4-3.jpg', 'service': 'CAFE', 'type': 'w740', 'width': 740, 'height': 1046}, 'from': 'MOBILEWEB'}}


그냥 url 항목의 url 값을 긁어서 접근하면 브라우저에서 해당 파일이 not found라고 뜨기 때문에 반드시 originUrl 항목을 긁어서 접근해야 되더군요 ㄷㄷ



이상한 점은 브라우저에서는 buid를 입력하지 않고 접근을 해도 originURL이 뜨더군요.


그래서 referer의 문제라고 생각을 했는데 request header에 referer 항목을 올바로 입력해도 마찬가지로 안 되네요 ㅠㅠ



코로나 때문에 다들 경황이 없으실텐데 장황한 질문을 드려서 죄송하네요~


그럼 즐거운 주말 되시고 항상 건강하세요!


답변 달아주실 분들께 미리 감사드려요 ^-^




작성자
이니스프리 119 Lv. (2%) 4185130/115200000EXP

Make StudyForUs Great Again!

 

CSVpuymXAAAVVpd.jpg

댓글 7

이니스프리 작성자
profile image
from requests_html import HTMLSession
import time, re, telegram, json
from bs4 import BeautifulSoup
 
## requests와 BeautifulSoup으로 카페 게시글 목록을 불러오는 함수 ##
def list_parse(url, s):
    headers = {
        'Content-Type': 'application/json; charset=utf-8', 
        'Accept-Language': 'ko-KR,ko;q=0.9,en-US', 
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36'
    }
    params = {
        'search.clubid' : '25490972', # 카페 ID
        'search.menuid' : '1', # 메뉴 ID
        'search.boardtype' : 'L', # 보드타입
        'search.page' : '1' # 불러올 페이지
    }
    html = s.get(url, headers = headers, params = params).text
    return html, s

## 이 달의 이벤트인 제목의 게시글번호를 추출하여 해당 게시물을 파싱하는 함수 ##
def article_parse(url):
    s = HTMLSession()
    s.get('https://m.cafe.naver.com/ca-fe/web/cafes/25490972/menus/1')
    temp_json, s = list_parse(url, s)
    article_list = json.loads(temp_json)['message']['result']['articleList']
    for a in article_list:
        if '달의 이벤트' in a['subject']:
            print(a['subject'])
            number = str(a['articleId'])
            break
 
    page_url = 'https://m.cafe.naver.com/ca-fe/web/cafes/25490972/articles/' + number + '?fromList=true&menuId=1'
    s.get(page_url)
    headers = {
    'accept': 'application/json, text/plain, */*',
    'accept-encoding': 'gzip, deflate, br',
    'accept-language': 'ko-KR,ko;q=0.9,en-US;q=0.8,en;q=0.7,ja;q=0.6',
    'dnt': '1',
    'origin': 'https://m.cafe.naver.com',
    'referer': page_url,
    'sec-fetch-dest': 'empty',
    'sec-fetch-mode': 'cors',
    'sec-fetch-site': 'same-site',
    'user-agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 13_4 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1 Mobile/15E148 Safari/604.1'
    }
    article_url = 'https://apis.naver.com/cafe-web/cafe-articleapi/cafes/25490972/articles/' + number + '?fromList=true&menuId=1&useCafeId=true'
    temp_json = s.get(article_url, headers=headers).text
    print(temp_json)
    with open('json.txt', 'w') as f:
        f.write(temp_json)
    image_list = json.loads(temp_json)['article']['contentElements']
    for i in image_list:
        print(i)
        #print(i['json'])['originalImage'])
    return article_url


if __name__ == '__main__':
    url = 'https://apis.naver.com/cafe-web/cafe2/ArticleList.json'
    titles = article_parse(url)



현재까지는 대략 이 정도를 작성했는데 말씀드린 부분에서 막혔네요 ㅠㅠ

comment menu
2020.04.05. 10:20

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

Hanam09
profile image

buid 는 그냥 js에서 생성한 GUID입니다. 없어도 큰 문제가 없는것을 확인하였습니다.

 

fetch("https://apis.naver.com/cafe-web/cafe-articleapi/cafes/25490972/articles/1742?fromList=true&menuId=1&useCafeId=true&buid=", {"credentials":"omit","headers":{"accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9","accept-language":"ko,en-US;q=0.9,en;q=0.8,ko-KR;q=0.7","sec-fetch-dest":"document","sec-fetch-mode":"navigate","sec-fetch-site":"none","upgrade-insecure-requests":"1"},"referrerPolicy":"no-referrer-when-downgrade","body":null,"method":"GET","mode":"cors"});

 

확인중입니다.

comment menu
2020.04.05. 16:53

신고

"Hanam09님의 댓글"

이 댓글을 신고 하시겠습니까?

이니스프리 작성자 → Hanam09
profile image

오오~ 그렇군요! ㅎㄷㄷ

바쁘신데 확인해주셔서 감사합니다 :)

그럼 즐거운 주말 되세요~!!

comment menu
2020.04.05. 18:02

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

Hanam09
profile image
# Can We Do? > Yes! We Can Do It!

import requests, json

ARTICLE_LIST_MAIN_PATH = 'https://apis.naver.com/cafe-web/cafe2/ArticleList.json'


def getArticleList(CAFE_UNIQUE_ID, REQUEST_LIST_PAGE_NUM, REQUEST_LIST_SCOPE, MODULE_REQUEST_SESSION):

    requestParameter = {
        "search.clubid": CAFE_UNIQUE_ID,
        "search.menuid": REQUEST_LIST_SCOPE,
        "search.page": REQUEST_LIST_PAGE_NUM
    }
    session = MODULE_REQUEST_SESSION
    request = session.get(ARTICLE_LIST_MAIN_PATH, params=requestParameter)
    resp = request.text
    if request.status_code == 200:
        return json.loads(resp)
    else:
        print("아이고야... 오늘 장날인가 봅니다.")
        return False

def getArticleBody(CAFE_UNIQUE_ID, ARTICLE_UNIQUE_ID, MODULE_REQUEST_SESSION):
    Request_URI = "https://apis.naver.com/cafe-web/cafe-articleapi/cafes/"+CAFE_UNIQUE_ID+"/articles/"+ARTICLE_UNIQUE_ID
    request = MODULE_REQUEST_SESSION
    
    resp = request.get(Request_URI)
    return json.loads(resp.text)["article"]
    

def main():
    MainSession = requests.Session()
    response = getArticleList(25490972, 1, 1, MainSession)
    ArticleList = response['message']['result']['articleList']

    for Article in ArticleList:
        if '달의 이벤트' in Article["subject"]:
            print(Article["subject"])
            number = str(Article["articleId"])
            break
    print(getArticleBody("25490972", number, MainSession))

main()



잘 되는것 같습니다.

comment menu
2020.04.05. 18:25

신고

"Hanam09님의 댓글"

이 댓글을 신고 하시겠습니까?

이니스프리 작성자 → Hanam09
profile image

오오~ 감사합니다!! ^^


그런데 제가 그대로 ctrl+c, v해서 실행해봤는데 제가 뭘 잘못했는지 모르겠지만 그래도 브라우저에서 보는 것과 다른데요 ㅠㅠㅠㅠㅠ



첫번째 짤이 올려주신 소스로 얻은 JSON 값인데요~


image의 url에 있는 URL로 접근하면 404 에러가 뜨거든요 ㅠㅠ


아마도 네이버측에서 막아놓은 것 같아요 ㄷㄷ


두번째 짤이 브라우저에서 긁은 것인데 originalImage의 URL로 접근하면 제대로 된 이미지가 뜨더군요~!



제가 어디에서 잘못한 것일까요오??


역시 크롤링의 세계는 심오하고 어렵군요 ㅜㅜ


그럼 즐거운 주말 저녁 되세요~!




comment menu
2020.04.05. 19:44

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

title: 황금 서버 (30일)humit
profile image

로그인 여부에 따라서 로그인이 되어 있는 경우에만 originalImage가 노출이 되고, 로그인이 되지 않은 경우에는 originalImage가 노출이 되지 않는 걸로 확인됩니다.

로그인이 안되더라도 이미지를 띄우는 것이 목표라면 image > url 에 있는 주소에다가 type 값을 query string으로 전달을 해주면 됩니다.

 

ex) https://mcafethumb-phinf.pstatic.net/MjAyMDA0MDJfMTcy/MDAxNTg1Nzk1NjMwOTAy.2lPNDpuQRjUbFdvfPrB5SWLuTzc1r5jtF2BFx8W99gIg.sTxyf_9O9Yb2vj-VErglaujvR6K6mkvQEMQhuAV4ydgg.JPEG/4-5.jpg?type=w740


comment menu
2020.04.07. 23:15

신고

"humit님의 댓글"

이 댓글을 신고 하시겠습니까?

이니스프리 작성자 → humit
profile image

코로나 때문에 학사일정이 꼬여서 바쁘실텐데 설명해주셔서 정말 감사합니다!!

이것 때문에 며칠 고민했는데 이렇게 간단히 해결되는 방법이 있을줄은 꿈에도 몰랐네요 ㅎㄷㄷ

그럼 humit 님께서도 좋은 하루 되시고 항상 건강하세요 :)

번번이 큰 도움을 주셔서 진심으로 감사드려요~! ^-^

comment menu
2020.04.08. 10:45

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

권한이 없습니다.
번호 제목 글쓴이 날짜 조회 수
공지 시스템 점검 작업 완료 안내 10 마스터 24.09.05.16:25 2545
공지 [중요] 호스팅 만료와 관련하여 일부 수칙이 변경됩니다. 4 마스터 23.01.14.02:23 9891
공지 [필독] 질문하는 방법 17 마스터 18.02.23.03:09 4920
네이버 카페의 게시글 크롤링과 관련하여 질문 드려요 ^^ 7 image 이니스프리 20.04.04.23:33 1639
705 파이썬 Requests과 HTTP 통신에 관하여 이론적으로 궁금한건데요~ 4 이니스프리 20.04.03.15:55 334
704 아이콘 구매와 활용법에 대한 질문 10 해피보이 20.04.02.18:04 515
703 사이트 메인페이지에 갈림길 화면이 뜨게 하는 법에 대하여 어쭈어 봅니다. 5 image 입체그림 20.04.01.19:31 237
702 Cloudflare와 관련하여 질문 드려요 ^-^ 7 이니스프리 20.03.30.14:48 494
701 크롤링 용도로 사용하는 VPS의 트래픽이 얼마나 될까요?? 2 이니스프리 20.03.29.21:02 324
700 안녕하세요ㅠㅠ 위키 URL 리다이렉션 관련 질문입니다 1 김광현 20.03.26.16:33 264
699 그누보드용 회원차단 크롬 확장프로그램을 만들어보려는데요~ ^-^ 7 이니스프리 20.03.24.23:53 303
698 VPS 웹서버 설치 후 보안을 위해 추가로 해야되는 조치에는 어떤 것이 있을까요?? 6 이니스프리 20.03.13.22:46 466
697 페북이나 트위터처럼 태그 속성이 자주 변경되는 사이트의 크롤링은 어떻게 해야 될까요?? 4 이니스프리 20.03.09.00:27 297
696 브라우저 개발자도구에서 formdata를 숨기는 방법이 있는가요? 6 이니스프리 20.03.07.23:54 2760
695 그누보드5 홈피 관리해주실분 찾습니다. 찰리 20.03.04.23:10 235
694 [파이썬] 윈도우에서 datetime 객체의 invalid format string 에러 3 이니스프리 20.03.04.15:52 1642
693 XE 에디터가 작동하지 않아요 ㅠㅠ 4 image 입체그림 20.03.03.17:30 282
692 VPS 플랜 선택과 관련하여 질문 드립니다 ^-^ 4 image 이니스프리 20.02.28.20:52 363
691 스터디포어스 웹호스팅상에서 비주얼에디터 설치하는 중 오류가 났습니다 ㅠㅠ image 입체그림 20.02.28.14:40 593
690 [해결][CURL/PHP] 스터디포어스서버에서의 PHP CURL에 대한 특정 서버의 잘못된 응답에 대하여 3 Hanam09 20.02.27.15:36 496
689 [파이썬] 웹 페이지 크롤링 시 조건에 따라 보여졌다 안보여지는 class를 조건문으로 사용 하고 싶은데요.. 4 위돈톡애니모 20.02.25.15:19 1419
688 [파이썬] Temporary failure in name resolution에 대해 여쭤봅니다 2 이니스프리 20.02.25.11:50 1064
687 홈서버용 CPU 좀 봐주시면 감사하겠습니다~ ㅠㅠ 7 image 이니스프리 20.02.24.22:40 332