• 목록
  • 아래로
  • 위로

안녕하세요?


주말 잘 보내고 계시는가요?? ^^


친구의 부탁으로 프로모션 정보가 담긴 네이버 카페를 크롤링 하려다가 막히는 부분이 있어서 질문 드려요~



https://m.cafe.naver.com/ca-fe/web/cafes/25490972/menus/1 


여기에서 '이달의 이벤트'라는 게시글 제목을 찾아서 아래 URL로 들어가는 것까지는 네트워크탭의 XHR에서 의심스러운 전송을 찾아서 구현했어요!


https://m.cafe.naver.com/ca-fe/web/cafes/25490972/articles/1742?fromList=true&menuId=1



그런데 게시글의 내용이 동적 웹페이지로 구현되어 있더군요 ㄷㄷ


XHR 중에 의심스러운 전송이 첫번째 항목에 있던데요.


마지막 파라미터인 buid 항목의 인자값을 찾아낼 수가 없네요.


저번에 humit 님께서 구체적으로 XHR 항목 중에 어떤 Name이 있는지는 프록시 등을 이용하지 않고서는 알 수 없다고 말씀하신 것으로 기억하는데요~






브라우저로 접근을 하면  다음과 같은 JSON 데이터를 얻을 수 있는데요.


보시다시피 json -> image -> url이라는 항목과 json -> originalImage -> originUrl이라는 항목이 존재하는데요 ㄷㄷ


"contentElements":[{"type":"IMAGE","json":{"image":{"url":"https://mcafethumb-phinf.pstatic.net/MjAyMDA0MDJfMTcy/MDAxNTg1Nzk1NjMwOTAy.2lPNDpuQRjUbFdvfPrB5SWLuTzc1r5jtF2BFx8W99gIg.sTxyf_9O9Yb2vj-VErglaujvR6K6mkvQEMQhuAV4ydgg.JPEG/4-5.jpg","service":"CAFE","type":"w740","width":880,"height":922},"originalImage":{"originUrl":"http://cafefiles.naver.net/MjAyMDA0MDJfMTcy/MDAxNTg1Nzk1NjMwOTAy.2lPNDpuQRjUbFdvfPrB5SWLuTzc1r5jtF2BFx8W99gIg.sTxyf_9O9Yb2vj-VErglaujvR6K6mkvQEMQhuAV4ydgg.JPEG/4-5.jpg","originSize":70177,"originName":"4-5.jpg"},"from":"MOBILEWEB"}}



requests로 접근을 하면 request header를 그대로 긁어서 모바일 브라우저의 user-agent로 변경을 해도 다음과 같이 originUrl 항목이 뜨지 않네요 ㅠㅠ


'type': 'IMAGE', 'json': {'image': {'url': 'https://mcafethumb-phinf.pstatic.net/MjAyMDA0MDJfMTQw/MDAxNTg1Nzk1NjMxODA2.eMucvUUm8Rjx6m5NoFtQjN1SIO8Ok6sBADyk00-qmFUg.vMD4Jtiv42q6NN3k6Ol2rWnXQyF2F-UagzJHef4cC8Qg.JPEG/4-3.jpg', 'service': 'CAFE', 'type': 'w740', 'width': 740, 'height': 1046}, 'from': 'MOBILEWEB'}}


그냥 url 항목의 url 값을 긁어서 접근하면 브라우저에서 해당 파일이 not found라고 뜨기 때문에 반드시 originUrl 항목을 긁어서 접근해야 되더군요 ㄷㄷ



이상한 점은 브라우저에서는 buid를 입력하지 않고 접근을 해도 originURL이 뜨더군요.


그래서 referer의 문제라고 생각을 했는데 request header에 referer 항목을 올바로 입력해도 마찬가지로 안 되네요 ㅠㅠ



코로나 때문에 다들 경황이 없으실텐데 장황한 질문을 드려서 죄송하네요~


그럼 즐거운 주말 되시고 항상 건강하세요!


답변 달아주실 분들께 미리 감사드려요 ^-^




작성자
이니스프리 95 Lv. (61%) 731420/737280EXP

ཇོ་མོ་གླང་མ

댓글 7

이니스프리 작성자
profile image
from requests_html import HTMLSession
import time, re, telegram, json
from bs4 import BeautifulSoup
 
## requests와 BeautifulSoup으로 카페 게시글 목록을 불러오는 함수 ##
def list_parse(url, s):
    headers = {
        'Content-Type': 'application/json; charset=utf-8', 
        'Accept-Language': 'ko-KR,ko;q=0.9,en-US', 
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36'
    }
    params = {
        'search.clubid' : '25490972', # 카페 ID
        'search.menuid' : '1', # 메뉴 ID
        'search.boardtype' : 'L', # 보드타입
        'search.page' : '1' # 불러올 페이지
    }
    html = s.get(url, headers = headers, params = params).text
    return html, s

## 이 달의 이벤트인 제목의 게시글번호를 추출하여 해당 게시물을 파싱하는 함수 ##
def article_parse(url):
    s = HTMLSession()
    s.get('https://m.cafe.naver.com/ca-fe/web/cafes/25490972/menus/1')
    temp_json, s = list_parse(url, s)
    article_list = json.loads(temp_json)['message']['result']['articleList']
    for a in article_list:
        if '달의 이벤트' in a['subject']:
            print(a['subject'])
            number = str(a['articleId'])
            break
 
    page_url = 'https://m.cafe.naver.com/ca-fe/web/cafes/25490972/articles/' + number + '?fromList=true&menuId=1'
    s.get(page_url)
    headers = {
    'accept': 'application/json, text/plain, */*',
    'accept-encoding': 'gzip, deflate, br',
    'accept-language': 'ko-KR,ko;q=0.9,en-US;q=0.8,en;q=0.7,ja;q=0.6',
    'dnt': '1',
    'origin': 'https://m.cafe.naver.com',
    'referer': page_url,
    'sec-fetch-dest': 'empty',
    'sec-fetch-mode': 'cors',
    'sec-fetch-site': 'same-site',
    'user-agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 13_4 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1 Mobile/15E148 Safari/604.1'
    }
    article_url = 'https://apis.naver.com/cafe-web/cafe-articleapi/cafes/25490972/articles/' + number + '?fromList=true&menuId=1&useCafeId=true'
    temp_json = s.get(article_url, headers=headers).text
    print(temp_json)
    with open('json.txt', 'w') as f:
        f.write(temp_json)
    image_list = json.loads(temp_json)['article']['contentElements']
    for i in image_list:
        print(i)
        #print(i['json'])['originalImage'])
    return article_url


if __name__ == '__main__':
    url = 'https://apis.naver.com/cafe-web/cafe2/ArticleList.json'
    titles = article_parse(url)



현재까지는 대략 이 정도를 작성했는데 말씀드린 부분에서 막혔네요 ㅠㅠ

comment menu
2020.04.05. 10:20

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

Hanam09
profile image

buid 는 그냥 js에서 생성한 GUID입니다. 없어도 큰 문제가 없는것을 확인하였습니다.

 

fetch("https://apis.naver.com/cafe-web/cafe-articleapi/cafes/25490972/articles/1742?fromList=true&menuId=1&useCafeId=true&buid=", {"credentials":"omit","headers":{"accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9","accept-language":"ko,en-US;q=0.9,en;q=0.8,ko-KR;q=0.7","sec-fetch-dest":"document","sec-fetch-mode":"navigate","sec-fetch-site":"none","upgrade-insecure-requests":"1"},"referrerPolicy":"no-referrer-when-downgrade","body":null,"method":"GET","mode":"cors"});

 

확인중입니다.

comment menu
2020.04.05. 16:53

신고

"Hanam09님의 댓글"

이 댓글을 신고 하시겠습니까?

이니스프리 작성자 → Hanam09
profile image

오오~ 그렇군요! ㅎㄷㄷ

바쁘신데 확인해주셔서 감사합니다 :)

그럼 즐거운 주말 되세요~!!

comment menu
2020.04.05. 18:02

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

Hanam09
profile image
# Can We Do? > Yes! We Can Do It!

import requests, json

ARTICLE_LIST_MAIN_PATH = 'https://apis.naver.com/cafe-web/cafe2/ArticleList.json'


def getArticleList(CAFE_UNIQUE_ID, REQUEST_LIST_PAGE_NUM, REQUEST_LIST_SCOPE, MODULE_REQUEST_SESSION):

    requestParameter = {
        "search.clubid": CAFE_UNIQUE_ID,
        "search.menuid": REQUEST_LIST_SCOPE,
        "search.page": REQUEST_LIST_PAGE_NUM
    }
    session = MODULE_REQUEST_SESSION
    request = session.get(ARTICLE_LIST_MAIN_PATH, params=requestParameter)
    resp = request.text
    if request.status_code == 200:
        return json.loads(resp)
    else:
        print("아이고야... 오늘 장날인가 봅니다.")
        return False

def getArticleBody(CAFE_UNIQUE_ID, ARTICLE_UNIQUE_ID, MODULE_REQUEST_SESSION):
    Request_URI = "https://apis.naver.com/cafe-web/cafe-articleapi/cafes/"+CAFE_UNIQUE_ID+"/articles/"+ARTICLE_UNIQUE_ID
    request = MODULE_REQUEST_SESSION
    
    resp = request.get(Request_URI)
    return json.loads(resp.text)["article"]
    

def main():
    MainSession = requests.Session()
    response = getArticleList(25490972, 1, 1, MainSession)
    ArticleList = response['message']['result']['articleList']

    for Article in ArticleList:
        if '달의 이벤트' in Article["subject"]:
            print(Article["subject"])
            number = str(Article["articleId"])
            break
    print(getArticleBody("25490972", number, MainSession))

main()



잘 되는것 같습니다.

comment menu
2020.04.05. 18:25

신고

"Hanam09님의 댓글"

이 댓글을 신고 하시겠습니까?

이니스프리 작성자 → Hanam09
profile image

오오~ 감사합니다!! ^^


그런데 제가 그대로 ctrl+c, v해서 실행해봤는데 제가 뭘 잘못했는지 모르겠지만 그래도 브라우저에서 보는 것과 다른데요 ㅠㅠㅠㅠㅠ



첫번째 짤이 올려주신 소스로 얻은 JSON 값인데요~


image의 url에 있는 URL로 접근하면 404 에러가 뜨거든요 ㅠㅠ


아마도 네이버측에서 막아놓은 것 같아요 ㄷㄷ


두번째 짤이 브라우저에서 긁은 것인데 originalImage의 URL로 접근하면 제대로 된 이미지가 뜨더군요~!



제가 어디에서 잘못한 것일까요오??


역시 크롤링의 세계는 심오하고 어렵군요 ㅜㅜ


그럼 즐거운 주말 저녁 되세요~!




comment menu
2020.04.05. 19:44

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

title: 황금 서버 (30일)humit
profile image

로그인 여부에 따라서 로그인이 되어 있는 경우에만 originalImage가 노출이 되고, 로그인이 되지 않은 경우에는 originalImage가 노출이 되지 않는 걸로 확인됩니다.

로그인이 안되더라도 이미지를 띄우는 것이 목표라면 image > url 에 있는 주소에다가 type 값을 query string으로 전달을 해주면 됩니다.

 

ex) https://mcafethumb-phinf.pstatic.net/MjAyMDA0MDJfMTcy/MDAxNTg1Nzk1NjMwOTAy.2lPNDpuQRjUbFdvfPrB5SWLuTzc1r5jtF2BFx8W99gIg.sTxyf_9O9Yb2vj-VErglaujvR6K6mkvQEMQhuAV4ydgg.JPEG/4-5.jpg?type=w740


comment menu
2020.04.07. 23:15

신고

"humit님의 댓글"

이 댓글을 신고 하시겠습니까?

이니스프리 작성자 → humit
profile image

코로나 때문에 학사일정이 꼬여서 바쁘실텐데 설명해주셔서 정말 감사합니다!!

이것 때문에 며칠 고민했는데 이렇게 간단히 해결되는 방법이 있을줄은 꿈에도 몰랐네요 ㅎㄷㄷ

그럼 humit 님께서도 좋은 하루 되시고 항상 건강하세요 :)

번번이 큰 도움을 주셔서 진심으로 감사드려요~! ^-^

comment menu
2020.04.08. 10:45

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

권한이 없습니다.
번호 제목 글쓴이 날짜 조회 수
공지 [매우 중요 공지] 접속안되는 사태가 발생했습니다. 24 마스터 20.05.24.04:10 1146
공지 알림판 기능과 로또 기능이 추가 되었습니다. 6 마스터 20.05.14.00:09 2231
공지 사이트 디자인 변경 안내 19 마스터 20.05.03.22:16 2489
공지 [필독] 질문하는 방법 17 마스터 18.02.23.03:09 2439
727 메일 서버 구축과 관련해 질문 있습니다! 13 title: 포토샵협스 20.05.10.14:24 183
726 와! 버그 2 image title: 투명 아이콘Kang-tw-뿌리 20.05.09.07:27 163
725 스마트폰 케이스 추천 부탁드립니다! 14 이니스프리 20.05.08.20:56 169
724 포인트 폭탄 포인트 지급 안되엇내요 9 image title: 네이버 웨일 로고핫슈 20.05.08.20:17 191
723 스마트폰(노트10+) 구매 관련하여 질문 드립니다! ^-^ 16 이니스프리 20.05.07.00:01 179
722 현재로서는 CKEditor 4.14를 사용하는게 최선일까요? 37 이니스프리 20.05.06.01:47 327
721 외부 접속가능한 db프로그램 문의 4 title: 인스타그램슬기 20.05.05.21:41 144
720 스포티콘도 게시글 본문에 사용 가능한가요?? 10 image 이니스프리 20.05.05.13:05 162
719 크롤링과 관련해 질문 있습니다! 13 title: 포토샵협스 20.05.04.21:24 193
718 키보드 재설정을 위한 트윅 프로그램 추천 부탁드려요! ^^ 5 이니스프리 20.05.04.18:39 118
717 스포티콘을 퍼오는 것은 어느 범위 내에서 허용되는가요?? 5 이니스프리 20.05.04.18:33 111
716 프리미어와 에펙을 제대로 구동할 수 있는 랩탑은 어느 정도 사양인가요?? 11 이니스프리 20.04.29.22:16 144
715 XE3에 사이트에 다른 cms를 이용한 하위 사이트 접속 방법 알고 계시는 분 있나요? 1 논문쓰는중3 20.04.18.19:56 130
714 호스팅과 ftp 설정에서 용량 관련 1 title: 투명 아이콘마당쇠15 20.04.16.11:30 115
713 저전력 nas 용도 개발보드 구매? 8 title: 투명 아이콘Kang-tw-뿌리 20.04.09.00:05 180
712 StartupCheckLibrary.dll / winscomrssrv.dll 지정된 모듈을 찾을 수 없습니다. 3 image title: 포토샵협스 20.04.07.11:08 173
711 [앱개발 질문] 초보입니다. 2 Chobo 20.04.07.10:21 167
710 Liberty Skin 대제목 관련 질문 3 image sweetenpotato 20.04.06.01:49 135
네이버 카페의 게시글 크롤링과 관련하여 질문 드려요 ^^ 7 image 이니스프리 20.04.04.23:33 180
708 파이썬 Requests과 HTTP 통신에 관하여 이론적으로 궁금한건데요~ 4 이니스프리 20.04.03.15:55 155