네이버 카페의 게시글 크롤링과 관련하여 질문 드려요 ^^

from requests_html import HTMLSession
import time, re, telegram, json
from bs4 import BeautifulSoup
 
## requests와 BeautifulSoup으로 카페 게시글 목록을 불러오는 함수 ##
def list_parse(url, s):
    headers = {
        'Content-Type': 'application/json; charset=utf-8', 
        'Accept-Language': 'ko-KR,ko;q=0.9,en-US', 
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36'
    }
    params = {
        'search.clubid' : '25490972', # 카페 ID
        'search.menuid' : '1', # 메뉴 ID
        'search.boardtype' : 'L', # 보드타입
        'search.page' : '1' # 불러올 페이지
    }
    html = s.get(url, headers = headers, params = params).text
    return html, s

## 이 달의 이벤트인 제목의 게시글번호를 추출하여 해당 게시물을 파싱하는 함수 ##
def article_parse(url):
    s = HTMLSession()
    s.get('https://m.cafe.naver.com/ca-fe/web/cafes/25490972/menus/1')
    temp_json, s = list_parse(url, s)
    article_list = json.loads(temp_json)['message']['result']['articleList']
    for a in article_list:
        if '달의 이벤트' in a['subject']:
            print(a['subject'])
            number = str(a['articleId'])
            break
 
    page_url = 'https://m.cafe.naver.com/ca-fe/web/cafes/25490972/articles/' + number + '?fromList=true&menuId=1'
    s.get(page_url)
    headers = {
    'accept': 'application/json, text/plain, */*',
    'accept-encoding': 'gzip, deflate, br',
    'accept-language': 'ko-KR,ko;q=0.9,en-US;q=0.8,en;q=0.7,ja;q=0.6',
    'dnt': '1',
    'origin': 'https://m.cafe.naver.com',
    'referer': page_url,
    'sec-fetch-dest': 'empty',
    'sec-fetch-mode': 'cors',
    'sec-fetch-site': 'same-site',
    'user-agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 13_4 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1 Mobile/15E148 Safari/604.1'
    }
    article_url = 'https://apis.naver.com/cafe-web/cafe-articleapi/cafes/25490972/articles/' + number + '?fromList=true&menuId=1&useCafeId=true'
    temp_json = s.get(article_url, headers=headers).text
    print(temp_json)
    with open('json.txt', 'w') as f:
        f.write(temp_json)
    image_list = json.loads(temp_json)['article']['contentElements']
    for i in image_list:
        print(i)
        #print(i['json'])['originalImage'])
    return article_url


if __name__ == '__main__':
    url = 'https://apis.naver.com/cafe-web/cafe2/ArticleList.json'
    titles = article_parse(url)

현재까지는 대략 이 정도를 작성했는데 말씀드린 부분에서 막혔네요 ㅠㅠ

buid 는 그냥 js에서 생성한 GUID입니다. 없어도 큰 문제가 없는것을 확인하였습니다.

fetch("https://apis.naver.com/cafe-web/cafe-articleapi/cafes/25490972/articles/1742?fromList=true&menuId=1&useCafeId=true&buid=", {"credentials":"omit","headers":{"accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9","accept-language":"ko,en-US;q=0.9,en;q=0.8,ko-KR;q=0.7","sec-fetch-dest":"document","sec-fetch-mode":"navigate","sec-fetch-site":"none","upgrade-insecure-requests":"1"},"referrerPolicy":"no-referrer-when-downgrade","body":null,"method":"GET","mode":"cors"});

확인중입니다.

# Can We Do? > Yes! We Can Do It!

import requests, json

ARTICLE_LIST_MAIN_PATH = 'https://apis.naver.com/cafe-web/cafe2/ArticleList.json'


def getArticleList(CAFE_UNIQUE_ID, REQUEST_LIST_PAGE_NUM, REQUEST_LIST_SCOPE, MODULE_REQUEST_SESSION):

    requestParameter = {
        "search.clubid": CAFE_UNIQUE_ID,
        "search.menuid": REQUEST_LIST_SCOPE,
        "search.page": REQUEST_LIST_PAGE_NUM
    }
    session = MODULE_REQUEST_SESSION
    request = session.get(ARTICLE_LIST_MAIN_PATH, params=requestParameter)
    resp = request.text
    if request.status_code == 200:
        return json.loads(resp)
    else:
        print("아이고야... 오늘 장날인가 봅니다.")
        return False

def getArticleBody(CAFE_UNIQUE_ID, ARTICLE_UNIQUE_ID, MODULE_REQUEST_SESSION):
    Request_URI = "https://apis.naver.com/cafe-web/cafe-articleapi/cafes/"+CAFE_UNIQUE_ID+"/articles/"+ARTICLE_UNIQUE_ID
    request = MODULE_REQUEST_SESSION
    
    resp = request.get(Request_URI)
    return json.loads(resp.text)["article"]
    

def main():
    MainSession = requests.Session()
    response = getArticleList(25490972, 1, 1, MainSession)
    ArticleList = response['message']['result']['articleList']

    for Article in ArticleList:
        if '달의 이벤트' in Article["subject"]:
            print(Article["subject"])
            number = str(Article["articleId"])
            break
    print(getArticleBody("25490972", number, MainSession))

main()

잘 되는것 같습니다.

로그인 여부에 따라서 로그인이 되어 있는 경우에만 originalImage가 노출이 되고, 로그인이 되지 않은 경우에는 originalImage가 노출이 되지 않는 걸로 확인됩니다.

로그인이 안되더라도 이미지를 띄우는 것이 목표라면 image > url 에 있는 주소에다가 type 값을 query string으로 전달을 해주면 됩니다.

ex) https://mcafethumb-phinf.pstatic.net/MjAyMDA0MDJfMTcy/MDAxNTg1Nzk1NjMwOTAy.2lPNDpuQRjUbFdvfPrB5SWLuTzc1r5jtF2BFx8W99gIg.sTxyf_9O9Yb2vj-VErglaujvR6K6mkvQEMQhuAV4ydgg.JPEG/4-5.jpg?type=w740