• 목록
  • 아래로
  • 위로
  • 3
  • title: 황금 서버 (30일)humit
  • 조회 수 475
라이선스 MIT

네이버가 이제 실시간 검색어 부분을 동적으로 불러오도록 정책이 바뀌었네요.

덕분에 불필요한 리소스를 가져올 필요가 없어서 트래픽도 엄청 줄어들고 파싱을 할 때 HTML 파싱이 아닌 json 파싱이 가능해졌습니다.


import requests
import json

url = 'https://www.naver.com/srchrank?frm=main&ag=20s&gr=0&ma=0&si=0&en=0&sp=0'
res = json.loads(requests.get(url).content)
rank = [*map(lambda item: item['keyword'], res['data'])]
print(rank)


여기서 ag부분은 나이를 의미하고, 나머지 파라미터의 경우에도 검색어 설정 부분에서 주어진 값을 -2에서 2까지 값으로 가중치를 주는 방식입니다. 해당 코드는 20대이면서 모든 가중치를 보통으로 준 경우에 사용하는 코드입니다.


해당 방식으로 바뀌면서 검색어의 차이를 나이 대별이나 관심사의 차이에 따라 어떻게 되는지 알아보는 실험을 하는 등의 작업이 가능하겠습니다.

작성자
title: 황금 서버 (30일)humit 94 Lv. (70%) 717570/722000EXP

Study For Us Hosting 1기 모니터링 관리자 (16.12.01 ~ 17.01.08.)

C++, Python, PHP를 주로 사용하며 알고리즘, DL, 해킹 쪽에 관심이 있습니다.

휴학생입니다.

티스토리 블로그 : http://humit.tistory.com/

카카오톡 봇 : http://pf.kakao.com/_Efrbu/chat

지식인 프로필 : https://kin.naver.com/profile/jhjang1005

댓글 3

이니스프리
profile image
오오~ 좋은 정보 감사드립니다!
그렇지 않아도 어제 네이버 드라마 검색 결과를 크롤링해보려고 했는데 동적으로 불러오더군요 ^^
그럼 humit 님께서도 즐겁고 뜻깊은 설 연휴 되세요!
덕분에 늘 많이 배워서 항상 감사드립니다 :)
comment menu
2020.01.23. 21:52

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

Meme
profile image
혹시 url의 json 주소는 어떻게 구할수 있는지 알 수 있을까요?
comment menu
2020.02.06. 17:30

신고

"Meme님의 댓글"

이 댓글을 신고 하시겠습니까?

title: 황금 서버 (30일)humit 작성자 → Meme
profile image
무슨 의미인지 잘 모르겠네요...
comment menu
2020.02.06. 21:29

신고

"humit님의 댓글"

이 댓글을 신고 하시겠습니까?

권한이 없습니다.
번호 분류 제목 글쓴이 날짜 조회 수
76 코드 [파이썬] 유튜브 영상을 다운받아 일정 간격으로 캡쳐하여 10장씩 merge하기 image 이니스프리 이니스프리 1일 전17:33 32
75 자료 [Autohotkey] 매분 정각에 전체화면을 캡쳐하는 스크립트 4 file 이니스프리 이니스프리 6일 전21:32 90
74 코드 [Python/Telegram] Studyforus 알림봇 (댓글, 스티커 파싱) 7 image 이니스프리 이니스프리 20.05.15.20:24 144
73 자료 한국어+영어 기초적 욕설필터 REGEX image title: NEW투명 시간버그 수정(오버플로우)개인정보처리.. 20.03.28.17:11 170
72 코드 [Python] url 주소로부터 IP 주소 알아내기 humit title: 황금 서버 (30일)humit 20.02.20.01:31 313
코드 [Python] 네이버 실시간 검색어 3 humit title: 황금 서버 (30일)humit 20.01.23.17:47 475
70 코드 Koa에서 자동으로 라우팅 채워주기 Seia Seia 20.01.22.19:46 208
69 코드 JavaScript에서 파이썬 문자열 처리 함수 중 하나 (바인딩)를 구현 7 Seia Seia 20.01.20.19:12 250
68 코드 [Python] Google Image Search 결과를 받아오기 image 이니스프리 이니스프리 19.12.09.17:38 416
67 코드 [파이썬] Requests를 사용한 네이버 카페 크롤링 - 일정수 이상의 리플이 달린 게시글만 텔레그램 알림 3 image 이니스프리 이니스프리 19.11.17.15:20 1518
66 코드 [JS] 클라이언트단 GET Parameter Hanam09 Hanam09 19.11.16.18:39 239
65 코드 [Python] 싸이월드 미니홈피 백업 스크립트 이니스프리 이니스프리 19.11.07.20:06 1169
64 코드 [Python] PIL을 이용한 Animated GIF의 리사이징 image 이니스프리 이니스프리 19.11.03.17:58 275
63 코드 [PyQt] sir.kr에서 스크랩한 게시글을 보여주는 윈도우앱 (검색 및 정렬 가능) 7 image 이니스프리 이니스프리 19.08.09.19:25 460
62 코드 [아미나] Dropbox API를 이용한 이미지 호스팅 보드스킨 11 image 이니스프리 이니스프리 19.07.13.10:01 593
61 코드 [Python] 네이버 모바일 이미지 검색에서의 이미지 파일을 멀티스레드로 다운받고 1개의 파일로 병합 11 image 이니스프리 이니스프리 19.07.12.01:22 616
60 코드 [PHP/Javascript] 아미나에 자동으로 게시글을 생성하고 Ajax로 전송하여 결과를 표시하기 2 image 이니스프리 이니스프리 19.07.09.06:24 349
59 코드 [Python] Selenium을 이용하여 특정 element를 캡처하는 스크립트 2 image 이니스프리 이니스프리 19.07.03.20:17 1466
58 코드 [Python] 선택한 파일을 Dropbox API를 이용하여 업로드하고 공유링크를 받아서 이미지 호스팅 용도로 URL을 변환하기 1 image 이니스프리 이니스프리 19.07.02.01:32 471
57 코드 [JS]클라이언트에서 Ip를 얻어보자 2 Hanam09 Hanam09 19.01.21.22:17 457