• 목록
  • 아래로
  • 위로
rsp = s.get(url, headers = headers).text
removed = rsp.split('\n', 1)[-1] # 첫번째 줄을 제거합니다.
json_removed = json.loads(removed)

 

 

네이버 블로그 크롤링할 때 PostList.nhn을 requests로 get할 때 관련된 팁입니다.

 

1. 헤더를 확인하니 잘 넣어야 합니다.

 

2. .text로 받아야 합니다. .content는 안 됩니다.

 

3. get으로 받으면 첫번째 행은 더미 텍스트가 들어가 있습니다.

아마도 JSON 파싱을 바로 못 하게 하려는 취지로 삽입한 것으로 추측됩니다.

이걸 제거해야 JSON 파싱이 가능합니다.

 

작성자
이니스프리 101 Lv. (47%) 823810/832320EXP

당분간 개인적인 사정으로 자유게시판에는 글이나 댓글을 작성하지 못합니다.

다른 게시판에는 중립적인 글과 정보글만 작성할 예정입니다.

 

CSVpuymXAAAVVpd.jpg

댓글 0

권한이 없습니다.
번호 제목 글쓴이 날짜 조회 수
공지 [중요] 프록시 서버 시스템 정비 안내 5 마스터 마스터 4일 전23:51 99
공지 서버의 백업 문제로 인해 임시로 호스팅 정책이 바뀝니다. 4 마스터 마스터 20.10.31.23:24 225
공지 출석부 모듈에 오류가 있습니다. 5 마스터 마스터 20.07.13.14:14 2248
461 [Python] 두 개의 리스트를 한꺼번에 for문으로 돌리기 이니스프리 이니스프리 1일 전20:30 18
460 [Python] 리스트의 순서를 유지하되 중복되는 요소를 제거하기 이니스프리 이니스프리 20.11.15.14:54 23
[Python] 네이버 블로그 크롤링할 때 PostList.nhn 관련 팁 (문자열에서 첫번째 행을 제거하기) 이니스프리 이니스프리 20.11.08.18:16 44
458 [Python] 문자열에서 파일명 또는 폴더명으로 시스템상 지원되는 글자를 제외하고 삭제하기 이니스프리 이니스프리 20.11.01.14:37 25
457 [Python] Pytube를 이용하여 유튜브 영상을 간단히 다운받는 법에 대한 설명 이니스프리 이니스프리 20.11.01.14:25 44
456 [Python] 특정 단어가 들어가는 폴더 또는 파일을 옮기기 이니스프리 이니스프리 20.11.01.14:14 22
455 [Python] 2개의 리스트를 딕셔너리로 변환하는 3가지 방법 이니스프리 이니스프리 20.10.25.15:34 40
454 [Python] HWP 파일 읽기 4 이니스프리 이니스프리 20.10.18.12:19 121
453 [Python] 디렉토리 내 0바이트 파일 찾기 이니스프리 이니스프리 20.10.11.11:19 30
452 [Python] 유튜브 영상을 PC에 다운받은 후 영상파일을 90도 rotation 하기 (youtube_dl + moviepy) 4 이니스프리 이니스프리 20.10.03.17:58 103
451 [Python] 폴더 및 하위 폴더 내의 파일에서 문자열을 일괄적으로 replace하는 스크립트 (ver 1.1) 이니스프리 이니스프리 20.10.02.11:58 18
450 [Amina] 그누보드 + 아미나 설치 방법 (처음 시작하는 분들을 위한 간단 매뉴얼) 이니스프리 이니스프리 20.10.01.16:48 91
449 JavaScript와 Canvas로 이미지의 배경값을 자동으로 산출하기 Seia Seia 20.09.12.06:37 36
448 React 그리고 Redux 쉽게 이해하기 image Seia Seia 20.09.12.06:31 48
447 [Python] 폴더의 모든 파일명을 랜덤하게 변경하기 이니스프리 이니스프리 20.08.30.15:06 108
446 [Selenium] 요소가 완전히 로드될 때까지 기다리기 이니스프리 이니스프리 20.08.23.20:22 34
445 [Selenium] 크롬 익스텐션 사용하기 1 이니스프리 이니스프리 20.08.23.19:35 60
444 [MoviePy] 폴더의 모든 MP4 파일을 적절한 크기의 GIF 파일로 변환하기 이니스프리 이니스프리 20.08.23.14:18 38
443 [Python] 확장자 확인 및 변경 이니스프리 이니스프리 20.08.23.12:17 145
442 [Python] 폴더 내 이미지의 height를 측정하여 height < n 미만인 파일을 삭제하기 이니스프리 이니스프리 20.08.13.20:08 43