팁 & 노하우

  • 목록
  • 아래로
  • 위로

[Python] 네이버 블로그 크롤링할 때 PostList.nhn 관련 팁 (문자열에서 첫번째 행을 제거하기)

이니스프리 
rsp = s.get(url, headers = headers).text
removed = rsp.split('\n', 1)[-1] # 첫번째 줄을 제거합니다.
json_removed = json.loads(removed)

 

 

네이버 블로그 크롤링할 때 PostList.nhn을 requests로 get할 때 관련된 팁입니다.

 

1. 헤더를 확인하니 잘 넣어야 합니다.

 

2. .text로 받아야 합니다. .content는 안 됩니다.

 

3. get으로 받으면 첫번째 행은 더미 텍스트가 들어가 있습니다.

아마도 JSON 파싱을 바로 못 하게 하려는 취지로 삽입한 것으로 추측됩니다.

이걸 제거해야 JSON 파싱이 가능합니다.

 

작성자
이니스프리 119 Lv. (1%) 2386970/115200000EXP

Make StudyForUs Great Again!

 

CSVpuymXAAAVVpd.jpg

댓글 0

권한이 없습니다.
번호 제목 글쓴이 날짜 조회 수
공지 [작업 완료] 설 명절 맞이 서버 업데이트 안내 3 마스터 마스터 24.02.11.17:21 2174
공지 [중요] 호스팅 만료와 관련하여 일부 수칙이 변경됩니다. 4 마스터 마스터 23.01.14.02:23 5855
476 [팁] 모바일 앱 빌더 해피보이 20.04.02.08:59 165
475 마지막 방문일자 알려주기 슬기 슬기 18.10.11.00:31 166
474 [펌] 하이패스 미납요금 내기 귀찮을 땐, 동네 편의점? image 이니스프리 이니스프리 19.08.28.14:53 167
473 [Python] 변수의 이름을 반환하는 함수 이니스프리 이니스프리 24.04.20.23:29 167
472 [Python] OrderedDict에 대한 간단한 소개 3 이니스프리 이니스프리 20.06.16.13:09 168
471 [Python] 독일어, 스페인어, 체코어 등 철자를 영문 알파벳으로 전환하기 이니스프리 이니스프리 24.04.21.17:15 168
470 AMD KOREA 라이젠 3500X 공식 런칭 예정 image 이니스프리 이니스프리 19.10.15.17:50 169
469 [스퀘어넷] Ubuntu Server 18.04 LTS 지원 1 이니스프리 이니스프리 19.02.04.22:20 170
468 [Python] 파이썬으로 평균을 구하는 두 가지 방법 이니스프리 이니스프리 21.03.13.21:58 170
467 [Python] Function to save list into a text file line by line 이니스프리 이니스프리 22.06.11.21:33 171
466 앱체크 라이선스 갱신과 관련하여 이니스프리 이니스프리 19.05.11.14:43 173
465 [Docker] Docker 다시 알고 사용하기 Seia Seia 21.04.10.07:04 173
464 Eva Icons - 웹, iOS, 안드로이드를 위한 오픈소스 아이콘 2 이니스프리 이니스프리 18.12.08.14:38 174
463 최근 KT 해외망 간단 리뷰 이니스프리 이니스프리 19.12.25.23:21 174
462 [Python] COS Pro 1급 예제 2-6 풀이 이니스프리 이니스프리 20.02.14.15:03 174
461 [Python] extension이 標示되지 않는 online image의 extension을 알아내기 이니스프리 이니스프리 22.04.01.20:51 174
460 [아미나] 아미나 2.0으로의 리뉴얼 계획 이니스프리 이니스프리 19.03.12.13:03 175
459 cPanel의 Full backup의 옵션 1 image 이니스프리 이니스프리 19.03.22.22:36 175
458 Matrix DAC 발열 문제 이니스프리 이니스프리 20.01.31.12:34 175
457 [Selenium] Page down 이니스프리 이니스프리 22.06.19.12:40 175

검색