팁 & 노하우

  • 목록
  • 아래로
  • 위로

엠팍에서 첨부 이미지 크롤링을 할 때 400대 에러가 뜨는 경우

이니스프리

주말에 mlbpark.com 크롤링을 연습해봤네요.


여러 방법으로 Requests를 이용한 크롤링을 막아놓았더군요.


제가 실력이 없어서 그런 것인지는 모르겠지만 헤더를 올바르게 넣어줘도 이미지 크롤링을 하려면 400대 에러가 뜨더군요.


정확한 이유는 모르겠지만 Requests_HTML을 이용하니 이 문제가 해결되네요 ^^


render를 하지 않았는데도 Requests_HTML을 사용하는 것 자체만으로 해결되는 것을 봐서는, 아마도 Requests 모듈 자체를 감지하는 어떤 기능을 탑재한 것으로 추측됩니다.


크롤링하려는 분들께서 참고가 되셨으면 좋겠습니다.


작성자
이니스프리 119 Lv. (1%) 2365540/115200000EXP

Make StudyForUs Great Again!

 

CSVpuymXAAAVVpd.jpg

댓글 0

권한이 없습니다.
번호 제목 글쓴이 날짜 조회 수
공지 [작업 완료] 설 명절 맞이 서버 업데이트 안내 3 마스터 마스터 24.02.11.17:21 1114
공지 [중요] 호스팅 만료와 관련하여 일부 수칙이 변경됩니다. 4 마스터 마스터 23.01.14.02:23 4803
434 [파이썬] random.choice() - 시퀀스 내의 요소를 랜덤하게 반환하기 이니스프리 이니스프리 20.06.27.16:37 183
433 MS Chromium 엣지 브라우저 Beta의 공식버전 발표 image 이니스프리 이니스프리 19.08.24.22:39 185
432 [학습정보] 구글 게이밍 아카데미 2/18 9 image 이니스프리 이니스프리 19.02.05.16:38 188
431 [Telegram] Bot의 inline keyboard 제거 이니스프리 이니스프리 22.07.01.20:35 190
430 [끝말잇기] '슘'으로 시작되는 단어 중 XE타운에서 사용할 수 있는 단어 이니스프리 이니스프리 19.08.25.01:01 191
429 Bose Sleepbuds의 사용 환경 등에 관하여 이니스프리 이니스프리 18.12.31.14:01 192
엠팍에서 첨부 이미지 크롤링을 할 때 400대 에러가 뜨는 경우 이니스프리 이니스프리 20.01.12.23:38 192
427 [디지털 포렌식 전문가] 제21회 실기 시험 일정 image 이니스프리 이니스프리 23.10.29.01:39 192
426 [파이썬] 딕셔너리의 키/값으로 정렬하기 이니스프리 이니스프리 20.02.02.23:25 195
425 [생활정보] 기존 영역 벗어나 새로워진  편의점 크로스오버 상품 5 image 이니스프리 이니스프리 17.01.23.16:24 197
424 [할인정보] 바디샵 3+3 $50 이상 브리티쉬로즈 증정 image 이니스프리 이니스프리 17.02.17.22:16 197
423 [Python] Bypassing Cloudflare's anti-bot page with Cloudscraper module 이니스프리 이니스프리 22.06.10.22:11 197
422 [Python] 윈도우에서 파이썬이 설치된 경로를 확인하는 방법 이니스프리 이니스프리 20.05.13.22:13 198
421 [할인정보] DHC - 2/15-2/16 스베스베 데이 전품목 30% SALE! 4 image 이니스프리 이니스프리 17.02.15.21:41 199
420 [Python] dictionary 자료형에서 setdefault와 update의 차이 이니스프리 이니스프리 20.04.05.18:12 199
419 [이벤트] 롯데리아 행쇼팩 9900원과 핫크리스피버거 1+1 image 부루마블 17.01.25.23:05 200
418 파이썬 & 데이터 분석 & 웹 크롤링 오프라인 강의 image 이니스프리 이니스프리 19.11.03.01:41 200
417 [Python] Ordered Set 이니스프리 이니스프리 23.09.19.20:24 201
416 [Python] 네이버 블로그 크롤링할 때 PostList.nhn 관련 팁 (문자열에서 첫번째 행을 제거하기) 이니스프리 이니스프리 20.11.08.18:16 202
415 [Python] 확장자를 지정할 수 있는 백업 스크립트 이니스프리 이니스프리 20.05.13.21:58 203

검색