팁 & 노하우

  • 목록
  • 아래로
  • 위로

엠팍에서 첨부 이미지 크롤링을 할 때 400대 에러가 뜨는 경우

이니스프리

주말에 mlbpark.com 크롤링을 연습해봤네요.


여러 방법으로 Requests를 이용한 크롤링을 막아놓았더군요.


제가 실력이 없어서 그런 것인지는 모르겠지만 헤더를 올바르게 넣어줘도 이미지 크롤링을 하려면 400대 에러가 뜨더군요.


정확한 이유는 모르겠지만 Requests_HTML을 이용하니 이 문제가 해결되네요 ^^


render를 하지 않았는데도 Requests_HTML을 사용하는 것 자체만으로 해결되는 것을 봐서는, 아마도 Requests 모듈 자체를 감지하는 어떤 기능을 탑재한 것으로 추측됩니다.


크롤링하려는 분들께서 참고가 되셨으면 좋겠습니다.


작성자
이니스프리 119 Lv. (2%) 4160340/115200000EXP

Make StudyForUs Great Again!

 

CSVpuymXAAAVVpd.jpg

댓글 0

권한이 없습니다.
번호 제목 글쓴이 날짜 조회 수
공지 시스템 점검 작업 완료 안내 10 마스터 마스터 24.09.05.16:25 2178
공지 [중요] 호스팅 만료와 관련하여 일부 수칙이 변경됩니다. 4 마스터 마스터 23.01.14.02:23 9025
340 [파이썬] 딕셔너리의 키/값으로 정렬하기 이니스프리 이니스프리 20.02.02.23:25 373
339 [IPVanish] 809 에러 해결방법 이니스프리 이니스프리 20.02.02.17:10 267
338 Matrix DAC 발열 문제 이니스프리 이니스프리 20.01.31.12:34 237
337 JLPT 성적표 및 합격증 수령 주소 변경 이니스프리 이니스프리 20.01.29.21:51 211
336 Apple ID 미국 계정 만들기 및 로그인 실패시 해결방법(?) 이니스프리 이니스프리 20.01.26.20:14 357
335 더현대닷컴 vs Hmall의 차이 이니스프리 이니스프리 20.01.26.20:10 1150
334 다이소 스마트폰 유심 커터기 관련 4 이니스프리 이니스프리 20.01.22.17:15 679
333 텔레그램 비밀대화의 스크린캡쳐 방지기능 이니스프리 이니스프리 20.01.20.23:44 6081
332 Postman에서 Temporary Header는 비활성화할 수 없습니다. 3 image Seia Seia 20.01.20.19:31 351
331 순수 React만으로 다이내믹 태그 네이밍하기 Seia Seia 20.01.20.19:18 138
330 Sourcerer: Git을 비주얼라이징 및 프로파일링합니다. image Seia Seia 20.01.20.07:38 159
329 [우체국 택배] 수취인 수령장소 변경 서비스 이니스프리 이니스프리 20.01.19.23:08 330
328 TCP BBR을 사용하여 기존 TCP 구현보다도 훨씬 빠른 속도를 즐기는 방법 2 image Seia Seia 20.01.19.07:01 290
327 Vultr.com - 오늘자 Service Alert 이니스프리 이니스프리 20.01.17.22:02 238
326 중국 배대지 휴무 이니스프리 이니스프리 20.01.14.13:01 156
325 [파이썬] random.randint()에서 주의할 점 이니스프리 이니스프리 20.01.13.00:49 309
엠팍에서 첨부 이미지 크롤링을 할 때 400대 에러가 뜨는 경우 이니스프리 이니스프리 20.01.12.23:38 423
323 DHTML 에디터에서 Hard Break vs Soft Break 이니스프리 이니스프리 20.01.12.13:48 152
322 [국립국어원] 세팅 vs 셋팅 이니스프리 이니스프리 20.01.11.16:56 1846
321 IPVanish의 한국서버가 4개로 확충되었습니다. image 이니스프리 이니스프리 20.01.11.11:27 156

검색