• 목록
  • 아래로
  • 위로

안녕하세요??


주말 잘 보내고 계시는가요?? :)


Vultr의 크레딧을 거의 소모하여 iwinv 등 국내 업체로 이전을 하려고 하는데요 ^^


국내 업체는 대체로 사용한 트래픽에 따라 과금을 하는 체계이더군요 ㅎㄷㄷ


호스팅을 안 하고 크롤링 용도로만 사용하는 VPS의 트래픽이 얼마나 될지 궁금한데요~


1) requests를 사용하는 경우에는 이미지 파일을 굳이 저장하지 않는 이상 크롤링하는 웹페이지의 이미지는 트래픽에 포함되지 않는거죠??


2) selenium을 사용하는 경우에 다음과 같은 옵션으로 이미지 옵션을 꺼버리면 트래픽에서 이미지에 해당하는 용량을 제외할 수 있는거죠??


prefs = {"profile.managed_default_content_settings.images": 2}


그럼 남은 주말 잘 마무리하시고 다들 항상 건강하세요 :)


답변해주실 분들께 미리 감사드려요!! ^-^


작성자
이니스프리 119 Lv. (1%) 2392650/115200000EXP

Make StudyForUs Great Again!

 

CSVpuymXAAAVVpd.jpg

댓글 2

title: 황금 서버 (30일)humit
profile image

1) requests를 사용하는 경우에는 이미지 파일을 굳이 저장하지 않는 이상 크롤링하는 웹페이지의 이미지는 트래픽에 포함되지 않는거죠??

=> 네 이미지 트래픽은 포함되지 않습니다.

2) selenium을 사용하는 경우에 다음과 같은 옵션으로 이미지 옵션을 꺼버리면 트래픽에서 이미지에 해당하는 용량을 제외할 수 있는거죠??

=> 대부분의 이미지는 출력되지 않지만 favicon으로 사용되는 이미지의 경우에는 트래픽 요청에 포함되는 거 같습니다. 그냥 이미지 요청 자체를 보내지 않습니다.

직접 확인해보고 싶으시다면 wireshark와 같이 패킷을 캡쳐할 수 있는 도구로 http 패킷의 이동을 확인하실 수 있습니다. 패킷이 보기 어려우시다면 Fiddler나 burp suite 같은 프록시 툴을 사용해보는 것도 괜찮습니다.

comment menu
2020.03.31. 00:13

신고

"humit님의 댓글"

이 댓글을 신고 하시겠습니까?

이니스프리 작성자 → humit
profile image

설명해주셔서 감사합니다 :)

requests의 경우에는 이미지 트래픽이 포함되지 않지만, selenium의 경우에는 이미지 옵션을 꺼도 favicon의 트래픽은 포함되는군요!

패킷을 보는 툴이나 프록시 툴을 활용하는 방법도 알아봐야겠네요~

그럼 humit 님께서도 맛점 드시고 좋은 오후 되세요!

항상 감사드려요!! ^-^

comment menu
2020.03.31. 12:15

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

권한이 없습니다.
번호 제목 글쓴이 날짜 조회 수
공지 [작업 완료] 설 명절 맞이 서버 업데이트 안내 3 마스터 24.02.11.17:21 2204
공지 [중요] 호스팅 만료와 관련하여 일부 수칙이 변경됩니다. 4 마스터 23.01.14.02:23 5887
공지 [필독] 질문하는 방법 17 마스터 18.02.23.03:09 4541
506 판단 대기 시간 6 없음 19.01.11.14:09 215
505 링크파싱 애드온에서 대표사진 파일 수집과 관련하여 질문 드립니다 ^^ 9 image 이니스프리 19.01.10.20:05 225
504 비밀번호 값이 불러와지지 않습니다. 2 image 260578 19.01.05.17:28 187
503 사이트 정보 등록 1 없음 19.01.05.09:58 165
502 듀얼모니터 설정 질문드립니다 3 image calm 19.01.03.20:55 228
501 그누보드5 최근게시물 추출 수정 관련 문의 핫슈 19.01.01.13:21 184
500 호스팅 신청을 안하고 커뮤니티 활동을 해도 되나요? 5 없음 19.01.01.12:54 216
499 클라우드플레어랑 스포어 SSL이랑 같이 못 쓰나요? 14 image KOT49H 18.12.29.01:27 488
498 데이터 센터 입주와 관련해서 질문 드려요 ^^ 9 이니스프리 18.12.27.17:29 413
497 우분투 서버 최적화 작업의뢰는 언제 요청해야 되는 것인가요? 15 이니스프리 18.12.25.17:03 241
496 도메인 구매처에서 아무리 변경해봐도 안되던 이유가 혹시... 4 260578 18.12.22.18:29 204
495 humit 님의 parseweb 글 관련.... 3 image title: 대한민국 국기gimmepoint 18.12.21.21:44 194
494 출첵 모듈의 쿠키와 관련하여 질문 드려요 ^^ 4 이니스프리 18.12.21.20:51 225
493 CSRF 토큰 로그인 관련 질문 드립니다 11 이니스프리 18.12.20.19:06 1005
492 호스팅신청페이지 및 FTP접속이 안됩니다. 4 image 막시모 18.12.20.10:56 218
491 브라우저와 기본응용프로그램과의 양방향 통신에 대하여 6 Hanam09 18.12.16.17:49 384
490 usb 부팅 질문 드립니다. 1 calm 18.12.14.16:16 216
489 파이썬 멜론차트 크롤링 구현 관련 17 title: 에그joyful 18.12.08.10:08 1827
488 음원스트리밍은 음원 보안을 어떤 방식으로 하나요? 15 title: 에그joyful 18.12.06.22:24 291
487 제가 자바스크립트를 잘몰라서 원론적인 질문 하나 드립니다. 6 홀민 18.12.06.09:10 218