• 목록
  • 아래로
  • 위로

안녕하세요??


주말 잘 보내고 계시는가요?? :)


Vultr의 크레딧을 거의 소모하여 iwinv 등 국내 업체로 이전을 하려고 하는데요 ^^


국내 업체는 대체로 사용한 트래픽에 따라 과금을 하는 체계이더군요 ㅎㄷㄷ


호스팅을 안 하고 크롤링 용도로만 사용하는 VPS의 트래픽이 얼마나 될지 궁금한데요~


1) requests를 사용하는 경우에는 이미지 파일을 굳이 저장하지 않는 이상 크롤링하는 웹페이지의 이미지는 트래픽에 포함되지 않는거죠??


2) selenium을 사용하는 경우에 다음과 같은 옵션으로 이미지 옵션을 꺼버리면 트래픽에서 이미지에 해당하는 용량을 제외할 수 있는거죠??


prefs = {"profile.managed_default_content_settings.images": 2}


그럼 남은 주말 잘 마무리하시고 다들 항상 건강하세요 :)


답변해주실 분들께 미리 감사드려요!! ^-^


작성자
이니스프리 119 Lv. (1%) 3410340/115200000EXP

Make StudyForUs Great Again!

 

CSVpuymXAAAVVpd.jpg

댓글 2

title: 황금 서버 (30일)humit
profile image

1) requests를 사용하는 경우에는 이미지 파일을 굳이 저장하지 않는 이상 크롤링하는 웹페이지의 이미지는 트래픽에 포함되지 않는거죠??

=> 네 이미지 트래픽은 포함되지 않습니다.

2) selenium을 사용하는 경우에 다음과 같은 옵션으로 이미지 옵션을 꺼버리면 트래픽에서 이미지에 해당하는 용량을 제외할 수 있는거죠??

=> 대부분의 이미지는 출력되지 않지만 favicon으로 사용되는 이미지의 경우에는 트래픽 요청에 포함되는 거 같습니다. 그냥 이미지 요청 자체를 보내지 않습니다.

직접 확인해보고 싶으시다면 wireshark와 같이 패킷을 캡쳐할 수 있는 도구로 http 패킷의 이동을 확인하실 수 있습니다. 패킷이 보기 어려우시다면 Fiddler나 burp suite 같은 프록시 툴을 사용해보는 것도 괜찮습니다.

comment menu
2020.03.31. 00:13

신고

"humit님의 댓글"

이 댓글을 신고 하시겠습니까?

이니스프리 작성자 → humit
profile image

설명해주셔서 감사합니다 :)

requests의 경우에는 이미지 트래픽이 포함되지 않지만, selenium의 경우에는 이미지 옵션을 꺼도 favicon의 트래픽은 포함되는군요!

패킷을 보는 툴이나 프록시 툴을 활용하는 방법도 알아봐야겠네요~

그럼 humit 님께서도 맛점 드시고 좋은 오후 되세요!

항상 감사드려요!! ^-^

comment menu
2020.03.31. 12:15

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

권한이 없습니다.
번호 제목 글쓴이 날짜 조회 수
공지 시스템 점검 작업 완료 안내 10 마스터 24.09.05.16:25 267
공지 [중요] 호스팅 만료와 관련하여 일부 수칙이 변경됩니다. 4 마스터 23.01.14.02:23 7311
공지 [필독] 질문하는 방법 17 마스터 18.02.23.03:09 4772
486 우수회원 6 alstn 17.06.18.14:41 281
485 미디어 위키 에러 질문입니다. 8 NoYeah 18.08.24.22:27 281
484 유튜브에 유튜버 '분류' 또는 '장르'라는 것이 존재하나요?? 2 이니스프리 19.11.12.21:57 281
483 노트북 3호를 공개수배합니다 5 image 국내산라이츄 21.05.25.23:41 281
482 호스팅을 신청할려고 하는대 어느걸써야 이득이죠? 4 AA 17.07.29.18:39 282
크롤링 용도로 사용하는 VPS의 트래픽이 얼마나 될까요?? 2 이니스프리 20.03.29.21:02 282
480 도와주세요 humit 님의 챗봇 실행이 안되요 3 image 더딘 17.12.02.17:53 283
479 아이콘 라이센스의 저작자 표기 방법과 Dot icon 관련 사이트 추천 부탁드립니다. 이니스프리 19.05.06.12:46 283
478 윽 도메인이... 7 title: 도밥위키!Dobob 17.04.06.21:56 284
477 Let's Encrypt 6 image title: 투명 아이콘ㅁㅁ 17.10.13.17:09 284
476 스포어 호스팅 관련.. 2 Tilto_ 18.08.21.21:00 284
475 비트코인 소켓 통신은 어떻게 하는 건가요? 3 필우 21.05.08.17:31 284
474 아이노드가 뭔가요? 7 국내산라이츄 17.07.23.00:59 285
473 ssh 지원이 안되나요? 1 하마구리 16.10.08.15:08 287
472 SSD 5호를 공개수배합니다 4 image 제르엘 21.10.22.01:03 287
471 디비 관련 2 image title: 은메달대전댁 16.12.03.16:09 288
470 이게 가능한지 궁금합니다! 7 image 조리퐁 17.05.16.19:26 288
469 킁.. 여전히 혼자 사망한 사이트.. 15 모니터 18.10.06.08:07 288
468 나무위키 포크 위키 만들기 2 아엠이언맨 19.06.07.11:37 288
467 리버티 범용화 스킨구하는법없을가요? 4 AA 17.07.28.22:33 289