• 목록
  • 아래로
  • 위로

안녕하세요??


주말 잘 보내고 계시는가요?? :)


Vultr의 크레딧을 거의 소모하여 iwinv 등 국내 업체로 이전을 하려고 하는데요 ^^


국내 업체는 대체로 사용한 트래픽에 따라 과금을 하는 체계이더군요 ㅎㄷㄷ


호스팅을 안 하고 크롤링 용도로만 사용하는 VPS의 트래픽이 얼마나 될지 궁금한데요~


1) requests를 사용하는 경우에는 이미지 파일을 굳이 저장하지 않는 이상 크롤링하는 웹페이지의 이미지는 트래픽에 포함되지 않는거죠??


2) selenium을 사용하는 경우에 다음과 같은 옵션으로 이미지 옵션을 꺼버리면 트래픽에서 이미지에 해당하는 용량을 제외할 수 있는거죠??


prefs = {"profile.managed_default_content_settings.images": 2}


그럼 남은 주말 잘 마무리하시고 다들 항상 건강하세요 :)


답변해주실 분들께 미리 감사드려요!! ^-^


작성자
이니스프리 119 Lv. (1%) 2928900/115200000EXP

Make StudyForUs Great Again!

 

CSVpuymXAAAVVpd.jpg

댓글 2

title: 황금 서버 (30일)humit
profile image

1) requests를 사용하는 경우에는 이미지 파일을 굳이 저장하지 않는 이상 크롤링하는 웹페이지의 이미지는 트래픽에 포함되지 않는거죠??

=> 네 이미지 트래픽은 포함되지 않습니다.

2) selenium을 사용하는 경우에 다음과 같은 옵션으로 이미지 옵션을 꺼버리면 트래픽에서 이미지에 해당하는 용량을 제외할 수 있는거죠??

=> 대부분의 이미지는 출력되지 않지만 favicon으로 사용되는 이미지의 경우에는 트래픽 요청에 포함되는 거 같습니다. 그냥 이미지 요청 자체를 보내지 않습니다.

직접 확인해보고 싶으시다면 wireshark와 같이 패킷을 캡쳐할 수 있는 도구로 http 패킷의 이동을 확인하실 수 있습니다. 패킷이 보기 어려우시다면 Fiddler나 burp suite 같은 프록시 툴을 사용해보는 것도 괜찮습니다.

comment menu
2020.03.31. 00:13

신고

"humit님의 댓글"

이 댓글을 신고 하시겠습니까?

이니스프리 작성자 → humit
profile image

설명해주셔서 감사합니다 :)

requests의 경우에는 이미지 트래픽이 포함되지 않지만, selenium의 경우에는 이미지 옵션을 꺼도 favicon의 트래픽은 포함되는군요!

패킷을 보는 툴이나 프록시 툴을 활용하는 방법도 알아봐야겠네요~

그럼 humit 님께서도 맛점 드시고 좋은 오후 되세요!

항상 감사드려요!! ^-^

comment menu
2020.03.31. 12:15

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

권한이 없습니다.
번호 제목 글쓴이 날짜 조회 수
공지 [1차 해결 및 추가] 서버 접속 불가 문제 안내 14 마스터 24.06.20.15:22 1014
공지 [작업 완료] 설 명절 맞이 서버 업데이트 안내 3 마스터 24.02.11.17:21 2965
공지 [중요] 호스팅 만료와 관련하여 일부 수칙이 변경됩니다. 4 마스터 23.01.14.02:23 6731
공지 [필독] 질문하는 방법 17 마스터 18.02.23.03:09 4732
426 서버의 구성에 관련하여 질문드립니다 7 Seia 18.10.03.03:07 185
425 파일질라는 접속하면 폴더지정이 안되나요? 2 슬기 18.09.30.23:48 215
424 [해결됨]별칭 도메인 관련해서 질문 다시 올립니다 8 260578 18.09.29.20:43 205
423 택배 추적? 택배 기록 앱 뭐가 좋을까요? 7 네모 18.09.28.18:53 300
422 안녕하세요. 영카트(그누보드) 관련 질문입니다. 이미지가 활성화 되질 않고 있습니다. 5 image 정다성 18.09.21.16:33 515
421 안녕하세요. 신입입니다. 디자이너에서 코딩을 첫배움인데 처음부터 막히네요 ㅠ.ㅠ 3 image 정다성 18.09.21.12:27 186
420 크롬 즐겨찾기를 잘 관리하는 팁이 있을까요? 5 이니스프리 18.09.19.18:55 398
419 같은 도메인으로 2개의 서버는 안될까요? 7 title: 도밥위키!Dobob 18.09.17.00:06 1201
418 FTP 접속후 설치 화면 아뜨는증상 ? 3 핫슈 18.09.16.14:31 167
417 아마 당분간은 호스팅 쓸 일이 없을거 같은데 등록 취소 가능한가요? 2 abnoeh 18.09.16.09:24 183
416 관리자님 질문있습니다. ssh 관련해서요.. 1 isfalse 18.09.16.01:51 173
415 그누보드5만든홈페이지 관리자아이디.비밀번호잃어버렸는데 찾을수있나요? 10 라푸라푸 18.09.11.01:33 1967
414 파싱프로그램 문의 4 라푸라푸 18.09.11.01:18 433
413 vmware 그래픽 관련 도와주세요! title: 에그joyful 18.09.09.15:59 218
412 파이썬 개발환경을 어떻게 세팅하는 것이 효율적인가요? 5 이니스프리 18.09.08.10:28 241
411 [해결됨][미디어위키] 로그인 문제가 있습니다. 5 260578 18.09.02.15:32 212
410 어떤 문제인가요? 1 image 260578 18.09.01.12:10 161
409 [도메인]정상화된 스포어로 돌아오려고 준비하고 있었는데.. 3 image 260578 18.08.31.18:25 187
408 윈도우 10 iis 외장하드 관련 문의 1 width 18.08.30.15:58 204
407 [도메인 설정하기] 질문 2 image swimmie 18.08.28.00:57 178