• 목록
  • 아래로
  • 위로

안녕하세요??


주말 잘 보내고 계시는가요?? :)


Vultr의 크레딧을 거의 소모하여 iwinv 등 국내 업체로 이전을 하려고 하는데요 ^^


국내 업체는 대체로 사용한 트래픽에 따라 과금을 하는 체계이더군요 ㅎㄷㄷ


호스팅을 안 하고 크롤링 용도로만 사용하는 VPS의 트래픽이 얼마나 될지 궁금한데요~


1) requests를 사용하는 경우에는 이미지 파일을 굳이 저장하지 않는 이상 크롤링하는 웹페이지의 이미지는 트래픽에 포함되지 않는거죠??


2) selenium을 사용하는 경우에 다음과 같은 옵션으로 이미지 옵션을 꺼버리면 트래픽에서 이미지에 해당하는 용량을 제외할 수 있는거죠??


prefs = {"profile.managed_default_content_settings.images": 2}


그럼 남은 주말 잘 마무리하시고 다들 항상 건강하세요 :)


답변해주실 분들께 미리 감사드려요!! ^-^


작성자
이니스프리 119 Lv. (0%) 1927300/115200000EXP

Make StudyForUs Great Again!

 

CSVpuymXAAAVVpd.jpg

댓글 2

title: 황금 서버 (30일)humit
profile image

1) requests를 사용하는 경우에는 이미지 파일을 굳이 저장하지 않는 이상 크롤링하는 웹페이지의 이미지는 트래픽에 포함되지 않는거죠??

=> 네 이미지 트래픽은 포함되지 않습니다.

2) selenium을 사용하는 경우에 다음과 같은 옵션으로 이미지 옵션을 꺼버리면 트래픽에서 이미지에 해당하는 용량을 제외할 수 있는거죠??

=> 대부분의 이미지는 출력되지 않지만 favicon으로 사용되는 이미지의 경우에는 트래픽 요청에 포함되는 거 같습니다. 그냥 이미지 요청 자체를 보내지 않습니다.

직접 확인해보고 싶으시다면 wireshark와 같이 패킷을 캡쳐할 수 있는 도구로 http 패킷의 이동을 확인하실 수 있습니다. 패킷이 보기 어려우시다면 Fiddler나 burp suite 같은 프록시 툴을 사용해보는 것도 괜찮습니다.

comment menu
2020.03.31. 00:13

신고

"humit님의 댓글"

이 댓글을 신고 하시겠습니까?

이니스프리 작성자 → humit
profile image

설명해주셔서 감사합니다 :)

requests의 경우에는 이미지 트래픽이 포함되지 않지만, selenium의 경우에는 이미지 옵션을 꺼도 favicon의 트래픽은 포함되는군요!

패킷을 보는 툴이나 프록시 툴을 활용하는 방법도 알아봐야겠네요~

그럼 humit 님께서도 맛점 드시고 좋은 오후 되세요!

항상 감사드려요!! ^-^

comment menu
2020.03.31. 12:15

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

권한이 없습니다.
번호 제목 글쓴이 날짜 조회 수
공지 [작업 완료] 설 명절 맞이 서버 업데이트 안내 3 마스터 24.02.11.17:21 820
공지 [중요] 호스팅 만료와 관련하여 일부 수칙이 변경됩니다. 4 마스터 23.01.14.02:23 4488
공지 [필독] 질문하는 방법 17 마스터 18.02.23.03:09 4476
925 ls는 됫는대 압축풀기가 안되내요 ㅜㅜ 핫슈 20.06.16.21:15 42
924 XE 1.4.XXX 버전 사용하는데 모바일 레이아웃이 계속 적용이 안 되네요. 1 αGO 20.07.02.10:09 42
923 맵네임을 누르면 다른 사이트의 게시판을 나오게 하고싶은데 어떻게 해야하나요? 1 손가락개 20.11.08.01:01 51
922 퍼티에서 command 뜨면 없다는 것인가요? 2 핫슈 20.06.15.19:55 53
921 내 포인트는 어디서 확인하나요? 3 파이리 21.02.08.11:58 54
920 사이트 정보 등록글 링크가 뭐죠..? 2 파이리 21.02.07.20:11 56
919 ftp web파일 1 wikiowner 20.11.11.22:16 57
918 PHP) 위키 문법 정규식 처리 관련 260578 20.09.06.20:59 64
917 홈페이지 디자인을 바꾼 후부터 게시판 스킨 적용이 이상하게 됩니다 image 손가락개 20.12.04.02:56 66
916 가비아 도메인 스터디 포 어스 연결되나요? 1 HighSpeed 21.01.15.17:28 68
915 php 1 wikiowner 21.01.22.11:10 69
914 간단한 질문 드립니다 2 {Cog} 20.07.07.18:44 70
913 구글과 사파리의 결과값에 차이가 있습니다. 조언 부탁드려도 될까요? 7 image GsusWeb 20.06.18.09:52 73
912 그매햇던것이 라이믹스 에 안올라갑니다. 2 image 핫슈 20.06.19.20:52 73
911 요즘 코로나 백신 소식이 자주나오는데 내년에는 괜찮을까요? 3 필우 20.11.13.10:41 74
910 예)www.123.com > 123.com리디렉트 질문 1 image HighSpeed 21.01.21.17:27 74
909 FTP 로 라이믹스 업로드 중 전송실패가 많다. 2 핫슈 20.06.14.19:51 75
908 CentOS vsftp 윈도우 클라이언트에서 접속 불가 2 image 세종대왕 20.09.09.14:04 75
907 최근에 혹시 phpmyadmin 주소가 바뀌었나요? 2 막시모 21.01.28.17:42 75
906 마스터님! 3 citen 21.02.14.12:45 77