• 목록
  • 아래로
  • 위로

안녕하세요??


주말 잘 보내고 계시는가요?? :)


Vultr의 크레딧을 거의 소모하여 iwinv 등 국내 업체로 이전을 하려고 하는데요 ^^


국내 업체는 대체로 사용한 트래픽에 따라 과금을 하는 체계이더군요 ㅎㄷㄷ


호스팅을 안 하고 크롤링 용도로만 사용하는 VPS의 트래픽이 얼마나 될지 궁금한데요~


1) requests를 사용하는 경우에는 이미지 파일을 굳이 저장하지 않는 이상 크롤링하는 웹페이지의 이미지는 트래픽에 포함되지 않는거죠??


2) selenium을 사용하는 경우에 다음과 같은 옵션으로 이미지 옵션을 꺼버리면 트래픽에서 이미지에 해당하는 용량을 제외할 수 있는거죠??


prefs = {"profile.managed_default_content_settings.images": 2}


그럼 남은 주말 잘 마무리하시고 다들 항상 건강하세요 :)


답변해주실 분들께 미리 감사드려요!! ^-^


작성자
이니스프리 119 Lv. (2%) 3649420/115200000EXP

Make StudyForUs Great Again!

 

CSVpuymXAAAVVpd.jpg

댓글 2

title: 황금 서버 (30일)humit
profile image

1) requests를 사용하는 경우에는 이미지 파일을 굳이 저장하지 않는 이상 크롤링하는 웹페이지의 이미지는 트래픽에 포함되지 않는거죠??

=> 네 이미지 트래픽은 포함되지 않습니다.

2) selenium을 사용하는 경우에 다음과 같은 옵션으로 이미지 옵션을 꺼버리면 트래픽에서 이미지에 해당하는 용량을 제외할 수 있는거죠??

=> 대부분의 이미지는 출력되지 않지만 favicon으로 사용되는 이미지의 경우에는 트래픽 요청에 포함되는 거 같습니다. 그냥 이미지 요청 자체를 보내지 않습니다.

직접 확인해보고 싶으시다면 wireshark와 같이 패킷을 캡쳐할 수 있는 도구로 http 패킷의 이동을 확인하실 수 있습니다. 패킷이 보기 어려우시다면 Fiddler나 burp suite 같은 프록시 툴을 사용해보는 것도 괜찮습니다.

comment menu
2020.03.31. 00:13

신고

"humit님의 댓글"

이 댓글을 신고 하시겠습니까?

이니스프리 작성자 → humit
profile image

설명해주셔서 감사합니다 :)

requests의 경우에는 이미지 트래픽이 포함되지 않지만, selenium의 경우에는 이미지 옵션을 꺼도 favicon의 트래픽은 포함되는군요!

패킷을 보는 툴이나 프록시 툴을 활용하는 방법도 알아봐야겠네요~

그럼 humit 님께서도 맛점 드시고 좋은 오후 되세요!

항상 감사드려요!! ^-^

comment menu
2020.03.31. 12:15

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

권한이 없습니다.
번호 제목 글쓴이 날짜 조회 수
공지 시스템 점검 작업 완료 안내 10 마스터 24.09.05.16:25 1061
공지 [중요] 호스팅 만료와 관련하여 일부 수칙이 변경됩니다. 4 마스터 23.01.14.02:23 7785
공지 [필독] 질문하는 방법 17 마스터 18.02.23.03:09 4804
706 Tiny Tiny RSS 사용하시는 분께 장단점에 대한 질문 드립니다 이니스프리 17.10.22.00:29 461
705 스마트폰 지문인식 과정에서 에러가 덜 발생하는 방법을 질문 드립니다 6 이니스프리 19.10.25.20:08 460
704 도메인 CloudFlare 1 무브온 24.04.22.19:36 456
703 [해결함] [스포어]지속적인 반달리즘적 행위 때문에 DB를 4월 이전으로 되돌리고싶습니다. 260578 18.04.29.19:07 456
702 글쓰기 포인트 차감을 우회하여 도배하는 스팸에 대해 질문드려요~! 22 이니스프리 20.05.31.00:25 454
701 인터넷이 또 말썽입니다. 3 국내산라이츄 17.08.11.23:47 454
700 [해결] 미디어위키에서 문단 목록 번호를 매길 수 있게 설정하는 방법 없을까요? 8 은하수 22.11.20.19:11 453
699 미디어위키 리버티 스킨 도구 설정 1 image 박재식품 18.02.28.12:36 453
698 MySQL 실행이 안됩니다. title: 황금 서버 (30일)하루살이 17.01.28.11:55 453
697 메일 서버 구축과 관련해 질문 있습니다! 13 갱생협스 20.05.10.14:24 451
696 [완료] 사이트에 웹폰트를 추가하고 싶습니다. 14 image 제르엘 18.01.31.14:51 450
695 그누보드 로고? 등록.. 5 title: 맛스타의 자물쇠에듀 16.10.16.17:51 450
694 Autoset에서 제작한 홈페이지를 아메트린 서버에 올릴 때 주의할 점이 있을까요? 6 이니스프리 17.09.30.01:35 449
693 제 블로그 들어갈 때마다 ERR_CONNECTION_RESET 이 오류가 뜨는데 어째서일까요... 9 MYIG 20.06.19.22:53 448
692 스포티콘을 퍼오는 것은 어느 범위 내에서 허용되는가요?? 5 이니스프리 20.05.04.18:33 445
691 yourls vs phurl 어느 쪽을 더 선호하시는지 사용하신 회원님들께 여쭤봅니다 2 이니스프리 17.10.08.09:27 445
690 3.5인치 외장하드 케이스에 SSD를 연결하면 전압과 관련된 문제가 발생할까요? 3 이니스프리 19.11.16.02:04 444
689 파싱프로그램 문의 4 라푸라푸 18.09.11.01:18 443
688 이용중인 도메인 연결 어떻게 하나요? 1 image 참비 23.07.29.15:14 442
687 클론질라 및 우분투 질문드립니다 ㅠㅠ 10 크로스하트 18.02.08.16:14 438