• 목록
  • 아래로
  • 위로

안녕하세요??


주말 잘 보내고 계시는가요?? :)


Vultr의 크레딧을 거의 소모하여 iwinv 등 국내 업체로 이전을 하려고 하는데요 ^^


국내 업체는 대체로 사용한 트래픽에 따라 과금을 하는 체계이더군요 ㅎㄷㄷ


호스팅을 안 하고 크롤링 용도로만 사용하는 VPS의 트래픽이 얼마나 될지 궁금한데요~


1) requests를 사용하는 경우에는 이미지 파일을 굳이 저장하지 않는 이상 크롤링하는 웹페이지의 이미지는 트래픽에 포함되지 않는거죠??


2) selenium을 사용하는 경우에 다음과 같은 옵션으로 이미지 옵션을 꺼버리면 트래픽에서 이미지에 해당하는 용량을 제외할 수 있는거죠??


prefs = {"profile.managed_default_content_settings.images": 2}


그럼 남은 주말 잘 마무리하시고 다들 항상 건강하세요 :)


답변해주실 분들께 미리 감사드려요!! ^-^


작성자
이니스프리 119 Lv. (1%) 2391200/115200000EXP

Make StudyForUs Great Again!

 

CSVpuymXAAAVVpd.jpg

댓글 2

title: 황금 서버 (30일)humit
profile image

1) requests를 사용하는 경우에는 이미지 파일을 굳이 저장하지 않는 이상 크롤링하는 웹페이지의 이미지는 트래픽에 포함되지 않는거죠??

=> 네 이미지 트래픽은 포함되지 않습니다.

2) selenium을 사용하는 경우에 다음과 같은 옵션으로 이미지 옵션을 꺼버리면 트래픽에서 이미지에 해당하는 용량을 제외할 수 있는거죠??

=> 대부분의 이미지는 출력되지 않지만 favicon으로 사용되는 이미지의 경우에는 트래픽 요청에 포함되는 거 같습니다. 그냥 이미지 요청 자체를 보내지 않습니다.

직접 확인해보고 싶으시다면 wireshark와 같이 패킷을 캡쳐할 수 있는 도구로 http 패킷의 이동을 확인하실 수 있습니다. 패킷이 보기 어려우시다면 Fiddler나 burp suite 같은 프록시 툴을 사용해보는 것도 괜찮습니다.

comment menu
2020.03.31. 00:13

신고

"humit님의 댓글"

이 댓글을 신고 하시겠습니까?

이니스프리 작성자 → humit
profile image

설명해주셔서 감사합니다 :)

requests의 경우에는 이미지 트래픽이 포함되지 않지만, selenium의 경우에는 이미지 옵션을 꺼도 favicon의 트래픽은 포함되는군요!

패킷을 보는 툴이나 프록시 툴을 활용하는 방법도 알아봐야겠네요~

그럼 humit 님께서도 맛점 드시고 좋은 오후 되세요!

항상 감사드려요!! ^-^

comment menu
2020.03.31. 12:15

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

권한이 없습니다.
번호 제목 글쓴이 날짜 조회 수
공지 [작업 완료] 설 명절 맞이 서버 업데이트 안내 3 마스터 24.02.11.17:21 2198
공지 [중요] 호스팅 만료와 관련하여 일부 수칙이 변경됩니다. 4 마스터 23.01.14.02:23 5878
공지 [필독] 질문하는 방법 17 마스터 18.02.23.03:09 4541
246 도와주실분들!! 준그루 17.08.10.21:18 212
245 Liberty Skin 대제목 관련 질문 3 image sweetenpotato 20.04.06.01:49 211
244 세션연동부분에 대하여 도움이 필요합니다. 2 Hanam09 19.01.21.17:18 211
243 SQLite 2 Seia 17.12.03.11:24 211
242 [질문] 제이쿼리처럼 자주 사용하거나, 유용한 라이브러리가 또 있을까요? 5 JAVA 17.11.13.10:26 211
241 질문 드린 CSV 파일 업로드에 대한 코드를 작성했어요 ^^ 실사용 전에 보안상 취약점 등 문제는 없는지 여쭤봅니다 2 이니스프리 18.10.26.20:57 210
240 vmware 그래픽 관련 도와주세요! title: 에그joyful 18.09.09.15:59 210
239 이 정도 디자인이면 괜찮으려나요? 9 image 제르엘 18.05.18.23:30 210
238 무언가가 이상합니다. 3 260578 18.01.12.11:35 210
237 Jquery 사용 시 $(window).load( function() 를 사용하시나요? 5 로우지 19.08.20.03:15 209
236 SQL에서는 날짜 형식을 못 바꾸나요? 2 image 국내산라이츄 19.05.02.18:07 209
235 코로케이션은 어디가 좋을까요? 2 Ilhan 18.04.28.22:40 209
234 이미지가 align="center"을 사용해도 중앙정렬이 되지않습니다 4 image 손가락개 21.10.07.15:57 208
233 클론질라로 랜부팅해서 윈도우 설치시 느려짐 현상 질문입니다. 3 크로스하트 18.04.06.18:14 208
232 기본제공도메인 접속이 되지 않습니다. 1 image cloudx 17.03.25.15:21 208
231 워드프레스 웹폰트가 죄다 깨졌습니다. 8 image 국내산라이츄 24.03.15.22:31 207
230 스터디포어스 웹호스팅상에서 비주얼에디터 설치하는 중 오류가 났습니다 ㅠㅠ image 입체그림 20.02.28.14:40 207
229 미디어위키 update.php 실행법 3 관종 18.10.25.21:06 207
228 레이아웃 유료로 파는건 법적 절차가 필요한가요? 5 title: 에그joyful 18.07.07.20:03 207
227 서비스 신청 3 기특한크리퍼 17.10.18.16:35 207