• 목록
  • 아래로
  • 위로

안녕하세요??


주말 잘 보내고 계시는가요?? :)


Vultr의 크레딧을 거의 소모하여 iwinv 등 국내 업체로 이전을 하려고 하는데요 ^^


국내 업체는 대체로 사용한 트래픽에 따라 과금을 하는 체계이더군요 ㅎㄷㄷ


호스팅을 안 하고 크롤링 용도로만 사용하는 VPS의 트래픽이 얼마나 될지 궁금한데요~


1) requests를 사용하는 경우에는 이미지 파일을 굳이 저장하지 않는 이상 크롤링하는 웹페이지의 이미지는 트래픽에 포함되지 않는거죠??


2) selenium을 사용하는 경우에 다음과 같은 옵션으로 이미지 옵션을 꺼버리면 트래픽에서 이미지에 해당하는 용량을 제외할 수 있는거죠??


prefs = {"profile.managed_default_content_settings.images": 2}


그럼 남은 주말 잘 마무리하시고 다들 항상 건강하세요 :)


답변해주실 분들께 미리 감사드려요!! ^-^


작성자
이니스프리 119 Lv. (1%) 3227840/115200000EXP

Make StudyForUs Great Again!

 

CSVpuymXAAAVVpd.jpg

댓글 2

title: 황금 서버 (30일)humit
profile image

1) requests를 사용하는 경우에는 이미지 파일을 굳이 저장하지 않는 이상 크롤링하는 웹페이지의 이미지는 트래픽에 포함되지 않는거죠??

=> 네 이미지 트래픽은 포함되지 않습니다.

2) selenium을 사용하는 경우에 다음과 같은 옵션으로 이미지 옵션을 꺼버리면 트래픽에서 이미지에 해당하는 용량을 제외할 수 있는거죠??

=> 대부분의 이미지는 출력되지 않지만 favicon으로 사용되는 이미지의 경우에는 트래픽 요청에 포함되는 거 같습니다. 그냥 이미지 요청 자체를 보내지 않습니다.

직접 확인해보고 싶으시다면 wireshark와 같이 패킷을 캡쳐할 수 있는 도구로 http 패킷의 이동을 확인하실 수 있습니다. 패킷이 보기 어려우시다면 Fiddler나 burp suite 같은 프록시 툴을 사용해보는 것도 괜찮습니다.

comment menu
2020.03.31. 00:13

신고

"humit님의 댓글"

이 댓글을 신고 하시겠습니까?

이니스프리 작성자 → humit
profile image

설명해주셔서 감사합니다 :)

requests의 경우에는 이미지 트래픽이 포함되지 않지만, selenium의 경우에는 이미지 옵션을 꺼도 favicon의 트래픽은 포함되는군요!

패킷을 보는 툴이나 프록시 툴을 활용하는 방법도 알아봐야겠네요~

그럼 humit 님께서도 맛점 드시고 좋은 오후 되세요!

항상 감사드려요!! ^-^

comment menu
2020.03.31. 12:15

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

권한이 없습니다.
번호 제목 글쓴이 날짜 조회 수
공지 [1차 해결 및 추가] 서버 접속 불가 문제 안내 14 마스터 24.06.20.15:22 1059
공지 [작업 완료] 설 명절 맞이 서버 업데이트 안내 3 마스터 24.02.11.17:21 3034
공지 [중요] 호스팅 만료와 관련하여 일부 수칙이 변경됩니다. 4 마스터 23.01.14.02:23 6782
공지 [필독] 질문하는 방법 17 마스터 18.02.23.03:09 4738
446 호스팅중에 6 BJ엠지 17.08.24.01:35 294
445 내 홈페이지는? 4 기특한크리퍼 17.09.15.10:02 294
444 드롭다운 메뉴의 아이콘에 배경색이 칠해지지 않아요 6 image 국내산라이츄 19.04.07.03:29 295
443 '링 피트 어드벤처'가 정말 운동이 되는가요?? 4 이니스프리 20.01.11.12:41 295
442 노트북 사설 수리 업체 문의 드립니다 2 이니스프리 20.09.06.21:42 295
441 SFU는 SSH를 지원하지 않나요? 2 Ursus 16.10.15.11:39 296
440 SSL 을 발급받았는데요.. 2 Hanam09 17.07.04.20:14 296
439 홈페에지가 구글에서 검색되도록 봇이 수집하게 설정했는데 API도 수집하도록 설정해도 되나요? 4 손가락개 21.12.06.03:45 296
438 미디어위키 다시 시작하는데 위키에서 모듈 설정 해 보신 분 저좀 도와주세요 2 wikiowner 22.10.01.19:34 296
437 아메트린 패널 ftp 주소 7 image 맛수타 17.05.14.11:25 297
436 ssh 접속해도 /home 쪽만 접근가능하네요 5 연우빠 17.09.18.13:20 297
435 지식없이 네이버 카페 대문을 제작해보려는데 너무 힘드네요. image 도바킨 18.07.26.01:29 297
434 음원스트리밍은 음원 보안을 어떤 방식으로 하나요? 15 title: 에그joyful 18.12.06.22:24 297
433 윈도우 서버에 모니위키 설치 가능한가요? 6 제르엘 19.05.13.23:21 297
432 웹사이트 연결하는거 도메인으로 하는거 아닌가요? 2 ㅇㅎㅅ 17.04.02.09:58 298
431 저번 S2에 이은.. 칭구의 G2느.... ㅇㅅㅇ 3 Seia 17.05.14.12:28 298
430 라이센스 표기 7 준그루 18.02.03.18:49 298
429 PC 원격접속을 위한 스마트폰 앱 추천을 부탁드립니다. 14 이니스프리 19.11.02.22:21 298
428 개인 서버 구축? 8 GsusWeb 20.07.03.12:46 298
427 이거 어디서 파나요? 11 기특한크리퍼 17.10.11.16:27 300