• 목록
  • 아래로
  • 위로

안녕하세요??


주말 잘 보내고 계시는가요?? :)


Vultr의 크레딧을 거의 소모하여 iwinv 등 국내 업체로 이전을 하려고 하는데요 ^^


국내 업체는 대체로 사용한 트래픽에 따라 과금을 하는 체계이더군요 ㅎㄷㄷ


호스팅을 안 하고 크롤링 용도로만 사용하는 VPS의 트래픽이 얼마나 될지 궁금한데요~


1) requests를 사용하는 경우에는 이미지 파일을 굳이 저장하지 않는 이상 크롤링하는 웹페이지의 이미지는 트래픽에 포함되지 않는거죠??


2) selenium을 사용하는 경우에 다음과 같은 옵션으로 이미지 옵션을 꺼버리면 트래픽에서 이미지에 해당하는 용량을 제외할 수 있는거죠??


prefs = {"profile.managed_default_content_settings.images": 2}


그럼 남은 주말 잘 마무리하시고 다들 항상 건강하세요 :)


답변해주실 분들께 미리 감사드려요!! ^-^


작성자
이니스프리 119 Lv. (0%) 2262950/115200000EXP

Make StudyForUs Great Again!

 

CSVpuymXAAAVVpd.jpg

댓글 2

title: 황금 서버 (30일)humit
profile image

1) requests를 사용하는 경우에는 이미지 파일을 굳이 저장하지 않는 이상 크롤링하는 웹페이지의 이미지는 트래픽에 포함되지 않는거죠??

=> 네 이미지 트래픽은 포함되지 않습니다.

2) selenium을 사용하는 경우에 다음과 같은 옵션으로 이미지 옵션을 꺼버리면 트래픽에서 이미지에 해당하는 용량을 제외할 수 있는거죠??

=> 대부분의 이미지는 출력되지 않지만 favicon으로 사용되는 이미지의 경우에는 트래픽 요청에 포함되는 거 같습니다. 그냥 이미지 요청 자체를 보내지 않습니다.

직접 확인해보고 싶으시다면 wireshark와 같이 패킷을 캡쳐할 수 있는 도구로 http 패킷의 이동을 확인하실 수 있습니다. 패킷이 보기 어려우시다면 Fiddler나 burp suite 같은 프록시 툴을 사용해보는 것도 괜찮습니다.

comment menu
2020.03.31. 00:13

신고

"humit님의 댓글"

이 댓글을 신고 하시겠습니까?

이니스프리 작성자 → humit
profile image

설명해주셔서 감사합니다 :)

requests의 경우에는 이미지 트래픽이 포함되지 않지만, selenium의 경우에는 이미지 옵션을 꺼도 favicon의 트래픽은 포함되는군요!

패킷을 보는 툴이나 프록시 툴을 활용하는 방법도 알아봐야겠네요~

그럼 humit 님께서도 맛점 드시고 좋은 오후 되세요!

항상 감사드려요!! ^-^

comment menu
2020.03.31. 12:15

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

권한이 없습니다.
번호 제목 글쓴이 날짜 조회 수
공지 [작업 완료] 설 명절 맞이 서버 업데이트 안내 3 마스터 24.02.11.17:21 1061
공지 [중요] 호스팅 만료와 관련하여 일부 수칙이 변경됩니다. 4 마스터 23.01.14.02:23 4737
공지 [필독] 질문하는 방법 17 마스터 18.02.23.03:09 4483
146 컴퓨터 전문가님들 봐주세요~~원격프로그램에 대해서입니다 9 매매의신 20.02.12.09:05 386
145 컴퓨터가 안꺼져요 11 국내산라이츄 18.11.08.04:15 910
144 케이블에도 에이징이 필요한가요..? 12 갱생협스 19.04.26.22:43 648
143 코딩 컨벤션상 전역변수와 지역변수의 변수명을 동일하게 하는 것이 무방한가요? 4 이니스프리 19.11.17.18:09 306
142 코딩하실 때 어떤 브라우저를 기준으로 하시나요? 9 GsusWeb 20.06.19.17:49 129
141 코로케이션은 어디가 좋을까요? 2 Ilhan 18.04.28.22:40 209
140 콘서트 가보신 분 있으신가요? 5 260578 18.12.04.23:45 198
139 크롤링 머신(미니PC) 세팅과 관련하여 질문 드립니다 2 이니스프리 19.10.14.20:23 507
크롤링 용도로 사용하는 VPS의 트래픽이 얼마나 될까요?? 2 이니스프리 20.03.29.21:02 262
137 크롤링과 관련해 질문 있습니다! 13 갱생협스 20.05.04.21:24 288
136 크롤링한 어절 또는 문장의 유사성을 구하는 방법에 대해 질문 드립니다 9 이니스프리 19.10.26.22:22 401
135 크롬 브라우저 확장 프로그램 좋은게 뭐가있나요? 6 image 슬기 20.09.04.15:21 79
134 크롬 즐겨찾기를 잘 관리하는 팁이 있을까요? 5 이니스프리 18.09.19.18:55 391
133 크롬에서 특정 사이트 접속 문제 관련하여 질문 드립니다 9 이니스프리 17.03.27.18:03 5327
132 크롬이 좀 이상한데... 12 국내산라이츄 17.07.22.21:56 402
131 클라우드 플레어 연결 관련 도와주세요 6 image Ruwaku 20.05.18.09:26 339
130 클라우드 플레어를 특정 PHP 파일에 연계되도록 설정할 수도 있는가요?? 이니스프리 20.02.21.21:18 188
129 클라우드플레어랑 스포어 SSL이랑 같이 못 쓰나요? 14 image KOT49H 18.12.29.01:27 485
128 클론질라 dhcp서버 질문입니다 ㅠㅠ 14 크로스하트 18.02.05.18:47 587
127 클론질라 및 우분투 질문드립니다 ㅠㅠ 10 크로스하트 18.02.08.16:14 408