• 목록
  • 아래로
  • 위로

전반적인 서버의 활용도를 놓고 보면 VPS가 홈서버보다 장점이 많겠지만, 이 글에서는 크롤링만을 놓고 말씀드리겠습니다.


제가 실력이 미천하지만 그동안 크롤링 용도로 VPS와 홈서버를 모두 사용해본 결과 


VPS 대비 홈서버의 장점에 대해 다음과 같은 깨달음을 얻을 수 있었습니다 ^^

(어디까지나 전문가가 아닌 아마추어의 의견일 뿐입니다)



1. selenium 사용시 메리트


우분투에서도 selenium이 돌아가지만 기본적으로 크롬과 파폭은 윈도우에서 발전한 브라우저여서 그런지


윈도우 환경에서 보다 매끄럽게 작동하는 것 같습니다.


특히 우분투에서는 이미지 처리와 관련된 부분에서 에러가 발생하는 경우가 있더군요.


물론 xvfb 같은 버츄얼 디스플레이를 설치할 수 있지만, 제 실력에서는 커버가 되지 않는 부분이 있더군요.


아울러 selenium을 위한 크롬과 파폭의 설치단계를 놓고 보더라도 윈도우 환경이 훨씬 간편합니다.


stackoverflow를 보더라도 우분투 환경에서 크롬과 파폭의 일부 버전은 에러가 많으므로 


해당 버전을 피해서 사용하라는 댓글을 자주 확인할 수 있습니다.



2. IP 차단


일부 사이트에서 VPS 서버에 대한 광대역 IP 차단을 하는 것 같더군요.


제 경험상 vultr 도쿄 리전에서 조마샵에 접근하면 클플에서 막히던데,


클플 캡챠가 다른 캡챠보다 뚫기 어렵지 않다고는 하지만 그래도 제겐 어렵습니다 ㅠㅠ


Selenium을 이용하지 않는 인스타그램 크롤링 스크립트들도 홈서버보다 VPS에서 실행할 때 차단당하는 경우도 많구요.


특히 Instaloader는 홈서버에서 돌리시는 것을 추천드립니다.


작성자
이니스프리 119 Lv. (1%) 2397850/115200000EXP

Make StudyForUs Great Again!

 

CSVpuymXAAAVVpd.jpg

댓글 0

권한이 없습니다.
번호 제목 글쓴이 날짜 조회 수
공지 [1차 해결 및 추가] 서버 접속 불가 문제 안내 1 new 마스터 마스터 8시간 전15:22 49
공지 [작업 완료] 설 명절 맞이 서버 업데이트 안내 3 마스터 마스터 24.02.11.17:21 2226
공지 [중요] 호스팅 만료와 관련하여 일부 수칙이 변경됩니다. 4 마스터 마스터 23.01.14.02:23 5905
396 [Ubuntu/Python] Selenium에서 Headless browser의 설치 및 실행 이니스프리 이니스프리 18.10.09.23:54 960
395 마지막 방문일자 알려주기 슬기 슬기 18.10.11.00:31 166
394 외부 IP 주소만 보여주는 사이트 이니스프리 이니스프리 18.10.12.11:40 326
393 특정 파일을 제외한 현재 디렉토리 내의 모든 파일을 삭제하는 배치파일 이니스프리 이니스프리 18.10.12.17:11 3179
392 Youtube-DLG에서 10014 소켓 에러가 뜨는 경우 해결 방법 (방화벽 관련) 2 image 이니스프리 이니스프리 18.10.16.06:44 1886
391 온라인 TTS 이용할 수 있는곳 2 슬기 슬기 18.10.18.22:42 225
390 JavaScript에서 Array로 Multipul Evaluation을 사용하면서 어디에 오류가 발생했는지 확인하기 Seia Seia 18.10.21.14:47 153
389 탐색기에서 현재 폴더를 CMD로 열기 / CMD에서 현재 폴더를 탐색기로 열기 이니스프리 이니스프리 18.10.27.14:31 1698
388 Owl Carousel에서 버전별 하단 dots를 없애는 방법 image 이니스프리 이니스프리 18.10.29.18:25 856
387 [Python] Selenium에서 팝업을 허용하는 방법 이니스프리 이니스프리 18.11.01.21:37 2136
386 아미나에서 헤더와 푸터를 출력하지 않는 가장 간단한 방법 이니스프리 이니스프리 18.11.04.20:41 177
385 아미나에서 우측 사이드를 제거하기 (+화면 폭 꽉 차도록 수정) 이니스프리 이니스프리 18.11.04.21:14 639
384 ABBYY FineReader의 OCR 언어 세팅 - 한국어(한글) vs 한국어 등 관련 이니스프리 이니스프리 18.11.05.16:07 2046
383 동일한 페이지 내에서 복수의 OwlCarousel의 설정을 달리하는 방법 이니스프리 이니스프리 18.11.05.22:15 433
382 파이썬3에서 인코딩과 관련된 문제의 해결방법 3 이니스프리 이니스프리 18.11.06.00:49 339
381 윈도우의 CMD 창에서 Ctrl+V로 붙여넣기 (윈도우 10 / 윈도우 8 이하) 3 image 이니스프리 이니스프리 18.11.08.00:15 5768
380 유튜브에서 국내 캐시서버로 연결되었는지 확인하는 방법 image 이니스프리 이니스프리 18.11.09.22:41 755
379 [우분투/파이썬] pip로 pytesseract를 설치 후 not installed or not in your path 메세지에 대한 대처방법 이니스프리 이니스프리 18.11.12.20:05 2188
378 윈도우 탐색기의 새로 고침 기능 자동화하기 2 이니스프리 이니스프리 18.11.13.13:59 1981
377 [학술정보] Breaking character and natural image based CAPTCHA using feature classification 1 이니스프리 이니스프리 18.11.13.16:01 157