• 목록
  • 아래로
  • 위로

전반적인 서버의 활용도를 놓고 보면 VPS가 홈서버보다 장점이 많겠지만, 이 글에서는 크롤링만을 놓고 말씀드리겠습니다.


제가 실력이 미천하지만 그동안 크롤링 용도로 VPS와 홈서버를 모두 사용해본 결과 


VPS 대비 홈서버의 장점에 대해 다음과 같은 깨달음을 얻을 수 있었습니다 ^^

(어디까지나 전문가가 아닌 아마추어의 의견일 뿐입니다)



1. selenium 사용시 메리트


우분투에서도 selenium이 돌아가지만 기본적으로 크롬과 파폭은 윈도우에서 발전한 브라우저여서 그런지


윈도우 환경에서 보다 매끄럽게 작동하는 것 같습니다.


특히 우분투에서는 이미지 처리와 관련된 부분에서 에러가 발생하는 경우가 있더군요.


물론 xvfb 같은 버츄얼 디스플레이를 설치할 수 있지만, 제 실력에서는 커버가 되지 않는 부분이 있더군요.


아울러 selenium을 위한 크롬과 파폭의 설치단계를 놓고 보더라도 윈도우 환경이 훨씬 간편합니다.


stackoverflow를 보더라도 우분투 환경에서 크롬과 파폭의 일부 버전은 에러가 많으므로 


해당 버전을 피해서 사용하라는 댓글을 자주 확인할 수 있습니다.



2. IP 차단


일부 사이트에서 VPS 서버에 대한 광대역 IP 차단을 하는 것 같더군요.


제 경험상 vultr 도쿄 리전에서 조마샵에 접근하면 클플에서 막히던데,


클플 캡챠가 다른 캡챠보다 뚫기 어렵지 않다고는 하지만 그래도 제겐 어렵습니다 ㅠㅠ


Selenium을 이용하지 않는 인스타그램 크롤링 스크립트들도 홈서버보다 VPS에서 실행할 때 차단당하는 경우도 많구요.


특히 Instaloader는 홈서버에서 돌리시는 것을 추천드립니다.


작성자
이니스프리 119 Lv. (1%) 2322130/115200000EXP

Make StudyForUs Great Again!

 

CSVpuymXAAAVVpd.jpg

댓글 0

권한이 없습니다.
번호 제목 글쓴이 날짜 조회 수
공지 [작업 완료] 설 명절 맞이 서버 업데이트 안내 3 마스터 마스터 24.02.11.17:21 1079
공지 [중요] 호스팅 만료와 관련하여 일부 수칙이 변경됩니다. 4 마스터 마스터 23.01.14.02:23 4762
54 이미지 사이즈 줄이는 대표 사이트3 7 마당쇠15 마당쇠15 20.05.14.18:08 263
53 이베이에서 저렴하게 올라오는 보안 프로그램에 관하여 이니스프리 이니스프리 19.12.26.12:12 126
52 이북 무료 제공 - JavaScript: Novice to Ninja 4 이니스프리 이니스프리 17.11.09.13:35 400
51 이제 Github에서 팀 Private 저장소가 무료! (GitHub is now free for teams) title: 은메달도다 20.04.16.02:10 1030
50 인증서 설치하신분들중 WoSign, StartSSL 인증서를 사용하시는분들은 봐주세요 3 YJSoft YJSoft 16.10.01.20:32 413
49 일본 배대지 휴무 - 골든위크 관련 이니스프리 이니스프리 19.04.21.21:22 217
48 일본 아마존에서 MP3 음원 구입하는 방법 5 image 제르엘 제르엘 19.12.23.01:28 7391
47 일부사이트에서 막은 우클릭 해제하기 (즐겨찾기 이용) 슬기 슬기 18.10.06.10:16 421
46 작업 관리자의 CPU 이름 바꾸기 1 image 하루살이 title: 황금 서버 (30일)하루살이 17.09.03.11:33 3836
45 제가 알고 있던 통신사 계약기간 만료시 꿀팁을 공개합니다! 3 TVJ title: 열려라 맛스타의 자물쇠TVJ 17.08.21.23:06 519
44 제조사별 서버 원격관리 툴의 명칭 정리 (iLO, iDRAC, IPMI 등) 이니스프리 이니스프리 18.11.22.22:10 6541
43 중국 배대지 휴무 이니스프리 이니스프리 20.01.14.13:01 112
42 직구나 프로그램 다운로드시 사용 가능한 무료 해외 SMS 수신 사이트 8 이니스프리 이니스프리 17.12.09.14:50 3067
41 직구시 건강보조식품의 통관과 관련하여 1 이니스프리 이니스프리 19.02.05.23:33 556
40 체온계/의료기기의 통관과 관련된 사항입니다 1 이니스프리 이니스프리 19.01.17.01:52 1552
39 최근 KT 해외망 간단 리뷰 이니스프리 이니스프리 19.12.25.23:21 174
38 최근 클라우드플레어의 불안정 현상 5 image 이니스프리 이니스프리 20.03.24.19:27 246
37 카고야 VPS FAQ 번역 이니스프리 이니스프리 20.03.19.20:04 153
36 컴퓨터로 가운뎃점을 쉽게 입력해보자 6 image 슬기 슬기 19.04.19.14:18 276
35 코스피 API에 대한 공공데이터포털의 답변 이니스프리 이니스프리 19.08.26.21:39 650