• 목록
  • 아래로
  • 위로

전반적인 서버의 활용도를 놓고 보면 VPS가 홈서버보다 장점이 많겠지만, 이 글에서는 크롤링만을 놓고 말씀드리겠습니다.


제가 실력이 미천하지만 그동안 크롤링 용도로 VPS와 홈서버를 모두 사용해본 결과 


VPS 대비 홈서버의 장점에 대해 다음과 같은 깨달음을 얻을 수 있었습니다 ^^

(어디까지나 전문가가 아닌 아마추어의 의견일 뿐입니다)



1. selenium 사용시 메리트


우분투에서도 selenium이 돌아가지만 기본적으로 크롬과 파폭은 윈도우에서 발전한 브라우저여서 그런지


윈도우 환경에서 보다 매끄럽게 작동하는 것 같습니다.


특히 우분투에서는 이미지 처리와 관련된 부분에서 에러가 발생하는 경우가 있더군요.


물론 xvfb 같은 버츄얼 디스플레이를 설치할 수 있지만, 제 실력에서는 커버가 되지 않는 부분이 있더군요.


아울러 selenium을 위한 크롬과 파폭의 설치단계를 놓고 보더라도 윈도우 환경이 훨씬 간편합니다.


stackoverflow를 보더라도 우분투 환경에서 크롬과 파폭의 일부 버전은 에러가 많으므로 


해당 버전을 피해서 사용하라는 댓글을 자주 확인할 수 있습니다.



2. IP 차단


일부 사이트에서 VPS 서버에 대한 광대역 IP 차단을 하는 것 같더군요.


제 경험상 vultr 도쿄 리전에서 조마샵에 접근하면 클플에서 막히던데,


클플 캡챠가 다른 캡챠보다 뚫기 어렵지 않다고는 하지만 그래도 제겐 어렵습니다 ㅠㅠ


Selenium을 이용하지 않는 인스타그램 크롤링 스크립트들도 홈서버보다 VPS에서 실행할 때 차단당하는 경우도 많구요.


특히 Instaloader는 홈서버에서 돌리시는 것을 추천드립니다.


작성자
이니스프리 119 Lv. (3%) 4887230/115200000EXP

Make StudyForUs Great Again!

 

CSVpuymXAAAVVpd.jpg

댓글 0

권한이 없습니다.
번호 제목 글쓴이 날짜 조회 수
공지 [중요공지] 추석 맞이 서버 업데이트 안내 5 마스터 마스터 25.10.09.02:20 78492
공지 [중요] 호스팅 만료와 관련하여 일부 수칙이 변경됩니다. 7 마스터 마스터 23.01.14.02:23 371934
552 일부 GIF 파일을 ImageMagick으로 처리 시 이미지가 깨지는 경우 해결법 image 제르엘 제르엘 25.05.18.02:25 1474
551 [Python] installing Geopandas in Windows (Trouble shooting) 1 이니스프리 이니스프리 24.10.25.20:10 1495
550 [Nextcloud] 프로세스가 kill 되는 문제에 관한 Troubleshooting 3 이니스프리 이니스프리 24.09.30.19:53 1794
549 [펌] Contabo VPS 관련 최근 정보글 image 이니스프리 이니스프리 24.09.29.21:11 1045
548 [Python] PDF 파일을 특정 페이지를 기준으로 두 개로 나누기 이니스프리 이니스프리 24.08.11.20:27 1676
547 [Python] Youtube API를 사용하지 않고 특정 채널의 모든 비디오 URL을 가져오기 이니스프리 이니스프리 24.06.09.22:12 1411
546 HDMI 단자의 QHD 출력을 정식으로 지원하지 않는 NVIDIA 그래픽 카드로 QHD 60 Hz 해상도 출력하기 2 image 제르엘 제르엘 24.06.09.17:45 2276
545 [Python] cannot import name 'TypeAliasType' from 'typing_extensions' 에러 대응방법 이니스프리 이니스프리 24.06.01.23:54 1146
544 [VSCode] 1개의 OS에 VSCode 여러 개를 설치 및 구동하기 이니스프리 이니스프리 24.05.26.05:09 1149
543 [Python] 리스트에 중복된 원소가 있는지 확인하는 함수 이니스프리 이니스프리 24.05.22.20:21 1286
542 [Python] random 함수가 계속하여 동일한 결과를 출력할 때 해결방법 이니스프리 이니스프리 24.05.15.19:32 1552
541 트래픽 절감 관련 모 커뮤니티 사이트의 회의 결과 이니스프리 이니스프리 24.05.15.16:51 1387
540 [Python] SSL: CERTIFICATE_VERIFY_FAILED에 대한 대처 방법 (2) 이니스프리 이니스프리 24.05.05.21:04 1339
539 [KT] 오피스넷 가정 설치 관련 이니스프리 이니스프리 24.05.05.00:28 1250
538 [Python] 쿠팡 크롤링할 때 소소한 팁 이니스프리 이니스프리 24.05.02.21:50 1182
537 [Python] dictionary 2개의 평균을 구하여 내림차순 정렬하기 이니스프리 이니스프리 24.04.21.17:29 1105
536 [Python] 독일어, 스페인어, 체코어 등 철자를 영문 알파벳으로 전환하기 이니스프리 이니스프리 24.04.21.17:15 1052
535 [Python] Tabulate 모듈로 작성한 테이블을 파일로 저장할 때 에러가 발생하는 경우 이니스프리 이니스프리 24.04.20.23:45 937
534 [Python] 변수의 이름을 반환하는 함수 이니스프리 이니스프리 24.04.20.23:29 1166
533 [Python] Table을 쉽게 만들어주는 모듈x2 이니스프리 이니스프리 24.04.18.22:04 827