도와주세요

VPS에서의 Selenium 사용과 관련하여 질문 드립니다.

이니스프리2020.01.17 14:37조회 수 43댓글 4

  • 1
    • 글자 크기

안녕하세요?


벌써 2020년의 세번째 금요일이군요 ^^



우분투 VPS에서 크론탭으로 웹 크롤링 스크립트 등 자동화 스크립트를 여러 개 돌리고 있는데요.


물론 Requests로 모두 구현하면 이상적이겠지만, 아직 그 정도 실력이 못 되어서 Selenium도 많이 사용하고 있네요.


그런데 Selenium을 여러 개 띄우면 가뜩이나 VPS 사양도 낮은데 버벅거리는 문제가 있더군요.


스크립트를 종료할 때 driver.close()를 하면 모든 프로세스를 종료하지 않고 끝내는 경우가 생겨서 driver.quit()을 사용하려고 했는데요.


driver.quit()를 하면 동시에 실행 중인 다른 스크립트의 브라우저 탭까지 모두 닫는 것 아닌가요?? (=> 제가 알고 있는 내용이 맞는지요??)


이런 딜레마가 있어서 VPS를 하루에 2~3번 재부팅하고 있네요.


그런데 재부팅을 여러 번 하다보니 웹 서버로 사용하려면 24시간 구동되어야 한다는 취지에 반하는 점도 있구요.



정리하자면 driver.close()로는 모든 프로세스를 종료하지 않는 경우가 있어서 재부팅을 하다보니 


웹 서버를 비롯하여 장시간 구동해야 되는 서버로는 사용하기 애매하다는 것인데요.


이러한 딜레마를 해결하기 위해서는 어떻게 하는 것이 최선일까요??


대단한 것을 크롤링하는 것도 아니어서 가급적이면 크롤링 서버와 웹 서버를 분리하고 싶지는 않은데 말이죠 -_-;;;



그럼 즐거운 불금 되시고 감기 조심하세요 ^^


항상 감사드립니다!




ཇོ་མོ་གླང་མ

  • 1
    • 글자 크기
커뮤니티 사이트의 출첵 게시판의 활성화에 대한 좋은 아이디어가 있을까요?? (by 이니스프리) '링 피트 어드벤처'가 정말 운동이 되는가요?? (by 이니스프리)
  • 포인트 폭탄+ (비회원)
    2020.1.17 14:37
    이니스프리님 축하합니다.
    추가로 500포인트만큼 포인트 폭탄+를 받았습니다.
  • 2020.1.26 13:02

    VPS 와 웹서버를 분리하면 될거같습니다.

    자원이 필요하면 VPS에 요청하는 장식으로요

  • @Hanam09
    이니스프리글쓴이
    2020.1.26 14:31

    감사합니다 ^^

    결국 크롤링 서버와 웹 서버를 분리하는 것이 정답이군요!

    그럼 즐거운 설 연휴 되세요~

  • @이니스프리
    포인트 폭탄+ (비회원)글쓴이
    2020.1.26 14:31
    이니스프리님 축하합니다.
    추가로 200포인트만큼 포인트 폭탄+를 받았습니다.

댓글 달기

번호 제목 글쓴이 날짜 조회 수
공지 [중요] sfuh.tk 기본 제공 도메인 사용하는 분들 확인해주시기 바랍니다.5 마스터 2019.12.29 465
공지 회원 전용 페이지가 생겼습니다.16 마스터 2018.03.20 12010
공지 [필독] 질문하는 방법7 마스터 2018.02.23 1711
675 제대로 작동하는 GIF 무료 이미지 호스팅 사이트 추천 부탁드려요! 이니스프리 2020.01.31 30
674 리눅스 오프라인 강좌의 수업 내용과 관련하여 질문 드립니다.10 이니스프리 2020.01.30 84
673 가개통을 구매하는데에 특별한 문제가 있나요?3 Seia 2020.01.26 64
672 ReactJS 도와주세요!2 Hanam09 2020.01.25 69
671 선택약정 안 되는 중고폰의 경우에는 어떤 단점이 있는 것인가요??6 이니스프리 2020.01.21 249
670 맥북 프로 구매와 관련하여 여쭤봅니다4 이니스프리 2020.01.20 76
669 커뮤니티 사이트의 출첵 게시판의 활성화에 대한 좋은 아이디어가 있을까요??4 이니스프리 2020.01.19 54
VPS에서의 Selenium 사용과 관련하여 질문 드립니다.4 이니스프리 2020.01.17 43
667 '링 피트 어드벤처'가 정말 운동이 되는가요??4 이니스프리 2020.01.11 76
666 우분투만 사용하다가 페도라 13 / Centos 6.9 시험에 응시하려면 적응하기 어려울까요? ㅠㅠ8 이니스프리 2020.01.08 78
665 파이썬 에디터로 어떤 것이 좋나요?14 맛스타 2020.01.08 176
664 이미지 외부링크가 엑박으로 나온다면 어느 부분을 우선적으로 검토해야 될까요? 이니스프리 2020.01.05 32
663 해상도는 다르지만 동일한 이미지인지 체크하는 방법이 있을까요?2 이니스프리 2020.01.05 42
662 Beautifulsoup에서 .find(text=True, recursive=False)과 관련하여 질문 드립니다.2 이니스프리 2020.01.03 35
661 [Selenium] 특정 XPath에서 parent 노드의 iframe을 알아낼 수 있을까요?2 이니스프리 2020.01.02 45
660 [파이썬] 윈도우에서 pip install로 모듈 설치시에 문제가 발생하는 것과 관련하여 질문 드립니다2 이니스프리 2019.12.29 39
659 여러 개의 반복작업을 켜고 끄는 버튼을 비동기적으로 구현해보려고 하는데요 ㅠㅠ2 이니스프리 2019.12.27 59
658 유튜브 채널 주소 잘아시는분있나요?2 슬기 2019.12.27 50
657 Requests나 Selenium에서 어떤 XHR 전송이 있었는지 확인할 수 있는 방법이 있을까요?3 이니스프리 2019.12.26 40
656 카고야 VPS에서 메일이 왔는데 일본어 관련해서 질문 드립니다.5 이니스프리 2019.12.26 63
이전 1 2 3 4 5 6 7 8 9 10... 35다음
첨부 (1)
감사합니다.jpg
75.2KB / Download 2
서버에 요청 중입니다. 잠시만 기다려 주십시오...