• 목록
  • 아래로
  • 위로

안녕하세요?


벌써 2020년의 세번째 금요일이군요 ^^



우분투 VPS에서 크론탭으로 웹 크롤링 스크립트 등 자동화 스크립트를 여러 개 돌리고 있는데요.


물론 Requests로 모두 구현하면 이상적이겠지만, 아직 그 정도 실력이 못 되어서 Selenium도 많이 사용하고 있네요.


그런데 Selenium을 여러 개 띄우면 가뜩이나 VPS 사양도 낮은데 버벅거리는 문제가 있더군요.


스크립트를 종료할 때 driver.close()를 하면 모든 프로세스를 종료하지 않고 끝내는 경우가 생겨서 driver.quit()을 사용하려고 했는데요.


driver.quit()를 하면 동시에 실행 중인 다른 스크립트의 브라우저 탭까지 모두 닫는 것 아닌가요?? (=> 제가 알고 있는 내용이 맞는지요??)


이런 딜레마가 있어서 VPS를 하루에 2~3번 재부팅하고 있네요.


그런데 재부팅을 여러 번 하다보니 웹 서버로 사용하려면 24시간 구동되어야 한다는 취지에 반하는 점도 있구요.



정리하자면 driver.close()로는 모든 프로세스를 종료하지 않는 경우가 있어서 재부팅을 하다보니 


웹 서버를 비롯하여 장시간 구동해야 되는 서버로는 사용하기 애매하다는 것인데요.


이러한 딜레마를 해결하기 위해서는 어떻게 하는 것이 최선일까요??


대단한 것을 크롤링하는 것도 아니어서 가급적이면 크롤링 서버와 웹 서버를 분리하고 싶지는 않은데 말이죠 -_-;;;



그럼 즐거운 불금 되시고 감기 조심하세요 ^^


항상 감사드립니다!




작성자
이니스프리 119 Lv. (0%) 1876250/115200000EXP

당분간 일신상의 사정으로 쪽지나 댓글로 답변을 드리기 어렵습니다. 죄송합니다.

 

CSVpuymXAAAVVpd.jpg

댓글 4

포인트 폭탄+
이니스프리님 축하합니다.
추가로 500포인트만큼 포인트 폭탄+를 받았습니다.
comment menu
2020.01.17. 14:37

신고

"포인트 폭탄+님의 댓글"

이 댓글을 신고 하시겠습니까?

삭제

"포인트 폭탄+님의 댓글"

이 댓글을 삭제하시겠습니까?

Hanam09
profile image

VPS 와 웹서버를 분리하면 될거같습니다.

자원이 필요하면 VPS에 요청하는 장식으로요

comment menu
2020.01.26. 13:02

신고

"Hanam09님의 댓글"

이 댓글을 신고 하시겠습니까?

이니스프리 작성자 → Hanam09
profile image

감사합니다 ^^

결국 크롤링 서버와 웹 서버를 분리하는 것이 정답이군요!

그럼 즐거운 설 연휴 되세요~

comment menu
2020.01.26. 14:31

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

포인트 폭탄+ → 이니스프리
이니스프리님 축하합니다.
추가로 200포인트만큼 포인트 폭탄+를 받았습니다.
comment menu
2020.01.26. 14:31

신고

"포인트 폭탄+님의 댓글"

이 댓글을 신고 하시겠습니까?

삭제

"포인트 폭탄+님의 댓글"

이 댓글을 삭제하시겠습니까?

권한이 없습니다.
번호 제목 글쓴이 날짜 조회 수
공지 [작업 완료] 설 명절 맞이 서버 업데이트 안내 3 마스터 24.02.11.17:21 393
공지 [중요] 호스팅 만료와 관련하여 일부 수칙이 변경됩니다. 4 마스터 23.01.14.02:23 4075
공지 [필독] 질문하는 방법 17 마스터 18.02.23.03:09 4465
682 그누보드에서 과도한 POST 요청을 보내는 매크로를 이용한 DDoS에 대해 질문 드립니다. 6 image 이니스프리 20.02.20.13:17 658
681 윈도우 서버를 VPS에 구축하는 것에 대해 질문 드립니다. 23 이니스프리 20.02.17.21:06 632
680 다른 기기에서의 사이트 접속 불가 4 image 입체그림 20.02.17.19:03 597
679 [파이썬] 소용돌이(?) 코딩이 어렵네요 ㅠㅠ 6 image 이니스프리 20.02.14.22:06 2607
678 XE 상단바 내려가게 만들기 2 image 입체그림 20.02.14.10:17 202
677 스터디포어스에서 VisualEditor 사용이 가능하나요? 2 입체그림 20.02.12.10:42 244
676 컴퓨터 전문가님들 봐주세요~~원격프로그램에 대해서입니다 9 매매의신 20.02.12.09:05 386
675 인스타 프로필 사진 퍼오는거? 3 슬기 20.02.11.22:56 251
674 VPS에서 LEMP 스택을 제공하면 이걸 그대로 사용해도 괜찮을까요?? 4 이니스프리 20.02.07.14:29 221
673 이 파이썬 강좌를 수강하는 것은 어떨지 여쭤봅니다 ^^ 6 이니스프리 20.01.31.12:43 244
672 제대로 작동하는 GIF 무료 이미지 호스팅 사이트 추천 부탁드려요! 이니스프리 20.01.31.12:12 623
671 리눅스 오프라인 강좌의 수업 내용과 관련하여 질문 드립니다. 10 image 이니스프리 20.01.30.14:15 213
670 가개통을 구매하는데에 특별한 문제가 있나요? 3 Seia 20.01.26.18:59 213
669 ReactJS 도와주세요! 2 image Hanam09 20.01.25.22:01 176
668 선택약정 안 되는 중고폰의 경우에는 어떤 단점이 있는 것인가요?? 6 이니스프리 20.01.21.14:30 3100
667 맥북 프로 구매와 관련하여 여쭤봅니다 4 image 이니스프리 20.01.20.13:03 216
666 커뮤니티 사이트의 출첵 게시판의 활성화에 대한 좋은 아이디어가 있을까요?? 4 이니스프리 20.01.19.00:44 182
VPS에서의 Selenium 사용과 관련하여 질문 드립니다. 4 image 이니스프리 20.01.17.14:37 211
664 '링 피트 어드벤처'가 정말 운동이 되는가요?? 4 이니스프리 20.01.11.12:41 289
663 우분투만 사용하다가 페도라 13 / Centos 6.9 시험에 응시하려면 적응하기 어려울까요? ㅠㅠ 8 image 이니스프리 20.01.08.22:56 345