• 목록
  • 아래로
  • 위로

안녕하세요?


벌써 2020년의 세번째 금요일이군요 ^^



우분투 VPS에서 크론탭으로 웹 크롤링 스크립트 등 자동화 스크립트를 여러 개 돌리고 있는데요.


물론 Requests로 모두 구현하면 이상적이겠지만, 아직 그 정도 실력이 못 되어서 Selenium도 많이 사용하고 있네요.


그런데 Selenium을 여러 개 띄우면 가뜩이나 VPS 사양도 낮은데 버벅거리는 문제가 있더군요.


스크립트를 종료할 때 driver.close()를 하면 모든 프로세스를 종료하지 않고 끝내는 경우가 생겨서 driver.quit()을 사용하려고 했는데요.


driver.quit()를 하면 동시에 실행 중인 다른 스크립트의 브라우저 탭까지 모두 닫는 것 아닌가요?? (=> 제가 알고 있는 내용이 맞는지요??)


이런 딜레마가 있어서 VPS를 하루에 2~3번 재부팅하고 있네요.


그런데 재부팅을 여러 번 하다보니 웹 서버로 사용하려면 24시간 구동되어야 한다는 취지에 반하는 점도 있구요.



정리하자면 driver.close()로는 모든 프로세스를 종료하지 않는 경우가 있어서 재부팅을 하다보니 


웹 서버를 비롯하여 장시간 구동해야 되는 서버로는 사용하기 애매하다는 것인데요.


이러한 딜레마를 해결하기 위해서는 어떻게 하는 것이 최선일까요??


대단한 것을 크롤링하는 것도 아니어서 가급적이면 크롤링 서버와 웹 서버를 분리하고 싶지는 않은데 말이죠 -_-;;;



그럼 즐거운 불금 되시고 감기 조심하세요 ^^


항상 감사드립니다!




작성자
이니스프리 119 Lv. (2%) 4154460/115200000EXP

Make StudyForUs Great Again!

 

CSVpuymXAAAVVpd.jpg

댓글 4

포인트 폭탄+
이니스프리님 축하합니다.
추가로 500포인트만큼 포인트 폭탄+를 받았습니다.
comment menu
2020.01.17. 14:37

신고

"포인트 폭탄+님의 댓글"

이 댓글을 신고 하시겠습니까?

삭제

"포인트 폭탄+님의 댓글"

이 댓글을 삭제하시겠습니까?

Hanam09
profile image

VPS 와 웹서버를 분리하면 될거같습니다.

자원이 필요하면 VPS에 요청하는 장식으로요

comment menu
2020.01.26. 13:02

신고

"Hanam09님의 댓글"

이 댓글을 신고 하시겠습니까?

이니스프리 작성자 → Hanam09
profile image

감사합니다 ^^

결국 크롤링 서버와 웹 서버를 분리하는 것이 정답이군요!

그럼 즐거운 설 연휴 되세요~

comment menu
2020.01.26. 14:31

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

포인트 폭탄+ → 이니스프리
이니스프리님 축하합니다.
추가로 200포인트만큼 포인트 폭탄+를 받았습니다.
comment menu
2020.01.26. 14:31

신고

"포인트 폭탄+님의 댓글"

이 댓글을 신고 하시겠습니까?

삭제

"포인트 폭탄+님의 댓글"

이 댓글을 삭제하시겠습니까?

권한이 없습니다.
번호 제목 글쓴이 날짜 조회 수
공지 시스템 점검 작업 완료 안내 10 마스터 24.09.05.16:25 2056
공지 [중요] 호스팅 만료와 관련하여 일부 수칙이 변경됩니다. 4 마스터 23.01.14.02:23 8846
공지 [필독] 질문하는 방법 17 마스터 18.02.23.03:09 4868
666 커뮤니티 사이트의 출첵 게시판의 활성화에 대한 좋은 아이디어가 있을까요?? 4 이니스프리 20.01.19.00:44 361
VPS에서의 Selenium 사용과 관련하여 질문 드립니다. 4 image 이니스프리 20.01.17.14:37 358
664 '링 피트 어드벤처'가 정말 운동이 되는가요?? 4 이니스프리 20.01.11.12:41 345
663 우분투만 사용하다가 페도라 13 / Centos 6.9 시험에 응시하려면 적응하기 어려울까요? ㅠㅠ 8 image 이니스프리 20.01.08.22:56 486
662 파이썬 에디터로 어떤 것이 좋나요? 14 NoYeah 20.01.08.21:08 4589
661 이미지 외부링크가 엑박으로 나온다면 어느 부분을 우선적으로 검토해야 될까요? 이니스프리 20.01.05.23:15 667
660 해상도는 다르지만 동일한 이미지인지 체크하는 방법이 있을까요? 2 이니스프리 20.01.05.20:52 603
659 Beautifulsoup에서 .find(text=True, recursive=False)과 관련하여 질문 드립니다. 2 이니스프리 20.01.03.23:11 1204
658 [Selenium] 특정 XPath에서 parent 노드의 iframe을 알아낼 수 있을까요? 2 이니스프리 20.01.02.16:04 602
657 [파이썬] 윈도우에서 pip install로 모듈 설치시에 문제가 발생하는 것과 관련하여 질문 드립니다 2 이니스프리 19.12.29.00:51 417
656 여러 개의 반복작업을 켜고 끄는 버튼을 비동기적으로 구현해보려고 하는데요 ㅠㅠ 2 이니스프리 19.12.27.23:10 608
655 유튜브 채널 주소 잘아시는분있나요? 2 슬기 19.12.27.09:55 210
654 Requests나 Selenium에서 어떤 XHR 전송이 있었는지 확인할 수 있는 방법이 있을까요? 3 이니스프리 19.12.26.18:47 310
653 카고야 VPS에서 메일이 왔는데 일본어 관련해서 질문 드립니다. 5 이니스프리 19.12.26.11:45 317
652 [파이썬] 결과를 print 문으로 출력하는 것과 파일로 출력하는 것과 결과가 왜 다른가요? 8 image 이니스프리 19.12.25.13:19 823
651 음성번역기 앱 중에 켜놓으면 계속 번역을 해주는 앱이 있을까요? 이니스프리 19.12.25.11:16 294
650 https://imgnbvip.com/ 라는 이미지 호스팅 사이트가 있나요? image 이니스프리 19.12.24.11:08 295
649 Google Developer Console의 API 라이브러리 무료 이용에 대해 질문 드립니다. 5 image 이니스프리 19.12.23.12:58 294
648 부산 맛집 추천 부탁드려요~! 3 image 이니스프리 19.12.20.19:00 226
647 [Requests] multipart/form-data의 전송에 대해 질문 드립니다 ^^ 4 이니스프리 19.12.18.22:00 3162