VPS에서의 Selenium 사용과 관련하여 질문 드립니다.

안녕하세요?

벌써 2020년의 세번째 금요일이군요 ^^

우분투 VPS에서 크론탭으로 웹 크롤링 스크립트 등 자동화 스크립트를 여러 개 돌리고 있는데요.

물론 Requests로 모두 구현하면 이상적이겠지만, 아직 그 정도 실력이 못 되어서 Selenium도 많이 사용하고 있네요.

그런데 Selenium을 여러 개 띄우면 가뜩이나 VPS 사양도 낮은데 버벅거리는 문제가 있더군요.

스크립트를 종료할 때 driver.close()를 하면 모든 프로세스를 종료하지 않고 끝내는 경우가 생겨서 driver.quit()을 사용하려고 했는데요.

driver.quit()를 하면 동시에 실행 중인 다른 스크립트의 브라우저 탭까지 모두 닫는 것 아닌가요?? (=> 제가 알고 있는 내용이 맞는지요??)

이런 딜레마가 있어서 VPS를 하루에 2~3번 재부팅하고 있네요.

그런데 재부팅을 여러 번 하다보니 웹 서버로 사용하려면 24시간 구동되어야 한다는 취지에 반하는 점도 있구요.

정리하자면 driver.close()로는 모든 프로세스를 종료하지 않는 경우가 있어서 재부팅을 하다보니 

웹 서버를 비롯하여 장시간 구동해야 되는 서버로는 사용하기 애매하다는 것인데요.

이러한 딜레마를 해결하기 위해서는 어떻게 하는 것이 최선일까요??

대단한 것을 크롤링하는 것도 아니어서 가급적이면 크롤링 서버와 웹 서버를 분리하고 싶지는 않은데 말이죠 -_-;;;

그럼 즐거운 불금 되시고 감기 조심하세요 ^^

항상 감사드립니다!