[Ubuntu/Python] Selenium에서 Headless browser의 설치 및 실행

저는 우분투와 파이썬에 대해 잘 모르기 때문에 이 글에 부족한 부분이 많을 것으로 생각됩니다.

부정확한 부분이 있으면 댓글로 말씀해주시면 감사하겠습니다.

PhantomJS가 다른 Headless browser와 비교할 때 설치 및 Webdriver API 사용법이 가장 간단하지만,

현재는 deprecated된 상태이고 실행은 되지만 크롬이나 파폭을 이용하라고 경고가 뜹니다.

또한 크롬이나 파폭에서 보이는 화면과 다르게 보이는 경우가 적지 않게 있어서 

일일이 스크린샷을 찍으며 확인을 해야 되고,

가장 큰 문제점은 자바스크립트와 관련하여 충돌이 발생하는 경우가 있습니다.

한편 Chromedriver는 윈도우에서는 chromedriver.exe만 있으면 잘 돌아가지만

현재 우분투에서 크로미움과 관련하여 여러 에러가 보고되고 있습니다.

제가 아직 이에 대한 확실한 솔루션을 제시한 글을 찾지 못해서 이 글에서는 다루지 않겠습니다.

설치를 시작하기에 앞서 시스템을 최신으로 업데이트하는 것을 권장합니다.

# sudo apt-get update -y
# sudo apt-get upgrade -y
# sudo shutdown -r now

1. PhantomJS

(1) 우선 PhantomJS에서 필요로 하는 패키지를 설치합니다.

# sudo apt-get install build-essential chrpath libssl-dev libxft-dev libfreetype6-dev libfreetype6 libfontconfig1-dev libfontconfig1 -y

(2) 현재 최신버전의 PhantomJS를 다운로드 받습니다.

# sudo wget https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2

(3) 압축을 해제합니다.

# sudo tar xvjf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/share/

(4) 심링크를 생성합니다.

# sudo ln -s /usr/local/share/phantomjs-2.1.1-linux-x86_64/bin/phantomjs /usr/local/bin/

(5) 설치된 PhantomJS의 버전을 확인해봅니다.

# phantomjs --version

(6) 파이썬에서는 webdriver API를 다음과 같은 방법으로 사용할 수 있습니다.

driver = webdriver.PhantomJS('/usr/local/bin/phantomjs')

2. Geckodriver (Firefox)

셀레니움 3.0 이전 버전에서는 geckodriver를 따로 설치할 필요가 없었지만 

현재는 설치를 하지 않으면 에러를 발생합니다.

우선 파이어폭스가 설치되어 있다는 전제하에 최신버전의 geckodriver를 다운받습니다.

# wget https://github.com/mozilla/geckodriver/releases/download/v0.18.0/geckodriver-v0.18.0-linux64.tar.gz

geckodriver 파일을 어느 폴더에 압축을 풀어야 하는지에 관하여 버전별로 조금씩 차이가 있고 이에 대한 논쟁이 있는데

현재는 /usr/local/bin/에 설치하고 퍼미션을 777로 주면 작동하는 것을 확인했습니다.

(주의: /usr/bin/이나 /usr/local/bin/geckodriver/가 아닙니다.)

기본적으로는 다음과 같은 방법으로 파이썬에서 Webdriver API를 사용할 수 있습니다.

-headless 등 옵션을 사용하려면 import 해줘야 합니다. (크롬과 차이점)

from selenium.webdriver.firefox.options import Options

options = webdriver.FirefoxOptions()

options.add_argument('-headless')

driver = webdriver.Firefox(executable_path="/usr/local/bin/geckodriver", firefox_options=options)