목차
- 파이썬 Seleninum 모듈 설치 여부 확인 예제
- 파이썬 Seleninum 모듈 설치 예제
- 크롬 웹 드라이버 다운로드 예제
- 파이썬 Seleninum으로 크롬 WebDriver 객체 생성 예제
- 파이썬 Seleninum 웹 페이지 열기 예제
파이썬 Seleninum 모듈 설치 여부 확인 예제
오늘 주제는 파이썬에서 크롬 크롤링을 위한 Selenium 설치 예제입니다. 크롤링이랑 특정 웹페이지에 있는 값들을 긁어모아 의미있는 정보를 만들어내는 것입니다. 정확하게 말하면 값들을 긁어오는 행위가 크롤링입니다.
이러한 행위의 장점은 여러 페이지들을 직접 사용자가 들어가보지 않아도 정보들을 긁어와 참고를 할 수 있다는 것입니다. 자 그러면 현재 Selenium 모듈이 설치되어있는지 확인하는 예제를 알아보겠습니다.
아래와 같이 명령어를 실행하여 파이썬의 Seleninum 모듈이 설치되어있는지 확인합니다.
$ pip3 show selenium
파이썬 Seleninum 모듈 설치 예제
만약 설치되어있지 않다면 아래의 명령으로 Seleninum 모듈을 설치합니다. 크롬 크롤링을 위한 웹드라이버와 별개로 파이썬의 모듈을 설치해야 크롤링을 수행할 수 있습니다.
$ pip3 install selenium
크롬 웹 드라이버 다운로드 예제
만약 Seleninum 모듈 설치가 완료되었다면 이제 크롬 브라우저를 통해 크롤링을 할 수 있도록 크롬 웹 드라이버를 다운로드 받아야합니다. 드라이버를 파이썬 코드에서 동적으로 로드하여 페이지를 실행할 수 있습니다.
아래의 명령을 실행하여 다운로드 합니다. 본 포스팅의 환경은 리눅스 우분투이기때문에 wget으로 다운로드합니다. 압축파일을 다운로드받아 압축해제 합니다.
$ cd /tmp/
$ wget https://chromedriver.storage.googleapis.com/114.0.5735.90/chromedriver_linux64.zip
$ unzip chromedriver_linux64.zip
$ ls chromedriver
파이썬 Seleninum으로 크롬 WebDriver 객체 생성 예제
아래는 파이썬 코드에서 Selenium 모듈의 webdirver로 크롬 드라이버를 로드하여 객체를 생성하는 예제입니다.
from selenium import webdriver
# 크롬 웹 드라이버 경로 설정
driver_path = "/tmp/chromedriver"
# 크롬 브라우저를 사용하여 WebDriver 객체 생성
driver = webdriver.Chrome(driver_path)
만약 seleninum 버전이 4.6.0이거나 그보다 크다면 아래와 같은 오류가 발생할 수 있으므로 아래의 구문을 실행합니다.
from selenium import webdriver
driver = webdriver.Chrome()
파이썬 Seleninum 웹 페이지 열기 예제
아래는 로드된 WebDriver 객체로 웹페이지를 여는 예제입니다.
from selenium import webdriver
# 크롬 웹 드라이버 경로 설정
driver_path = "/tmp/chromedriver"
# 크롬 브라우저를 사용하여 WebDriver 객체 생성
driver = webdriver.Chrome(driver_path)
# 웹 페이지 열기
url = "https://www.example.com"
driver.get(url)
# 웹 페이지에서 원하는 작업 수행 (예: 웹 요소 찾기, 클릭 등)
# 브라우저 닫기
driver.quit()