[파이썬 웹 스크래핑] Headless 정보 처리 - 13

from selenium import webdriver

options = webdriver.ChromeOptions()
options.headless = True
options.add_argument("windows-size=1920, 1080")
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36")

browser = webdriver.Chrome(options = options)
browser.maximize_window()

url = "https://www.whatismybrowser.com/detect/what-is-my-user-agent"
browser.get(url)

# User Agent 정보
# Mozilla/5.0 (Windows NT 10.0; Win64; x64) 
# AppleWebKit/537.36 (KHTML, like Gecko) 
# Chrome/85.0.4183.83 Safari/537.36

 

detected_value

detected_value = browser.find_element_by_id("detected_value")
print(detected_value.text)
browser.quit()

# 결과값
# Mozilla/5.0 (Windows NT 10.0; Win64; x64) 
# AppleWebKit/537.36 (KHTML, like Gecko) 
# HeadlessChrome/85.0.4183.83 Safari/537.36

# 결과값이 HeadlessChrome으로 나오는 경우 브라우저를 통한 정상적인 접근으로 인식되지 않음
# 이럴 경우 options.add_argument 에 직접 user-agent 정보를 넣어준다.

 

파이썬에서 Selenium 사용 참고 사이트 : Selenium With Python