지금 이 순간을 살아라

import requests from bs4 import BeautifulSoup import re def create_soup(url): res = requests.get(url) res.raise_for_status() soup = BeautifulSoup(res.text, "lxml") return soup def print_news(index, title, link): print("{}. {}".format(index + 1, title)) print(" (링크 : {}".format(link)) def scrape_english(): print("[오늘의 영어 회화]") url = "https://www.hackers.co.kr/?c=s_eng/eng_contents/I_others_englis..

프로그래밍 언어/웹 스크래핑 2020. 9. 16. 07:00

import requests from bs4 import BeautifulSoup def create_soup(url): res = requests.get(url) res.raise_for_status() soup = BeautifulSoup(res.text, "lxml") return soup def print_news(index, title, link): print("{}. {}".format(index + 1, title)) print(" (링크 : {}".format(link)) def scrape_it_news(): print("[IT 뉴스]") url = "https://news.naver.com/main/list.nhn?mode=LS2D&mid=shm&sid1=105&sid2=230" sou..

프로그래밍 언어/웹 스크래핑 2020. 9. 15. 07:00

import requests from bs4 import BeautifulSoup def create_soup(url): res = requests.get(url) res.raise_for_status() soup = BeautifulSoup(res.text, "lxml") return soup def scrape_headline_news(): print("[헤드라인 뉴스]") url = "https://news.naver.com/" soup = create_soup(url) news_list = soup.find("ul", attrs={"class":"hdline_article_list"}).find_all("li", limit=3) for index, news in enumerate(news_list..

프로그래밍 언어/웹 스크래핑 2020. 9. 14. 07:00

import requests from bs4 import BeautifulSoup def scraping_weather(): print("[오늘의 날씨]") url = "https://search.naver.com/search.naver?sm=top_hty&fbm=0&ie=utf8&query=%EC%84%9C%EC%9A%B8+%EB%82%A0%EC%94%A8" res = requests.get(url) res.raise_for_status() soup = BeautifulSoup(res.text, "lxml") # 흐림, 어제보다 OO˚ 높아요 cast = soup.find("p", attrs={"class":"cast_txt"}).get_text() # 현재 OO˚ C (최저 OO / 초고 OO) cu..

프로그래밍 언어/웹 스크래핑 2020. 9. 13. 07:00

import requests from bs4 import BeautifulSoup url = "https://search.daum.net/search?w=tot&DA=UME&t__nil_searchbox=suggest&sug=&sugo=15&sq=%EC%86%A1%ED%8C%8C+%ED%97%AC%EB%A6%AC&o=1&q=%EC%86%A1%ED%8C%8C+%ED%97%AC%EB%A6%AC%EC%98%A4%EC%8B%9C%ED%8B%B0" res = requests.get(url) res.raise_for_status() soup = BeautifulSoup(res.text, "lxml") # with open("quiz.html", "w", encoding="utf8") as f: # f.write(s..

프로그래밍 언어/웹 스크래핑 2020. 9. 12. 07:00

from selenium import webdriver options = webdriver.ChromeOptions() options.headless = True options.add_argument("windows-size=1920, 1080") options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36") browser = webdriver.Chrome(options = options) browser.maximize_window() url = "https://www.whatismybrowser.co..

프로그래밍 언어/웹 스크래핑 2020. 9. 11. 07:00

from selenium import webdriver browser = webdriver.Chrome() browser.maximize_window() # 페이지 이동 url = "https://play.google.com/store/movies/top" browser.get(url) # 스크롤 내리기 # 모니터(해상도) 높이인 1440 위치로 스크롤 내리기 # browser.execute_script("window.scrollTo(0, 1440)") # 2560 X 1440 # browser.execute_script("window.scrollTo(0, 2880)") # 2560 X 1440 # 화면 가장 아래로 스크롤 내리기 browser.execute_script("window.scrollTo(0..

프로그래밍 언어/웹 스크래핑 2020. 9. 10. 07:00

import requests from bs4 import BeautifulSoup url = "https://play.google.com/store/movies/top" # 구글 무비 접속 시 해당 국가에 따라 다른 정보가 보여지므로 아래와 같이 헤더 정보에 국가 정보를 넣어 준다. headers = { "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.135 Safari/537.36" ,"Accept-Language":"ko-KR,ko" } res = requests.get(url, headers = headers) res.raise_for_status(..

프로그래밍 언어/웹 스크래핑 2020. 9. 9. 07:00