Python (6) 썸네일형 리스트형 pyautogui, for문을 이용해 원하는 페이지만큼 크롤링 하기 - 뉴스기사 가져오기 예제 2️⃣ 이번 예제는 검색어를 입력하고, 원하는 페이지까지 크롤링하는 것이다. 먼저 네이버에 이강인으로 검색하고, 뉴스탭에서 url이 어떻게 변화하는지 확인한다. https://search.naver.com/search.naver?where=news&sm=tab_jum&query=%EC%9D%B4%EA%B0%95%EC%9D%B8 https://search.naver.com/search.naver?where=news&sm=tab_pge&query=%EC%9D%B4%EA%B0%95%EC%9D%B8&start=11 https://search.naver.com/search.naver?where=news&sm=tab_pge&query=%EC%9D%B4%EA%B0%95%EC%9D%B8&start=21 여기서 보면 start.. pyautogui , fstring을 이용한 크롤링 - 뉴스기사 가져오기 예제 1️⃣ import requests from bs4 import BeautifulSoup import pyautogui #프롬프트창으로 입력받기 searchParam = pyautogui.prompt("검색어를 입력하세요 >>> ") #string 합치는 방법1 #requestUrl = "https://search.naver.com/search.naver?where=news&sm=tab_jum&query="+searchParam #fstring으로 합치는방법2 response = requests.get(f"https://search.naver.com/search.naver?where=news&sm=tab_jum&query={searchParam}") html = response.text soup = Beauti.. Beautifulsoup이란 Beautifulsoup 웹 크롤링 할 때 , 해당 페이지의 HTML에서 원하는 데이터를 가져와서 파싱하는 라이브러리이다. 이해하기 쉽게 간단한 예제를 진행해본다. 1. 설치 pip install beautifulsoup4 2. 사용법 soup = BeautifulSoup( html코드, html번역 ) requests 라이브러리와 함께 예제를 통해 쉽게 이해할 수 있다. import requests from bs4 import BeautifulSoup response = requests.get("https://www.naver.com") html = response.text soup = BeautifulSoup(html, 'html.parser') #html 번역역할 word = soup.select_.. python requests 라이브러리 * 라이브러리소개 requests는 HTTP 통신을 위한 파이썬 라이브러리이다. 이 라이브러리를 통해서 원하는 웹사이트나 API주소로 HTTP요청을 보내고 응답을 받을 수 있다. HTTP통신에는 4가지 방식이 있다. (자세한 설명은 추후 정리 예정) GET : requests.get() POST : requests.post() PUT : requests.put() DELETE : requests.delete() 크롤링을 할 때는 원하는 곳에 HTTP요청을 보내고, HTML을 String 형태로 받아올 수 있다. (만약, html 문서로 바꾸어 구현을 하려고 할 때는 beautifulsoup이라는 라이브러리를 이용하면 된다.) 아래의 기본적인 실습을 할 때는 웹사이트의 정보를 가져와야하기 때문에 GET방식.. VSCODE Python 실행하기 vs code를 실행하고, Python을 이용해 실습을 해보려고 할 때는 Python확장 프로그램을 설치해줘야한다. 왼쪽 상단에 확장프로그램 메뉴를 클릭하고, 검색창에 python을 검색한다. "Python"을 누르면 install이 있다. 이것을 클릭하여 설치한다! (설치를 이미 하고 캡쳐를 했다 ㅎ) 왼쪽 상단 아이콘은 폴더탐색기와 같은 기능을 한다. Explorer(탐색기)를 클릭 후 폴더 및 파일들을 각각 생성한다. 사진에서와 같이 Chaper02 > test.py를 생성했다. test.py파일에 print("Hello Coding")을 이제 실행해보려고 한다. 오른쪽 상단에 Run 버튼을 클릭하면 하단 TERMINAL에서 결과를 확인 할 수 있다. test.py를 실행했을 때 만약 터미널에서 P.. Python 설치하기 / 파이썬 설치하기 Python 설치를 하기 위해서는 공식 홈페이지에 들어가면 된다. https://www.python.org/ Download를 클릭하면 버전별로 다운받을 수 있는 곳이 나온다. 맨 상단에는 현재기준 제일 최신 버전을 보여주는데, 아래의 스크롤로 내리다보면 내가 원하는 버전을 지정해서 다운 받을 수 있다. 예시로, 3.8.7버전을 다운받는다고 하면 Release version에서 3.8.7 버전을 찾아 클릭한다. 여기에서 사용하고 있는 버전의 설치파일을 다운 받으면 된다. 지금 사용하고 있는 컴퓨터가 만약 윈도우의 64bit이면 맨 하단에 있는 Windows installer (64-bit)를 클릭하면 다운받게된다. 설치파일을 클릭하면 다음과 같이 설치창이 뜬다. 이때, Add Python 3.8 to P.. 이전 1 다음
