[Python] 다양한 모듈 사용해보기1 : requests, BeautifulSoup, datetime (day 3)

함수와 모듈

함수 

- 자주 사용되는 코드들을 묶어놓고 사용할 수 있게 하여 반복되는 코드를 줄인다.

모듈 

- 자주 사용되는 함수, 변수 등을 모아놓은 파일

 

필요한 외부 모듈 설치법

pip install 모듈명

requests

- http, https 웹 사이트에 요청하기 위해 자주 사용된다

 

사용할 모듈 import

import requests

데이터 요청하기

response = requests.get("요청할 url")

요청 방식에는 get, post, put, delete 등이 있다.

 

응답 데이터

print(response.text)   // 응답 내용을 unicode 로 

print(response.url)  // 응답 url

print(response.content) // 응답 내용을 byte 로 

print(response.encoding) //인코딩 방식 ISO-8859-1

print(response.headers) // 응답 header를 dictionary 로 

print(response.json())  // 응답이 json 형태라면 json갹 으로 응답해줌 아니라면 오류

print(response.links) //응답 header의 link

print(response.ok)   //응답코드가 400 이하면 True 아니면 False

print(response.status_code)  // 응답 상태코드

 

BeautifulSoup

-웹 크롤러를 만들거나 html에서 필요한 정보를 검색할 때 주로 사용된다

웹크롤러 : 웹페이지의 데이터를 모아주는 것

웹크롤링 : 웹크롤러를 사용하여 웹페이지의 데이터를 추출해내는 행위

 

사용할 모듈 import

from bs4 import BeautifulSoup

데이터 파싱하기

soup = BeautifulSoup(데이터, 파싱방법)

데이터에는 html과 xml 등이 들어간다.

파싱방법에는 'html.parser' , 'xml' 등 파이썬 내장 parser 사용가능

 

파싱된 데이터에서 원하는 데이터 가져오기

soup.title  // title 태그 자체를 가져온다

soup.title.string //태그를 제외하고 실제 제목값만 가져온다

soup.span // 제일 위의 span태그만 가져온다

soup.findAll(’span’) // 모든 span 태그를 가져온다

soup.findAll('a','love') // 모든 a 태그중 love를 포함하고 있는 것들을 가져온다

datetime

- 파이썬에는 날짜와 시간을 다루기 위한 다양한 모듈이 있지만 datetime 모듈은 기본적인 연산들은 지원하지만 주로 시간이나 날짜를 사용자에게 보여지는 형태로 포매팅 하는데에 중점을 둔다

 

사용할 모듈 import

from dateime import datetime

오늘 날짜 가져오기

today = datetime.today()

 

위의 코드를 출력하면 2022-12-23 01:38:08.0745 의 형태로 출력된다

 

년 , 월 , 일 가져오기

today.year	  //오늘 날짜의 '년도'을 가져온다
today.month     //오늘 날짜의 '달'을 가져온다
today.day       //오늘 날짜의 '일'을 가져온다
today.weekday() // 오늘 날짜의 '요일'을 가져온다

 

원하는 형태로 포매팅하기

datetime.today.strftime(”%Y년 %m월 %d일”)

위의 코드를 출력시 2022년 12월 23일 의 형태로 출력된다