전체 글

[WIL] 한주동안의 강의 요약, 버거지수

Tidy Data 란? - 깔끔한 데이터 - 변수가 열이고, 관측치가 행이 되도록 배열하고, 한 셀이 하나의 관측치를 의미하는 데이터 melt를 이용해 tidyData만들기 cheese = pd.DataFrame( { "first": ["John", "Mary"], "last": ["Doe", "Bo"], "height": [5.5, 6.0], "weight": [130, 150], } ) cheese.melt(id_vars=["first", "last"]) cheese.melt(id_vars=["first", "last"], var_name="quantity") LongForm - 변수에따라 x, y, hue 등을 지정해서 사용하기 좋다. WideForm - Pandas plot 으로 막대의 색상을 다..

[WIL] Matplotlib

파이썬에서 시각화를하는 다양한 방법이 있다. 강사님이 숙제로 내주신 혼란한 Matplotlib에서 질서찾기 영상을 보고 연습하였다. 일단, Seaborn 을 통해서는 아래와 같이 다양한 환경설정을 통해 시각화를 좀 더 예쁘게 할 수 있다. set_context() : font, line, marker 등의 구성요소의 크기를 일괄적으로 조정한다. * talk : 발표에서 사용하기 적절한 크기로 커진다 set_palette() : 배색을 바꾼다. set_style() : 눈금, 배경, 격자 설정 scatter() : 산점도를 그린다. * alpha : 투명도 from matplotlib import pyplot as plt import numpy as np import seaborn as sns flight..

[SQL] JOIN, UNION, WITH, 서브쿼리

JOIN - 특정 조건으로 테이블을 합친다. - INNER JOIN : 두 테이블에서 일치하는 값이 있는 행을 반환 SELECT table1.id, table2.id FROM table1 [INNER] JOIN table2 ON table2.id=table1.id - LEFT JOIN : 왼쪽 테이블을 기준으로 오른쪽 테이블에서 조인조건에 해당하는 값이 있다면 그 값을 가져오고 없다면 NULL 값을 가져온다. SELECT table1.id, table2.id FROM table1 LEFT [OUTER] JOIN table2 ON table2.id = table1.id - FULL JOIN : 양쪽 테이블 모두가 기준이 되어 LEFT JOIN과 RIGHT JOIN을 합친 결과와 동일하다. SELECT ta..

[SQL] 숫자, 문자열 함수

숫자 함수 1. ROUND : 숫자를 반올림하여 출력한다. select round(반올림할 숫자, 자릿수) 2. TRUNC : 숫자를 내림하여 출력한다. select trunc(숫자, 자릿수) 3. MOD : 숫자를 나누기 한 나머지를 출력한다. select mod(숫자,나눌값) 4. POWER : 숫자를 제곱하여 출력한다. select power(숫자,승수) 5. SQRT : 숫자의 제곱근을 출력한다. select sqrt(숫자) 문자 함수 1. SUBSTR : 문자열의 일부만 출력한다. select substr('문자열', 시작 위치, 길이) 2. LEFT : 문자열을 왼쪽에서부터 자른 후 출력한다. elect left('문자열',길이) 3. RIGHT : 문자열을 오른쪽에서부터 자른 후 출력한다. ..

[WIL] Jupyter Notebook 사용하기, Pandas

주피터 노트북의 파일 확장자는 .ipynb 인데 이것은 ipython notebook의 약자이다. Jupyter는 Jupyter가 지원하는 핵심언어인 Julia, Python, R 에서 유래했다 Jupyter localhost로 실습할 때의 장점 1. 오프라인에서도 사용이 가능하다. 2. 데이터파일 등을 매번 로드할 필요가 없다. 3. 주피터노트북의 서버를 끄지 않는 이상 네트워크 상황에 따라 연결이 끊겨 다사ㅣ 노트북을 실행할 필요가 없다. 4. 라이브러리를 한번 설치하면 노트북을 새로 열때마다 설치하지 않고 import만 해서 사용할 수 있다. Jupyter Notebook 에서 자주쓰이는 단축키 실행모드 (ESC) [a] : 위에 셀이 생성된다. [b] : 아래에 셀이 생성된다. [dd] : 선택된..

[Pandas] 네이버 증권 사이트의 종목토론실 데이터 수집하기

수업시간에 배운내용을 토대로 Pandas를 이용하여 네이버 증권사이트 내 종목토론실의 데이터를 수집한다 나는 LG에너지솔루션 종목의 종목토론실을 수집하겠다! 일단 필요한 모듈들을 import 한다. import pandas as pd from bs4 import BeautifulSoup as bs import requests import time 일단 첫페이지의 데이터 부터 수집해보자 item_code = 373220 page_no = 1 list_url = f'https://finance.naver.com/item/board.naver?code={item_code}&page={page_no}' headers = {"user-agent": "Mozilla/5.0"} # requests로 요청한다 resp..

[WIL] Pandas 기초, 데이터 수집하기

[2023.01.09 ~ 2023.01.12] Pandas - 데이터 처리와 분석을 위한 라이브러리 - 행과 열로 이루어진 데이터 객체를 만들어 다룰 수 있다 - 대용량이 데이터들을 처리하는데 매우 편리하다 Series - 모든 유형의 데이터를 보유하는 1차원 배열의 데이터 구조 - 테이블의 열과 같다 생성하기 - 인덱스를 직접 입력하고 생성하지 않는다면 기본적으로 0, 1, 2 등의 숫자로 인덱스가 설정된다 price = pd.Series([1000, 2000, 3000, 4000]) - 인덱스를 지정하여 생성한 결과 price = pd.Series([1000, 2000, 3000, 4000], index=[100, 200, 300, 400]) 접근하기 - 인덱스와 value 값에 접근하기 # inde..

[Python] 기초 문법 - 예외처리

예외처리 - 코드의 에러를 처리하는 문법 - try : 에러가 발생할 것으로 예상되는 부분 - except : 에러 발생 시 진행되는 부분으로 에러를 처리할 코드를 작성 - finally : 에러 발생 여부와 상관없이 무조건 실행되는 부분 try : print('connect database') # 리소스 사용 print(1/0) except Exception as e: print(e) finally: # try 구문에 에러가 있던 없던 항상 코드 실행 print('disconnect') # 리소스 반납 print('python') - raise : 강제로 에러를 발생시킴 class LowNumber(Exception): def __str__(self): return 'insert number grate..