빅분기 실기 정리 - 1유형

#한글이 섞인 데이터를 가져올 때는 encoding = "euckr"
emp20 = pd.read_csv("/content/emp20.csv", encoding="euckr")

# 1. dataframe 선언하기
dataset = np.array([['kor',70],['math',80]])
df = pd.DataFrame(dataset, columns=['class','score'])

df = pd.DataFrame([['kor',70], ['math', 80]], columns=['class','score'])
df = pd.DataFrame({'class':['kor','math'], 'score':[70, 80]})

# Series 선언하기
s = pd.Series({'idx 1':1, 'idx 2':2}, name='class')

#데이터 정보 확인
df.head()
df.tail()
df.info()
df.describe() # 수치형 데이터의 개수, 평균, 표준편차, 최솟값, 최댓값, 25%, 중앙값, 75% 제공

#데이터 결합
#단순연결
pd.concat([df1, df2], axis=0)
#join, merge
df.merge(df1, on = '교집합되는 칼럼이름', how = 'inner or outer or left or right')

#데이터 요약
df.groupby('그룹화할 기준열').FUN()
df.groupby(by='칼럼').median()

#도수분포표
pd.crosstab(df['c1'], df['c2'])

#포함 데이터
emp20[:][emp20["major"].isin(['컴퓨터공학과',"경영학과"])]
emp[['ename']] [ emp['ename'].apply(lambda x : x[0] == "A")]
emp[['ename']] [ ~ emp['ename'].apply( lambda x : x[-1] in ["K", "T"])]

#조건에 맞는 데이터 탐색
# &:AND , | : OR
df[df['이름'] == '이름']
df[df['name'] == '이름' & df['score'] >= 80]

#정렬 T : 오름차순
emp[ ['ename', 'sal'] ].sort_values( by ='sal',  ascending=True) 

result  = emp20[ ['ename', 'age', 'telecom'] ] [ emp20['telecom'] != 'kt' ]
result.sort_values(by='age', ascending=False)

df[''].sort_values(by = 'd', ascending =False) #내림

#날짜형식 pd.to_datetime()
pd.to_datetime( emp['hiredate'])
emp[['ename','hiredate'] ] [ emp['hiredate'].between('1981-01-01','1981-12-31')  ]

emp.hiredate.dt.year   :  년도
emp.hiredate.dt.month   :  달
emp.hiredate.dt.day  :   일

df['date_added'].astype('datetime64[ns]')  // yyyy-mm-dd
pd.to_datetime(df['date_added']  //yyyy-mm-dd

#날짜 데이터 핸들링
from datetime import datetime
datetime.today()
datetime.today().year  # month, day, hour

#날짜 형식으로 변환하기
df['dt'] = pd.to_datetime(df['dt'], format="%Y-%m-%d %H:%M:%S")
datetime.strptime('날짜 문자열', '포맷')

result = df['StartTime'].dt.date.value_counts().index[0] #날짜최빈값

#중복제거 unique()는 시리즈 함수 - 대괄호 1개
emp['job'].unique()
emp['job'] [ emp['deptno']==20 ].unique()

 

#대소문자
emp20['telecom'].str.upper()
emp.ename.str.lower()
emp.ename.str.capitalize()
pd.concat( [emp.ename.str.lower(),  emp.sal ], axis=1  )

#문자열 자르기
emp.ename.str.slice( start=0,  stop=2) # 0,1

#슬라이싱
s=[1,2,3,4,5]
s[1:5] #[2,3,4,5]
s[:-2] #[1,2,3]

df.iloc[row,column] # 행(=줄), 열
df.loc[row, cloumn] # end를 포함
df.iloc[1:4] == df.loc[1:3]
df.iloc[:10,7] = df['f5'][:10].min() # 7번째 칼럼을 10번째 줄,

#row 추가
df = df.append(추가할 내용)

#column 추가
df['추가칼럼'] = 1 #단일값
df['추가칼럼'] = [ a,a,a,a]
df['총점'] = df['A'] + df['D']
emp['ename_len'] =  emp.ename.str.len() #문자길이

#row/column 삭제
df.drop('행 이름', inplace = True)
df.drop(columns['a', 'b'], inplace = True)

#문자열 찾기 find
emp.ename.str.find('M') #해당 인덱스 출력, 없으면 -1

#문자열 포함 contains
df[''].str.contains('문자')

#문자열 대체 replace
a = 'scott'
a.replace('s', 'k')   # kcott

df.dtypes #타입 확인
emp['sal'] = emp['sal'].astype(str) #타입 변환 astype() "str" "int"..
emp['sal_replace']=emp.sal.str.replace('0','*')

#re는 전처리기 import re
emp['sal_star'] = emp.sal.apply( lambda x : re.sub( '[0-3]', '*', x )  ) # 0~3 -> *

함수                  설명
lstrip()               문자열에서 존재하는 왼쪽 공백을 제거
rstrip()               문자열에서 존재하는 오른쪽 공백을 제거
strip()                문자열에서 존재하는 양쪽 공백을 제거

emp['sal'].max()
emp['sal'].min()
emp['sal'].sum()
emp['sal'].mean()
emp['sal'].count()
emp['sal'].mode()[0]  #최빈값
emp['sal'].var() #분산
emp['sal'].std()#표준편차
emp['sal'].skew() #왜도
emp['sal'].kurt()#첨도


np.std(emp['sal']) #표준편차
round(np.std(df['col2']), 3) # 반올림

#이상치 IQR
Q25 = df['orbital_preiod'].quantile(0.25)
Q75 = df['orbital_preiod'].quantile(0.75)
IQR = Q75 - Q25
min = Q25 - IQR*1.5
max = Q75 +IQR*1.5

sum((df['age'] < min) | (df['age'] > max))

 

#결측값 탐색
#isna(), isnull() => 결측값 True로 반환
#notna(), notnull() => 결측값 False로 반환
df.isna()
df.isna().sum() #열의 합계
df.isna().sum(1) #행의 합계

#결측값 제거 df.dropna(axis=0) 0이면 행을 삭제 1이면 열을 삭제
df.dropna() #결측값이 포함된 모든 행을 삭제
df.dropna(thresh=4) #결측값이 아닌 값이 4개 이상인 행만 남기기

#결측값 대체
df.fillna(df.mean()) #평균값으로 채우기
df['a'].fillna(df['a'].mean())
df.fillna(method='pad') #직전값으로 대체 'backfill'은 다음값으로 대체

#중복행 삭제
df.drop_duplicates()

 

#이름과 나이와 등급을 출력하는데 나이를 5등급으로 나눠서 등급을 출력
emp20['순위'] = emp20['age'].rank(method='dense', ascending=False).astype(int)

cuts = 5
emp20['age_grade'] = pd.qcut( emp20.순위, q=cuts,  labels=range(1, cuts+1) )
df['age_grade'] = pd.qcut( df.순위, q=4, labels=[ 1, 2, 3, 4 ] )