코생코사

[Pandas] 데이터 병합하기 - merge

https://pandas.pydata.org/docs/reference/api/pandas.merge.html pandas.merge — pandas 2.2.3 documentationIf False, avoid copy if possible. Note The copy keyword will change behavior in pandas 3.0. Copy-on-Write will be enabled by default, which means that all methods with a copy keyword will use a lazy copy mechanism to defer the copy and ignore the copy keywpandas.pydata.org 1. concat: 단순 연결2. m..

[Pandas] 데이터 병합하기 - concat

참고https://pandas.pydata.org/docs/reference/api/pandas.concat.html pandas.concat — pandas 2.2.3 documentationIf True, do not use the index values along the concatenation axis. The resulting axis will be labeled 0, …, n - 1. This is useful if you are concatenating objects where the concatenation axis does not have meaningful indexing information. Note the indexpandas.pydata.org 1. concat: 단순 연결2. ..

2024.10.22 - [빅데이터 공부] - [Pandas] 데이터 변형하기 - groupby [Pandas] 데이터 변형하기 - groupby1. groupby()2. pd.pivot(), pd.pivot_table()3. stack(), unstack() 실습을 위한 라이브러리 임포트import numpy as npimport pandas as pdimport seaborn as sns 팁 데이터 사용tips = sns.load_dataset('tips') 데이터 살펴보기tips.head()tidogfoot1.tistory.com 2024.12.07 - [빅데이터 공부] - [Pandas] 데이터 변형하기 - pivot, pivot_table [Pandas] 데이터 변형하기 - pivot, pivot..

2024.10.22 - [빅데이터 공부] - [Pandas] 데이터 변형하기 - groupby [Pandas] 데이터 변형하기 - groupby1. groupby()2. pd.pivot(), pd.pivot_table()3. stack(), unstack() 실습을 위한 라이브러리 임포트import numpy as npimport pandas as pdimport seaborn as sns 팁 데이터 사용tips = sns.load_dataset('tips') 데이터 살펴보기tips.head()tidogfoot1.tistory.com 1. groupby()2. pd.pivot(), pd.pivot_table()3. stack(), unstack() 실습을 위한 라이브러리 임포트import numpy as..

1. groupby()2. pd.pivot(), pd.pivot_table()3. stack(), unstack() 실습을 위한 라이브러리 임포트import numpy as npimport pandas as pdimport seaborn as sns 팁 데이터 사용tips = sns.load_dataset('tips') 데이터 살펴보기tips.head()tips.info()groupby()컬럼 값이 같은 것끼리 그룹화한다 # 성별로 묶기group_sex = tips.groupby('sex')# 객체를 리턴group_sex  그룹의 속성이 보고 싶다면groups()group_sex.groups  groupby의 함수 활용- count: 데이터 수 - size: 집단 별 크기 - sum: 합 - mean: ..

필요 라이브러리 임포트import numpy as npimport pandas as pd  1. 데이터프레임 만들기: pd.DataFrame()pandas.DataFrame(data=None, index=None, columns=None, dtype=None, copy=None) 자주 사용하는 파라미터index: 인덱스명 지정columns: 컬럼명 지정 - 딕셔너리 사용key 값이 컬럼, value에 리스트 형태로 각 인덱스 값 넣기 pd.DataFrame({'a':[10,20], 'b':[20,40], 'c':[59,39]}) 인덱스명을 지정하고 싶을 때: index=[]pd.DataFrame({'a':[10,20], 'b':[20,40], 'c':[59,39]}, index=['s1', 's2']) ..

변수의 수 = 차원의 수차원이 높아지면 분석이 힘들어진다 차원의 수를 줄이기 위한 방법1. 차원 선택변수 간의 관계를 보고, 덜 중요하거나 불필요한 변수 제거(사용이 쉽지만 정보 손실 커짐)2. 차원 추출데이터를 잘 설명하는 새로운 변수를 만들어냄(해석이 힘듦)  PCA는 차원 추출의 한 가지 방법 PCA를 사용하여 고차원의 데이터를 저차원의 데이터로 바꾼다 PCA의 장점: 변수들의 정보를 최대한 보존하여 PCA를 진행한 데이터로 예측 모델을 만들 시, 더 일반화된 결과물을 얻을 수 있다.PCA의 단점: 여러 변수들의 영향을 받아 만들어진 것이기 때문에, 주성분이 무엇을 의미하는지 해석이 어렵다. 많은 비용과 시간pca 공부https://ddongwon.tistory.com/114 PCA (Princip..

https://deephive.tistory.com/25 빅데이터분석기사 실기 :: 신유형 작업형3 소개, 변경사항, 공부방법빅데이터분석기사 실기 관련 Kdata 데이터자격검정 사이트에 올라온 공지사항입니다.빅데이터분석기사 실기시험의 출제유형이 아래와 같이 변경됨을 안내합니다. 변경내용 : 기존 단답형 10문제deephive.tistory.com https://www.youtube.com/watch?v=37GqFZVjc1Y&t=11290s 1. 필요 라이브러리 임포트2. 가설설정3. 유의수준 확인4. 정규성 검정5. 검정실시(통계량, p-value)6. p-value와 유의수준 비교 후 귀무가설 기각 채택 결정 1. 필요 라이브러리 임포트import scipy.stats as stats 2. 가설설정귀무..

클러스터링 좀 더 의미있는 인사이트를 추출하기 위해 유사한 데이터들을 클러스터(집단)으로 묶어주는 것 비지도학습 중 하나(정답이 주어지지 않은 상태에서 스스로 찾아내는 것) 정답을 주지 않아도, 알아서 클러스터를 나눠준다 하지만 해당 클러스터가 무엇을 의미하는지는 분석해주지 않는다 -유사한 데이터는 같은 클러스터로 묶는다 -유사하지 않은 데이터는 다른 클러스터로 묶는다 유사의 기준 1. 거리 2. 계층 3. 밀도 4. 분포 1. 거리 기반 클러스터링(K-Means) k개의 중심점을 임의로 배치한 후 각 중심점과 가까이 있는 데이터들을 클러스터로 묶어주고, 중심점을 클러스터 내 데이터들의 중심으로 이동시킨다 -> 중심점 위치 갱신 안할 때까지 반복 필요 라이브러리 임포트 from sklearn.cluste..

빅데이터 분석 과정 1. 필요 패키지 임포트 2. 데이터 불러오기 3. 데이터 살펴보기 4. 데이터 전처리 5. 데이터 나누기 6. 데이터 분석 수행 7. 성능평가 및 시각화 1. 필요 패키지 임포트 import numpy as np import pandas as pd import sklearn 빅분기 실기에서는 그래프가 안되는 것으로 알고 있습니다(아닐지도..) 2. 데이터 불러오기 df = pd.read_csv("경로") 3. 데이터 살펴보기 데이터를 탐색한다. -데이터 프레임의 구성 df.head() -데이터 프레임 행, 열 수 df.shape -데이터 프레임 컬럼 당 null값, 타입 df.info() -데이터 프레임 기술 통계 #숫자형만 df.describe() #오브젝트형도 함께 df.desc..