전체 글(79)
-
[Python]변수선택법 실습(2) - 전진선택법/후진소거법/단계적선택법/MAPE 모델 성능 평가 (변수선택법 실습(1)에 전처리과정 존재)
실습에 사용될 데이터 : Toyota Corolla Data (Toyota Corolla 모델 차 가격/기능 데이터) 회귀분석을 할 때 다중공선성이 발생하면, 데이터 분석의 신뢰성이나 예측 정확도를 떨어뜨린다. 이러한 문제를 하기 위한 방법 중 하나로 데이터 선정/전처리 과정에서 "변수선택"이 매우 중요하다. 변수 선택법(Variable Selection)은 1. 전진선택법(Forward Selection) 2. 후진소거법(Backward Elimination) 3. 단계적선택법(Stepwise Selection) 이 있다. 이 변수 선택법들을 알아가기 위해 Python을 통한 실습을 진행해보자. 이전 전치리과정과 모델 확인 과정은 이전게시물 : 변수선택법(1)에 존재한다. 학습이 목적이라면 보고 오는 ..
2020.06.19 -
[Python]변수선택법 실습(1) - 변수선택법 실습 이전단계, 불필요한 변수 제거 및 가변수 추가 ~ 다중공선성 확인작업 (변수선택법의 코드는 (2)에서)
실습에 사용될 데이터 : Toyota Corolla Data (Toyota Corolla 모델 차 가격/기능 데이터) - 이번 게시물은 변수 선택 전의 단계를 진행할 것이며, 다음 게시물에서 변수선택에 관해 논의하도록 하자 회귀분석을 할 때 다중공선성이 발생하면, 데이터 분석의 신뢰성이나 예측 정확도를 떨어뜨린다. 이러한 문제를 하기 위한 방법 중 하나로 데이터 선정/전처리 과정에서 "변수선택"이 매우 중요하다. 변수 선택법(Variable Selection)은 1. 전진선택법(Forward Selection) 2. 후진소거법(Backward Elimination) 3. 단계적선택법(Stepwise Selection) 이 있다. 이 변수 선택법들을 알아가기 위해 Python을 통한 실습을 진행해보자. 변..
2020.06.16 -
[Python]다중회귀분석 실습 - 모델해석과 다중공선성 확인하기
실습에 사용될 데이터 : 보스턴 주택 데이터 Target Data -1978 보스턴 주택 가격 -506개 타운의 주택 가격 중앙값 (단위 1,000 달러) Feature Data CRIM: 범죄율 INDUS: 비소매상업지역 면적 비율 NOX: 일산화질소 농도 RM: 주택당 방 수 LSTAT: 인구 중 하위 계층 비율 B: 인구 중 흑인 비율 PTRATIO: 학생/교사 비율 ZN: 25,000 평방피트를 초과 거주지역 비율 CHAS: 찰스강의 경계에 위치한 경우는 1, 아니면 0 AGE: 1940년 이전에 건축된 주택의 비율 RAD: 방사형 고속도로까지의 거리 DIS: 직업센터의 거리 TAX: 재산세율''' import pandas as pd import numpy as np import statsmode..
2020.06.13 -
[Python]다중회귀분석 실습 - 데이터 불러오기부터 회귀계수까지
실습에 사용될 데이터 : 보스턴 주택 데이터 Target Data -1978 보스턴 주택 가격 -506개 타운의 주택 가격 중앙값 (단위 1,000 달러) Feature Data CRIM: 범죄율 INDUS: 비소매상업지역 면적 비율 NOX: 일산화질소 농도 RM: 주택당 방 수 LSTAT: 인구 중 하위 계층 비율 B: 인구 중 흑인 비율 PTRATIO: 학생/교사 비율 ZN: 25,000 평방피트를 초과 거주지역 비율 CHAS: 찰스강의 경계에 위치한 경우는 1, 아니면 0 AGE: 1940년 이전에 건축된 주택의 비율 RAD: 방사형 고속도로까지의 거리 DIS: 직업센터의 거리 TAX: 재산세율''' import pandas as pd #DataFrame 활용 라이브럴 import numpy as ..
2020.06.13 -
[Python]단순선형회귀분석 실습 - 데이터 불러오기부터 회귀계수까지
실습에 사용될 데이터 : 보스턴 주택 데이터 Target Data -1978 보스턴 주택 가격 -506개 타운의 주택 가격 중앙값 (단위 1,000 달러) Feature Data CRIM: 범죄율 INDUS: 비소매상업지역 면적 비율 NOX: 일산화질소 농도 RM: 주택당 방 수 LSTAT: 인구 중 하위 계층 비율 B: 인구 중 흑인 비율 PTRATIO: 학생/교사 비율 ZN: 25,000 평방피트를 초과 거주지역 비율 CHAS: 찰스강의 경계에 위치한 경우는 1, 아니면 0 AGE: 1940년 이전에 건축된 주택의 비율 RAD: 방사형 고속도로까지의 거리 DIS: 직업센터의 거리 TAX: 재산세율''' import pandas as pd # Dataframe 활용 라이브러리 import numpy a..
2020.06.10 -
헷갈리는 통계기본 - 정확도, 정밀도, 재현율, 특이도, G-mean, F1 measure, ROC curve&AUC, Gain Chart & Lift curve 정리
추출한 훈련용 자료를 사용하여 분류 모형을 적합후 검증용 데이터를 사용하여 정확도를 평가할 때, 범주형 변수에 대해 사용되는 confusion matrix, ROC curve, gain chart, lift curve에 대해서 알아보자. 모델 성능 평가 방법 1. Confusion matrix(오분류표) 오분류표는 아래의 형태와 같다. TP(True Positive) : 실제값과 예측치 모두 True TN(True Negative) : 실제값과 예측치 모두 False FP(False Positive) : 실제값은 False, 예측은 True FN(False Negative) : 실제값은 True, 예측은 False 로 이루어진 표이다. 이 때 정분류율(accuracy) = TP + TN / TP + FN..
2020.06.09