지도학습(Supervised Learning)
 회귀분석(Regression Analysis) - 인과 관계: 여러 자료들 간의 관계성을 수학적으로 추정, 설명한다. 흔히들 통계학의 꽃이라고 합니다. 독립변인이 종속변인에 영향을 미치는지 알아보고자 할 때 실시하는 분석 방법입니다. 선형 회귀법, 로지스틱 회귀법이 대표적이며, 로지스틱 회귀법을 앙상블했다는 관점으로 보면 인공신경망도 여기에 해당한다고 합니다. 선형 회귀법은 지도학습의 회귀문제를 푸는 데에 쓰이고(새로운 값의 예측), 로지스틱 회귀법과 인공신경망은 지도학습의 분류문제를 푸는데에 주로 사용합니다. - 결과값을 알려주고, 가설을 일차 함수로 정의한 것으로 데이터(독립변수)를 넣어서 분석 시킴 ex) y = ax + b / x( 독립 변수 : 영향을 주는 변수) , y ( 종속 변수 : 영향을 받는 변수 ) - 원인을 일으키는 x변수와 결과를 보여주는 y 변수의 관계 - 모든 데이터들은 선형성을 띈다. y = ax + b : 입력받은 x와 y 값을 가지고 오차를 최소화하는 a와 b의 값 찾는 과정 회귀분석의 역사 - 평균으로의 회귀 더보기 회귀분석(regression analysis)은 생물학자 프랜시스 골턴(Francis Galton)이 '평균으로의 회귀'(regression to the mean / regression towards mediocrity) 현상을 증명하기 위해 만든 것으로 알려져 있다. '평균으로의 회귀'는 부모와 아이의 키를 측정했을 때 쉽게 상상할 수 없는 극단적인 값이 되어도, 그 다음에 새로 측정을 했을 때에는 평균에 더 가까워지는 (평균으로 회귀하는) 경향성을 보고 골턴이 일반화하기 위해서 쓴 용어다. 골턴은 부모와 그 자식의 키에 대한 자료를 만들어 205명의 부모와 그들의 자식 930명의 키에 대한 자료를 분석하여 회귀계수가 2/3임을 밝혔다. 가우스의 최소제곱법을 쓰지 않고 타원으로 적합시켜 회귀계수가 2/3임을 찾아낸 것이 특이하다. 즉, 키는 유전적인 요소가 강력하게 작용한다는 것을 밝힌 것이다. 골턴은 산점도에 최초로 선형식을 표현하여 오늘날의 회귀분석을 성립하는 데 지대한 공을 세웠다. 현대에 와서는 회귀(regress), 즉 평균으로 돌아간다는 의미는 거의 사라졌다. 요즘에는 독립변수와 종속변수를 설정 [1]하고 이들의 관계를 통계적으로 살펴보는 대부분의 방법론을 다 회귀분석이라고 부르기도 한다. 시계열 데이터를 사용하면 시계열 회귀분석이고 패널 자료를 사용하면 패널 회귀 분석인 식이다. 회귀 분석 - 나무위키 이 저작물은 CC BY-NC-SA 2.0 KR에 따라 이용할 수 있습니다. (단, 라이선스가 명시된 일부 문서 및 삽화 제외) 기여하신 문서의 저작권은 각 기여자에게 있으며, 각 기여자는 기여하신 부분의 저작권� namu.wiki 특징) - 변수들 사이의 인과관계를 규명하고자 하는 분석방법이기 때문에 변수의 역할설정이 중요합니다. (주의) 신문을 보는 시간이 TV를 시청하는 시간에 어떤 영향을 미치는가?’라는 물음에서 ‘신문을 보는 시간’은 원인변수에 해당하고 ‘TV를 시청하는 시간’은 결과변수입니다. 이를 뒤바꾸어 ‘TV를 시청하는 시간’을 원인변수 로 하고 ‘신문을 보는 시간’을 결과변수로 한다면 원래 의도했던 연구목적에 위배되는 것입니다. 특정
변수(독립변수)가 다른 변수(종속변수)에 어떠한 영향을 미치는가 (인과관계 분석)
인과관계(因果關係) : 변수A가 변수B의 값이 변하는 원인이 되는 관계(변수A : 독립변수, 변수B : 종속변수) - 회귀 방정식(Y=a+βX → Y:종속변수, a:상수, β:회귀계수, X:독립변수)을 도출하여 회귀선 추정 선형 회귀 방정식(1차 함수) : 회귀선 추정 회귀계수(β) : 단위시간에 따라 변하는 양(기울기)이며, 회귀선을 추정함에 있어 최소자승법 이용 Y= a + b*X (Y : 종속변수, a : 절편, b : 기울기, X : 독립변수) 회귀방정식에 의해서 x가 10일 때 y는 20 예측 -> 회귀분석은 수치 예측 - 최소자승법 적용 회귀선 : 회귀방정식에 의해서 그려진 y의 추세선, 산포도 각 점의 위치를 기준으로 정중앙 통과하는 회귀선 추정 방법 - 산포도에 위치한 각 점에서 회귀선에 수직으로 이르는 값의 제곱의 합 최소가 되는 선(정중앙을 통과하는 직선)을 최적의 회귀선으로 추정 - 독립변수와 종속변수가 모두 등간척도 또는 비율척도 구성 - 상관 관계 분석 : 변수 간의 관련성 분석 - 회귀 분석 : 변수 간의 인과관계 분석 - 회귀분석의 기본 가정 충족 ① 선형성 : 독립변수와 종속변수가 선형적 이어야한다. (회귀선 확인)
정규분포를 이루어야한다. (정규성 검정 확인)
않아야 한다.(분산팽창요인(VIF) 확인) - 입력으로 사용되어지는 독립변수의 독립성이 상호의존성이 높을 때 회기 분석의 결과를 신뢰할 수 없는 피드백이 나온다. 회귀모형의 형태 1) 단순(단일) 회귀 분석(Simple Regression Analysis) : 하나의 종속변수에 대해 독립변수가 하나인 경우 2) 다중 회귀 분석(Multiple Regression Analysis) : 하나의 종속변수에 대해 독립변수가 둘 이상인 경우 3) 로지스틱 회귀분석(Logistic Regression) : 분류 분석, 독립변수 -> 종속변수(분류) 회귀분석을 통해 알 수 있는 것 1) 종속변수와 독립변수 간에 선형관계가 존재하는지 알 수 있습니다. 2) 종속변수에 영향을 미치는 독립변수가 유의 한지와 영향력의 정도를 알 수 있습니다. 3) 추정된 회귀모형을 통해 종속변수의 예측치를 알 수 있습니다. *경사하강법 : 실체 관찰치 값과 예측 값 사이의 값의 오차 = (관측치 - 예측값 = 잔차(제곱하여 음수 제거)) , 그 값의 최소의 값을 찾는 것 = 경사하강법(2차 함수 형태 = 최소값 기울기 0일 때) ① 단순(단일) 회귀 분석(Simple Regression Analysis) – 독립변수와 종속변수 각각 1개 < 연구 가설 > - 연구가설(H1) : 음료수 제품의 당도와 가격수준을 결정하는 제품 적절성(독립변수)은 제품 만족도(종속변수)에 정(正)의 영향을 미친다. - 귀무가설(H0) : 음료수 제품의 당도와 가격수준을 결정하는 제품 적절성은 제품의 만족도에 영향을 미치지 않는다. 연구모델 : 제품 적절성(독립변수) -> 제품 만족도(종속변수) 위의 데이터를 통해서 살펴보도록 하겠습니다. - 데이터 전처리 (data.frame 데이터 생성) - 회귀모델 생성 lm : 회귀 모델 생성 ( * 알고리즘 관련 함수 저장 pakage = stats ) 오차가 최소가 되어지는 값을 lm 을 통해서 출력준 값입니다. - 오차를 최소화 해주는 기울기 : 0.7393 , 절편 : 0.7789 결과 : y = 0.7393x + 0.7789 - 모델의 적합값과 잔차 보기 - 선형회귀분석 모델 시각화[오류 확인] ① x, y 산점도 그리기 ② 회귀분석 + 회귀선 - 선형회귀 분석 결과 보기 <회귀분석 결과 해석> 결정계수(Coefficients) : R-squared -> 0 ~ 1 사이의 값을 갖는다. 최종 결론 : 제품 적절성은 제품 만족도에 정(正)의 영향을 미친다. ② 다중 회귀 분석(Multiple Regression Analysis): 여러 개 독립변수가 1개의 종속변수에 미치는 영향 분석 < 연구 가설 > 연구가설1(H1) : 음료수 제품의 적절성(독립변수1)은 제품 만족도(종속변수)에 정(正)의 영향을 미친다. 연구가설2(H1) : 음료수 제품의 친밀도(독립변수2)는 제품 만족도(종속변수)에 정(正)의 영향을 미친다. 연구모델 : 제품 적절성(x1), 제품 친밀도(x2) -> 제품 만족도(y) 위의 데이터를 활용하여 살펴보도록 하겠습니다. - 데이터 전처리 ( 적절성 + 친밀도 -> 만족도 ) (잔차가 최저가 되는 기울기)결과 : y = 0.09593 * x1 + 0.68522 * x2 + 0.66731; ( y = ax1 +bx2 +c ) - 다중공선성 문제 체크 (입력으로 사용되어지는 독립변수의 독립성이 상호의존성이 높을 때 회기 분석의 결과를 신뢰할 수 없는 피드백이 나온다. ) vif (car 패키지에서 제공하는 함수) : 입력으로 전달된 데이터 셋의 다중공선성의 문제가 발생하는지 발생하지 않는지 결과를 체크 할 수 있도록 합니다. vif < 10미만은 독립적인 관계를 가지고 간다. ( 1.331929 , 1.331929 < 10 ) - 다중회귀 분석 결과 보기 t=15.684, p < 2e-16으로 유의수준 하에서 연구가설1이 채택되었으며, 제품 친밀도가 제품 만족도에 미치는 영향은 t=2.478, p=0.0138로 유의수준하에서 연구가설2가 채택되었습니다. Multiple R-squared: 0.5975: 독립변수에 의해서 종속변수가 얼마만큼 설명되었는가? 설명력 -> 상관(결정)계수 : 59.7% 설명력, 1에 가까울 수록 설명변수(독립변수)가 설명을 잘한다고 판단할 수 있습니다. 최종 결과 : 유의수준 0.05에서 연구가설이 채택되었다. 따라서 제품 적절성과 제품 친밀도가 높을 수록 제품 만족도가 높아지는 경향을 보이고 있다. - 다중공선성 문제 해결과 모델 성능평가iris 데이터를 사용하여 살펴보겠습니다. 더보기 iris Sepal.Length(꽃받침 길이) Sepal.Width(꽃바침 너비) Petal.Length(꽃잎 길이) Petal.Wodth(꽃잎 너비) Species(꽃의 종류) : 3가지 종류별 50개(전체 150개 관측치) 실습 ① 다중공선성 문제 확인 - iris 데이터 셋으로 다중회귀분석 - iris 변수 간의 상관계수 구하기 x변수들끼리 계수값이 높을 수도 있다. -> 해당 변수 제거(모형 수정) <- Petal.width 실습 ② 데이터 셋 생성과 회귀모델 생성 - 학습데이터와 검정데이터 분류 - 변수 제거 및 다중회귀분석 - Petal.width 변수를 제거한 후 회귀 분석 ( 학습데이터 이용 모델 생성 ) - 회귀방정식 도출 - 예측치 생성 - predict()함수 - 회귀모델 평가 ③ 로지스틱 회귀분석(Logistic Regression) - 분류 분석목적 : 일반 회귀분석과 동일하게 종속변수와 독립변수 간의 관계를 나타내어 향후 예측 모델을 생성하는데 있습니다. 차이점 : 종속변수가 범주형 데이터를 대상으로 하며 입력 데이터가 주어졌을 때 해당 데이터의 결과가 특정 분류로 나눠지기 때문에 분류분석 방법으로 분류됩니다. (종속변수(y)를 범주군으로 분류군으로 결과가 피드백 되어지는 분석법) 유형 : 이항형(종속변수가 2개 범주-Yes/No), 다항형(종속변수가 3개 이상 범주-iris 꽃 종류) 다항형 로지스틱 회귀분석 : nnet, rpart 패키지 이용 분야 : 의료, 통신, 기타 데이터마이닝 - 결과는 0이 아니면 1의 값으로, 두가지 분류군으로 구분지어서 어느 영역에 해당되는지 출력합니다. 선형회귀분석 vs 로지스틱 회귀분석 위의 데이터를 활용하여 살펴보도록 하겠습니다. - 데이터 확인 - 데이터 전처리 - 로지스틱 회귀분석(Logistic Regression) -> 7:3 비율 - 로지스틱 회귀모델 생성 : 학습데이터 - 로지스틱 회귀모델 예측치 생성 newdata=test : 새로운 데이터 셋, type="response" : 0~1 확률값으로 예측 - 예측치 : 0과 1로 변환(0.5) - 모델 평가 : 분류정확도 - ROC(Receiver Operating Characteristic) Curve를 이용한 모델 평가 - ROCR 패키지 제공 함수 : prediction() -> performance |
로지스틱 회귀분석 다중 공선 성 R - lojiseutig hoegwibunseog dajung gongseon seong R
저작권 © 2024 ko.paraquee Inc.
