회귀분석

단순회귀분석

산점도

두 변수 간의 관계를 점으로 표현한 그래프

• 의의
  • 변수들의 관계를 시각적으로 파악
  • 시각적으로 이상치, 데이터 분포를 확인
• 한계
  • 변수들 간 관계의 정량적 예측이 힘듬
  • 데이터의 잡음, 이상치가 미치는 영향을 자세히 파악하기 힘듬
  • 고차원 파악이 어려움
  • 어떤 패턴을 보여도 두 변수가 무슨 관계인지, 또 다른 요인이 숨겨져 있는지 알 수 없음
• 산점도는 변수간의 관계를 어림짐작하게 해주지만 회귀분석은 정량적 증거를 제공해준다

Info

• 설명변수: 원인 역할을 하는 입력값
• 반응변수: 결과 역할을 하는 출력값

단순회귀분석

하나의 설명변수($X$)가 하나의 반응변수($Y$)에 미치는 선형적 영향을 모델링하는 기법

단순선형회귀모형

표본 관측 데이터 $(X_1,Y_1),\dots ,(X_n,Y_n)$에서

$$Y_i={\beta }_0+{\beta }_1{X}_i+{ϵ}_i(1\le i\le n)$$

오차항 $ϵ$에 대한 네 가지 가정

1. $E[{ϵ}_i]=0$ (기댓값 0: 예측값이 과대/과소로 치우치지 않기 위해)
2. $\text{var}({ϵ}_i)={\sigma }^2$ (등분산성: 예측의 불확실성이 일정하도록)
3. $\text{cov}({ϵ}_i,{ϵ}_j)=0$ (독립성: 한 관측 오차가 다른 관측 오차에 영향을 안 줌)
4. ${ϵ}_i\sim N(0,{\sigma }^2)$ (정규성: 회귀 계수 추정 및 검정을 수학적으로 간편화하기 위해)

${\beta }_0$, ${\beta }_1$에 대한 의의

• ${\beta }_0$(절편), ${\beta }_1$(기울기)은 회귀모수라고 부름
• $Y_i={\beta }_0+{\beta }_1{X}_i+{ϵ}_i$의 양변에 $E[]$를 씌우면

$$\begin{array}{rl}E[Y_i]& =E[{\beta }_0+{\beta }_1{X}_i]+E[{ϵ}_i]\\ & ={\beta }_0+{\beta }_1{X}_i\end{array}$$

• ${\beta }_0$: $X_i=0$일 때 $Y_i$의 평균값
• ${\beta }_1$: $X_i$가 한 단위 증가할 때 $Y_i$가 평균적으로 변하는 양

단순선형회귀의 행렬표현

$$Y=\left(\begin{array}{c}{Y}_1\\ \cdots \\ Y_n\end{array}\right),X=\left(\begin{array}{cc}1& X_1\\ \cdots & \cdots \\ 1& X_n\end{array}\right),\beta =\left(\begin{array}{c}{\beta }_0\\ {\beta }_1\end{array}\right),ϵ=\left(\begin{array}{c}{ϵ}_1\\ \cdots \\ {ϵ}_n\end{array}\right)$$

이때, 단순선형회귀모형은 다음과 같이 표현됨

$$\underset{\text{반응변수벡터}}{Y}=\underset{\text{디자인행렬}}{X}\underset{\text{회귀모수벡터}}{\beta }+\underset{\text{오차벡터}}{ϵ}$$

회귀분석단계

1. 산점도: 산점도를 그려서 변수들의 관계를 시각적으로 예측
2. 회귀모형 설정 및 모수 추정: 최소제곱법 등등을 이용해서 회귀계수들을 추정
3. 회귀계수의 유의성 검정: 각회귀계수의 유의성을 검정
4. 모형적합도 검정: 결정계수, 평균제곱 오차 등등을 이용해서 모형의 적합도를 판정
5. 모형 해석, 추정: 신뢰구간, 예측구간 조사
6. 모형진단, 모형가정: 등분산성, 독립성, 정규성, 기댓값이 0이 충족됐는지 조사

최소제곱해

연립방정식 $Ax=b$($A$는 $m\times n$, $x$는 $n\times 1$, $b$는 $m\times 1$ 행렬)의 해가 존재하지 않을 때의 근사해 $x$를 최소제곱해를 통해 구할 수 있음

• 최소제곱해: $\Vert Ax-b{\Vert }^2$가 최소가 되게 만드는 $x$

$$A^{T}Ax=A^{T}b$$

• 최소제곱해는 적어도 하나 존재(1개 또는 $\infty$개)

EXAMPLE

• 해가 없는 다음 연립방정식의 최소제곱해는?

$$\{\begin{array}{l}{x}_1-3x_2=1\\ 2x_1+6x_2=3\\ 7x_1-3x_2=2\\ 3x_1+4x_2=1\end{array}$$ $$\left(\begin{array}{cc}1& -3\\ 2& 6\\ 7& -3\\ 3& 4\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)=\left(\begin{array}{c}1\\ 3\\ 2\\ 1\end{array}\right)$$ $$\begin{array}{rl}{A}^{T}Ax& =\left(\begin{array}{cccc}1& 2& 7& 3\\ -3& 6& -3& 4\end{array}\right)\left(\begin{array}{cc}1& -3\\ 2& 6\\ 7& -3\\ 3& 4\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)\\ & =\left(\begin{array}{cc}63& 0\\ 0& 70\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)\\ & =\left(\begin{array}{c}63x_1\\ 70x_2\end{array}\right)\end{array}$$ $$A^{T}b=\left(\begin{array}{cccc}1& 2& 7& 3\\ -3& 6& -3& 4\end{array}\right)\left(\begin{array}{c}1\\ 3\\ 2\\ 1\end{array}\right)=\left(\begin{array}{c}24\\ 13\end{array}\right)$$ $$\therefore x_1=\frac{24}{63}=\frac{8}{21},x_2=\frac{13}{70}$$

최소제곱추정량

표본데이터로부터 회귀모수 ${\beta }_0$, ${\beta }_1$을 추정하는 좋은 방법은 최소제곱해를 이용해서 오차제곱합을 최소화하는 것이다
즉, $Y_i={\beta }_0+{\beta }_1{X}_i+{ϵ}_i\iff {ϵ}_i=Y_i-({\beta }_0+{\beta }_1{X}_i)$로부터

$$\sum _{i=1}^n{ϵ}_i^2=\sum _{i=1}^n(Y_i-({\beta }_0+{\beta }_1{X}_i){)}^2$$

위 오차제곱합을 최소화하는 ${\beta }_0=\widehat{{\beta }_0}$, ${\beta }_1=\widehat{{\beta }_1}$을 최소제곱추정량이라고 함

단순회귀모형

$$Y_i={\beta }_0+{\beta }_1{X}_i+{ϵ}_i(1\le i\le n)$$

이때

$$\begin{array}{rl}\widehat{{\beta }_0}& =\bar{Y}-\widehat{{\beta }_1}\bar{X}(\bar{X}=\frac{X_1+\cdots +X_n}{n},\bar{Y}=\frac{Y_1+\cdots +Y_n}{n})\\ \widehat{{\beta }_1}& =\frac{\sum _{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})}{\sum _{i=1}^n(X_i-\bar{X}{)}^2}\end{array}$$

$\hat{Y}=\widehat{{\beta }_0}+\widehat{{\beta }_1}X$를 추정된 회귀직선이라고 부름

• 증명

$$Y=\left(\begin{array}{c}{Y}_1\\ ⋮\\ Y_n\end{array}\right),X=\left(\begin{array}{cc}1& X_1\\ ⋮& ⋮\\ 1& X_n\end{array}\right),\beta =\left(\begin{array}{c}{\beta }_0\\ {\beta }_1\end{array}\right),ϵ=\left(\begin{array}{c}{ϵ}_1\\ ⋮\\ {ϵ}_n\end{array}\right)$$

이 때 단순회귀모형은 $Y=X\beta +ϵ$로 표현됨
$ϵ=Y-X\beta$에서 $\Vert ϵ{\Vert }^2=\Vert Y-X\beta {\Vert }^2$를 최소화하는 $\hat{\beta }$를 찾자 → 최소제곱해를 적용
$\therefore X^{T}X\hat{\beta }=X^{T}Y$ (항삭 가역은 아니지만 가역이라고 가정함)
$\therefore (X^{T}X{)}^{-1}\cdot X^{T}X\hat{\beta }=(X^{T}X{)}^{-1}\cdot X^{T}Y$
$\therefore \hat{\beta }=I_2\cdot \hat{\beta }=(X^{T}X{)}^{-1}\cdot X^{T}Y$

EXAMPLE

$$\{\begin{array}{l}(x_1,y_1)=(1,2)\\ (x_2,y_2)=(2,3)\\ (x_3,y_3)=(3,5)\\ (x_4,y_4)=(4,4)\end{array}$$

• 위와 같이 4개의 표본이 있을 때의 추정된 회귀직선 $\hat{Y}=\widehat{{\beta }_0}+\widehat{{\beta }_1}x$을 구하라

$$\begin{array}{r}\bar{X}=\frac{1+2+3+4}{4}=2.5\\ \bar{Y}=\frac{2+3+5+4}{4}=3.5\end{array}$$ $$\widehat{{\beta }_0}=\bar{Y}-\widehat{{\beta }_1}\bar{X},\widehat{{\beta }_1}=\frac{\sum _{i=1}^4(X_i-\bar{X})(Y_i-\bar{Y})}{\sum _{i=1}^4(X_i-\bar{X}{)}^2}$$ $$\therefore \sum _{i=1}^4(X_i-\bar{X})(Y_i-\bar{Y})=4,\sum _{i=1}^4(X_i-\bar{X}{)}^2=5$$ $$\therefore \widehat{{\beta }_0}=3.5-0.8\cdot 2.5=1.5,\widehat{{\beta }_1}=\frac{4}{5}=0.8$$

그러므로 추정된 회귀직선 $\hat{Y}=1.5+0.8x$