Post

최소제곱추정량의 불편추정량 유도

Posted Updated
By jeongho0715
3 min read
최소제곱추정량의 불편추정량 유도

정의

$Y$: 종속변수(Dependent Variable)
$X$: 독립변수(Independent Variable)
$\beta_0$: 절편(Intercept)
$\beta_1$: 계수(Coefficient)
$\varepsilon_i$: 오차(Error)
$S_{XX}$: $\sum^n_{i=1}(x_i-\bar{x})(x_i-\bar{x})$
$S_{YY}$: $\sum^n_{i=1}(y_i-\bar{y})(y_i-\bar{y})$
$S_{XY}$: $\sum^n_{i=1}(x_i-\bar{x})(y_i-\bar{y})$

기본 가정

  1. 선형성 가정: 변수 $X$와 $Y$ 사이에는 선형 관계가 존재한다.
  2. 오차의 정규성: 오차는 정규분포를 따른다.
  3. 오차의 평균: 오차의 평균은 0이다.
  4. 오차의 분산: 오차는 동일한 분산 $\sigma^2$를 갖는다.
  5. 오차의 독립성: 오차는 서로 독립적이다.
  6. 독립변수의 고정: 독립변수 $X$는 확률변수가 아닌 고정된 값이다.
  7. 독립변수의 오차: 독립변수는 오차 없이 측정된 것으로 가정한다.
  8. 동식변수의 다중공선성: 독립변수는 서로 선형종속이 아닌, 독립적이다. 다중공선성이 존재하지 않다.
  9. 종속변수의 신뢰성: 종속변수 $Y$는 동일하게 신뢰할 만하며, 결과 도출 과정에서 동등한 역할을 한다.

정규방정식

$\hat{\beta}_ 0=\bar{y}-\hat{\beta}_ 1\bar{x} \tag{1}$
$\hat{\beta}_ 1=\frac{S_ {XY}}{S_ {XX}} \tag{2}$

$\hat{\beta_1}$의 불편추정량 유도

$E(\hat{\beta_1})=E\left(\frac{S_{XY}}{S_{XX}}\right) \tag{3}$ $E\left(\frac{S_{XY}}{S_{XX}}\right)=E\left( \frac{\sum^n_{i=1}(x_i-\bar{x})(y_i-\bar{y})}{S_ {XX}} \right) \tag{4}$ 최소제곱추정량 추정의 (42)에 의해, $\because \sum^n_{i=1}(x_i-\bar{x})=0\tag{5}$ $E\left(\frac{\sum^n_{i=1}(x_i-\bar{x})(y_i-\bar{y})}{S_ {XX}}\right)=E\left(\frac{\sum^n_{i=1}(x_i-\bar{x})y_i-\sum^n_{i=1}(x_i-\bar{x})\bar{y}}{S_ {XX}}\right)\tag{6}$ (5)를 통해 (6)를 변형하면, $E\left(\frac{\sum^n_{i=1}(x_i-\bar{x})y_i-\sum^n_{i=1}(x_i-\bar{x})\bar{y}}{S_ {XX}}\right)=E\left(\frac{\sum^n_{i=1}(x_i-\bar{x})y_i}{S_ {XX}}\right)\tag{7}$

회귀 모형의 기본 가정에 의해, $X$는 확률변수가 아닌 고정된 관측값이기에

$E\left(\frac{\sum^n_{i=1}(x_i-\bar{x})}{S_ {XX}}\right)=\frac{\sum^n_{i=1}(x_i-\bar{x})}{S_ {XX}} \tag{8}$

$E\left(\frac{\sum^n_{i=1}(x_i-\bar{x})y_i}{S_ {XX}}\right)=\frac{\sum^n_{i=1}(x_i-\bar{x})}{S_ {XX}}E\left(y_i\right) \tag{9}$

단순선형회귀 모형 $y_i$는 다음과 같이 정의되고, $y_i=\beta_0+\beta_1x_i+\varepsilon_i\tag{10}$ $E(y_i)=E(\beta_0+\beta_1x_i+\varepsilon_i) \tag{11}$ $E(\beta_0+\beta_1x_i+\varepsilon_i)=E(\beta_0+\beta_1x_i)+E(\varepsilon_i) \tag{12}$

회귀 모형의 기본 가정에 의해, $E(\varepsilon_i)=0\tag{13}$ $\therefore E(y_i)=E(\beta_0+\beta_1x_i) \tag{14}$

$\frac{\sum^n_{i=1}(x_i-\bar{x})}{S_ {XX}}E\left(y_i\right)=\frac{\sum^n_{i=1}(x_i-\bar{x})}{S_ {XX}}E(\beta_0+\beta_1x_i)\tag{15}$ $\frac{\sum^n_{i=1}(x_i-\bar{x})}{\sum^n_{i=1}(x_i-\bar{x})^2}E(\beta_0+\beta_1x_i)=\frac{\sum^n_{i=1}(x_i-\bar{x})}{S_ {XX}}[E(\beta_0)+E(\beta_1x_i)]\tag{16}$

$\frac{\sum^n_{i=1}(x_i-\bar{x})}{S_ {XX}}[E(\beta_0)+E(\beta_1x_i)]=\frac{\sum^n_{i=1}(x_i-\bar{x})}{S_ {XX}}E(\beta_0)+\frac{\sum^n_{i=1}(x_i-\bar{x})}{S_ {XX}}E(\beta_1x_i) \tag{17}$ $\frac{\sum^n_{i=1}(x_i-\bar{x})}{S_ {XX}}E(\beta_0)+\frac{\sum^n_{i=1}(x_i-\bar{x})}{S_ {XX}}E(\beta_1x_i)=\beta_0\frac{\sum^n_{i=1}(x_i-\bar{x})}{S_ {XX}}+\beta_1\frac{\sum^n_{i=1}(x_i-\bar{x})}{S_ {XX}}x_i \tag{18}$

최소제곱추정량 추정의 (42)에 의해, $\beta_0\frac{\sum^n_{i=1}(x_i-\bar{x})}{S_ {XX}}=0\tag{19}$ $\beta_0\frac{\sum^n_{i=1}(x_i-\bar{x})}{S_ {XX}}+\beta_1\frac{\sum^n_{i=1}(x_i-\bar{x})}{S_ {XX}}x_i=\beta_1\frac{\sum^n_{i=1}(x_i-\bar{x})}{S_ {XX}}x_i \tag{20}$

최소제곱추정량 추정의 (43)에 의해, $\sum^n_{i=1}(x_i-\bar{x})x_i=\sum^n_{i=1}(x_i-\bar{x})^2\tag{21}$ $\beta_1\frac{\sum^n_{i=1}(x_i-\bar{x})}{S_ {XX}}x_i=\beta_1\frac{\sum^n_{i=1}(x_i-\bar{x})^2}{S_ {XX}} \tag{22}$

$\beta_1\frac{\sum^n_{i=1}(x_i-\bar{x})^2}{\sum^n_{i=1}(x_i-\bar{x})^2}=\beta_1\tag{23}$

$E(\hat{\beta_1})=\beta_1\tag{24}$ 따라서 $\hat{\beta_1}$는 $\beta_1$의 불편추정량

$\hat{\beta_0}$의 불편추정량 유도

$E(\hat{\beta}_ 0)=E(\bar{y}-\beta_ 1\bar{x}) \tag{25}$ $E(\bar{y}-\beta_ 1\bar{x})=E(\bar{y})-E(\beta_ 1\bar{x})\tag{26}$ $\bar{y}=\frac{1}{n}\sum^n_{i=1}y_i$이고, (24)에 의해 $E(\hat{\beta_1})=\beta_1$이므로,

$E(\bar{y})-E(\beta_ 1\bar{x})=\frac{1}{n}\sum^n_{i=1}E(y_i)-\beta_1\bar{x}\tag{27}$ 단순선형회귀 모형은 $y_i=\beta_0+\beta_1x_i+\varepsilon_i$이므로,

$\frac{1}{n}\sum^n_{i=1}E(y_i)-\beta_1\bar{x}=\frac{1}{n}\sum^n_{i=1}E(\beta_0+\beta_1x_i+\varepsilon_i)-\beta_1\bar{x}\tag{28}$

회귀 모형의 기본 가정 (13)에 의해,

$\frac{1}{n}\sum^n_{i=1}E(\beta_0+\beta_1x_i+\varepsilon_i)-\beta_1\bar{x}=\frac{1}{n}\sum^n_{i=1}\beta_0+\frac{1}{n}\sum^n_{i=1}\beta_1x_i-\beta_1\bar{x}\tag{29}$ $\frac{1}{n}\sum^n_{i=1}E(\beta_0+\beta_1x_i+\varepsilon_i)-\beta_1\bar{x}=\frac{1}{n}n\beta_0+\beta_1\bar{x}-\beta_1\bar{x}\tag{30}$ $\frac{1}{n}n\beta_0+\beta_1\bar{x}-\beta_1\bar{x}=\beta_0\tag{31}$ $E(\hat{\beta}_0)=\beta_0\tag{32}$

따라서 $\hat{\beta}_0$는 $\beta_0$의 불편추정량 ■

통계학, 회귀분석
statistics regression_analysis
This post is licensed under CC BY 4.0 by the author.