[ML1] 250112 회귀분석 기초 개념

본 게시글은 빅데이터분석학회 BDA 수업 내용을 바탕으로 작성되었습니다.

회귀분석의 정의

회귀분석: 종속변수, 독립변수가 있을 때 두 변수 사이에 존재하는 함수적 관계를 통계적 방법으로 찾는 것이 목표

단순선형회귀: 독립변수, 종속변수가 1개씩 존재할 때, 이 두 변수 사이의 선형관계가 존재하는지 확인
(선형관계가 아닌 관계에 대해서는 설명력이 낮음)

일반적인 선형회귀 모형
$y_i=\beta_0+\beta_1x_i+\varepsilon_i$

선형회귀 기본 가정

1. Linearnity: $x$와 $y$ 사이에 선형 관계가 존재해야 함

2. Independence: 오차항은 서로 독립이어야 함

3. Homoscedasticity: 모든 독립변수의 값에 대한 오차의 분산이 일정해야 함

4. Normality: 오차항은 정규분포를 따름

최소제곱법

오차가 최소화되는 회귀계수 $\beta_0, \beta_1$을 구하는 것이 목표

잔차$=y-\hat{y}$

SSE: 잔차의 제곱합
$SSE=\sum^n_{i=1}(y_i-\hat{y}_i)^2$

SSE가 최소화가 되기 위해서는 $\beta$에 대하여 미분해 0이 나오는 점을 찾아야 함