회귀식과 회귀분석

회귀 용어의 어원은 유전학자 프랜시스 골턴(Francis Galton)으로 거슬러 올라갑니다. 골턴은 아버지와 아들의 키 관계를 조사했고, 그 결과 아버지의 키가 아무리 크다고 할지라도 아들의 키는 아들 세대의 평균으로 접근하는 경향이 있다는 것을 발견했습니다. 골턴은 이러한 현상을 ‘평균으로의 회귀(regression toward mean)’라고 했습니다.

즉, 회귀 법칙을 활용한다면 전체 평균값을 이용하여 누군가의 키를 예측할 수 있다는 것입니다(이때 단순히 키의 평균만으로 누군가의 키를 예측하는 것에는 한계가 있기 때문에 키에 영향을 주는 몸무게 등 다른 요인도 활용합니다).

따라서 회귀분석은 변수 간의 함수 관계를 분석하는 방법 중 하나로, 좀 더 수학적으로 표현한다면 독립변수와 종속변수 간의 1차 선형적 관계를 도출하여 독립변수가 종속변수에 미치는 영향 혹은 예측 정도를 분석하는 방법입니다.

회귀분석은 다음 특징이 있습니다.

◼︎ 회귀(regression): ‘평균으로의 회귀’를 의미하며, 두 변수 관계가 일반화된 선형 관계의 평균으로 돌아감을 의미합니다.

◼︎ 선형성(linearity): 두 변수 관계를 직선(1차 방정식: Y = aX + b) 하나의 형태로 설명할 수 있습니다.

그림 15-14 | 선형성