통계분석법_회귀분석

단순 선형 회귀분석

1.1 개요

회귀 분석(Regression Analysis)은 자료에 포함된 한 변수와 또다른 하나 이상의 변수들 간의 연관 관계를 적절한 함수식을 표현하여 자료 분석을 간편하게 하는 통계 기법이다.
회귀 현상은 1886년 골튼(Francis Galton)에 의하여 최초로 관측되었다. 그는 동일 종자의 완두콩이지만 크기가 다른 씨앗들의 생산에 관한 연구를 하던 중, 제1 대의 크기가 크면, 제 2대의 씨앗은 크기가 대체로 작아지고, 또 반대로 제 1대의 크기가 작으면 제2 대의 씨앗은 크기가 커지는 현상을 발견하고, 이현상을 평범쪽으로 회귀(Regression Toward Mediocrity)한다고 기술하였다. 그리고, 후에 이 말을 수정하여 평범대신 평균쪽으로 회귀(Regression Toward Mean)한다고 바꾸어 말했다.덧붙여, 이러한 자식 대의 회귀 현상은 부모 대에서의 평균에 대한 편차값에 비례함을 발견하였다. 이 사실을 수학적으로 표현하면 다음과 같이 쓸수 있다. X를 부모 대의 완두콩의 크기라 하고, Y를 자식 대의 완두콩의 크기라 하자. 를 X의 평균이라 하면, X가 주어졌을 때의 Y의 조건부 기댓값은 에 비례한다는 것이다. 즉,

에서 c는 적당한 상수이다. 위 식은 학부 수준의 수리통계학 교재의 이변량정규분포(Bivariate Normal Distribution)에 관한 해설에서 나오니 참고하면 되겠다. 그리고, 바로 이 관계가 변수가 단지 두개 있는 경우의 회귀 분석인 단순 선형 회귀분석(Simple Linear Regression Analysis)의 이론적 기초가 되는 것이다.
미지의 것을 예측하고자 할 때는 이와 관련된 축적된 경험 또는 지식이나, 실험이나 표본조사로 얻은 데이터를 활용하게 된다. 예측이 어려운 것은 예측하고자 하는 변수(확률변수)가 분산을 갖고 있기 때문이다.
직선을 회귀모형으로 사용하는 선형회귀모형을 선호하는 데에는 몇 가지 이유가 있다.
....

[hwp/pdf]통계분석법_회귀분석