회귀분석(Regression Analysis)

지난 시간에 박스플롯을 이용해서 데이터의 분포를 시각화 해봤었는데요, 오늘은 회기분석의 정의에 대해서 설명해보도록 하겠습니다. 제 블로그는 단순한 설명에 그치지 않고 실제 구현까지 이어지기 때문에 실전에 응용하실 수 있도록 설명드립니다. 지난 번 박스플롯에 대한 설명과 구현하기를 못보신 분은 빠르게 읽고 오실게요!

2023.03.15 - [Technology/AI, ML, Data] - 박스플롯(Box plot) 데이터 분석

박스플롯(Box plot) 데이터 분석

2023.03.16 - [Technology/AI, ML, Data] - 박스플롯(Box plot) 파이썬으로 구현하기

박스플롯(Box plot) 파이썬으로 구현하기

회귀 분석 정의

회귀분석은 독립변수와 종속변수 간의 관계를 파악하는 통계학적 방법 중 하나입니다.

이 방법은 종속변수가 연속형 데이터일 때 가장 많이 사용되는데요.

회귀분석은 종속변수와 독립변수간의 함수관계를 모델링하고,

이를 기반으로 독립변수의 값을 알고 있을 때 종속변수의 값을 예측하는데 사용합니다.

회귀분석은 선형 회귀분석과 비선형 회귀분석으로 나뉘어집니다.

 

선형회귀분석은 독립변수와 종속변수 사이의 관계가 직선이라고 가정하고,

비선형회귀분석은 이러한 가정이 성립하지 않는 경우에 사용됩니다.

 

회귀계수

회귀분석에서는 독립변수와 종속변수 사이의 관계를 설명하기 위해 회귀계수(coefficient)를 사용합니다.

이 회귀계수는 독립변수가 종속변수에 미치는 영향력을 나타내며,

이를 통해 독립변수의 변화가 종속변수에 미치는 영향을 예측할 수 있습니다.

회귀분석에서는 독립변수와 종속변수 사이의 관계를 일차식으로 모델링하며,

회귀계수는 이 일차식의 기울기를 나타냅니다.

예를 들어, 단순선형회귀분석에서는 독립변수 X와 종속변수 Y의 관계를 Y = β0 + β1X로 나타냅니다.

이때 β1은 X가 Y에 미치는 영향력을 나타내며, 즉 회귀계수입니다.

β1 값이 양수인 경우 X가 증가함에 따라 Y도 증가하고, 음수인 경우 X가 증가함에 따라 Y는 감소합니다.

 

최소제곱법

최소제곱법(Least Squares Method)은 회귀분석에서 가장 일반적으로 사용되는 방법 중 하나입니다.

이 방법은 회귀직선과 각 데이터 사이의 수직선 거리의 제곱의 합이 최소가 되도록 회귀직선을 그리는 방법입니다.

이때, 수직선 거리는 종속변수 값과 회귀직선의 예측값의 차이를 의미합니다.

회귀분석에서의 목적은 종속변수와 독립변수 사이의 관계를 파악하고,

이를 기반으로 독립변수 값을 알고 있을 때 종속변수 값을 예측하는 것입니다.

최소제곱법은 이러한 목적을 달성하기 위해, 회귀직선과 각 데이터 사이의 수직선 거리를 최소화하여 최적의 회귀직선을 찾는 것입니다.

최소제곱법은 선형회귀분석에서 가장 일반적으로 사용되는 방법 중 하나이며, 이 방법을 사용하면 회귀분석의 결과를 쉽게 해석할 수 있습니다. 또한, 최소제곱법은 계산이 비교적 간단하고, 대부분의 통계소프트웨어에서 지원되는 방법입니다.

 

요약

• 결과의 수치와 요인의 수치를 해석해 양자 간의 관계를 명확히 하는 분석 기법
• 요인이 되는 수치는 '독립변수' 이고 결과가 되는 수치는 '종속변수'
  • '독립변수' 가 하나 있으면 단 회귀 분석이고, 여러개 있으면 중 회귀 분석
  • '종속변수' 가 0에서 1의 범위로 들어가는 것은 로지스틱 회귀 분석
• 회귀분석은 어떤 변수가 다른 변수의 동작에 영향을 줄 가능성이 있는 경우에 이용됨
  • 현상에 대한 예측, 시뮬레이션, 검증, 요인 분석은 효과가 있음, 예를 들어, 물가와 수요, 집의 넓이와 집세 등
• 관찰된 연속형 변수들에 대해 두 변수 사아의 모형을 구한 뒤 적합도를 측정해 내는 분석 방법
• 회귀분석은 시간에 따라 변화하는 데이터나 어떤 영향, 가설적 실험, 인과 관계와 모델링 등의 통계적 예측에 이용될 수 있음
• 회귀식

회귀분석 식

자, 여기까지 잘 따라오셨나요? 회귀분석의 기본적인 내용은 심플하지만, 그 안을 들여다 보면 조금 더 세분화해서 나오는데, 처음부터 하나의 방법을 파지말고, 우선 현재 데이터로 박스플롯으로 시각화 해봤던 것 처럼 회귀분석을 통해 다음시간에 실제 파이썬으로 회귀분석하여 시각화 해보도록 하겠습니다.