[머신러닝] Logistic Regression
안녕하세요, 이번 포스팅에서는 Logistic Regression에 대해서 배워보도록 하겠습니다. 일반적으로, 저희가 배운 선형회귀분석, Ridge, Lasso Regression 은 종속 변수 Y가 연속형일 때 사용되었습니다. 그렇다면, 분류 문제에 대해서 회귀분석을 사용할 수 있을까요?? 이처럼 선형 회귀 모형을 범주형 종속 변수를 가지는 분류 문제에 사용하기 위해 나온 모델이 로지스틱 회귀 모형입니다. 회귀 모형의 출력값은 연속형 변수인것은 변함이 없습니다. 그렇기 때문에, 로지스틱 회귀 모형은 확률을 예측합니다. 예를 들어서, 성공 (1), 실패 (0)을 예측한다고 가정을 할 때, X=x 의 값을 가질 때, 실제로 성공이 될 확률을 예측하는 것입니다. 만약 성공일 확률이 0.5보다 높다고 한다..
[머신러닝] 선형 회귀 분석 (1)
안녕하세요, 이번 시간부터는 선형 회귀 분석에 대해서 알아보도록 하겠습니다. 일반적으로 회귀 분석은 독립 변수 x = (x1, x2, ···, xp)가 주어질 때, 종속 변수 y의 조건부 기댓값 (E(yⅠx))를 추정하는 것을 말합니다. 즉, 쉽게 말해서 데이터 x가 주어질 때, 가질 수 있는 y값의 기댓값을 추정한다는 것입니다. 따라서, 회귀 모형의 추정식은 다음과 같습니다. 회귀 모형을 추정할 때에, 데이터의 개수 n이 p보다 작은 경우, 굉장히 많은 solution이 존재하기 때문에, β가 불안정하게 됩니다. n=p 인 경우, 만약 x들이 서로 선형 독립이라면, y = f(x,β)가 완벽하게 풀리게 되며 유일한 solution을 얻을 수 있습니다. 가장 흔한 경우인 n>p인 경우에는 정확한 solu..
