[머신러닝] Kernel Trick for Linear Regression

안녕하세요. 이번 포스팅부터는 당분간 Kernel Trick에 대해서 배워볼려고 합니다.

​

Kernel Trick은 머신러닝을 공부할 때, 굉장히 유용하게 사용됩니다.

따라서, 이 부분을 완벽하게 해 놓으면 실력있는 데이터 사이언티스트가 될 수 있을거에요.

​

Kernel Trick이 활용 되는 예를 보여드리겠습니다.

아래와 같은 데이터를 빨간색과 파란색을 서로 분류하려고 합니다.

선형으로 이를 분류할 수 있을까요?

절대로 하나의 직선으로는 이를 분류할 수 없습니다. (2개가 필요하겠네요 이 경우는)

하지만 Kernel Trick을 사용해서 이 데이터를 2차원으로 바꿀 수 있습니다.

이 처럼 2차곡선으로 바꿔주면, 직선 한 개에 의해서 완벽하게 분류가 됩니다.

생각해보면 정말 단순한 방법일 수 있습니다.

하지만, 데이터의 개수와 차원이 커질 수록 이러한 Kernel Trick 굉장히 복잡해집니다.

​

본격적으로, Kernel Trick for Linear Regression 에 들어가기에 앞서 일반적인 Linear Regression을 복습해보겠습니다.

일반적인 Linear Regression의 단점으로 XTX가 역행렬이 존재하지 않는 경우, 계산이 불가능하다는 것입니다.

따라서, 이를 해결하기 위한 Ridge Regression이 있었습니다.

​

Ridge Regression을 복습해보죠.

같은 방법으로 해를 얻을 수 있습니다.

​

그런데 이 때, x가 Kernel Trick으로 매핑된 값으로 바뀌면 어떻게 될까요?

여기서 주목하셔야 될 부분이 K입니다.

위 내용이 굉장히 중요합니다.

매핑 함수를 알 필요없이, 커널 함수만 알면 된다는 것입니다.

커널함수로 많이쓰이는 것이 3가지가 있습니다.

이 중에서 가장많이 사용되는 것이 Gaussian (Radial basis) function 입니다.