[머신러닝] Gaussian Process Regression

안녕하세요. 이번 포스팅에서는 Gaussian Process Regression에 대해서 배워보도록 하겠습니다.

우선, Gaussian Process는 분포위의 함수라고 할 수 있습니다.

따라서 Gaussian Process또한 분포의 형태를 가집니다.

이 때, 중요한 것은 k(x1,x2)를 어떻게 정의하는 가 입니다.

GPR은 정규분포를 따르는 두 개 x의 Covariance를 가까울수록 크게 만듭니다.

이 때, k(x1,x2)는 아래와 같이 정의되는데 이를 Squared exponential (SE) kernel이라 부릅니다.

이 때, 시그마 제곱과 l 값은 하이퍼파라미터입니다.

시그마 제곱이 크거나, l이 작아지면, K값이 커지기 때문에, 예측의 분산이 커집니다.

그 이유는 지금부터 살펴보겠습니다.

​

기존의 데이터 X와 그 X에 대한 f 값, 그리고 새로운 데이터 x* 가 주어질때, f(x*)를 구해야 합니다.

이는 이전 사전지식 포스팅에서 배웠던 사전 분포를 가져오면 구할 수 있습니다.

이처럼 K의 값의 커지면 분산이 커지게 됩니다.

이 정규분포를 따르도록, 신뢰구간을 정해서 예측되는 것이 GPR입니다.