[머신러닝] 신경망에서의 Maximum Likelihood

안녕하세요. 이번 포스팅에서는 이전 포스팅에서 배운 Maximum Likelihood가 신경망에서 사용되는 것을 보이도록 하겠습니다.

우선, 신경망에 대해 복습을 위한 기존 포스팅의 링크를 달도록 하겠습니다.

2019/06/01 - [데이터 다루기/신경망] - [신경망] 5. 역전파 알고리즘 (Backpropogation)

 

신경망에서 역전파 알고리즘에 의해 MSE를 최소로 하는 방향으로 학습이 진행됩니다.

이 때, 가중치 W가 가설 h가 됩니다.

MSE를 최소로 하는 방법도 좋지만, MSE에는 단점이 하나 있었습니다.

바로 Gradient Vanishing 문제가 발생한다는 것이지요.

하지만 ML 방법을 사용한 가설 W를 정하는 방법은 이러한 문제를 해결할 수 있습니다.

지금부터 한 번 신경망의 W를 ML로 계산해보도록 하겠습니다.

제일 아래 나온 ML 값에 -를 붙이면 Min 으로 바뀌게 되고, 신경망에서 배우는 크로스 엔트로피가 나옵니다.