[수리통계학] 30. 최대가능도 추정법

[Ref] 수리통계학 (송명주, 전명식)

안녕하세요, 이번 포스팅에서는 최대가능도 추정법 (Maximum likehood estimation) 에 대해서 배워보도록 하겠습니다.

이 때 가능도는 우도라고도 합니다. 제가 생각하기에 수리통계학에서 가장 중요한 파트가 어디라고 질문을 받는다면 저는 망설임이 1도없이 최대가능도 추정법이라고 말할것입니다. (그만큼 중요하단뜻!!)

우선 가능도에 대한 정의를 알아봅시다.

가능도는 '실제로 관측된' 자료가 얻어질 확률을 나타냅니다. 예를 들어, 동전던지기를 100번 하였는데, 앞면이 56번 나왔다고 가정해봅시다. 이 경우, 앞면이 나올 확률 p를 어느 정도라고 예측해야 가장 타당할까요??

p	likehood
0.48	0.022
0.50	0.039
0.52	0.059
0.54	0.074
0.56	0.08
0.58	0.074
0.60	0.058

가능도를 보시면 p=0.56일 때 최대가 됨으로써, '실제로 관측된' 자료가 관측될 확률이 제일 높아지는 것을 확인할 수 있습니다.

따라서 최대가능도 추정법이란 '실제로 관측된' 자료가 있을 때, 그 관측치가 나타날 확률이 가장 높아지는 모수를 추정하는 것 입니다.

​

다음으로 가능도 함수를 정의하도록 하겠습니다.

가능도 함수에 대한 정의에 따라 최대 가능도 추정량은 다음과 같이 정의됩니다.

참고로, 최대가능도 추정량을 계산하는 데 있어서 로그함수를 이용하게 됩니다. 로그함수는 단조 증가함수로 L(θ)를 최대로 만드는 θ는 Log(L(θ)) 또한 최대로 만들기 때문입니다. 이를 로그가능도함수라고 합니다.

​

마지막으로 최대가능도 추정량에 대한 매우 중요한 정리를 알아보겠습니다.

이 정리를 쉽게 설명하면 만약 θ의 최대가능도추정량 (MLE)이 X라고 할 때, f(θ)=3θ+2 의 최대가능도 추정량은 f(X)=3X+2가 됩니다.