[수리통계학] 33. 최소분산 비편향추정량 (MVUE)

[Ref] 수리통계학 (송명주, 전명식)

이번 포스팅에서는 수리통계학에서 제일 어렵기도 하면서도, 시험에 가장 많이 출제되는 부분을 배우도록 하겠습니다.

​

지난 포스팅에서 좋은 추정량의 조건 2가지에 대해서 배웠었는데 기억하시나요?

첫번째는 바로 편향이 0인 비편향 추정량이고, 두번째는 추정량의 분산이 작을수록 더 좋았습니다.

이 두가지를 가장 최선으로 만족하는 추정량이, 최고의 추정량이라 말할 수 있겠죠?

​

그러한 추정량이 바로 오늘 배울 최소분산 비편향추정량 (Minimum Variance Unbiased Estimator), MVUE 입니다.

우선 정의부터 살펴보고 가실까요?

2번째 조건이 살짝 헤깔릴수도 있는데, 쉽게 말해서 최소분산을 가진다는 의미입니다.

​

최소분산 비편향추정량이 가장 좋은 추정량인것은 이제 알았으니, 더 중요한 것은 어떻게 찾느냐는 것이겠지요??

​

최소분산 비편향추정량을 찾는 방법에는 크게 2가지가 있습니다.

첫번째는 비편향추정량 T(X)의 분산이 적절한 조건하에서 비편향추정량이 가질 수 있는 분산의 하한값인 '크래머-라오 하한값'을 가지는 지를 확인하는 것입니다.

쉽게 말해서, 비편향추정량의 분산에는 최소한 어느 값보다는 크다라고 증명한 사실이 있습니다. (저희는 다루지 않습니다!)

즉, 다시말해서 비편향추정량의 분산이 그 값이면 최소라는 소리죠!

​

우선 피셔의 정보방정식을 알아야합니다.

예를 들어서, 포아송 분포의 피셔의 정보를 구해보도록 하겠습니다.

쉽죠??

확률밀도함수만 알고 있으면, 피셔의 정보를 쉽게 구할 수 있습니다.

​

그러면 이제 크래머 라오 부등식을 살펴볼까요??

조건이 3개면서, 식도 복잡하고 난해합니다...

위에 3개의 조건이 매우 중요하지만, 수리통계학 범위에서는 그냥 읽고 넘어가도 되는 수준입니다.

가장 중요한 것은 제일 밑에 부등호 뒷 부분이 바로 크래머-라오 하한 값입니다.

​

여기서 만약 비편향 추정량에 대해서는 크래머-라오 하한 값이 어떻게 될까요??

g(theta) 를 미분한 값이 바로 1이 되겠죠?? (g(theta) = theta 이므로)

따라서 분자가 1로 사라지게됩니다. 따라서 아래와 같은 정리가 성립하게 되지요.

아까 포아송 분포의 피셔의 정보를 구했었죠??

이제 포아송 분포의 최소분산 비편향추정량을 구해보도록 하겠습니다.

최소분산 비편향추정량을 구하는 첫번 째 방법인 크래머-라오 하한값을 이용한 방법을 배워봤습니다.

하지만 이 방법에는 문제점이 있습니다.

우선 정보 부등식이 제공하는 분산의 하한값을 갖지 않더라도 최소분산 비편향추정량이 될 수 있다는 점입니다.

즉, 정보부등식의 하한이 너무 작아서 그 값을 갖는 추정량이 없을 경우 어떤 비편향 추정량이 정보부등식이 제공하는 분산의 하한값을 갖지 않더라도 가장 뛰어난 추정량이 될 수 있다는 것입니다.

또한, 사실 정보부등식에서 주어지는 분산의 하한값보다 더 작은 분산을 가지는 비편향추정량도 존재 할 수 있습니다 (!!!)

​

이러한 문제점때문에 첫번째 방법은 많이 사용되지 않고, 두번째 방법인 완비충분 통계량 방법을 사용합니다.

완비충분 통계량 방법은 여러가지 개념에 대한 이해가 선행되야 하므로 앞으로 천천히 배워보도록 합시다.

​