본문 바로가기

통계 이모저모

(71)
[수리통계학] 39. 추정량의 점근적 성질 [Ref] 수리통계학 (송명주, 전명식) 안녕하세요 이번 포스팅에서는 추정량의 점근적 성질에 대해새 배워보도록 하겠습니다. 점근적 성질이란 점점 더 많은 관측치를 갖는 표본을 뽑는다고 가정하고 궁극에는 어떤 일이 일어날 것인지에 대해 살펴보는 것입니다. 약간 대수의 법칙과 비슷하다고 생각하시면 됩니다. ​ 추정량의 점근적 성질로는 일치성이 있습니다. 약간 수학의 해석학 느낌이 나는 정의입니다. 입실론 델타에 대해서 익숙하지 않으신 분들은 이러한 정의가 어려울 수 있습니다. 쉽게 말하면 n이 무한대로 커지게 되면 T(X)가 g(theta)로 수렴한다는 것입니다. ​ 이제 일치성에 대한 여러가지 정리를 알아보도록 할 것입니다. ​
[수리통계학] 38. 지수족 안녕하세요, 이번 포스팅에서는 지수족 (Exponential Family) 에 대해서 배워보도록 하겠습니다. ​ 우선 지수족에 대한 정의를 살펴봅시다. 지수족에 대한 정의는 위와 같습니다. 확률 밀도함수가 위와 같은 형태로 표현이 될 때, 그 확률밀도함수를 지수족에 속한다고 정의합니다. 실제로 이 지수족에 속하는 유명한 확률 밀도함수가 많습니다. (베르누이, 이항분포, 포아송분포, 지수분포, 기하분포, 정규분포, 균등분포, 감마분포 등등) ​ 예를 들어서 포아송 분포와 정규분포가 지수족인 것을 증명해보도록 하겠습니다. 그런데 갑자기 왜 지수족이라는 개념이 나왔을까요? 그것은 바로 지금까지 계속 배워왔던 최소분산 비편향추정량 (MVUE) 와 관련이 있습니다. 정리 하나는 배워보도록 하겠습니다. 즉, 지수족..
[수리통계학] 37. 완비통계량 [Ref] 수리통계학 (송명주, 전명식) 이번포스팅에서는 완비통계량에 대해서 배워보도록 하겠습니다. 이 역시 예제를 통해서 이해하는것이 빠릅니다. 베르누이 예로 살펴봅시다. 완비통계량은 통계량에 대한 함수가 모든 모수에 대해서 0이 될 때, 그 함수가 항상 0인 경우밖에 없을 때, 완비통계량이라고 합니다. ​ 즉 T는 이전에 충분 통계량임을 보였으니, 완비충분 통계량이 됩니다. ​ 이제 MVUE를 구하는 두 번째 방법을 배울 차례입니다. ​ 레만-쉐페 정리 굉장히 중요합니다!! ​ 베르누이 분포의 p에 대한 추정량으로써 T 가 완비충분통계량인것을 보였었죠? 하지만 T는 아직 MVUE 가 아닙니다. 왜냐하면 비편향 추정량이 아니기 때문이죠. 하지만 T/n은 레만-쉐페 정리에 의해서 유일한 MVUE가 됩니다..
[수리통계학] 36. 라오-블랙웰 (Rao - Blackwell) 정리 안녕하세요, 이번 포스팅에서는 충분 통계량과 최소분산 비편향추정량의 관계를 살펴보도록 하겠습니다. 여기서 굉장히 중요한 정리가 나옵니다. 바로 제목에서 볼 수 있듯이 라오-블랙웰 정리입니다. ​ 라오-블랙웰 정리를 쉽게 설명해드리자면, 충분통계량이면서, 비편향추정량인 경우 최소분산 비편향추정량의 후보가 될 수 있다는 것입니다. 하지만 아직까지는 후보에 그치기 때문에, MVUE임을 확인하기 위해서는 완비통계량을 알아야합니다. 다음 포스팅에서 완비통계량을 배워보도록 하겠습니다. ​
[수리통계학] 35. 인수분해정리 [Ref] 수리통계학 (송명주, 전명식) 안녕하세요, 이번 포스팅에서는 저번 충분통계량 포스팅에 이어서 그와 관련된 정리인 인수분해정리에 대해서 배워보도록 하겠습니다. ​ 지난번에 충분통계량에 대한 정의는 기억하시죠? 어떤 추정량이 충분 통계량임을 증명하는 것은 원칙대로하면, 쉽지 않지만 인수분해 정리를 사용하면 쉽게 보일 수 있습니다. 정리를 처음보는 사람입장에서는 참 난해하긴 합니다. (저도 처음 볼 때는 이게 뭔소리지 싶었어요...) 하지만 이런 정리는 예제를 보면서 이해하시는게 수월합니다. ​ 바로 지난 포스팅에서 베르누이 분포의 추정량으로 X1 부터 X100 까지 전부 더한 값으로 사용했었는데, 그게 충분통계량임을 증명했었습니다. 그렇다면, 이번에는 인수분해 정리를 사용해서 증명해보도록 하겠습니..
[수리통계학] 34. 충분통계량 [Ref] 수리통계학 (송명주, 전명식) 안녕하세요, 이번 포스팅에서는 최소분산 비편향추정량 (MVUE)를 구하는 두 번째 방법을 배우기 전에 알아두어야 할 충분 통계량 개념에 대해서 배워보도록 하겠습니다. ​ "우선 과연 충분 통계량이란 무엇인가??" 가 먼저 선행되야겠지요? 예를 들어서 설명드리면 쉽게 이해할 수 있을겁니다. 확률 변수 X가 모수가 p인 베르누이 분포를 따른다고 합시다. 이 때, 우리는 100개의 Sample을 X1 ~ X100을 가지고 있습니다. X1 ~ X100을 모두 사용해서 모수 p를 예측할 수 있지만, 단지 X1부터 X100까지 전부 더한 값 하나로도 모수 p를 예측할 수 있습니다. 과연 두 방법중에서 뭐가 더 효율적이면서 좋은 추정량일까요?? 바로 후자 입니다. 100개의 ..
[수리통계학] 33. 최소분산 비편향추정량 (MVUE) [Ref] 수리통계학 (송명주, 전명식) 이번 포스팅에서는 수리통계학에서 제일 어렵기도 하면서도, 시험에 가장 많이 출제되는 부분을 배우도록 하겠습니다. ​ 지난 포스팅에서 좋은 추정량의 조건 2가지에 대해서 배웠었는데 기억하시나요? 첫번째는 바로 편향이 0인 비편향 추정량이고, 두번째는 추정량의 분산이 작을수록 더 좋았습니다. 이 두가지를 가장 최선으로 만족하는 추정량이, 최고의 추정량이라 말할 수 있겠죠? ​ 그러한 추정량이 바로 오늘 배울 최소분산 비편향추정량 (Minimum Variance Unbiased Estimator), MVUE 입니다. 우선 정의부터 살펴보고 가실까요? 2번째 조건이 살짝 헤깔릴수도 있는데, 쉽게 말해서 최소분산을 가진다는 의미입니다. ​ 최소분산 비편향추정량이 가장 좋은..
[수리통계학] 32. 추정의 기준 [Ref] 수리통계학 (송명주, 전명식) 안녕하세요, 오랜만입니다. 한 동안 바빠서, 수리통계학 포스팅을 잠깐 쉬었는데요... 다시 시작해보도록 하겠습니다. (열심히 할게요~) ​ 이번 포스팅에서는 추정의 기준에 대해서 다루어보려고 합니다. 실제로, 추정량이 항상 추정대상인 g(theta) 랑 같은 값을 가진다면 가장 좋겠지만, 추정량은 확률변수이기 때문에, 표본을 어떻게 뽑는가에 따라서 달라지게 됩니다. 따라서 항상 가장 좋은 값을 가지지 못하기 때문에, 이를 평가하기 위한 기준이 필요합니다. ​ 가장 많이 사용하는 지표로써는 MAE (Mean Absolute Error) 와 MSE (Mean Squared Error)가 있습니다. 물론, 많이 들어보셨을수도 있고, 이름에서 유추해볼 수 있습니다만, 자..