[응용통계] 7. 마코프 체인 (Markov Chains) (1)

[Ref] introduction to probability models (Sheldon Ross)

안녕하세요. 오늘부터는 마코프체인에 대해서 배워보도록 하겠습니다.

우선, 마코프 체인의 간략한 예시를 들어들이자면, 저희가 고등학교 확률과 통계시간에 많이 배웠었던, 비 올 확률에 대한 연습문제입니다. 오늘 비가 왔다면 다음날 비가 올 확률은 0.7이고, 오늘 맑았다면 다음날 비가 올 확률은 0.4라고 가정할 때, 월요일에 비가 왔다면, 금요일에 맑을 확률은??

이런 문제 기억하시죠? 이게 바로 마코프 체인의 대표적인 예라고 할 수 있습니다.

그리고 두 번째 예시로, 개구리 점프가 있습니다.

위의 그림을 해석해드리자면, 발판이 총 6개가 있고, 개구리가 각 발판으로 점프할 수 있습니다.

예를들어서, 1번 발판에서는 각각 1/3의 확률로, 제자리에서 점프하거나, 2번 발판으로, 그리고 5번 발판으로 점프할 수 있다고 생각하시면 됩니다.

저희는 이 개구리 점프 과정을 행렬로써 표현할 수 있습니다.

그런데, 이 P 행렬을 계속해서 곱하다보면 어떠한 일이 벌어지는지 아시나요??

한 번 엑셀를 통해서 이 과정을 진행해보았습니다.

총 16번을 곱했을 때, Column 마다 값이 같아지고, 계속 곱해질 때마다 값이 변하지 않습니다.

과연 우연일까요??

​

다른 개구리 점프 과정에서도 이러한 현상이 일어나는지 확인해봅시다.

이 처럼 여러번 곱하다보면 특정 행렬로 수렴하게 됩니다.

각 열마다 값은 개구리가 점프를 무한대로 계속할 때, 각 발판에 있을 확률을 나타낸다고 합니다.

자세한 내용은 다음 포스팅부터 본격적으로 알아보도록 합시다.

​