[응용통계] 8. 마코프 체인 (Markov Chains) (2)

안녕하세요. 이번 포스팅에서는 저번 포스팅에 이어서 마코프 체인에 대해서 배워보도록 하겠습니다.

저번 시간이 맛보기였다고 한다면, 이번 시간부터는 본격적으로 수리적으로 배워봅시다.

마코프 체인의 정의부터 알아봅시다.

정의를 보시면, 수식이 뭔가 어렵게 되있는데, 쉽게 말씀드리자면, 미래의 사건이 현재 State에만 영향을 받고, 과거의 State와는 독립적이라는 의미입니다.

예를 들어서, 내일 비가 올 확률은, 오늘 비가 왔는지와 안왔는지에만 영향을 받고 어제의 상황은 내일에 아무런 영향을 주지 않는다는 것입니다.

다음으로, 정리 1을 살펴봅시다.

정리 1은 independent increment를 가지는 모든 Stochastic 과정은 모두 마코프 과정이라는 소리입니다.

​

다음으로, 알아볼 것은 변환 행렬 (transition matrix)입니다.

지난 포스팅에서 개구리 점프 문제를 풀 때, 행렬 P를 정의한 것 기억하시나요?

변환 행렬 P는 다음과 같이 정의됩니다.

마코프 체인에서 이 변환 행렬 P는 굉장히 중요합니다.

어떠한 상태에서 10단계가 지나면 어떻게 될까요??

변환 행렬을 안다면, 그 결과를 알 수 있습니다.

그 이유는 다음 정리 2에서 확인 하실 수 있습니다.

위의 정리를 Chapman - Kolmogorov Equatuin (C-K Eq.) 라고 합니다.

​

마코프 체인의 절반 넘게 왔습니다.

다음 포스팅에서 마무리 하도록 해보겠습니다.

​