본문 바로가기

분류 전체보기

(297)
[응용통계] 11. 마코프 체인 (Markov Chains) (5) 안녕하세요, 이번 포스팅에서는 마코프체인의 나머지 진도를 나가보도록 하겠습니다. 저희는 지금부터, State 간의 관계에 대해서 여러가지 정의를 내려보도록 하겠습니다. accessible에 대한 정의는 아주 간단합니다. State i에서 State j로 이동하는 경로가 존재한다면 State i는 State j로부터 accessible한 것입니다. 위의 State Relation에서 0->0, 1->1, 1->2, 1->3, 1->0, 2->1, 2->2, 2->3, 2->0, 3->3 의 관계가 존재합니다. ​ commincate에 대한 정의는 State i 와 State j 가 양방향으로 accessible 한 경우를 나타냅니다. 위의 State 관계에서는 (0,0), (1,1), (1,2), (2,2..
[응용통계] 10. 마코프 체인 (Markov Chains) (4) 연습문제 안녕하세요, 이번 포스팅에서는 지금까지 배운 부분에 대하여 연습문제를 풀어보도록 하겠습니다. ​ Quastion 1. Suppose that whether or not it rains today depends on previous weather conditions through the last three days. Show how this system may be analyzed by using a Markov chain. How many states are needed? 풀이) R : 비가 올 경우의 수, U : 비가 오지 않을 경우의 수하고 정의하자. 다음 날의 비가 오거나 그렇지 않을 확률은 이전 3일동안의 결과에 따라 달라지므로, 3일동안 가능한 경우의 수는 RRR, RRU, RUR, RUU, U..
[응용통계] 9. 마코프 체인 (Markov Chains) (3) 안녕하세요. 이번 포스팅에서는 저번 포스팅이 어려웠기 때문에, 복습하는 의미로 예제를 하나 들고왔습니다. 어느 한 미용실이 있다고 합시다. 미용실에는 커트를 진행하는 1 자리가 있고, 뒤에 기다릴 수 있는 자리가 4자리가 있습니다. 커트는 한 번에 항상 15분이 걸린다고 가정을 하고, 만약에 커트가 끝나고 기다리는 사람이 없다면, 미용사는 무조건 15분을 쉬고 일을 시작합니다. 그리고 15분 동안 손님이 올 확률은 다음과 같습니다. 그리고 State를 미용실에 있는 고객의 수라고 정의하면, 우리는 변환행렬을 정의할 수 있습니다. 시간이 무한대로 지났을 때, 각 State로 배정될 확률을 steady state probability라고 정의합니다. 우리는 이를 행렬을 계속 곱하면서 얻을 수 있습니다. 이처..
[응용통계] 8. 마코프 체인 (Markov Chains) (2) 안녕하세요. 이번 포스팅에서는 저번 포스팅에 이어서 마코프 체인에 대해서 배워보도록 하겠습니다. 저번 시간이 맛보기였다고 한다면, 이번 시간부터는 본격적으로 수리적으로 배워봅시다. 마코프 체인의 정의부터 알아봅시다. 정의를 보시면, 수식이 뭔가 어렵게 되있는데, 쉽게 말씀드리자면, 미래의 사건이 현재 State에만 영향을 받고, 과거의 State와는 독립적이라는 의미입니다. 예를 들어서, 내일 비가 올 확률은, 오늘 비가 왔는지와 안왔는지에만 영향을 받고 어제의 상황은 내일에 아무런 영향을 주지 않는다는 것입니다. 다음으로, 정리 1을 살펴봅시다. 정리 1은 independent increment를 가지는 모든 Stochastic 과정은 모두 마코프 과정이라는 소리입니다. ​ 다음으로, 알아볼 것은 변환..
[응용통계] 7. 마코프 체인 (Markov Chains) (1) [Ref] introduction to probability models (Sheldon Ross) 안녕하세요. 오늘부터는 마코프체인에 대해서 배워보도록 하겠습니다. 우선, 마코프 체인의 간략한 예시를 들어들이자면, 저희가 고등학교 확률과 통계시간에 많이 배웠었던, 비 올 확률에 대한 연습문제입니다. 오늘 비가 왔다면 다음날 비가 올 확률은 0.7이고, 오늘 맑았다면 다음날 비가 올 확률은 0.4라고 가정할 때, 월요일에 비가 왔다면, 금요일에 맑을 확률은?? 이런 문제 기억하시죠? 이게 바로 마코프 체인의 대표적인 예라고 할 수 있습니다. 그리고 두 번째 예시로, 개구리 점프가 있습니다. 위의 그림을 해석해드리자면, 발판이 총 6개가 있고, 개구리가 각 발판으로 점프할 수 있습니다. 예를들어서, 1번 ..
[머신러닝] 의사결정 나무 (Decision Tree) 안녕하세요, 이번 포스팅에서는 의사결정 나무에 대해서 배워보도록 하겠습니다. 의사결정나무는 초등학생 때 수학시간에 배웠었던거 기억하시나요? 의사결정나무는 위와 같은 형태를 가지고 있는데, 마치 나무에 가지가 계속해서 연결되고, 가지에서 잎들이 나오는 형태와 비슷해서 이와 같은 이름으로 불려졌다고 합니다. ​ 의사결정나무는 머신러닝에 대한 지식이 아무것도 없는 사람 조차도 결과를 이해하기 쉽기 때문에, 굉장히 많이 사용되는 모델입니다. 하지만 실제로, 수리적으로 어떻게 분류가 되는것인지를 파고들어가면 마냥 쉽지는 않습니다. ​ 의사결정나무는 기본적으로 분류 문제에서 사용되지만, 회귀 문제에도 사용 될 수 있도록 한 CART (Classification and Regression Tree)로도 발전이 되어 ..
[머신러닝] Logistic Regression 안녕하세요, 이번 포스팅에서는 Logistic Regression에 대해서 배워보도록 하겠습니다. 일반적으로, 저희가 배운 선형회귀분석, Ridge, Lasso Regression 은 종속 변수 Y가 연속형일 때 사용되었습니다. 그렇다면, 분류 문제에 대해서 회귀분석을 사용할 수 있을까요?? ​ 이처럼 선형 회귀 모형을 범주형 종속 변수를 가지는 분류 문제에 사용하기 위해 나온 모델이 로지스틱 회귀 모형입니다. 회귀 모형의 출력값은 연속형 변수인것은 변함이 없습니다. 그렇기 때문에, 로지스틱 회귀 모형은 확률을 예측합니다. 예를 들어서, 성공 (1), 실패 (0)을 예측한다고 가정을 할 때, X=x 의 값을 가질 때, 실제로 성공이 될 확률을 예측하는 것입니다. 만약 성공일 확률이 0.5보다 높다고 한다..
[머신러닝] Lasso Regression 안녕하세요, 이번 포스팅에서는 저번 포스팅에서 언급했다시피 Ridge Regression의 한계점인 회귀 계수를 0으로 만들지 못하는 한계를 극복한 Lasso Regression 입니다. ​ ​ Lasso Regression과 Ridge Regression 의 차이는 패널티 항에서 비롯됩니다. ​ 그렇다면 여기서 한가지 질문이 있을 수 있습니다. Lasso Regression과 Ridge Regression의 패널티의 항의 어떤 차이가 Lasso 는 회귀 계수를 0으로 만들 수 있지만, Ridge 는 회귀 계수를 0으로 만들지 못하는 것일까요? ​ 그것은 Lasso Regression과 Ridge Regression에서 회귀 계수 ß 를 추정할 때, 최적화 식으로 변경하여 해를 구할 수 있는 데, 이 식..