본문 바로가기

분류 전체보기

 (297)
[머신러닝] Bayesian Network 안녕하세요. 이번 포스팅에서는 Bayesian Network (베이지안 네트워크)에 대해서 배워보도록 하겠습니다. Bayesian Network는 Naive Bayes Classifier의 업그레이드 버전입니다. Naive Bayes Classifier는 모든 입력 변수 X에 대해, X가 관찰 될 때, 종속 변수 Y가 나올 확률을 전부 곱하였습니다. ​ 하지만, 현실 문제에서는 모든 X가 Y에 직접적인 영향을 주지 않습니다. 바로, 인과 관계가 존재하지요. 예를 들어보겠습니다. ​ 이러한 네트워크가 있다고 합시다. C 사건은 A와 B에 영향을 받고 D와 E 사건은 모두 C에 영향을 받습니다. 이 때 P(A,B,C,D,E)=P(A)P(B)P(C | A,B)P(D | C)P(E | C)가 만족합니다. 이러한..
고려대 통계대학원 기출 풀이 + 기타 자료 안녕하세요. 아래의 통계 대학원 기출문제 및 수리통계학 교재 솔루션을 판매하고 있습니다. ​ 1. 고려대, 성균관대, 중앙대 통계 대학원 대비 기출문제 및 일부 풀이​ (비용: 10만원) ​ --- 구성 --- ​ 1) 현재 고려대학교 통계 대학원 기출문제 16회분 - 고려대학교 : 10, 13~18, 19 전기, 20 전기, 22 전기 및 후기, 23 전기) 풀이과정 일부 포함 ※ 23년 후기의 경우 별도 풀이 강의를 하고 있습니다. 문의 부탁드립니다. 2) 성균관대학교 : 18 ~ 23년도 기출문제 5회 3) 중앙대학교 : 17 ~ 20년도 기출문제 2회 4) 수리통계학 2판 (전명식, 송성주) 핵심 문제 및 일부 풀이 5) 다른 대학교 수리 통계 수업 기출문제 5회분 ​ 2. 전명식 수리통계학 4판..
[머신러닝] Naive Bayes Classifier 안녕하세요, 이번 포스팅에서는 Naive Bayes Classifier 에 대해서 배워보도록 하겠습니다. Naive Bayes Classifier는 분류문제에서 좋은 성능을 보이는 머신러닝 기법입니다. 그렇기 때문에, Text mining에서 자주 사용됩니다. ​ Naive Bayes Classifier의 Naive는 순진한, 멍청한이라는 의미를 가지는데요. 왜 이런 단어가 앞에 붙었을까요?? ​ 그 이유는 바로 Naive Bayes Classifier의 학습 방법에 있습니다. Naive Bayes Classifier은 전제 조건을 하나 가지고 있습니다. 그것은 바로, 입력변수의 모든 x들이 조건부 독립이라는 것입니다. 현실세계에서 이러한 가정을 말이 안되는 것입니다. 그렇기 때문에, Naive라는 단어..
[머신러닝] Optimal Bayes Classifier 안녕하세요. 이번 포스팅에서는 Optimal Bayes Classifier에 대해서 알아보겠습니다. 한글로 해석하면 최적의 베이즈 분류라는 내용입니다. ​ 가설 공간 H에서 데이터 D가 주어졌을 때, 새로운 관측값 x의 class를 정해야 하는 분류문제가 있다고 생각해봅시다. 과연 어떠한 class를 주는 것이 옳을까요?? ​ 예를 들어보겠습니다. 가설공간 H={h1, h2, h3}가 존재한다고 합시다. 우선 가설공간에 대한 데이터의 사후확률이 다음과 같이 주어졌습니다. P(h1|D)=0.4, P(h2|D)=P(h3|D)=0.3 각 가설의 x에 대한 class 예측은 다음과 같습니다. h1(x) = +, h2(x) = -, h3(x)=- 이 때, x에 대한 class 예측은 무엇이 최적일까요?? ​ 그냥..
[머신러닝] 신경망에서의 Maximum Likelihood 안녕하세요. 이번 포스팅에서는 이전 포스팅에서 배운 Maximum Likelihood가 신경망에서 사용되는 것을 보이도록 하겠습니다. 우선, 신경망에 대해 복습을 위한 기존 포스팅의 링크를 달도록 하겠습니다. 2019/06/01 - [데이터 다루기/신경망] - [신경망] 5. 역전파 알고리즘 (Backpropogation) 신경망에서 역전파 알고리즘에 의해 MSE를 최소로 하는 방향으로 학습이 진행됩니다. 이 때, 가중치 W가 가설 h가 됩니다. MSE를 최소로 하는 방법도 좋지만, MSE에는 단점이 하나 있었습니다. 바로 Gradient Vanishing 문제가 발생한다는 것이지요. 하지만 ML 방법을 사용한 가설 W를 정하는 방법은 이러한 문제를 해결할 수 있습니다. 지금부터 한 번 신경망의 W를 M..
[머신러닝] MAP (Maximum a Posterior) 안녕하세요. 이번에는 MAP에 대해서 배워보도록 하겠습니다. ​ 우선 머신러닝에서 MAP의 의미에 대해서 알아보죠. 예를 들어서, 우리는 어떤 데이터 셋 D를 가지고 있습니다. 우리는 D를 가지고 분류문제를 수행하는 의사결정나무 알고리즘을 만들어야 합니다. D를 분류할 수 있는 의사결정나무는 무수하게 많이 있을것입니다. 이 때, 의사결정나무 하나하나는 가설 h로 정의됩니다. 그렇다면 최적의 의사결정나무는 무엇일까요?? 그것을 바로 데이터 D가 주어졌을 때, 가설이 맞을 확률 (사후 확률)을 최대화 하는 것입니다. 이 때, 사후확률을 최대로 하는 가설을 MAP라고 정의합니다. ​ 수학적으로 정의해보록 하겠습니다. 식을 해석해보면, MAP는 사후확률 P(h|D)를 최대로 하는 가설 h를 찾는 것입니다. P(..
[머신러닝] Bayesian Learning 기초 안녕하세요. 이번 포스팅에서는 베이지안 학습의 기초에 대해서 배워보도록 하겠습니다. 머신러닝을 깊숙히 이해하기 위해서는 베이즈 확률론이 필수라고 할 수 있습니다. ​ 기초적인 확률론을 배워보자면 P(A)는 이벤트 A가 일어날 확률을 의미합니다. 그리고 P(A|B)는 이벤트 B가 일어났을 때, 이벤트 A가 일어날 확률을 의미합니다. ​ 다음으로, 알아야 할 개념은 사전확률과 사후확률입니다. 사전확률이란 아무런 정보도 없을 때의 가설에 대한 확률입니다. 예를들어서, A라는 사람이 있는데, 친구 B가 "A가 감기에 걸렸을 확률은 50%일 것이야."라는 가설을 세울 수 있습니다. 이 때, 사전확률은 A가 감기에 걸렸을 확률은 = 1/2로 정의됩니다. 그런데 이 후, 새로운 정보가 들어왔습니다. B가 오늘 아침에..
[선형대수학] 16. Dimension (차원) 안녕하세요, 이번 포스팅에서는 Dimension (차원)에 대해서 배워보도록 하겠습니다. ​ 우선 짚고 넘어가야할 Lemma가 하나 있습니다. (굉장히 중요합니다!!) 쉽게 말씀드리자면, 1번은 벡터 공간 V의 원소인 m개의 벡터로 구성된 alpha가 V를 Span 할 때, m개 보다 많은 벡터로 구성된 집합은 절대로 선형 독립이 될 수 없다는 것입니다. 그리고 2번은 반대로, alpha가 선형 독립일 때, m개 보다 적은 벡터를 가진 집합은 절 때, V를 Span할 수 없다는 것입니다. ​ 이제 벡터공간의 차원에 대해서 정의하도록 하겠습니다. 즉, 벡터 공간 V의 차원은 V의 기저의 크기와 같습니다. 예를 들어서, R^3의 차원은 기저인 S={(1,0,0),(0,1,0),(0,0,1)}의 크기인 3과 ..

티스토리툴바