[머신러닝] Ensemble Learning (2) Bagging

안녕하세요, 이번 포스팅부터는 앙상블 학습방법에서 하나하나 유명한 기법들을 배워보도록 하겠습니다.

첫번째는 Bagging입니다.

​

Bagging은 Bootstrap aggregating 의 약자로, Bootstrap에서 가장 굉장히 많이 쓰이는 방법입니다.

Bagging은 모델의 예측값에 대한 분산을 낮추는 방법으로써, 전체 training set에서 특정 개수만큼 복원 추출하여 여러개의 subset training set을 만들어 사용합니다.

알고리즘을 시각적으로 도식화하면 다음과 같습니다.

​

이 때, 새로운 입력값이 Bagging 모형에 들어가게 되면, N개의 Base Learner들에게서 N개의 예측값이 출력됩니다.

그리고, N개의 예측값에 대하여 분류문제의 경우 다수결의 원칙에 따라 가장 많은 수가 나온 Class가 최종 출력값이 되며, 회귀 문제의 경우 N개의 예측값의 평균이 최종 출력값이 됩니다.

​