[머신러닝] Minimum-redundancy-maximum-relevance (mRMR)

안녕하세요, 이번 포스팅에서는 Feature Selection의 한 방법인 Minimum-redundancy-maximum-relevance (mRMR) 에 대해서 배워보도록 하겠습니다.

​

mRMR은 filter method의 한 방법으로써, 두 가지 요소를 고려합니다. 바로, Y를 잘 예측하는 변수이면서, X들과도 중복성이 적은 변수들을 선택합니다. 이 때, Y와의 상관성과 X들과의 중복성은 일반적으로 피어슨 상관계수와 Mutual information으로 측정할 수 있습니다.

​

mRMR의 알고리즘을 그림으로 도식화시키면 다음과 같습니다.

mRMR의 알고리즘을 자세하게 들여다보도록 하겠습니다.

mRMR 방법은 굉장히 효율적인 방법이지만, 실제로 하나의 독립변수가 종속변수와의 큰 상관성이 없다고 나오더라도, 그 독립변수가 다른 독립변수와의 상호작용이 발생하여, 중요한 변수가 되는 경우가 존재하는 데, 이를 반영할 수는 없다는 것이 문제점이기도 합니다.

​