[논문 리뷰] Local Surrogate (LIME)

이번에 리뷰할 논문은 Local Surrogate (LIME)으로 2016년에 출판되었으며, 인용 수가 무려 2802회입니다.

Ribeiro, M. T., Singh, S., & Guestrin, C. (2016, August). " Why should i trust you?" Explaining the predictions of any classifier. In Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining (pp. 1135-1144).

ISO 690

글 작성은 아래 사이트를 참고하였습니다.

https://christophm.github.io/interpretable-ml-book/lime.html

5.7 Local Surrogate (LIME) | Interpretable Machine Learning

 

LIME은 저번 포스팅에서 보셨다시피, Proxy model 중 하나였습니다.

​

Black Box 모델의 예로 RandomForset가 있다고 합시다.

편의상 R이라고 하겠습니다.

​

R은 현재 Training dataset에 의해 이미 훈련이 되어있습니다.

하지만 R은 Black box 모델이기 때문에, 내부를 들여다 보기에는 무리가 있습니다.

​

LIME은 이 문제를 해결하기 위해서, R을 설명가능한 모델로 근사합니다.

설명가능한 모델로써, 해당 논문에서 가장 추천하는 것은 Lasso regression 입니다.

특정한 데이터 샘플 (이 부분은 이후에 설명)에 대해서 R로 먼저 예측을 하고, 이에 따른 예측 값을 Target 변수로 하여, Lasso Regression으로 예측합니다. 편의상 L이라고 하겠습니다.

​

LIME을 한 가지 식으로 정리하면 아래와 같습니다.

이 때, f는 설명하고자 하는 모델 (R) 을 의미하고, g는 설명가능한 모델 (L)을 의미합니다. phi_x 는 가중치로 이 후에 설명하도록 하겠습니다.

뒤에 나오는 항은 모델 복잡성으로, 예를 들어서 Decision tree의 깊이 혹은 linear regression에서 사용되는 feature의 수를 의미합니다.

일반적으로 모델 복잡성이 적을수록 해석가능성이 증가합니다.

저희의 목표는 g가 f를 모방하는 데 있어서 loss와 모델 복잡성의 합을 최소화하는 것입니다.

​

이제 데이터 샘플을 얻는 방법이 중요합니다.

관심가지고자 하는 데이터 x`을 R로 예측하는 데 있어서, x`에 관련된 데이터 샘플을 만든 후, 설명 가능한 모델로 적합하여야 합니다.

일반적으로 사용하고자하는 feature에 대해서 정규분포로 랜덤 샘플을 해서 샘플 데이터셋을 만듭니다.

그리고 x`에 가까울수록 더 큰 가중치를 주는 데, 이 때 가중치가 위에서 나온 phi_x 입니다.

​

가중치를 구하는 방법에 따라 결과가 달라지기 때문에, 매우 중요한 이슈라고 저자는 말합니다.

저자는 exponential smoothing kernel을 사용합니다.

이 때, sigma 는 kernel width로 저자는 0.75* sqrt(feature 수) 를 추천하지만, 이 것이 꼭 최적의 값이라는 보장은 없다고 합니다.

​

https://christophm.github.io/interpretable-ml-book/lime.html

위의 그림은 LIME 알고리즘을 시각화한 것입니다.

노란색 포인트가 interested 관측치이며, 검은 점들이 정규분포하에서 샘플한 포인트들입니다.

C 그림에서 노란 포인트와 가까운 검은점들은 커지는 데, 가중화 된 것입니다.

이를 통해 그림 D에서 선형회귀 직선이 하나 만들어졌으며, 이 모델이 설명가능한 모델입니다.

​