[용어] 설명 가능한 인공지능, 說明可能-人工知能, eXplainable Artificial Intelligence, XAI

인공지능(AI)의 판단 결과에 대한 이유를 인간이 이해할 수 있도록 제공하는 기술.

인공지능(AI)은 기계 학습(ML: Machine Learning)으로 데이터를 학습하여 입력 데이터에 대한 판단 결과를 제공하지만, 판단 결과에 대한 근거나 입출력 데이터의 인과관계를 설명하기 힘들다는 단점이 있다. 특히, 심층 기계 학습(deep learning)의 경우 객체 인식(object recognition), 자연어 처리(NLP: Natural Language Processing), 의사 결정 등의 영역에서 높은 수준의 성능을 보여 의료, 로봇, 금융 등 다양한 분야에서 사용한다. 그러나 복잡한 인공 신경망(ANN: Artificial Neural Network) 구조로 결과에 대한 해석이 어려운 특징이 있다. 이러한 특징은 예측의 정확성 측면에서는 높은 수준의 성능을 보여줄 수 있으나 도출 결과에 대한 투명성, 신뢰성, 공정성 등을 보장할 수 없다.

예를 들어, 인공지능 범죄 예측 시스템이 편향된 학습 데이터 세트로 인하여 특정 인종이 범죄 재발 가능성이 높다는 인종차별적 결론을 낼 수 있다. 실제로 구글에서 개발한 구글 포토 앱의 인공지능이 흑인 커플을 ‘고릴라’로 분류해 물의를 일으킨 사례도 있다. 이러한 인공지능의 오류는 특히 의료, 법률, 금융 등 중요한 의사결정이 필요한 영역에서 인공지능 시스템의 수용을 막는 요소다.

설명 가능한 인공지능(XAI)은 이러한 인공지능의 한계를 극복하기 위한 기술로 판단 결과에 대한 해석 능력을 제공하기 위한 기술이다. 설명 가능한 인공지능의 대표적 기법으로는 특성 중요도(feature importance), 부분 의존성 플롯(partial dependence plots), 대리 분석(surrogate analysis) 등이 있다.
특성 중요도와 부분 의존성 플롯은 데이터의 특성이 기계 학습 모델의 성능에 어떠한 영향을 미치는지 측정하여 연관성을 조사하는 기법이다. 한 특성값을 변형하여 기계 학습 모델의 예측 성능이 크게 감소하였다면 해당 특성의 중요도가 높다고 해석한다. 대리 분석은 주어진 기계 학습 모델과 최대한 유사한 결과를 내도록 설명 가능한 함수들로 모델을 변환하여 성능을 비교하는 것으로 기계 학습 모델의 결과를 간접적으로 설명한다. 설명 가능한 함수들로는 의사 결정 트리(decision tree), K-최근접 이웃(k-nearest neighbors) 기법 등 해석이 용이한 모델을 사용한다. 객체 인식(object recognition)에 설명 가능한 인공지능(XAI)을 사용하면 기계 학습 모델이 고양이를 인식할 때 털의 유무, 귀의 모양 등과 같은 특성으로 인해 몇 퍼센트의 유의 확률로 고양이라는 결과를 도출했는지 제시해 줄 수 있다.

 

 

출처 : TTA 용어사전