출처(영문): http://www.nextbigfuture.com/2016/08/darpa-wants-artificial-intelligence-to.html

현재 달빠(미 방위고등연구계획국, DARPA)는 자신의 결론, 결정, 논리를 인간이 이해하기 쉽게 설명할 수 있는 인공지능 개발을 추진 중이다.

기계학습이 급속도로 발전하면서 인공지능의 활동분야도 확장되고 있다.

이러한 발전 추세가 지속될 경우 스스로 인지, 학습, 결정, 행동을 할 수 있는 자율시스템이 등장할 것으로 예상된다.

이 러한 자율시스템은 커다란 유익을 안겨줄 것이나, 자신의 결정과 행동을 인간 유저들에게 설명할 수 없다는 점이 효율적인 사용에 장애물이 되고 있다. 이는 특히 시간이 가면 갈수록 이전보다 더 지능적이고 자율적이며 공생적인 시스템을 개발해야만 하는 미 국방부에게 있어서 큰 문제이다. 설명 능력을 갖춘 인공지능은 인간 유저들이 인공지능을 이해하고 신뢰하며 효율적으로 관리하는데 있어서 필수적이다.

그러나 인공지능의 난해성이 어떤 점에서는 인공지능의 성공으로 인한 결과라는 사실이 문제를 어렵게 만들고 있다.

인공지능 발전 초기에는 주로 논리적/기호학적 사고방식이 활용되었다. 이 때 개발된 인공지능들은 인간이 이해할 수 있는 기호들을 가지고 논리적인 계산을 하는 방식이었다. 이 과정에서 인간 유저는 인공지능이 어떻게 해서 특정 결론에 도달했는지를 낱낱이 단계별로 확인할 수 있었고, 이 때문에 초기 인공지능의 경우에는 그 사고방식을 인간이 이해할 수 있도록 설명하는 것이 좀 더 쉬었다.

인공지능아, 내가 여섯살짜리 어린아이라고 가정하고 설명을 해 주렴

달빠는 차세대 인공지능을 설명가능하게 만드는 기술에 관심이 있다. 특히 가장 핵심적이면서도 가장 불투명한 요소들은 기계학습에 기반하여 있기 때문에, 달빠는 설명가능한 기계학습 기술 XAI(설명가능인공지능, eXplainable Artificial Intelligence)을 개발하는데 초점을 맞추고 있다. 예를 들어, 빅데이터 분석 알고리즘으로부터 제안을 받은 정보분석가는 이 알고리즘이 어떻게 해서 그러한 결론에 도달했는지 이해해야만 한다. 또한 새로 개발된 자율시스템 오퍼레이터는 해당 시스템이 왜 특정 결정을 내렸는지 이해한 후에야 해당 시스템을 차후 미션에 사용할지 여부를 판단할 수 있다.

<그림 1> 설명가능인공지능(XAI)의 개념도

오늘날의 인공지능은 자신이 왜 그런 결론을 내렸는지, 왜 다른 결론을 내리지 않았는지, 어떤 경우에 그런 결론이 맞는지, 어떤 경우에 그런 결론이 틀린지, 해당 결론을 신뢰할 수 있는지, 오류는 어떻게 고칠 수 있는지에 대해 아무런 설명을 해주지 않는다.
XAI는 이런 인공지능의 설명 난해성을 해결해줄 수 있을 것으로 달빠는 기대하고 있다.

XAI 기술의 개념은 다음의 3가지 부문으로 나눌 수 있다.

1) 좀 더 설명가능한 모델을 어떻게 만들 것인가

2) 설명을 위한 인터페이스를 어떻게 디자인할 것인가

3) 효율적인 설명을 위해 필요한 심리학적 요구사항을 어떻게 파악할 것인가

설명가능모델의 구축

XAI 프로젝트는 일련의 기계학습 기술에 대해서 높은 학습능력을 유지하는 동시에 그 설명가능성을 개선해줄 수 있을 것으로 기대되고 있다. 사실, 기계학습의 성능(예측정확도)와 설명가능성 사이에는 본질적인 갈등이 있다. 종종 성능이 가장 좋은 기계학습 방법(예를 들면 딥러닝 등)은 가장 설명이 어려우며, 반대로 가장 설명이 잘 되는 기계학습 기술(예를 들면 결정트리 등)은 그 정확도가 가장 낮다. XAI 프로젝트는 앞으로의 인공지능 개발자들이 성능과 설명가능성 사이의 중간지점을 유연하게 선택할 수 있도록 일련의 디자인 옵션을 제공해줄 수 있는 기계학습 기술 개발에 자금을 지원할 예정이다.

설명용 인터페이스 개발

달빠는 HCI(인간-컴퓨터 인터페이스)와 이해가능한 설명제시 전략을 통합하여 효율적인 인터페이스를 구축하려 시도하고 있다.

설명심리학

또한 달빠는 설명에 대한 심리학적 이론을 구축에 초점을 맞추고 있다.

<그림 2> XAI의 중점분야
대분야는 말단유저 설명, 인간-컴퓨터 상호작용, 기계학습이 있으며,
그 중첩분야는 시각적 분석, 질문-답변식 대화, 상호작용형 기계학습이 있다.

XAI는 이 모든 요소를 하나로 집중시키는 프로젝트이다.

<그림 3> XAI의 주요과제
인공지능이 자신의 결론과 행동을 인간이 이해하기 쉽게 설명할 수 있도록 하는 것이 주요 과제이다.

<그림 4> 효율적 설명의 평가기준

평가기준에는 유저의 만족도, 인공지능 모델의 이해가능도, 효율적인 과제수행, 신뢰도, 정확도 등이 있다.

<그림 5> XAI 프로젝트 개요

XAI 프로젝트는 크게 2가지 과제로 나누어진다.

과제 1은 설명가능한 모델과 설명가능한 인터페이스 구축,

과제 2는 설명에 대한 심리학적 모델을 구축하는데 있다.

...

자신의 논리를 인간에게 납득시킬 줄 아는 능력이야말로 세계정복에 필수조건이죠!

서양쪽 유저들은 "그러니까 스카이넷에 PR기능을 추가하자는 거죠?"라는 반응을 보이고 있습니다.

이 프로그램을 좀 더 개선하면 정치계에 출마시켜도 될 듯? ( -_-)/

그러고 보니 애니메이션에 등장하는 로봇 메이드들이 다양한 얼굴 표정을 짓거나 목소리 톤이 변화하는 것도

상기 프로그램의 일환이 아닌가 생각이 듭니다.

5살짜리 아이한테 컵을 왜 깨트리면 안되는지 논리적으로 설명해봤자 소용이 없잖아요.

그냥 얼굴을 찌푸리면서 "떼끼! 그러면 안 되요!"라고 짧게 나무라는게 여러모로 효율적이지 아닐까요? ( -_-)a