설명 가능한 AI는 가능하다. - 고학수 저, 『AI는 차별을 인간에게서 배운다』, 21세기북스, 2022

하현우(대학원 전자전기공학과)

1. 서론

  이 책의 제목 <AI는 차별을 인간에게서 배운다>는 책 전반을 관통하는 메시지이다. 이 문장을 통해 AI는 학습을 통해 만들어지는 존재라는 점, AI가 인간으로부터 학습한다는 점, 그리고 AI가 차별을 학습한다는 점을 알 수 있다. 그러나, 이런 사실들은 저자가 담아내고 있는 논의선상에서 출발점에 불과하다. 저자는 AI에 관한 배경지식, 각계각층에서의 사례와 연구, 이로부터 수반되는 다양하고 심층적인 관점을 다룬다. 그리고 그러한 관점으로부터 우리가 어떤 AI를, 어떤 AI에 대한 원칙 혹은 법제를 지향해야 하는지에 대해 논의를 이끌어낸다. 저자는 자신만의 주장을 펴거나, 결론을 맺지는 않았다. 대신 AI의 알고리즘 종류에 따른, 공학적 관점, 법학적 관점과 윤리적 관점의 차이에 따른, 경영자와 회사, 공공기관, 개인의 입장 차이에 따른 합리적인 주장들을 폭넓게 담아내고 있다. 이러한 균형감 있는 시각은 이 책이 강의록이기 때문에 교수자의 관점에 매몰되지 않게끔 하는 의도로 읽히며, 독자들로 하여금 스스로 여러 입장을 저울질하며 다면적으로 사고할 수 있게끔 유도하는 장치로써 효과적으로 기능한다. 그러나, 이 책은 AI 업계 외부의 시선에 갇히면서 실제 기술과는 약간의 괴리를 보이기도 한다.

2. 본론

  저자는 인공지능의 윤리에 관한 논의를 위해 설명 가능성(explainability)에 대한 화두를 던진다. 그런데, 저자가 ‘설명 가능성’의 필요성에 대해 전개한 일부 논지(186p ~187p)는 다소 비판의 여지가 있다. 저자는 인공지능 분류기가 시베리안 허스키와 늑대를 분류함에 있어, 잘못된 분류를 했을 때 모델의 판단 근거가 동물 객체가 아닌 배경(눈)에 치중되어 있었던 사례를 들어, 이런 것이 AI 모델의 신뢰도를 낮춘다고 지적하였다. 그러나, 이는 다소 잘못된 결론이다.

   시베리안 허스키와 늑대는 대부분의 시각적 특징을 공유하므로 둘 사이의 차이를 발견하기가 어려우며, 이는 저자도 인정하고 있다(185p). 따라서 동물 객체가 아닌 배경으로부터 근거를 찾으려는 경향이 나타나는 것은 자연스럽다. 또한 시베리안 허스키와 늑대는 반려동물과 야생동물이라는 통계적으로 유의한 차이를 갖고 있고, 이에 따라 해당 두 개체군이 촬영된 사진에서 배경 분포의 유의한 차이가 발견되므로, 배경으로부터 근거를 찾는 것은 논리적으로도 타당하다. 일반적으로도, 이미지 분류를 함에 있어 배경 정보는 참조하지 말아야 할 독립적인 형질이 아니며, 객체의 종류와 뚜렷한 연관성을 갖고 있을 경우에는 중요한 단서로 인식되어, 외려 모델의 강건성(robustness)과 일반화(generalization) 성능을 향상하는 데에 활용되기도 한다.

   종합하면, 판단의 근거가 배경에 치중되어 있다는 점이 AI 모델의 신뢰도를 낮춘다고 단정할 수는 없다. 만약 자신이 늑대로 분류된 것에 억울함을 느끼는 시베리안 허스키가 존재한다면, 이를 공정성과 차별의 문제로 거론할 수는 있겠지만 말이다.

저자는 위의 사례를 통해 설명 가능한 AI가 AI 모델을 분석하고 개선하는 데에 도움이 될 수 있다고 주장하였다. 앞선 문단에서 보였듯이, 이미지의 어느 지점(localization)을 보고 판단을 내렸는지에 대한 정보만 주어지더라도, 우리는 AI 모델을 더 잘 이해하고 분석할 수 있게 된다. 그렇다면, 분류 근거의 위치 정보가 현재 설명 가능한 AI의 한계 수준일까? 그렇지는 않다. 분류할 때의 위치 정보 이상으로 더 구체적이고 논리적인 형태의 설명 가능한 AI가 최근 5년간 다양하게 연구되었다.

  이러한 최신 연구 동향을 비전공자나 비연구자가 따라잡는 것이 결코 쉬운 일은 아니다. 그렇지만, 2022년에 출간된 책으로부터 이 시점에 근접한 최신 정보가 담겨 있기를 기대하는 것은 당연하다. 이 책의 설명 가능성에 대한 서술의 경우, 이를 읽은 독자가 ‘설명 가능한 AI라고 해놓고, 결국 아무런 설명도 하지 않는군’이라거나, ‘AI는 아직도 블랙박스에 불과하군’과 같이 오해할 여지가 크다. 이미지를 처리하는 AI 모델이 수학적으로 해독 가능(analytic)하지는 않는다는 점에서는 블랙박스가 맞지만, 일반인 사용자의 입장에서 이해를 도울 수 있도록 언어적 설명(linguistic explanation)을 제공하는 것은 현재도 가능하다.

  현재의 수준에서, 어떤 이미지가 주어졌을 때, AI 모델은 사용자의 임의의 질문이나 지시를 담은 프롬프트(prompt) 입력에 대하여 이에 대한 적합한 종류의 답변을 내놓을 수 있다. 또한, AI 모델이 이미지를 서술하는 문장을 생성하였을 때, 문장의 단어들이 어떤 위치에 해당하는지(grounding)도 보일 수 있다. 그러나, 이러한 영상-언어(vision-language)에 관한 AI 연구 결과물들은 이 책에 등장하는 알고리즘(이미지 분류, 추천 시스템, 채용 AI 등)과 달리 비교적 공정성, 차별의 문제를 적게 노정한다. 이런 모델들은 누군가의 채용에 사용될 일도 없고, 누군가의 신용 평가에 사용될 일도 없고, 상품 추천에 사용될 일도 없고, 범죄자를 구분하는 데에 사용될 수도 없으며, 오히려 그보다는 사용자 친화적이고 의사소통에 근접한 인간적인 성향의 기술들이기 때문이다. 이 때문에 윤리적, 제도적 논의에서 비교적 덜 주목을 받게 되어, 설명 가능한 AI의 핵심 사례임에도 이 책에서는 누락된 것으로 추측된다. 물론 주제가 AI 전반이 아닌 AI의 공정성, 신뢰 가능성 등에 집중되어 있으므로 당연한 것일 수도 있다. 그럼에도 사회적으로 논란이 되었던 AI 사례를 위주로 짚어내는 것은 독자들이 AI 기술, 산업에 대한 균형감 있는 이해를 증진하는 데에 악영향을 끼칠 수 있기 때문에 다소 안타깝게 느껴진다.

3. 결론

  이 책은 좋은 논의를 위한 조력자이다. 우리가 앞으로 어떤 가치를 지향하며 AI를 만들지, 혹은 어떻게 규제하고 활용할 지에 대해 많은 심층적 논의가 필요하고, 이러한 논의에 앞서 다양한 관점과 다양한 분야에서의 사례를 종합적으로 제시함으로써, 독자들은 보다 풍부하게 사고할 수 있고, 건설적인 논의를 해나갈 수 있게 될 것이다. 흔히 AI를 논하는 서적에서는 AI를 통제할 수 없는 괴물로 인식하거나, 역으로 AI가 이끄는 파라다이스를 예찬하는 오류를 범한다. 그에 반해 이 책이 말하는 AI 기술의 긍정적, 부정적인 측면들은 자극적이지 않고, 대체로 합리적이다. 또한 적절한 깊이와 친절한 용어 설명, 예시를 통하여 대중에게도 AI 전문가에게도 모두 소구력을 보이고 있다. 그러나, 세부 각론으로 들어갔을 때 기술적 몰이해를 드러내거나, 시의성이 떨어지는 업계 이해도를 보이거나, 논쟁적인 기술군에 치우친다는 점은 이 책의 한계이며, 독자들이 유의해야 하는 지점이다. (끝)