DARPA에서 시작한 설명 가능한 AI(XAI)와 스마트폰과 LLM의 등장으로 시작된 능동형 AI

[보안뉴스 원병철 기자] 챗GPT 이후 본격적으로 AI가 활성화되면서 전 산업에 영향을 주고 있다. 보안 솔루션 역시 마찬가지. 가뜩이나 모자란 인력 문제를 해결하기 위해 AI를 이용한 자동화에 초점을 맞추면서 큰 변화가 일어나고 있다. 대표적인 것이 바로 XAI(eXplainable AI: 설명 가능한 AI)와 능동형 AI다.


[출처: gettyimagesbank]

스스로를 증명하기 시작한 AI
먼저 XAI는 AI가 내린 판단이나 결괏값이 ‘어떻게 나왔는지’를 인간이 이해할 수 있도록 설명해 주는 기술이다. 즉, 우리가 AI에 물어본 것에 대한 답이 ‘어떤 이유’, ‘어떤 근거’로 나왔는지를 알려주는 것이다. 그동안 챗GPT 등 AI는 질문에 대한 답은 알려주면서도 어떻게 그러한 답을 제시했는지를 알려주지 않았다. 이를 ‘블랙박스(Black Box)’라고 하는데, XAI는 답변의 과정을 투명하게 들여다보고자 하는 시도다.

XAI는 꽤 오래전부터 알려진 개념이지만, 현대적 의미의 XAI는 DARPA(미국 국방고등연구계획국)의 ‘XAI 프로젝트’로 알려졌다. 미국은 AI의 도입을 오랫동안 준비했지만, 군사 분야를 비롯해 의료와 금융 등 단 한 번의 실수만으로 엄청난 피해를 볼 수 있는 분야로의 도입에서는 블랙박스 문제 때문에 쉽게 도입을 결정할 수 없었다. 따라서 DARPA를 중심으로 이에 대한 연구가 시작된 것이다. XAI는 대규모 언어 모델(LLM) 이후 기술적으로 진화하기 시작했고, AI가 스스로 사고 과정을 텍스트로 풀어 설명하는 ‘자가 설명(Self Explanation)’과 스스로 환각에 빠져 거짓말을 하는지 검증하는 ‘환각 탐지(Hallucination)’ 등을 연구하기 시작했다.

능동형 AI(Proactive AI)는 사용자의 문제를 스스로 예측하고, 문제가 발생하기 전에 먼저 행동해 해결하는 AI를 말한다. 사용자의 명령이 아닌 ‘목표’를 위해 스스로 판단하고 작동한다는 점에서 기존 AI와는 다르며, 자율성과 투명성이 뛰어나다. 능동형 AI는 ‘관찰-추론-계획-행동’의 단계를 거쳐 움직이며, 개인 비서나 스마트홈, 제조 분야 등 다양한 방면에서 활용되고 있다.

부족한 전문가의 도움은 물론 선제 대응까지 제공
이 두 가지 AI의 발전 방향은 사이버보안에도 큰 영향을 미치고 있다. 여러 형태의 보안 솔루션이 통합과 자동화를 거쳐 다양한 정보를 사용자에게 제공하거나 문제를 해결해 주지만, ‘왜?’ 그런 결과가 나왔는지는 설명해 주지 못하거나, 사용자가 이해하지 못하는 경우가 많았다. 따라서 각 분야의 전문가들이 직접 분석하는 번거로움과 어려움이 있었다. 그런데 XAI는 이러한 문제를 해결해 주었다. 사용자가 이해할 수 있게 설명하는 순간 정탐과 오탐을 구분할 수 있고, 어떻게 그런 판단이 나왔는지를 확인할 수 있으니 문제를 해결하는 속도가 빨라지면서 피로도를 줄여주었기 때문이다. 아울러 AI의 판단을 기반으로 또 다른 대응 방법을 구상할 수 있게 되자 좀 더 정교한 대응이 가능해졌다.

능동형 AI의 도입은 위협 탐지를 넘어 대응까지 자동화해 ‘선제 대응’을 가능하게 했다. 공격자들이 공격을 위해 미리 네트워크에 잠복하는 것을 잡아 제거하거나 미처 사용자가 대응하기 전에 감염된 부분을 격리하는 등 자율적 대응도 할 수 있다. 또한 CTI를 학습해 사용자에게 이를 전달하고 대응할 수 있도록 도와주는 것도 가능하다.

사이버보안 기업들은 이미 AI를 도입해 구체적인 성과를 거두고 있다. 기존 보안 솔루션의 성능을 강화하고 사용자를 보완하는 것은 물론 이제는 보안 운영 전반을 지능화하고 기존 보안 체계의 한계를 극복하고 있는 것으로 전해졌다.

물론 AI가 만능은 아니며 아직까지 완벽한 것도 아니지만, 그동안 사이버보안을 괴롭히던 여러 문제점을 해결하고 있다는 점에서 XAI와 능동형 AI의 도입은 충분히 가치를 증명하고 있다.

[원병철 기자(boanone@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>