AI 에이전트가 악성 명령을 수행하도록 할 수 있는 보안 취약점 존재
AI 에이전트 통해 ‘나쁜 짓’ 도모한다면 치명적인 사태 발생

[보안뉴스= 배종찬 인사이트케이 연구소장] AI(인공지능)가 나쁜 짓을 사주할 수 있다면 어떻게 될까. 인간이 AI에 의존하는 비중이 점점 더 높아지는 가까운 미래를 상상해 본다면 끔찍한 일이 벌어질 수도 있을 것 같다.


[자료: gettyimagesbank]

우리가 상상하는 것보다 더 심각한 상황을 할리우드 영화는 예고하고 있다. 영화 ‘터미네이터’ 시리즈에 출연했던 아놀드 슈워제네거는 “영화가 미래를 정확하게 예언했다”며 제임스 카메론 감독을 극찬했다. 슈워제네거는 “오늘날 모든 사람은 AI가 어디로 갈지 두려워하고 있다”며 “그 오래전에 우리는 겉핥기식으로나마 AI를 파악했다는 것이 중요하다”고 언급했다.

영화는 AI의 위험성을 그대로 전달하고 있다. 전쟁에 대비해서 핵무기를 비롯한 모든 화력을 제어할 수 있게끔 만든 지능형 컴퓨터 네트워크 ‘스카이넷’은 인류를 적으로 간주하고 핵전쟁을 일으킨다. 간신히 살아남은 인간들은 기계군에 맞서 싸우지만, 터미네이터로 대표되는 기계군의 압도적인 화력에 맞서기엔 언제나 역부족이다.

실제로 AI가 가져올 위협에 대한 조짐이 우리 주변에서 서서히 발생하고 있다. 보안 전문 언론 매체인 <보안뉴스>는 직접 컴퓨터를 조작하며 자료를 찾고 문서를 열어 작업하는 등 사람 일을 대신해 주는 ‘인공지능(AI) 에이전트’들이 쏟아져 나오고 있는 현상을 조명하고 있다.

AI 에이전트가 계정 삭제나 맞춤형 피싱, 혐오 콘텐츠 게시 등 광범위한 영역에 걸쳐 악성 명령을 수행하도록 할 수 있는 보안 취약점이 있는 것으로 나타났다. AI가 거절하는 악성 명령을 안전한 표현으로 변환한 후 AI에게 친절하게 설명을 시킨다. 기존 AI들이 위험한 내용이 들어왔을 때 참고해 거절하는 ‘안전 정책’을 우회해 악성 행동을 하게 만드는 방법이다.

사실 AI 에이전트 그 자체는 매우 긍정적이다. AI의 기능을 수행하는데 중요한 역할을 하기 때문이다. 빅데이터는 AI 에이전트에 대한 어떤 반응을 보일까. 빅데이터 심층 분석 도구인 썸트렌드(SomeTrend)로 지난 3월 2일부터 4월 1일까지 AI 에이전트에 대한 빅데이터 감성 연관어를 도출해 보았다.

AI에이전트에 대한 빅데이터 감성 연관어는 ‘혁신적’, ‘기대’, ‘독립적’, ‘강화하다’, ‘다양하다’, ‘새롭다’, ‘효율적’, ‘고급’, ‘가능하다’, ‘획기적’, ‘단순하다’, ‘진화하다’, ‘서비스제공하다’, ‘달성하다’, ‘대표적’, ‘최적’, ‘창의적’, ‘기대되다’, ‘능가하다’, ‘세계최초’, ‘효과적’, ‘정확하다’, ‘복잡하다’, ‘오류’, ‘개선하다’, ‘윤리적’, ‘한국적’, ‘비용절감’, ‘화제’ 등으로 나온다(아래 그림).


▲AI 에이전트에 대한 빅데이터 감성 연관어 [자료: 인사이트케이]

빅데이터 감성 연관어만 보더라도 AI 에이전트에 대한 순기능이 역기능보다 많다. 그렇지만 의도적으로 AI 에이전트를 통해 ‘나쁜 짓’을 도모한다면 치명적인 사태가 발생하게 된다. 빅데이터 감성 연관어를 분석해 보면 ‘단순하다’, ‘복잡하다’, ‘오류’, ‘화제’ 등 논란이 될 만한 내용이 등장한다. 즉 어떻게 사용하는지에 따라 명암이 갈리는 대목이다.


▲배종찬 연구소장 [자료: 인사이트케이]
안전한 표현의 요청을 바꿔 의도한 악성 명령을 실행하게 하면 AI 에이전트는 그대로 실행한다. 이 과정을 ‘톡시파이’(toxify)라고 이름 붙이게 된다. 악용될 수 있는 경우를 분석한 연구진은 몇 가지 시나리오를 제시하고 있다. 이 시나리오에는 사용자 폴더 삭제, 화상회의 중 외모에 대한 욕설, 아마존에서 위험 물질 구매, 인터넷 도박 사이트 배팅 등이 포함됐다.

이를 통해 연구팀은 컴퓨터 사용 에이전트가 단순한 기술적 위협을 넘어서, 사회 전반에 심각한 영향을 미칠 수 있는 수단으로 악용될 수 있음을 입증하고 있다. 에임인텔리전스는 큰 위험까지 경고하고 있다. AI 기술이 본격적으로 산업과 일상에 도입되기 전, ‘안전성’ 확보가 최우선이다. 영화 터미네이터 같은 세상이 현실화된다면... 상상만 해도 끔찍한 일이다.
[글_ 배종찬 인사이트케이 연구소장]

저자 소개_ 연세대 정치외교학과를 졸업하고 서울대 국제대학원에서 석사 학위를 받았다. 고려대 행정학과 박사과정을 수료했다. 이 외에 미국, 일본, 홍콩 등에서 연구 경험을 가지고 있다. 주된 관심은 정치시사와 경제정책인데 특히 대통령 지지율과 국정 리더십, 글로벌 경제 분석 그리고 AI 인공지능 및 블록체인 보안 이슈다. 한국교육개발원·국가경영전략연구원·한길리서치에서 근무하고 리서치앤리서치 본부장을 거친 데이터 분석 전문가다. 현재 인사이트케이 연구소장을 맡아 심층 리서치뿐 아니라 빅데이터·유튜브까지 업무영역을 확대하고 있다.

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>