인공지능 악의적 활용 ‘다크 AI’ 확산 경고
“생성형 AI 무기화 시도 대비해야”

[보안뉴스 조재호 기자] 카스퍼스키는 대형 언어 모델(LLM)을 악용하고 인공지능(AI) 안전장치나 규정을 우회한 사이버 공격인 ‘다크 AI’ 악용이 증가하고 있다고 밝혔다.



‘다크 AI’는 비제한 LLM을 로컬 혹은 원격으로 전체 프레임워크나 챗봇 시스템 내 배치해 악의적 목적으로 활용하는 것을 말한다. 이러한 시스템은 표준적 안전성과 컴플라이언스, 거버넌스 통제를 벗어난 형태로 기만·조작·사이버공격·데이터남용 등의 기능을 수행한다.

세르게이 로즈킨 카스퍼스키 APAC 지역 글로벌 연구 분석팀 총괄 책임자는 “챗GPT가 2023년 세계적 인기를 얻은 후, 우리는 위협 탐지부터 분석까지 다양한 AI 활용을 목격했다”며 “동시에 공격자들도 공격 역량을 강화하는데 AI를 활용하고 있다”고 말했다.

로즈킨은 현재 가장 널리 알려진 악의적 AI 활용 방식으로 블랙햇 GPT(Black Hat GPT)를 소개했다. 악의적 코드 생성이나 공격용 피싱 메일 작성, 딥페이크 생성 등 악성 행위를 위해 의도적으로 조작된 AI 모델을 말하며 2023년 중반 등장했다.

전형적 사이버 공격 사례 외에도 카스퍼스키 전문가들은 현재 국가 배후 공격자들이 LLM을 작전에 활용하고 있는 정황을 목격하고 있다고 밝혔다.

로즈킨 총괄은 “최근 오픈AI는 자사 AI 도구를 악용하려는 20건 이상의 은밀한 영향력 행사 및 사이버 작전을 방해했다고 발표했다”며 “우리는 공격자들이 공공 및 사설 생태계에서 생성형 AI를 무기화하기 위해 더욱 교묘한 방법들을 개발할 것이라고 예상해야 한다”고 말했다.

오픈AI에 따르면, 공격자들은 LLM을 사용해 가짜 인물을 생성하고, 피해자를 실시간으로 속이고 기존 보안 필터를 우회하기 위한 다국어 콘텐츠를 제작했다.

로즈킨 총괄은 “AI는 본질적으로 옳고 그름을 구별하지 못하며, 단지 명령어를 따를 뿐이다”라며 “다크 AI의 고도화에 따라, 아시아태평양 지역의 사이버 보안을 강화하고 이러한 기술이 어떻게 악용될 수 있는지 계속 연구해야 한다”고 말했다.

한편, 카스퍼스키는 다크 AI와 AI 기반 사이버 위협에 대한 대응 방안으로 ‘카스퍼스키 넥스트’(Kaspersky Next) 같은 차세대 보안 솔루션 활용을 비롯해 위협 인텔리전스 활용과 보안 운영센터 구축을 통한 대응 체계 마련을 조언했다.

[조재호 기자(sw@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>