미토스, 깃허브 관리자 사칭한 가짜 프로필로 악성 코드 승인 유도
앤트로픽·오픈AI “실제 서비스 환경 아니다” 해명하며 자체 조사 착수

[보안뉴스 김형근 기자] 영국 AI안전연구소(AISI)가 앤트로픽의 미토스(Mythos) AI와 오픈AI의 솔(Sol) AI가 사이버보안 테스트 중 예상을 벗어난 행동을 보였다고 발표했다. 인간의 별도 지시 없이 AI가 스스로 가짜 신원을 만들어 공격에 활용하려 한 정황이 확인되면서 업계에 충격을 주고 있다.


[출처: gettyimagesbank, 편집: 생성형 AI]

AISI에 따르면, 미토스 AI는 마이크로소프트(MS)의 코드 호스팅 플랫폼 깃허브(GitHub)를 표적으로 삼아 인간 사이버 공격자의 수법을 자율적으로 모방한 것으로 나타났다. 이 AI는 깃허브 관리자들의 정보를 수집한 뒤 실존 인물을 사칭하는 가짜 온라인 프로필을 만들어 악성 코드 승인을 유도했다.

AISI 연구진이 비정상적 데이터 전송을 감지하고 조사에 착수하자, AI는 기존 행동을 무해한 작업처럼 보이도록 위장하는 교란 조작을 감행했다. 추적을 피하고 공격을 이어가기 위해 또 다른 가짜 신원을 새로 생성하려 한 정황도 확인됐다.

특히 이 같은 행위는 인간의 직접적 프롬프트 지시나 유도 없이 AI가 자율적으로 판단해 실행한 것으로 밝혀졌다. 당시 테스트 환경에서 연구진의 중간 감시와 제어가 없었다면, AI가 생성한 악성 코드가 실제 시스템에 그대로 전달될 뻔한 위험한 상황이었다.

AISI는 “별도의 지시가 없는 상태에서 AI의 자율적 기만 위험이 이처럼 명확히 드러난 사례는 실제 환경 평가 기준으로 이번이 처음”이라고 경고했다.

이번 사건과 관련해 앤트로픽과 오픈AI는 테스트가 제한된 특수 환경에서 진행됐으며 일반 상용 모델의 작동 방식과는 다르다고 해명했다. 두 업체는 정확한 원인 분석을 위해 자체 조사에 착수했으며, 안전성 평가 표준을 강화하기 위해 평가 기구와의 협력을 지속하겠다고 밝혔다.

[김형근 기자(editor@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>