AI 환각 패턴 선점해 간접 프롬프트 주입 유도
기존 방화벽 무력화하는 신종 에이전트 권한 장악 기법 경고

[보안뉴스 김형근 기자] AI 코딩 어시스턴트의 고질적 ‘환각’(Hallucination) 현상을 악용해 봇넷(Botnet) 악성코드를 유포하고 사용자 시스템을 장악할 수 있는 신종 공격 기법, ‘할루스쿼팅’(HalluSquatting)이 공개됐다.

AI 환각이란 생성형 AI 모델이 실재하지 않는 가짜 정보를 마치 사실인 것처럼 그럴싸하게 생성해내는 오류 현상을 말한다.

벤 나시(Ben Nassi) 텔아비브대학교 교수 연구 팀에 따르면, 공격자들은 AI 어시스턴트가 특정 리포지토리를 참조할 때 존재하지 않는 패키지 이름을 일관되게 지어내는 패턴을 분석했다. 이후 이들 가짜 이름을 깃허브(GitHub)나 플러그인 스토어에 먼저 등록하고 내부에 악성 명령을 숨겨두는 방식으로 덫을 놓았다.


▲할루스쿼팅 공격 개념도 [출처: 텔아비브대학]

이 공격은 사용자 검토 없이 AI 어시스턴트가 외부 리소스를 직접 가져와 명령을 실행하는 호스트 환경을 겨냥한다. 사용자가 최근 유행하는 오픈소스나 플러그인을 AI에 요청하면, AI는 데이터 공백으로 인해 환각을 일으키며 가짜 이름을 추천한다. 이때 AI가 사전에 공격자가 선점해 둔 악성 리소스를 다운로드하고, 리소스에 포함된 ‘간접 프롬프트 주입’(Indirect Prompt Injection) 명령이 AI의 권한을 가로채 내장 터미널을 통해 봇넷을 강제 설치한다.

연구 팀 실험 결과 AI의 이러한 환각 오류는 일관적이었다. 프롬프트 문장이나 AI 모델 종류가 달라도, 리포지토리 요청의 경우 최대 85%, 스킬(Skill)을 설치할 경우 100% 확률로 동일한 가짜 이름을 생성해 공격자의 덫으로 직행했다. 커서, 윈드서프, 깃허브 코파일럿, 클라인, 구글 제미나이 CLI, 오픈클로 등 주요 AI 개발 도구가 모두 이 공격 경로에 노출돼 악성 코드가 실행됐다.

할루스쿼팅 기반 봇넷은 취약한 패키지 비밀번호나 네트워크 포트 익스플로잇 등 전통적 침투 방식을 쓰지 않는다. AI가 읽는 텍스트인 프롬프트 형태로 페이로드가 진입하기 때문에 기존 방화벽 감시망을 무력화하며, 운영체제(OS) 환경에 구애받지 않고 유포될 수 있다.

과거 AI가 환각으로 지어낸 패키지명을 가로채는 ‘슬롭스쿼팅’(Slopsquatting)이나 가짜 웹 도메인을 선점하는 ‘팬텀 스쿼팅’(Phantom Squatting) 기법에서 이제는 에이전트의 도구 실행 권한을 직접 장악하는 단계로 진화한 셈이다.

보안 전문가들은 피해를 막기 위해 AI 설계 단계부터 외부 자원을 가져오기 전 실제 존재 여부를 확인하는 ‘사전 검색’(Search) 메커니즘을 내재화해야 한다고 권고한다. 또 ‘클로드 코드’의 권한 건너뛰기 플래그나 제미나이 CLI의 ‘욜로’(yolo) 모드 같은 무인 자동 실행 설정을 차단하고, AI가 제시하는 모든 리소스 명칭을 검증되지 않은 ‘추측’으로 취급해 수동 검증해야 한다고 강조했다.

[김형근 기자(editor@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>