펜테라 레드팀 제보... AI 에이전트 악용 경각심
앤트로픽 “보안 취약점 아닌 설계된 기능”

[보안뉴스 강현주 기자] 보안 기업 연구원들이 앤트로픽의 PC용 AI 에이전트 ‘클로드 데스크톱’을 악용한 공격으로 권한을 탈취하는 시도에 성공했다고 1일(현지시간) 해외 매체가 보도했다. 이에 AI 에이전트를 악용한 심각한 공격이 현실화되고 있다는 우려가 커진다.

펜테라랩스 레드팀 연구원들은 지난해 11월 PC용 AI 에이전트인 클로드 데스크톱을 공격자의 명령을 수행하는 ‘이중 스파이’로 전환해 개발자의 PC에서 완전한 원격 코드 실행(RCE) 권한을 탈취하는 데 성공했다고 밝혔다.

펜타라랩스는 지난해 11월 이 사실을 앤트로픽 측에 알려줬으나 “취약점이 아닌 기능”이라는 답변을 받았다고 밝혔다. 지난해 11월에 발생한 일이지만, 현재 버전의 클로드를 활용했다면 더 쉽게 성공했을 것이라는 게 연구원들의 설명이다.



펜테라랩스는 사용자가 AI 모델에 가지는 높은 신뢰를 역이용했다. 이번 공격 시도는 제3자 플랫폼을 통해 피해자의 이메일 수신함을 해킹하는 것으로 시작됐다. 연구원들은 이렇게 확보한 접근 권한을 통해 피해자의 클로드 계정에 침투했다. 클로드 데스크톱은 맥OS, 윈도우, 리눅스 환경에서 작동하며, 사용자 계정에 연결된 모든 기기와 세션 간에 설정이 실시간으로 동기화된다.

연구원들은 클로드 데스크톱의 ‘개인화’ 기능에 주목했다. 워크플로우 가이드라인이나 프로젝트 내 역할 등 사용자가 선호하는 지침을 AI에 입력해 설정하는 기능이다. 공격자는 이 개인화에 악성 프롬프트를 주입했다.

이는 클로드의 동기화 기능을 통해 피해자의 모든 기기로 즉시 확장된다. 피해자가 컴퓨터에서 클로드 데스크톱을 실행하고 평소처럼 대화를 시작하면, 오염된 선호도 설정 지침이 백그라운드에서 실행된다. 사용자는 AI가 시스템 내부의 확장 프로그램과 도구를 탐색하는 과정을 전혀 인지하지 못한다.

만약 시스템에 명령 실행이 가능한 MCP 커넥터나 도구가 설치돼있다면, 오염된 지침은 이를 통해 리버스 셸(reverse shell)을 실행하며 컴퓨터를 장악한다. 연구원들은 매 상호작용마다 공격자가 제어하는 원격 서버에서 배시(bash) 명령을 가져와 실행하도록 설정, 클로드를 은밀한 C2(명령 제어) 에이전트로 탈바꿈시켰다.

명령 실행 도구가 없는 환경에서도 공격은 유효했다. 주입된 프롬프트는 피해자가 질문을 던지는 즉시 실제와 유사한 오류 코드 및 안내 문구를 담은 가짜 오류 메시지를 띄우도록 클로드를 조종했다.

이 메시지는 문제를 해결하기 위해 ‘특정 프로그램을 다운로드하라’는 지침과 함께 실제 앤트로픽 사이트의 링크 및 자주 쓰이는 이모지를 포함한다. 사용자는 평소 신뢰하던 AI 비서의 권고이기 때문에 의심 없이 링크를 클릭하게 되며, 이는 곧바로 원격 코드 실행과 완전한 권한 탈취로 이어진다.

특히 이러한 공격이 개발자 PC를 해킹될 경우 위험성은 더욱 커진다. 개발자 PC에 저장된 API 키, 토큰, 클라우드 자격 증명 등을 확보한 공격자는 기업 내부의 대규모 클라우드 환경이나 소스 코드 저장소(git)로 측면 이동해 기업 전체에 심각한 피해를 입힐 수 있기 때문이다.

펜테라랩스는 이 같은 내용을 지난해 11월 해당 기술적 실증 결과를 앤스로픽에 제보했다. 하지만 보도에 따르면 앤스로픽 측은 이것이 시스템의 결함이나 보안 취약점이 아닌 설계된 대로 작동하는 ‘기능’이라는 입장이다.

앤스로픽은 “개인 선호도, 스킬, MCP 커넥터는 설계상 클로드 데스크톱을 통해 코드를 실행할 수 있는 기능”이라며 “해당 기능이 조작돼 임의의 코드를 실행하는 데 악용될 수 있음을 인지하고 있으나, 이는 예상된 기능 범위에 해당하며 인프라의 보안 취약점이 아니다”라고 답했다.

펜테라랩스 연구원들은 “조직을 보호하기 위해 AI 데스크톱 앱을 파일 읽기 및 코드 실행 권한을 가진 ‘권한형 소프트웨어’(privileged software)로 취급해야 한다”며 “기업 보안 팀은 AI 비서의 설정 변경 사항을 실시간으로 모니터링하고, 연동 가능한 확장 프로그램 설치를 엄격히 제한해야 한다”고 권고했다.

[강현주 기자(jjoo@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>