주요 기업 AI 어시스턴트 보안 구멍...AI 통합 확산 속 보안 위협 현실화
챗GPT·코파일럿 등 5개 AI 도구서 데이터 탈취·조작 취약점 발견

[보안뉴스 여이레 기자] AI 보안 스타트업 제니티가 미국 라스베이거스에서 열린 블랙햇 2025에서 주요 기업 AI 어시스턴트가 사이버 위협 행위자들에 의해 데이터 탈취 및 조작에 악용될 수 있음을 시연했다.


[자료: 제니티]

2021년 설립된 제니티는 기업용 AI 어시스턴트 등의 시스템에서 발생할 수 있는 데이터 탈취 및 조작 같은 보안 위협에 대응하는 연구와 솔루션을 개발하는 이스라엘 기업이다.

점점 더 많은 기업들이 생산성 향상을 위해 AI 어시스턴트와 기업 도구를 통합해 사용하고 있는 가운데 제니티는 이 같은 통합이 어떻게 악용될 수 있는지에 대한 사례를 공유했다. 일부의 경우에는 사용자와 상호작용 없이도 공격자의 명령을 수행할 수 있었다.

올해 제니티 연구진들은 챗GPT, 코파일럿, 커서, 제미나이, 세일즈포스 아인스타인을 대상으로 하는 공격 방법들을 공개했다.

지난해에도 제니티는 마이크로소프트 코파일럿 M365의 취약점을 시연한 바 있다. 당시 공격자가 이메일, 팀즈 메시지 또는 일정 초대에 특별히 제작된 지시 사항을 삽입해 챗봇이 처리하도록 유도하는 방식으로 시스템을 탈취할 수 있음을 입증했다.

연구진은 챗GPT에 대한 이메일 기반 프롬프트 인젝션 공격 실험에서 심각한 보안 취약점을 발견했다고 발표했다. 해당 공격을 통해 공격자는 챗GPT와 연동된 구글 드라이브에 접근할 수 있었으며, 시스템 내부에 악성 메모리를 주입하는 데 성공했다. 이로 인해 챗GPT는 이후 모든 대화 세션에서 악성 행위를 수행하는 에이전트로 변모했다. 제니티는 챗GPT로 하여금 피해자의 구글 드라이브에서 API 키를 검색하고 유출하게 함으로써 위험성을 입증했다.

이어 마이크로소프트의 코파일럿 스튜디오에서 전체 CRM 데이터베이스 유출이 가능한 취약점을 시연했다. 연구진은 “3000개 이상의 이런 에이전트를 실제 환경에서 발견했다”며 “이들이 내부 도구에 대한 정보를 노출해 잠재적 공격에 취약하다는 점을 확인했다”고 전했다.

또 커서와 연동된 지라 MCP는 무기화된 티켓 워크플로우를 이용해 개발자 인증 정보를 수집하는 데 사용될 수 있음을 보여줬다. 지라 티켓을 자동으로 여는 이메일 시스템의 경우 위험도가 높다. 연구팀은 이런 사례가 수백 건이나 발견됐다고 밝혔다.

연구진은 제미나이 공격을 시연하며 프롬프트 인젝션을 활용해 생성형 AI 도구가 잘못된 정보를 표시하도록 하는 방법을 공개했다. 이를 통해 피해자가 특정 고객의 계정을 요청했을 때 제미나이가 공격자 소유의 은행 계정을 제공하도록 변질된 모습이 확인됐다.

세일즈포스 아인슈타인의 경우에는 악의적인 케이스 생성 기능을 통해 모든 고객 커뮤니케이션을 공격자가 제어하는 이메일 주소로 우회되도록 조작할 수 있었다.

제니티는 “현재 챗GPT와 코파일럿 스튜디오의 취약점은 패치된 상태”라면서 “나머지는 아직 수정되지 않았다”고 밝혔다. 다만 구글 대변인은 보안 외신 에 “최근 프롬프트 인젝션 공격과 같은 문제를 해결하기 위한 새로운 다층적 보안 시스템을 도입했다”고 전했다.

[여이레 기자(gore@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>