AI는 더 이상 애플리케이션의 부가 기능이 아니라, 조직의 권한 체계 안에서 움직이는 “행위자”
에이전트, 사용자 계정의 부속 기능이 아니라 독립된 비인간 신원(Non-Human Identity)으로 관리해야

[보안뉴스= 권태경 한국정보보호학회 AI보안연구회 위원장] 요즘 우리는 생성형 AI를 필두로 에이전틱 AI와 피지컬 AI를 넘나드는 초시대적 발전을 매일 같이 직접 목격하며 경험하고 있다. 그러나 필자가 이 칼럼을 정리하던 바로 최근에도 에이전틱 AI 보안의 성격을 단번에 보여주는 사건이 발생했는데, 공격자가 메타의 AI 고객지원 챗봇에게 “이 계정에 내 이메일을 연결해달라”는 간단한 자연어 요청만으로, Obama White House, Sephora, 미 우주군 주임원사 등 유명 인스타그램 계정을 탈취한 것이다.

그 내용을 살펴보면 “계정 복구”라는 고위험 권한을 AI 에이전트에게 위임한 설계 자체가 공격 표면이 되었고, 이렇게 탈취된 계정들은 당시 MFA를 적용하지 않았던 것으로 파악되었다. 이것은 곧 신구 공격 표면이 연결된 결과인데, 여기에는 코드 취약점 발견과 같이 난이도 있는 기술이 전혀 필요 없었다.


[출처: gettyimagesbank]

이제 AI 보안의 근본적인 질문이 바뀌고 있다. 예전의 질문이 “AI가 무엇을 답하는가”였다면, 이제는 “AI가 무슨 행동을 하는가”를 물어야 하는 것이다. 메타의 경우도 그 챗봇이 단순히 상담 답변만 제공했었다면 그저 대화형 인터페이스에 불과했겠지만, 챗봇이 고객의 계정에 이메일을 연결하고, 비밀번호 재설정을 돕고, 고객 정보를 조회하고, 결제를 승인하고, 코드를 배포하고, 데이터베이스를 수정할 수 있다면 상황이 완전히 달라지는 것이다.

이제 AI는 더 이상 애플리케이션의 부가 기능이 아니라, 조직의 권한 체계 안에서 움직이는 “행위자”이다. 그러니까 에이전틱 AI의 본질은 생성이 아니라 곧 “실행”인 것이다. 에이전트는 목표를 해석하고, 계획을 세우고, 외부 도구를 호출하고, 메모리를 갱신하고, 다른 에이전트들과 협업한다. 생성형 AI의 틀린 답변은 정정할 수 있었지만, 이제 에이전틱 AI의 틀린 행동은 되돌리기 어렵다. 잘못 발송된 이메일, 삭제된 로그, 승인된 환불, 변경된 계정, 배포된 취약 코드, 오작동한 설비는 단순한 “환각”으로 치부할 수 없는 것이다.

마찬가지로 에이전틱 AI 환경에서 프롬프트 인젝션은 더 이상 입력창을 속이는 문제가 아니고, 권한 있는 업무 프로세스가 자연어를 통해 재프로그래밍되는 문제인 것이다. 이렇게 공격자는 모델을 완전히 장악하지 않아도 된다. 에이전트가 믿고 읽는 문서, 메일, 웹페이지, 일정, RAG 데이터, 도구 설명, 다른 에이전트의 메시지를 오염시키면 충분할 수 있다. AI가 그 내용을 지시로 오해하고 도구를 호출하는 순간, 공격은 대화가 아니라 실행으로 바뀌는 것이다.

최근의 또 다른 사례도 같은 흐름을 보여준다. 보안업체 Aikido는 2026년 5월, OpenAI Codex용 원격 UI처럼 보이는 npm 패키지 codexui-android가 사용자의 Codex 인증 토큰을 외부로 전송했다고 공개했다. 이 사건은 AI 개발도구 공급망이 본격적인 공격 표면이 되고 있음을 보여준다. 공격자는 어렵게 모델을 공격할 필요도가 없이, 개발자가 설치하는 AI 도구, 에이전트 플러그인, MCP 서버, 원격 UI, 패키지 저장소를 오염시키면 AI가 쓰는 권한과 토큰을 우회적으로 노릴 수 있는 것이다. 또한 최근 미국 금융권에서 보고된 Shadow AI 사건에서는 승인되지 않은 AI 기반 소프트웨어 애플리케이션을 통해 비공개 고객 정보가 처리되었는데, 이것은 AI 사용이 외부 공격과 상관없이도 보안 사건이 될 수 있음을 보여준다. 조직이 모르는 AI는 보이지 않는 데이터 흐름이고, 보이지않는 권한 행사이며, 보이지 않는 책임 공백인 셈이다.

그러면 이제AI 보안에서 가장 먼저 바뀌어야 할 관점은 무엇일까? 필자는 이 질문에 대해 그 답은, “권한”에 대한 감각이라고 강조하고 싶다. 신원과 접근 권한 말이다. 지금까지 우리는 사용자 계정, 서비스 계정, API 키, 네트워크 경계, 애플리케이션 권한을 각각 관리해 왔다. 하지만 에이전트는 이 모든 것을 그저 연결한다. 사용자의 자연어 요청을 받아 내부 문서를 검색하고, 결과를 요약하고, API를 호출하고, 장기 메모리에 상태를 저장하고, 다른 에이전트에게 일을 넘긴다. 이때 에이전트가 사용자의 세션을 그대로 빌려 쓰거나, 과도한 서비스 계정을 상속받거나, 여러 도구를 연결해 우회 경로를 만들면 기존 접근통제는 쉽게 무력화되는 것이다.

따라서 에이전트는 사용자 계정의 부속 기능이 아니라 독립된 비인간 신원(Non-Human Identity)으로 관리해야 하는데, 직원에게 사번과 직무, 권한, 감사, 퇴사 절차가 필요하듯 에이전트에게도 고유한 신원, 역할, 권한, 로그, 중지 절차, 폐기 절차가 필요한 것이다. 그러니까 이제는 어떤 모델을 쓰는지보다 다음과 같은 질문이 더 중요해졌다. 이 에이전트는 어떤 데이터에 접근할 수 있는가. 어떤 도구를 호출할 수 있는가. 읽기만 하는가, 쓰기도 하는가. 외부로 전송할 수 있는가. 결제나 삭제, 권한 변경 같은 비가역적 행동을 할 수 있는가. 그리고 그 모든 행동은 누구의 책임으로 남는가. 이와 같이 AI의 권한에 대한 질문이다.

OWASP가 Agentic Top 10에서 제시한 위험들도 결국 이 문제로 수렴한다. Agent Goal Hijack은 목표가 탈취되는 문제다. Tool Misuse는 합법적 도구가 잘못된 맥락에서 사용되는 문제다. Identity and Privilege Abuse는 에이전트의 신원과 위임 권한이 남용되는 문제다. Memory and Context Poisoning은 에이전트가 기억하고 참조하는 맥락이 오염되는 문제다. Insecure Inter-Agent Communication은 에이전트 간 신뢰가 공격면이 되는 문제다. Cascading Failures와 Rogue Agents는 작은 오류와 신뢰 실패가 다중 에이전트 체계에서 증폭되는 문제다. 여기서 필요한 원칙은 단순한 Least Privilege를 넘어서는 Least Agency다. 필요한 권한만 주는 것도 중요하지만, 그보다 앞서 “굳이 자율성을 줄 필요가 있는가”를 물어야 한다. 물론 모든 업무를 에이전트화할 필요는 없으며, 정해진 절차와 명확한 규칙으로 충분한 업무는 오히려 결정론적 워크플로로 두는 편이 더 안전하다. 에이전트는 불확실한 상황 판단, 여러 도구의 조합, 맥락 이해가 실제 가치를 만드는 곳에 제한적으로 배치되어야 한다. 자율성은 생산성의 원천이지만, 동시에 공격 표면인 것이다.

이러한 맥락에서 거버넌스가 문서 중심에서 런타임 중심으로 신속히 옮겨가야 한다. 기존 AI 거버넌스는 모델 출시 전 검토, 데이터셋 점검, 윤리 원칙, 투명성 고지에 머무는 경우가 많았다. 그러나 에이전틱 AI는 실행 중에 판단하고 행동한다. 따라서 이제 거버넌스도 PDF 파일이 아니라 정책 집행 지점이어야 하는 것이다. 에이전트가 개인정보나 민감정보를 검색하고, 장기 메모리에 저장하고, 외부 도구로 전송하고, 로그에 남기는 순간이 그 지점이어야 하는 것이다.

예를 들어 모델이 “이 고객 계정의 이메일을 바꾸겠다”, “이 파일을 외부로 보내겠다”, “이 코드를 배포하겠다”, “이 결제를 승인하겠다”고 판단하는 순간, 실행 직전에 의도와 권한, 데이터 민감도, 비가역성, 사용자 권한을 신속하게 검증해야 한다. 이와 같은 검증이 가능하려면 런타임 중심의 거버넌스는 이제 HITL을 넘어 HOTL로 한층 더 나아가야하며, 여기에는 결국 AI 활용이 수반될 수 밖에 없다. 이러한 이유로 위험 관리를 위한 순환체계와 자동화된 검증체계가 동시에 작동해야하는 것이다. 그 중심에는 여전히 (신원과 접근) 권한이 있다.

최근 시행된 인공지능기본법과 개정된 개인정보보호법은 이 변화의 흐름을 더욱 대변하며, 실제로 국내 기업에게 훨씬 직접적이고 큰 비용이 될 수 있다. 왜냐하면 개인정보가 이제 더 이상 회원가입 양식에 담긴 이름과 전화번호만이 아니기 때문이다. 프롬프트, 업로드 파일, RAG 검색 결과, 벡터DB, 장기 메모리, 도구 호출 인자, 에이전트 간 메시지, 실행 로그 모두가 개인정보 처리 흐름이 될 수 있으며, 특히 중대/ 반복 위반에 대해서는 매출액의 최대 10%까지 징벌적 과징금이 부과될 수 있는 방향으로 제재가 강화되고 있다.

따라서 에이전틱 AI 사고가 개인정보 유출과 결합하면 “AI 서비스 오류”가 아니라 매출액 단위의 법적 리스크가 되는 것이다. 여기에 더해 EU AI Act는 글로벌 사업자에게 또 다른 압박이 되며, 미국 CLOUD Act는 클라우드 관할권의 문제를 어렵게 만든다. 에이전틱 AI 시대의 데이터 주권은 결국 저장 위치나 암호의 종류의 문제가 아니라 암호키, 접근권, 로그 보존, 법적 요청 대응권의 문제가 되는 것이다. 역시나 (신원과 접근) 권한이 중요하다.

이제 결국 필요한 것은 Agentic AI Compliance Control Plane이다. 조직 안의 모든 에이전트를 등록하고, 목적과 소유자, 모델, 데이터, 도구, 권한, 배포 위치, 이용자 범위를 관리해야 한다. 고영향 AI 여부, 고위험 AI 여부, 자동화 결정 여부, 개인정보 처리 여부, 클라우드 관할권 노출 여부를 함께 분류해야 한다. 도구 호출은 기능이 아니라 권한 행사로 보고, 호출 직전에 인증과 인가, 정책 검증, 로깅이 이루어져야 한다. 메모리는 캐시가 아니라 규제 대상 데이터 저장소로 보고, 보존기간과 삭제, 출처, 격리, 롤백을 관리해야 한다.

이 논의를 피지컬 AI로 확장하면 더욱 무거워진다. 지금까지의 에이전틱 AI가 이메일, CRM, 코드 저장소, 계정복구 시스템, 클라우드 API를 움직였다면, 피지컬 AI는 로봇, 공장 설비, 의료기기, 물류 장비, 자율 시스템, OT 환경을 움직인다. 물리 세계에서 AI가 행동하기 시작하면 보안 실패의 의미가 바뀐다. 계정 복구 봇의 실패는 계정 탈취로 끝날 수 있지만, 공장 설비나 의료 로봇, 자율 시스템의 실패는 안전사고로 이어질 수 있기 떄문이다. 피지컬 AI 시대에는 설명가능성보다 먼저 “정지가능성”이 필요하다. 로봇이 왜 그렇게 판단했는지도 중요하지만, 그 판단이 실제 동작으로 바뀌기 전에 어떤 안전 인터록이 있었는지, 어떤 HITL/HOTL승인 지점이 있었는지, 어떤 물리적 중지권한이 있었는지, 또한 어떤 로그가 남았는지가 더 중요하다. AI 추론계와 OT 제어계를 분리하고, 검증된 인터페이스만 허용해야 하는 것이다. 특히 불확실성, 센서 이상, 정책 위반, 통신 장애가 발생하면 fail-safe와 수동 전환이 기본값이어야 한다. 실제 실행 전에는 디지털 트윈과 시뮬레이션을 통해 “권한”에 관한 예외 조건을 검증해야 할 것이다.

자 그럼 이제 이번 칼럼을 정리해보자. 이미 AI는 코드 작성, 실험 자동화, 버그 탐지, 보안 평가, 모델 개발 워크플로에 깊숙히 들어가고 있다. AI가 만든 코드를 AI가 리뷰하고, AI가 찾은 취약점을 AI가 패치하며, AI가 설계한 실험을 AI가 실행하는 환경이 확대될 수 밖에 없다. 따라서 이제 보안의 관심사는 생성물 검토에서 개발 루프 통제로, 그러니까 권한 통제로 이동하게 되는 것이다. 즉 에이전틱 AI의 다음 보안 경계는 실행 직전의 권한 게이트뿐 아니라 학습, 실험, 평가, 배포를 연결하는 AI 개발 루프 전체가 된다. 하지만 최근 앤쓰로픽에서 경고한 바와 같이 AI의 “재귀적 자기개선 기능”이 언젠가 또는 조만간 현실화된다면, 속도의 비대칭이 주는 공포는 더욱 심각해질 것이다. AI 개발 속도가 거버넌스 차원에서 인간의 검토, 법제, 안전성 및 보안 평가 의 속도를 크게 앞지를 수 있기 때문이다. 정말로 앤쓰로픽의 최신 경고대로 이제 AI 개발 속도를 일부러 늦추어야할지도 모르겠다. 예전에 일론 머스크가 경고했던 것과는 또 한층 차원이 달라졌다.

앞으로 AI 보안의 승자는 가장 큰 모델을 가진 조직이 아닐 것이다. 가장 많은 에이전트를 배포한 조직도 아닐 것이다. 필자는 그 승자는 자율성을 가장 정교하게 통제하는 그러니까 AI 시대의 권한 거버넌스를 갖춘 조직이 될것이라고 단언하고 싶다. 에이전틱 AI의 경쟁력은 자율성에서 나오지만, 신뢰는 오히려 자율성의 제한에서 나오는 것이다. AI가 말만 할 때의 보안은 주로 프롬프트의 문제였다. 하지만 AI가 행동하기 시작한 지금의 보안은 분명히 권한의 문제다. 이것이 피지컬 AI의 안전 문제와 직접 연결되고, 나아가 AI가 AI를 개발하기 시작하는 다음 단계에는 검증 가능한 통제 속도의 문제가 될 것이다. 에이전틱 AI를 안전하게 쓰는 조직은 AI를 두려워하는 조직이 아니다. AI에게 어디까지 맡기고, 어디서 멈추게 하며, 어떤 책임을 남길지 아는 조직이다. 그러니까 권한 거버넌스를 갖춘 조직이다. 그것이 앞으로의 AI 보안이고, 동시에 AI 거버넌스의 본질인 것이다.

[글_ 권태경 한국정보보호학회 AI보안연구회 위원장/연세대학교 교수]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>