미국 CISA 및 영국 NCSC 등 주도해 자율형 인공지능 오남용 방지 안전장치 마련
데이터 탈취 및 시스템 파괴 막기 위한 긴급 정지 기능 의무화 등 세부 지침 공개

[보안뉴스 김형근 기자] 미국 사이버보안 및 인프라보안국(CISA)과 영국 국가사이버보안센터(NCSC)를 비롯한 주요국 사이버 보안 기관들이 자율형 인공지능(Agentic AI) 도입을 위한 새로운 보안 지침을 공동 발표했다.


[출처: gettyimagesbank]

이번 지침은 인간의 개입 없이 스스로 계획을 세우고 도구를 사용하는 자율형 인공지능이 해커들에 의해 교활하게 악용되는 것을 사전에 차단하는 데 목적이 있다.

핵심 권고 사항은 인공지능의 행동 범위를 엄격히 제한하고, 모든 결정 과정을 투명하게 기록하는 모니터링 체계의 구축이다. 자율형 인공지능이 핵심 인프라나 민감한 데이터 시스템에 접근할 때는 반드시 인간의 최종 승인을 거치도록 하는 ‘인간 개입’(Human-in-the-loop) 원칙을 명확히 규정했다.

기술적 보안 조치도 대폭 강화됐다. 공격자가 조작된 입력값을 주입해 인공지능을 세뇌하는 ‘프롬프트 인젝션’(Prompt Injection) 공격에 대비한 정교한 방어막 설계가 필수 요건으로 지목했다. 또, 인공지능 에이전트 간의 통신 과정에서 발생할 수 있는 보안 침해를 막기 위해 암호화 및 인증 절차를 고도화할 것을 주문했다.

기업들이 자율형 인공지능을 도입할 때는 보안성 검토를 의무적으로 수행해야 하며, 예상치 못한 자율 행동이나 이상 징후 발생 시 시스템을 즉각 차단할 수 있는 긴급 정지 기능을 반드시 갖추도록 권고했다.

이번 글로벌 공동 지침은 2026년 기업 보안 환경의 핵심 모순인 ‘자율성과 통제권의 충돌’을 선제적으로 제어하기 위한 안보 거버넌스의 기점으로 보인다. 보안 당국은 기술의 진보가 안보 파산으로 이어지지 않도록 산업계 전반에 거듭 당부했다.

[김형근 기자(editor@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>