AI가 조직 의사결정 개입하는 환경... 보안 패러다임 대전환
시스템 침해 차단 넘어 판단 신뢰성 훼손 막는 능동적 대책 필요

[보안뉴스= 강병일 한국정보공학기술사회 미래융합기술원 위원] AI의 도입 속도는 우리가 예상한 것보다 훨씬 빠르다. 기업과 공공기관은 업무 자동화와 의사결정 지원 영역까지 AI를 도입하고 있으며, 이제 AI는 단순 보조 도구를 넘어 조직의 판단 과정에 직접 개입하는 수준에 이르렀다.


[출처: 생성형 AI 이미지 활용]

문제는 도입 속도가 통제 속도를 앞지르고 있다는 점이다. AI의 판단이 적정한지, 그 결과에 대한 책임은 누구에게 있는지, 잘못된 판단이 조직의 의사결정으로 이어질 경우 어떻게 통제할 것인지에 대한 준비는 충분하지 않다. AI는 빠르게 도입됐지만, 신뢰는 아직 준비되지 않았다.

이러한 신뢰를 보장하는 데 필요한 것이 AI 거버넌스다. 이는 조직이 AI를 책임 있게 운영하기 위한 관리·통제 체계로, 의사결정 과정과 데이터 활용, 모델 변경, 책임 주체를 명확히 해 판단 오류나 오남용으로 인한 위험을 관리하고 결과에 대한 설명과 책임이 가능하도록 해 신뢰성을 확보한다.

일반적으로 AI 거버넌스는 책임성과 투명성, 공정성, 통제 가능성, 추적가능성의 요소로 설명된다. 이 원칙은 기획·개발·학습·배포·운영 전 과정에 걸친 관리 체계를 의미한다. 특히 AI가 조직의 핵심 업무에 적용될수록 거버넌스는 문제가 아니라 실제로 작동하는 운영 구조가 되어야 한다.

그러나 이 거버넌스 체계 안에 보안은 어디에 있는가? 거버넌스는 조직의 효율적인 운영을 위한 관리 체계로 설계되는 경우가 많아, 모델 보안이나 적대적 공격 대응, 프롬프트 인젝션, 데이터 포이즈닝과 같은 위협에 대한 대응이 포함되어 있지 않다.

AI 거버넌스의 출발점은 윤리와 책임에 있다. 초기 국제 논의는 공정성과 책임성, 투명성, 인권 보호에 초점을 뒀는데 이는 AI가 사회적 위험을 초래하지 않도록 하기 위한 규범적 접근이었다.

이러한 흐름은 국내 제도에도 반영되어 있다. AI 기본법과 그 시행령, 관련 가이드라인 그리고 ISO/IEC 42001은 신뢰성·책임성·위험관리 체계를 강조한다. 이는 보안이 개인정보보호, 정보통신망보안, ISMS 등 기존 정보보호 법체계에서 별도로 다뤄진다는 전재를 기반으로 하기 때문이다.

그러나 AI는 기존 정보시스템과는 위협요인이 다르다. 기존 시스템 보안이 주로 API 호출 등 연결 지점의 입력값 검증을 중심으로 이루어졌다면, AI는 학습하고, 추론하며, 외부 입력에 의해 행동이 달라지는 동적 시스템이다. 그 공격 표면은 데이터, 모델, 프롬프트, 연계 API 전반으로 확장된다. 법과 표준은 ‘책임의 틀’을 제시하지만, ‘침해의 대응’까지는 충분히 반영하지는 못하고 있다.

정보보안은 그동안 시스템·네트워크·데이터 자산 보호를 중심으로 발전해 왔다. 침입을 차단하고, 권한을 통제하며, 유출을 방지하는 것이 핵심 과제였다. 그러나 AI가 조직의 의사결정 과정에 직접 개입하기 시작하면서, 보호의 대상과 방식은 근본적으로 달라지고 있다.


[출처: 생성형 AI 이미지 활용]

AI는 단순히 보호해야 할 자산이 아니다. AI는 판단을 생성하고, 그 판단이 조직의 행위로 이어진다. 시스템이 침해되지 않더라도, 판단이 왜곡되면 그 자체가 사고가 된다.

최근 등장한 에이전트형 AI는 이러한 변화를 더욱 분명하게 보여준다. OpenClaw와 같은 프레임워크는 단순 응답 생성을 넘어 파일 접근, 외부 API 호출, 명령 실행 등 실제 행위를 수행할 수 있는 구조를 갖는다.

이러한 환경에서는 프롬프트 인젝션이나 악성 입력이 개입할 경우, 시스템 침입 없이도 내부 데이터 접근이나 의도치 않은 작업 수행이 발생할 가능성이 존재한다. 이때 공격자는 네트워크를 침입하지 않아도 된다. AI가 이미 보유한 권한과 연결 구조를 활용하는 것만으로도 조직의 데이터와 시스템에 영향을 미칠 수 있다.

공격 표면은 서버와 네트워크를 넘어, AI가 접근 가능한 데이터, 모델, 권한, 실행 기능 전반으로 확장된다. 또한 LLM 취약점 점검에서 시작된 논의는 단순 모델 보안 문제에 머물지 않는다. 데이터 접근 구조, 권한 관리 체계, API 키 관리, 로그 기록과 감사 체계 등 전산 시스템 전체에 대한 재점검 요구로 이어진다. AI는 기존 시스템 위에 구현하는 기능이 아니라, 기존 시스템을 관통하는 연결 지점이 되기 때문이다.

일반적인 시스템 침해가 기밀성·무결성·가용성의 훼손이라면, AI 시스템 침해는 판단의 신뢰성과 조직 책임 구조의 훼손이다. 이는 단순 IT 운영 리스크를 넘어 경영 리스크로 직결된다. AI가 생성한 판단이 곧 조직의 행위가 되는 환경에서는, 보안은 더 이상 자산 보호에만 머물 수 없다. 이제 보안은 판단의 무결성과 통제 가능성을 보장하는 역할로 확장되어야 한다.

이러한 변화에 대응하기 위해 AI 거버넌스 원칙과 더불어 보안 통제를 함께 구체화해야 한다. AI 거버넌스의 보안 적용 방안은 다음과 같다.

첫째, 데이터 통제 강화다. AI 시스템의 신뢰성은 학습과 운영에 활용되는 데이터 품질에 크게 좌우된다. 따라서 데이터 출처와 품질 검증, 접근 권한 관리, 데이터 흐름 가시성 확보가 전제되어야 한다.

둘째, 모델 관리 통제다. AI 모델은 학습과 업데이트 과정에서 성능과 행동이 변화할 수 있기 때문에 관리 체계가 필요하다. 모델 학습·변경·배포 이력을 체계적으로 관리하고, 변경 시 위험 평가와 검증 절차를 의무화해야 한다.

셋째, 사용 통제와 판단 통제다. 단순 접근 통제를 넘어 AI의 사용 범위와 의사결정 영향 범위를 명확히 정의해야 한다. 특히 고위험 영역에서는 인간의 검증 절차(Human-in-the-Loop)를 포함하여 AI 판단에 대한 통제 구조를 확보해야 한다.

넷째, 기록과 감사 체계다. AI 시스템의 책임성과 투명성을 확보하기 위해서는 의사결정 과정에 대한 기록이 필수적이다. 입력, 출력, 모델 버전, 연계 시스템 정보를 기록하여 사후 추적이 가능하도록 해야 한다. 책임성은 기록을 통해서만 구현된다.

다섯째, 기존 정보보호 체계와의 통합이다. AI 보안은 별도의 관리 영역이 아니라 기존 정보보호 체계와 연계되어야 한다. ISMS-P와 내부 통제 프레임워크에 AI 관련 통제를 통합하고, 위험 수준에 따른 차등적 관리 방안을 수립해야 한다.

AI 환경에서 보안은 더 이상 자산 접근을 제한하는 기능에 머물 수 없다. 보안이 ‘접근 통제’를 넘어 ‘판단 통제’로 확장될 때, 비로소 AI 거버넌스는 실행가능한 운영 체계로 완성될 것이다.


[출처: 생성형 AI 이미지 활용]

AI 거버넌스는 보안과 함께 성숙해 갈 수 있다. 보안은 AI 거버넌스를 제약하는 장치가 아니라, AI 판단을 통제 가능한 구조로 설계하고, 책임이 작동하도록 구현하는 실행 주체가 되어야 한다.

AI를 사용하는 조직은 빠르게 늘고 있다. 그러나 AI를 책임질 준비가 된 조직은 여전히 드물다. 앞으로의 보안 경쟁력은 침해를 얼마나 차단했는지가 아니라, AI 판단을 얼마나 책임 있게 관리하고 설명할 수 있는지에 달려 있다. AI가 의사결정에 개입하는 이상, 그 책임 역시 조직이 부담해야 한다.

하지만, AI 거버넌스는 특정 부서의 과제가 아니다. 경영, 개발, 준법 부서만으로는 충분하지 않다. 실제 운영 환경에서 AI 사용 현황을 파악하고, 위험을 식별하며, 통제 체계를 설계하고 점검할 수 있는 조직은 보안 조직과 가장 밀접하다. 보안 조직은 침해 대응 중심의 수동적 역할을 넘어, AI 도입 초기 단계부터 통제 구조를 설계하는 전략적 파트너로 전환해야 한다.

AI 거버넌스가 정책과 원칙의 영역이라면, 보안은 그것을 현실에서 작동하게 만드는 영역이다. 거버넌스가 책임을 설계하는 일이라면, 보안은 그 책임을 기술적·관리적 통제로 구현하는 일이다.

결국 AI 거버넌스의 성패는 보안이 판단을 통제 가능한 체계로 얼마나 구체화하느냐에 달려 있다. AI 시대의 보안은 시스템 보호를 넘어 판단 책임으로 확장되어야 한다.

[글_강병일 한국정보공학기술사회 미래융합기술원 위원/한화생명 IT자체감사인]

필자소개_
한화생명 IT자체감사인
한국정보공학기술사회 미래융합기술원 인공지능분과위원
정보시스템 수석감리원, 정보통신 특급감리원, 데이터거래사, 금융보안관리사

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>