국가보안기술연구소 가이드라인 기반으로 차세대 보안 아키텍처 제시
폐쇄망 한계 극복할 로컬 맞춤형 보안 생태계 구축 필요해

[보안뉴스 조재호 기자] 2일 한국정보처리학회가 주최한 2026년 IT21 컨퍼런스에서 AI 시스템 도입에 따른 치명적인 공급망 위협과 대응책이 핵심 화두로 떠올랐다. 김우년 국가보안기술연구소(NSR) 본부장이 좌장을 맡은 ‘AI와 보안’ 세션에서는 공공 부문의 인공지능 도입을 위한 입체적인 방어 아키텍처가 논의됐다.

첫 번째 발표자로 나선 민병길 국가보안기술연구소 실장은 비공개 세션을 통해 국가 및 공공기관의 AI 시스템 구축과 운영 시 직면하는 보안 위협을 짚고 지난해 12월 배포된 가이드북을 기반으로 한 실무적 방어 체계를 브리핑했다.


▲나현식 숭실대학교 교수가 발표를 하고 있다. [출처: 보안뉴스]

이어 나현식 숭실대학교 교수는 AI 퍼플티밍(Purple Teaming)을 주제로 방어자 관점을 뛰어넘어 공격자 입장에서 취약점을 선제 탐색하는 능동적 평가 체계의 중요성을 역설했다.

나 교수가 공개한 국내외 23개 대형 및 소형 파운데이션 모델 벤치마크 결과에 따르면, 국내 모델들이 영어보다 한국어 질의에 대해 보안성이 10점에서 15점가량 더 취약한 맹점이 확인됐다. 그는 “한국어 데이터셋을 집중 학습해 국내 맥락을 깊이 이해하는 똑똑한 모델일수록, 역설적으로 공격자의 정교한 우회 공격(Jailbreak) 유도 프롬프트에 속아 유해하거나 위험한 정보를 더 상세히 내뱉는 경향이 확인됐다”며 “영어 중심의 기존 보안 전이 환경에서 벗어나 우리말 특화 보안성 평가 체계를 꾸준히 구축해야 하는 이유”라고 진단했다.

또, 해외 빅테크 주도로 개발된 범용 자동화 평가 툴이 국내 공공기관 특화 챗봇의 취약점을 제대로 식별하지 못하는 한계를 보였다. 이에 악의적인 쿼리를 자동 생성하는 ‘레드티밍’과 이를 즉각 재학습해 방어하는 블루팀을 결합한 ‘퍼플티밍’ 생태계 구축이 대안으로 제시됐다.


▲이만희 한남대학교 교수가 발표를 하고 있다. [출처: 보안뉴스]

이만희 한남대학교 교수는 능동적으로 행동하는 에이전틱 AI의 확산에 따른 AI 공급망 위협을 경계했다. 이 교수는 “스스로 판단하고 도구까지 사용하는 ‘에이전틱 AI’ 환경에서는 공급망 생태계 내 오염된 모델 하나가 즉각적인 코드 실행이나 악의적 결제 등 치명적인 행동 결과로 직결된다”며 “부여된 권한이 클수록 단 한 번의 공급망 오염이 낳는 파급력은 비약적으로 팽창할 수밖에 없다”고 경고했다.

AI 공급망이 기존 소프트웨어와 달리 데이터셋과 모델 학습 프레임워크라는 새로운 산출물을 포함하므로 단순한 소프트웨어 자재명세서로는 위협을 통제할 수 없기 때문이다. 특히, 지난 5월 미국 사이버보안인프라보안국(CISA)과 주요 7개국 및 유럽연합이 합의해 발표한 AI 최소 요소 가이드라인을 최초로 조명하며 데이터의 출처와 가중치를 낱낱이 추적하는 ‘AI BOM’ 도입이 국가적 필수 과제임을 명확히 했다.

이 교수는 “기존의 소프트웨어 자재명세서(SBOM) 체계로는 데이터셋의 출처나 모델 가중치 같은 인공지능 고유의 핵심 산출물을 담아낼 수 없다”며 “어떤 데이터와 프레임워크로 훈련되었는지 명세하는 ‘AI BOM’ 체계가 선행되지 않는다면, 추후 치명적인 취약점이나 오염 데이터가 발견되더라도 맹인처럼 아무런 대응조차 할 수 없을 것”이라고 말했다.

AI와 보안 세션은 글로벌 AI 경쟁 속에서 대한민국 공공 인프라가 갖춰야 할 사이버 복원력의 미래상을 논했다. 막대한 비용과 폐쇄망이라는 제약으로 인해 클라우드 기반의 프론티어 AI 모델 활용에 제약이 걸린 현실을 고려할 때, 특화 도메인의 문맥을 이해하는 맞춤형 평가 모델의 개발과 더불어 AI 모델의 내부를 들여다볼 ‘AI BOM’ 확보는 필수적이라는 조언이다.

김우년 국가보안기술연구소 본부장은 세션을 마무리하며 “안전한 공공 시스템 도입을 위해 ‘퍼플티밍’ 방법론과 공급망 보안을 결합해야 한다”며 “특히 제조사의 원천 데이터를 파악하는 투명성을 위해 ‘AI BOM’은 필수적이며, 무엇보다 국가 가이드라인 기반의 체계적인 거버넌스 수립이 AI 보안의 핵심”이라고 짚었다.

[조재호 기자(zephyr@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>