허깅페이스 악성코드·데이터 오염 등 AI 모델 노린 공급망 위협 현실화
단순 코드(SBOM) 넘어 학습 데이터와 가중치 추적하는 ‘AI-BOM’ 필수
AI 기본법 시행 임박... “블랙박스 열고 전사적 AI 거버넌스 구축해야”

[보안뉴스= 윤아영 기술사/하나증권] 지금 이 순간에도 수많은 기업이 서버실과 개발자의 모니터 속에서는 거대한 ‘지능’이 쉴 새 없이 돌아가고 있다. 우리는 생성형 AI가 작성한 코드를 시스템 코어에 이식하고, AI가 분석한 데이터를 믿고 수십억원짜리 의사결정을 내린다. 분명 AI는 의심할 여지 없는 혁신의 파트너로 우리 곁에 자리 잡았다. 하지만 그 놀라운 성과에 가려진 이면을 들여다 보기 위해, 우리는 중요한 질문을 하나 던져야 한다.

도대체 이 거대한 지능은 무엇으로 만들어졌는가?


[출처: AI 이미지 생성]

우리는 AI의 뛰어난 성능에 취해, 정작 그 내부를 들여다보는 일은 잊고 있었다. 만약 당신이 도입한 그 AI 모델이 해커가 교묘하게 심어둔 ‘오염된 데이터’로 학습되었다면 어떨까? 혹은 수만 줄의 코드 속에 출처를 알 수 없는 오픈소스 취약점이 시한폭탄처럼 째깍거리고 있다면?

이러한 우려는 단순한 상상이 아니다. 실제로 2023~2024년 보안 리포트에 따르면 허깅페이스(Hugging Face)에 공유된 일부 AI모델에서 피클(Pickle) 기반의 악성코드가 발견된 사례가 보고됐다. 공격자는 AI모델 파일 내부에 실행 코드를 숨겨두었고, 사용자가 이를 로드하는 순간 원격 코드 실행(RCE, Remote Code Execution) 공격이 가능했다. 해시값 검증이나 안전한 포맷 사용 같은 기본적인 체계만 있었더라도 막을 수 있었던 위험이다. 이는 AI모델 파일 자체를 이제는 “신뢰할 수 없는 자산(Untrusted asset)”으로 간주해야 함을 경고한다.

데이터 조작의 위협 역시 예외가 아니다. 나이트셰이드(Nightshade)는 이미지 픽셀을 미세하게 변형해, AI가 전혀 다른 대상으로 인식하게 만드는 데이터 오염(Poisoning) 기술이다. 연구 단계에서 이미 미세한 이미지의 픽셀 변형으로 AI가 고양이를 강아지로 분류하게 만드는 등 그 가능성이 입증됐다. 이 기술은 학습 데이터의 무결성이 깨질 경우 AI 결과값이 얼마나 쉽게 왜곡될 수 있는지를 적나라하게 보여준다. 아직 대규모 실제 피해 사례는 없지만, 데이터의 출처와 무결성을 추적하는 ‘데이터 계보(Data Lineage)’가 왜 필수적인지를 보여주는 대표적 사례다.

편향(Bias) 역시 치명적인 위험이다. 과거 아마존이 자체 개발한 AI 채용 시스템을 전면 폐기한 사건을 기억하는가? 해당 시스템은 여성 지원자에게 일관된 불이익을 주는 심각한 결함을 보였다. 문제는 ‘왜’ 그런 결과가 나왔는지 설명할 길이 요원했다는 점이다. 학습 데이터 구성부터 피처 엔지니어링(Feature Engineering)에 이르는 검증 기록이 부재했기 때문이다. 이 실패 사례는 검증 없는 AI가 기업에 어떤 손실을 입히는지, 그리고 데이터 편향을 기록하고 추적하는 체계가 왜 필요한지 명확히 보여준다.

SBOM을 넘어, AI의 ‘DNA’로
이러한 사고를 막기 위해 필요한 것이 바로 AI-BOM(AI Bill of Materials)이다. 기존 SBOM(Software Bill of Materials)이 소프트웨어라는 코드 형태의 ‘껍데기’를 추적했다면, AI-BOM은 모델의 가중치, 데이터, 학습 과정이라는 AI의 ‘DNA’까지 추적하는 명세서다. AI 시스템은 코드뿐만 아니라 확률적 구조(Probabilistic System)를 지니기 때문에, AI-BOM은 SBOM보다 훨씬 복잡한 요소를 다뤄야 한다.


▲SBOM, AI-BOM 비교 [출처: AI 이미지 생성]

단순히 “무엇으로 구성되었는가”를 넘어, “무엇을 학습했고, 어디서 왔는가”를 투명하게 기록하는 것. 그것이 AI-BOM의 핵심 가치인 것이다.

AI-BOM은 더이상 막연한 개념이 아니다. AI-BOM의 표준화는 빠르게 구체화되고 있다. CycloneDX v1.5는 ML-BOM 확장을 통해 모델과 데이터 구조를 기술하는 기술적 표준을 정립했고, 허깅페이스의 Model Cards는 모델의 한계와 편향성을 명시하도록 요구하며 설명 가능성을 보완하고 있다. 나아가 NIST AI RMF나 ISO/IEC 42001 같은 국제 표준은 이를 조직의 위험 관리 체계로 통합하며, AI-BOM을 단순 문서가 아닌 신뢰성 검증의 핵심 도구로 격상시켰다.

AI-BOM, 선택이 아닌 법적 생존 전략
이제 AI-BOM은 기술적 권고사항을 넘어, 강화되는 규제 환경에서 살아남기 위한 필수 전략으로 주목받고 있다. 곧 시행될 대한민국의 ‘인공지능 발전과 신뢰 기반 조성 등에 관한 기본법’(AI기본법)은 고위험 AI에 대한 강력한 신뢰성 확보를 의무화하고 있다.

사람의 생명·신체, 채용·금융 등 중대한 영향을 미치는 AI를 운영하는 모든 사업자는 투명성과 설명 가능성, AI 사용의 사전 고지, 오작동 방지 조치를 반드시 이행해야 한다. 특히 AI기본법 제32조는 대규모 AI 시스템에 대해 위험관리 계획의 수립과 문서화를 의무화하고, 제34조는 사용자 보호·설명가능성·위험 완화 조치 등 책임성을 명확히 규정하고 있다.

이처럼 강화된 법적 의무는 우리에게 피할 수 없는 질문을 던진다. “지금 규제 당국이 AI의 신뢰성에 대한 증거를 요구한다면, 학습 데이터조차 제대로 기록하지 않은 AI의 신뢰성은 무엇으로 증명할 것인가?”

데이터 출처과 편향성 검토 여부, 알고리즘 구조, 모델 변경 이력 등 AI 구성을 명세화하지 않는다면, 법적 분쟁이나 규제 당국의 점검 시 기업은 어떠한 항변도 하기 어렵다. 기업은 ‘무엇을 사용했고, 어떻게 학습했으며, 어떤 위험을 관리했는지’ 명확히 설명해야 한다.

결국 AI-BOM은 AI기본법 시대에 기업이 책임을 입증하고 리스크를 방어할 수 있는 ‘통행증’이자 최소한의 방어선이 된다.

안전한 AI-DNA를 위한 실천 로드맵
AI는 강력한 도구이지만, 통제되지 않는 지능은 기업에 막대한 손실과 법적 책임을 안기는 ‘시한폭탄’이 될 수 있다. 지금껏 우리는 “AI를 도입하자”는 구호에만 취해, 정작 “어떻게 안전하게 다룰까?”라는 본질적인 질문은 외면해왔다.

하지만 AI기본법 시행과 공급망 공격의 증가는 더 이상 안전을 미룰 수 없는 환경을 만들고 있다. 이제 기업의 고민은 ‘도입 여부’가 아니라 ‘통제 가능성’으로 바꿔야 한다. 이를 위해서는 조직 전체가 참여하는 AI-BOM 기반의 실천 로드맵을 마련해야 하며, 아래 세 단계는 그 출발점이 된다.


[출처: AI 이미지 생성]

첫 단계로 개발·보안팀은 AI의 ‘자동화된 검증 체계’를 구축해야 한다. AI-BOM은 개발자가 엑셀에 수기로 정리하는 문서가 되어서는 안 된다. MLOps 파이프라인 안에서 모델 학습이 끝나는 순간, CycloneDX 같은 표준 포맷으로 BOM이 자동 생성되도록 해야 한다. MLflow나 W&B 같은 저장소를 통해 학습 환경과 데이터 전처리 내역을 투명하게 기록해 배포 과정에서의 위·변조를 원천적으로 차단해야 한다.

다음으로 구매·조달팀은 AI 도입 단계에서부터 공급망 검증 프로세스를 강화해야 한다. 외부 AI 솔루션이나 LLM 엔진 구매 시 제안요청서(RFP)에 ‘AI-BOM 제출 의무’를 명시하고, 공급사가 제공하는 데이터 출처·라이선스·편향 제거 조치·모델 테스트 결과 등을 정량적으로 검증해야 한다. 이는 단순한 품질관리 절차가 아니라, 악성 모델 유입·데이터 오염·라이선스 위반에 따른 법적 책임을 예방하기 위한 핵심적 내부통제다. 우리가 성분표 없는 가공식품을 입에 대지 않듯, 무엇으로 만들었는지 명확히 확인되지 않은 AI를 덜컥 도입해서는 안 된다.

최종적으로 경영진과 CISO는 AI를 일회성 프로젝트가 아닌 ‘지속적 거버넌스’를 확립해야 한다. AI 모델은 시간이 지나며 데이터 분포가 변하고 성능이 저하되는 드리프트(Drift) 현상을 겪는다. 이는 모델이 배포된 이후 시간이 지나면서 성능이 떨어지는 현상을 말한다. 개발 시점에 작성된 AI-BOM만으로는 충분하지 않다.

운영 단계에서도 지속적으로 갱신·감사·점검이 이루어져야 한다. 기업차원에서 모델 재학습 주기 설정, 성능 저하 탐지, 데이터 변경 이력 관리 등 조직 차원의 지속 모니터링 체계를 구축할 필요가 있다. 이를 위해 경영진은 AI 거버넌스 위원회를 통해 법적 준수 여부와 책임 주체를 명확히 관리해야 한다. 이러한 거버넌스가 뒷받침될 때 비로소 AI-BOM은 단순한 기술 명세서를 넘어, 조직의 잠재적 리스크를 선제적으로 차단하고, 기업의 대외 신뢰도를 지킬 수 있는 무기가 될 것이다.


▲윤아영 기술사 [출처:한국정보공학기술사회]
이제 ‘AI 블랙박스’를 열어야 할 때
최고의 스포츠카가 빨리 달릴 수 있는 이유는 강력한 엔진 때문이 아니라, 언제든 멈출 수 있는 확실한 브레이크가 있기 때문이다. 어떻게 만들어졌는지도 모르는 통제 불능의 폭주 기관차를 만들 것인가, 아니면 확실한 설계서인 AI-BOM을 갖고 자신 있게 가속 페달을 밟을 것인가?

속도 경쟁에 매몰되어 통제 불가능한 AI를 방치한다면, 단순한 ‘기술 부채’를 넘어 막대한 금전적 손실과 감당하기 힘든 법적 책임으로 되돌아올 것이다

이제 굳게 닫힌 ‘블랙박스’를 열고, AI-BOM을 작성해야 할 때다. AI의 내부를 들여다보고 통제할 수 있는 기업만이 다가올 규제의 파고를 넘어 고객에게 당당하게 말할 수 있을 것이다.

“우리의 AI는 안전하다”라고.

[글_윤아영 기술사/하나증권]

필자소개
-한국정보공학기술사회 미래융합기술원 보안분과위원
-정보관리기술사. ISMS-P 인증심사원, 정보시스템 수석감리원, CPPG, 금융보안관리사
-KISA, IITP, NIPA 등 평가위원

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>