머신러닝 특화 보안 모델 ‘MLSecOps’ 부상
지속 가능한 신뢰와 책임 있는 AI 운영을 가능하게 하는 기반

[보안뉴스= 조경재 한국정보시스템감사통제협회 학술부문 부회장] AI(Artificial Intelligence) 기술이 다양한 산업 분야에서 핵심적인 역할을 수행하게 되면서 특히 그 핵심 구현 기술인 ML(Machine Learning)에 관련된 새로운 보안 위험이 부각되고 있다. 예를 들어, ML 모델에 악성 코드를 삽입하는 모델 변조, 훈련 데이터를 통해 민감 정보가 유출되는 데이터 누출, 적대적 예시나 프롬프트 주입과 같은 공격이 지속적으로 증가하고 있다.


[자료: gettyimagesbank]

이러한 악의적인 공격에 대비하려면 전통적인 개발 보안 방법론에 더해 머신러닝 특화 보안 모델이 필요하다. 이를 위해 등장한 개념이 MLSecOps(Machine Learning Security Operations)로, AI 구현의 핵심 기술인 ML 생애주기 전반에 보안을 강화하기 위한 방법론이다. MLSecOps는 데이터 수집, 모델 개발, 배포, 모니터링 등 ML 파이프라인 전반에 ‘Secure by Design’ 원칙을 적용해 각 생애주기 단계에서 발생할 수 있는 보안 위협을 사전에 식별하고 적절한 대응 전략을 수립하는 것을 목표로 한다. 그렇다면, 각 단계에서 어떤 보안 위협이 존재할까? 대표적인 사례를 통해 살펴보자.

데이터 수집 단계에서는 모델 학습에 사용될 데이터의 무결성과 신뢰성이 핵심이다. 이 단계의 대표적 위협으로는 Data Poisoning 공격이 있다. 공격자가 고의적으로 왜곡된 데이터를 주입해 모델의 예측 성능을 떨어뜨리거나, 의도하지 않은 결과를 유도할 수 있다. 또한, 외부 데이터 소스나 데이터셋을 가져올 때 악성 데이터나 바이러스가 포함될 위험도 있다.

모델 학습 단계에서는 방대한 양의 데이터 처리와 복잡한 연산이 이루어지므로, 인프라, 소프트웨어, 파이프라인 등 학습 환경 전반에 걸쳐 보안 취약점이 존재할 수 있다. 이러한 환경에 대한 무단 접근이나 권한 관리의 미흡은 심각한 보안 위협으로 이어질 수 있다. 예를 들어, 공격자가 CI/CD 파이프라인이나 저장소에 접근해 중요 정보를 탈취하거나 임의로 조작하여 모델을 중독시킬 수 있다. 또한, 오픈소스 라이브러리의 취약점을 악용하거나 훈련 코드에 악성 패키지를 심는 소프트웨어 공급망 공격도 우려된다.

모델 배포 단계에서는 학습이 완료된 모델을 실제 서비스에 올리는 과정에서, 모델 무결성 훼손, 민감 데이터 누출, 배포 환경(Docker, Kubernetes 등)의 보안 취약점 등 다양한 위협이 복합적으로 발생할 수 있다. 특히 모델의 엔드포인트가 공개되어 있거나 접근제어가 미흡할 경우, 데이터 유출, 모델 변조, 서비스 오용 등으로 이어질 수 있다. 또한, 인증되지 않은 사용자가 대량의 요청을 보내 서비스 거부 공격이나 모델 추출을 시도할 수도 있다.

모델 운영 단계에서는 배포된 모델이 실제 서비스 환경에서 지속적으로 사용되면서 발생하는 장기적 보안 이슈에 대비해야 한다. 한 가지 위험은 시간이 지남에 따라 모델의 성능 저하나 편향 악화가 발생하는 모델 드리프트인데, 단순한 환경 변화가 아니라 공격에 의한 것일 수도 있다. 예를 들어 공격자가 서비스에 의도적으로 악의적인 데이터를 반복적으로 주입하여 모델의 추론 경계를 왜곡시키거나 모델을 변질시킬 수 있다. 더불어 인프라의 취약점을 악용한 원격 코드 실행 등의 공격도 발생할 수 있다.

이처럼 생애주기 전반에 걸친 보안 위협은 단순한 기술 대응만으로는 해결할 수 없다. 이미 다양한 보안 기술과 솔루션이 존재하지만, 지속 가능한 보안 체계를 구축하기 위해서는 거버넌스 수립과 조직 문화 차원의 변화가 반드시 함께 이루어져야 한다.

먼저, 조직 차원의 보안 정책 수립이 필수다. AI/ML 개발과 관련하여 명확한 보안 정책과 절차를 정의하고, 이를 개발팀이 준수하도록 가이드해야 한다. 예를 들어, 승인 절차, 서드파티 AI 서비스 사용 가이드라인, 모델 배포 전 보안점검 체크리스트 등을 정책화하여 보안 위험을 낮춰야 한다. 또한, 기업 내 GRC(Governance, Risk, Compliance) 체계를 통해 위험을 정기적으로 평가하고, 감사와 보고 프로세스를 마련해야 한다.

둘째, 조직 내 역할과 책임 분담을 명확히 해야 한다. 데이터 사이언티스트, ML 엔지니어, 보안팀 간 협업이 필수다. 각 단계에서 누가 무엇을 책임지는지 RACI 매트릭스 등을 통해 정의하고, 특히 모델 위험 평가나 취약점 테스트에 대한 책임 소재를 명확히 해야 한다.

셋째, 위험 평가 및 대응 프로세스를 갖춰야 한다. 새로운 모델을 개발하거나 서드파티 솔루션을 도입할 때 AI 위협 모델링을 수행해 발생 가능한 공격 시나리오(데이터 중독, 모델 탈취, 오남용 등)를 식별하고 위험 수준을 평가해야 한다. 평가 결과 높은 위험으로 판정되면 사전에 대응 통제를 적용하고, 잔여 위험은 경영진 승인 하에 수용하도록 절차화해야 한다.


▲조경재 한국정보시스템감사통제협회 학술부문 부회장[자료: 조경재 부회장]
나아가 정기적인 AI 보안 성숙도 평가를 통해 개선점을 점검하고, 내부적으로 표준화된 AI 보안 점검 체크리스트나 프레임워크를 운영해야 한다. 예컨대 NIST의 AI RMF(위험관리 프레임워크)나 ISO/IEC 가이드 등을 참고해 생애주기 전반의 보안 통제 목록을 마련하고, 신규 모델이나 서비스 출시 전에 이를 기준으로 점검하는 것이 바람직하다.

마지막으로, 교육과 인식 제고 측면에서도 투자가 필요하다. 데이터 과학자와 개발자를 대상으로는 시큐어 코딩, 데이터 취급, 개인정보 보호에 대한 교육을 실시하고, 보안팀에게는 최신 AI 공격 기법과 방어 동향을 지속적으로 학습하도록 해야 한다.

AI의 신뢰성과 지속 가능성은 단순한 기술력만으로는 확보될 수 없다. 전략과 문화적 전환이 반드시 함께 이루어져야 한다. MLSecOps는 AI 보안을 위한 그 변화의 출발점이며, 지속 가능한 신뢰와 책임 있는 AI 운영을 가능하게 하는 기반이다.
[글_ 조경재 한국정보시스템감사통제협회 학술부문 부회장]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>