AI 잠재적 위험찾는‘레드팀 테스팅’·‘신뢰성 라벨’ISO 표준 착수
글로벌 규칙 제정 퍼스트 무버로 도약...소버린 AI·AI G3 실현 본격화

[보안뉴스 한세희 기자] ETRI가 인공지능(AI) 안전성과 신뢰성 확보를 위한 두 개의 핵심 국제표준 개발에 나섰다. AI 시대의 규칙을 만드는 ‘선도자’ (First Mover) 위상을 확보한다는 목표다.

한국전자통신연구원(ETRI)은 AI 시스템의 위험을 미리 찾아내는 ‘AI 레드팀 테스팅’ 표준과 소비자가 AI의 신뢰 수준을 쉽게 이해할 수 있는 ‘신뢰성 사실 라벨(TFL)’ 표준을 국제표준화기구(ISO/IEC)에 제안하고, 개발에 착수했다고 19일 밝혔다.

AI 레드팀 테스팅은 AI 시스템이 얼마나 안전한지를 공격적으로 탐색하며 테스트하는 방법이다. 생성형 AI가 잘못된 정보를 내놓거나, 사용자 보호장치를 피해 악용되는 상황을 미리 찾아내는 것이다.

ETRI는 이 분야 국제표준 ISO/IEC 42119-7의 에디터 역할을 맡아, 의료·금융·국방 등 다양한 분야에 공통 적용할 수 있는 국제 공통 시험 절차와 방법을 만들고 있다.


▲. ETRI 연구진이 레드팀을 통해 AI 안전성과 신뢰성 확보를 위해 위험과 시나리오들에 대해 설명하고 있는 모습 [자료: ETRI]

식품의약품안전처와 함께 9월 4-5일 양일간, 노보텔 서울 동대문 호텔에서 국내 최초로‘첨단 AI 디지털의료제품 레드팀 챌린지 및 기술 워크숍’도 개최한다. 첨단 인공지능 의료기기 분야에 대해 아시아권에서 최초로 열리는 행사로 의료인, 보안전문가, 일반 시민이 참여해 AI의 편향, 위험성 등을 함께 점검해보는 행사다.

또 서울아산병원과 협력해 의료 전용 레드팀 평가 방법론도 함께 개발 중이다. 첨단 AI 기술을 적용한 디지털의료제품에 대한 레드팀 시험 체계도 만들고 실증 테스팅을 진행할 예정이다.

STA·네이버·업스테이지·셀렉트스타·KT·LG AI연구원 등 주요 기업들과 협의체를 구성해 AI 레드팀 국제표준화 협력도 강화하고 있다.

‘신뢰성 사실 라벨’(TFL , Trustworthiness Fact Labels)은 AI 시스템이 얼마나 신뢰할 수 있는지 한눈에 알 수 있도록 시각화해주는 것이다. 식품 영양성분표처럼 소비자에게 투명한 정보를 제공한다.

ETRI는 ISO/IEC 42117 시리즈 표준 개발을 주도하고 있다. 이 표준은 기업이 스스로 정보를 제공하거나, 제3의 기관이 검증·인증하는 다양한 방식으로 운영될 수 있다.

향후 AI의 탄소배출량(탄소발자국) 같은 ESG 요소도 반영하는 방안도 검토 중이다.

이 표준은 인공지능 활용 조직에 대한 국제 인증 표준으로 쓰이는 ‘AI 경영시스템 표준’ (ISO/IEC 42001) 과도 연계해 개발된 제품 및 서비스가 얼마나 신뢰할 수 있는지 입증할 수 있는 틀로 자리매김할 전망이다.

이번 두 표준은 정부가 추진하는 소버린 AI 및 AI G3 도약 전략과도 맞닿아 있다. 단순한 기술력 확보를 넘어, 글로벌 AI 규칙을 만드는 주도권 경쟁에 실질적 기여를 하는 사례라고 ETRI는 밝혔다.

미국 국립표준기술연구소(NIST) 가 국가 AI 전략 실현을 위한 국내 및 국제 표준화를 뒷받침하듯, ETRI도 AI 안전연구소 활동을 비롯해 AI 보안기술 개발, AI 안전 및 신뢰성 국제 표준화 선도 작업을 통해 국가 AI 전략 실현을 뒷받침한다는 구상이다.

이승윤 ETRI 표준연구본부장은 “AI 레드팀 테스팅과 신뢰성 라벨은 미국, EU 등 각국 AI 규제정책에 포함된 핵심 기술 요소로, 이 국제 표준들은 세계 AI 시스템의 안전과 신뢰성을 평가하는 공통 기준이 될 것”이라며 “ETRI는 AI 안전과 신뢰성 분야 국제표준화를 주도해 대한민국이 소버린 AI뿐 아니라 소버린 AI 안전 기술을 이끄는 중심이 되도록 하겠다”고 밝혔다.

이 성과는 과학기술정보통신부와 정보통신기획평가원(IITP)이 지원하는 ‘첨단 인공지능 안전 및 신뢰성 시험 평가 기술 표준 개발’과 식품의약품안전처 컨소시움 ‘생성형 AI 디지털의료제품 레드팀 시험 평가 기술 개발 및 실증’ 과제를 통해 추진됐다.

[한세희 기자(boan@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>