AI안전연구소·TTA 공동 수행, 내년 AI 기본법 시행 대비 선제 점검
한국어 기반 ‘AssurAI’ 데이터셋으로 35개 위험 영역 평가

[보안뉴스 여이레 기자] 과학기술정보통신부는 29일 카카오의 AI 모델 ‘카나나’(Kanana)에 대한 국내 첫 AI 안전성 평가를 실시했다고 밝혔다. 이번 평가는 국내 인공지능(AI) 기술의 신뢰성과 안전성 확보를 위해 인공지능안전연구소와 한국정보통신기술협회(TTA)가 공동 수행했다.


[자료: 카카오]

AI 안전성 평가는 인공지능 시스템이 초래할 수 있는 잠재적 위험을 식별·점검해 안정적 활용을 지원하는 절차다. 내년 1월로 예정된 ‘AI 기본법’ 시행을 앞두고 정부가 추진 중인 핵심 선제 과제다. 과기정통부는 이를 통해 기업들의 고성능 AI 모델이 법 시행 전 안전성을 사전에 점검할 수 있도록 컨설팅을 지원하고 있다.

첫 평가 대상은 카카오의 생성형 AI 모델 ‘카나나 에센스 1.5’(Kanana Essence 1.5)로, AI안전컨소시엄 참여 기업인 카카오와 협의를 거쳐 진행됐다.

평가에는 TTA와 KAIST 최호진 교수 연구팀이 공개한 ‘AssurAI 데이터셋’과 AI안전연구소가 구축한 고위험 분야 평가 데이터셋이 함께 활용됐다.

평가 항목은 폭력, 차별, 허위 정보뿐 아니라 무기·보안 등 오남용 가능성이 높은 시나리오까지 포괄했다. 카나나는 미국 ‘라마 3.1’(Llama 3.1), 프랑스 ‘미스트랄 0.3’(Mistral 0.3) 등 유사 규모 글로벌 모델에 비해 상대적으로 높은 안전성을 확보한 것으로 나타났다.

‘AssurAI’는 35개 위험 영역을 한국어 기반으로 검증할 수 있도록 설계된 벤치마크 데이터셋으로, 11월 공개 이후 국제 AI 안전기관 및 연구기관과 공동 테스트에도 활용 중이다.

정부는 이번 평가 결과를 토대로 2026년부터 ‘독자 AI 파운데이션 모델’ 프로젝트의 1단계 평가를 추진하고 국내외 주요 AI 기업들과 협력해 다양한 모델로 안전성 평가를 확대한다는 계획이다.

김경만 과기정통부 인공지능정책실장은 “세계적으로 AI 안전 논의가 규제보다 실질적 검증과 실행으로 이동하는 상황에서, 이번 평가는 국내 AI 모델이 글로벌 수준의 안전성을 확보하고 있음을 보여주는 의미 있는 사례”라며 “우리나라가 AI 안전성 분야에서 국제 리더십을 확보할 수 있도록 적극 지원하겠다”고 말했다.

지난해 11월 출범한 AI안전연구소는 국내 AI 안전 연구 컨트롤타워로서 정책·평가·인력 양성 기능을 수행하고 있다. 또 미국·영국·일본 등 주요국 AI 안전기관과 긴밀히 협력하며 국제 표준화기구(ISO/IEC JTC 1/SC 42) 논의에도 참여해 글로벌 정합성 강화를 추진 중이다.

TTA는 2021년 제정한 ‘신뢰할 수 있는 인공지능 개발 안내서’를 기반으로 기업의 자율적 신뢰성 확보를 지원하고 있다. 올해 국내 최초로 생성형 AI 레드팀을 개최하고 AI 안전성 평가용 데이터셋을 구축하는 등 실증 활동을 강화하고 있다.

[여이레 기자(gore@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>