‘AI 안전·보안 및 관련 표준에 관한 노력과 향후 협력방향’ 주제

[보안뉴스 강현주 기자] 전 세계 전문가들이 모여 AI 안전·보안 표준과 협력 방안을 논의한다.

과학기술정보통신부(부총리 겸 장관 배경훈)가 주최하고 한국전자통신연구원 인공지능안전연구소(소장 김명주)가 주관하는 ‘서울 포럼 온 AI 세이프티 & 시큐리티 2026’(SFASS 2026)’이 7일부터 8일까지 서울 오크우드 프리미어 코엑스 센터 아이티스퀘어에서 열린다.

이번 포럼은 ‘AI 안전·보안 및 관련 표준에 관한 노력과 향후 협력방향’(The Future of AI Safety & Security: Technology, Standards and Global Cooperation)을 주제로, 국내외 정부·학계·산업계 전문가 한자리에 모인다. 행사장 수용 인원(120여 명)을 초과하는 참가 신청이 몰리며 높은 관심을 반영해 온라인 생중계도 병행 진행된다.

지난해 첫 포럼에서 AI 안전·보안의 기초 의제를 다룬 데 이어, 올해는 AI 모델의 문화적·지리적 평가부터 자율 에이전트 시대의 사이버 위협 대응까지, 실질적인 기술 구현과 국제 표준화 중심의 실천적 논의로 한 단계 발전시킨다.

특히 이번 행사는 한국이 2회 연속으로 글로벌 AI 안전 논의를 주도하는 동시에, 세계적 권위의 머신러닝 학술대회인 ICML 2026(제43회 국제 머신러닝 학회)과 연계 개최되어 전 세계 AI 연구자들과의 접점이 한층 넓어질 것으로 기대된다.

포럼 첫날인 7일에는 ML커먼스(MLCommons), 구글, 마이크로소프트와 협력해 AI 안전·보안 표준의 토대를 다지는 세션이 진행된다. 핵심은 ML커먼스를 중심으로
한국·인도·싱가포르·파키스탄·태국·방글라데시 등 아시아태평양 지역 파트너 기관들이 공동 개발 중인 ‘AI루미네이트(AILuminate) 문화 특화 멀티모달 안전 벤치마크’의 중간 성과를 발표한다.

한국에서는 인공지능안전연구소를 비롯해 서울대학교, 연세대학교, KAIST가 참여하고 있다. 이번 공동 연구의 성과는 향후 논문 ‘Pluralis v0.1: Towards a Multicultural, Multimodal, Multilingual Benchmark for AI Risk and Reliability’로도 발표될 예정이다.

또 한국·싱가포르·대만 등 아시아 주요국 연구자들이 ‘라이트닝 토크’(Lightning Talk)에 참여해 각국의 AI 안전 현황을 공유하고, 언어·가치관·문화적 맥락에 기반한 정밀한 지역화 AI 안전 평가 기준을 함께 모색한다.

이어지는 거버넌스 세션에서는 ‘좋은 AI를 누가 정의하는가’를 주제로 국가별 AI 전략과 국제 표준화 프레임워크, ‘소버린 AI’ 개념을 둘러싼 패널 토론이 펼쳐진다.

연세대학교, 한국과학기술원(KAIST), 한국과학기술연구원(KIST), LG AI 연구원, 셀렉트스타, FLI(Future of Life Institute), 마이크로소포트 등 국내외 핵심 기관 대표들이 패널로 나선다.

오후에는 ‘미래 평가 논의 — 새로운 안전 과제’(The Next — Emerging Safety Challenges)를 집중 조명한다. 파운데이션 모델이 텍스트 기반 시스템에서 자율적 멀티모달 에이전트로 진화하며 안전·보안 지형 자체가 빠르게 재편되는 가운데, 향후 AI 평가가 어떤 방향으로 나아가야 하는지에 대한 논의가 이어진다.

8일 오전에는 FLI와 협력해 ‘프론티어 AI 안전 벤치마킹’ 세션을 진행한다. 핵심 의제는 FLI가 주도하는 독립 평가 지표인 ‘AI 안전 지수’로, 기업들의 안전 약속과 실제 이행 사이의 격차를 객관적 수치로 드러내는 도구다.

이어 인공지능안전연구소 AI 평가팀이 한국어 AI 안전 평가의 도전과 접근법을 사례로 공유한다. 또한 네이버가 서비스 중심의 AI 안전 프레임워크를 발표하며 국내 대표 기업의 실제 적용 사례를 더한다. 이후 60분간 이어지는 패널 토론 ‘프론티어 AI 안전 관리 기준을 높이기 위한 경쟁’(Racing to the Top)에서는 기업·정부·학계·제3자 평가기관 대표들이 ┖신뢰할 수 있는 AI 안전 전략┖의 실체를 두고 심층 논의를 벌인다.

오후에는 에임인텔리전스와 AI안전연구소가 협력해 ‘프론티어 AI 레드티밍 워크숍’을 연다. LG AI 연구원, FAR.AI, ELLIS Tubingen&MPI-IS, 구글, 마이크로소프트 등 국내외 최정상급 전문가들이 참여해 언어·모달리티·에이전트 워크플로우 전반에 걸쳐 최신 AI 모델의 취약점을 집중 탐색한다.

워크숍 후반부에는 에임인텔리전스 주관의 ‘라이브 레드티밍 챌리니’가 진행된다. 무대에는 실제 최신 AI 모델이 탑재된 휴머노이드 로봇이 등장하며, 참가자들은 물리적 조작 없이 오직 대화만으로 이 로봇에 탑재된 AI가 원래 거부하도록 설계된 동작을 수행하도록 설득해야 한다. AI가 금지된 동작을 실제로 따라 하면 시스템이 즉시 성공으로 판정하고, 점수는 현장 리더보드에 실시간 공개된다. 상위 입상자에게는 소정의 상품이 수여될 예정이다.

SFASS 2026는 국가별 AI 안전 현황과 문화적 적절성에 관한 지역 기반 실태를 파악하고, 모두가 신뢰하는 안전한 AI 사회 구현을 위해 국제 협력을 강화하는 자리다. 한국이 이 국제 논의를 2회 연속 주도한다는 점에서, 글로벌 AI 안전 거버넌스 형성에 있어 한국의 위상을 다시 한번 확인하는 기회가 될 것으로 보인다.

ML커먼스 및 FLI, 에임인텔리전스, 구글, 마이크로소프트 등 세계적 AI 기관과의 협력, ICML 2026과의 연계 개최는 이번 포럼이 단순한 국내 행사를 넘어 명실상부한 국제 AI 안전 플랫폼으로 자리매김하고 있음을 보여준다.

온라인 라이브 시청 신청 및 행사 관련 자세한 사항은 공식 웹사이트에서 확인할 수 있다.


▲행사 메인 포스터 [출처: 인공지능안전연구소]


[강현주 기자(jjoo@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>