인공지능의 판단에 대한 이유에 대한 연구... ‘XAI’ 등 다양한 강연 이어져

[보안뉴스 원병철 기자] 과학기술정보통신부가 주최하고 한국인터넷진흥원이 주관하는 제3회 AI 시큐리티 데이 세미나(AI Security Day Seminar)가 12월 2일 오프라인과 온라인에서 동시에 열렸다. 이번 행사는 인공지능을 활용한 아이디어 확산을 위한 ‘AI 보안 제품·서비스 개발 지원사업 성과 공유회’와 ‘AI+Security 우수논문·아이디어 공모전 시상식’과 함께 진행됐다.


▲오동환 한국인터넷진흥원 보안산업단장[이미지=보안뉴스 캡처]

오동환 한국인터넷진흥원 보안산업단장은 개회사에서 “올해 세 번째 진행되는 AI 시큐리티 데이 세미나는 ‘AI 초강대국의 핵심 Key, 설명 가능한 AI로 강화하는 보안’을 주제로 국내 인공지능과 정보보호를 이끌어가는 전문가들과 함께 마련했다”면서, “코로나19로 가속화된 비대면 확산으로 디지털 대전환 시대를 맞이하면서 인공지능 개발요소인 GPU 성능, 빅데이터 규모, 정확도 등이 늘어나 인공지능 기술의 확산을 이끌고 있다”고 말했다.

이어 오동환 단장은 “이러한 발전에는 보안위협의 문제도 내포되는 것은 물론 인공지능의 믿음 또한 이슈가 되고 있다”고 우려하면서, “이에 우리나라는 물론 각 국가들은 신뢰할 수 있는 AI에 대한 연구와 노력을 지속하고 있으며, 이번 세미나는 이러한 노력을 뒷받침하게 될 것”이라고 설명했다.


▲정은수 과학기술정보통신부 정보보호산업과장[이미지=보안뉴스 캡처]

정은수 과학기술정보통신부 정보보호산업과장은 축사를 통해 “올해 주요 정보보호 기업의 상반기 매출액이 전년 동기 대비 10% 이상 늘었다”면서, “앞으로도 데이터 보호에 대한 인식이 확대되고 디지털 경제가 전 산업분야 국민 생활 전반으로 확대되는 흐름 속에서 정보보호는 더욱 더 주목받게 될 것”이라고 말했다. 또한, “과기정통부는 올 한해 인공지능과 사이버보안의 융합을 위해 많은 노력을 기울여왔다”면서, “AI 기반의 보안 제품 서비스 개발기업 15개사를 지원해 경쟁력 있는 인공지능 보안 기업으로 육성했고, 국내 기업을 위해 사이버 보안 인공지능 데이터셋을 구축했다”고 설명했다.


▲고기혁 KAIST 사이버보안연구센터 AI보안연구팀장[이미지=보안뉴스 캡처]

이어진 키노트 세션에서는 KAIST 사이버보안연구센터의 고기혁 AI보안연구팀장이 ‘인공지능은 왜 그렇게 판단하는가?’를 주제로 강연을 진행했다. 고기혁 팀장은 “인공지능이 스스로 판단할 때 사람은 그 판단의 이유를 알 수 없다”면서, “이를 블랙박스 AI 문제(Blackbox AI Problem)이라고 부르는 데, 자율주행 자동차의 안전주행시 발생하는 문제나 얼굴인식 프로그램이 백인보다 흑인에 대한 인식이 낮은 문제, 또 국내에서 발생했던 이루다 문제 등이 그 예”라고 설명했다.

이 때문에 AI가 판단한 이유를 알아내는 것에 대한 연구가 많이 진행되고 있다고 고기혁 팀장은 설명했다. “딥러닝과 같은 복잡한 인공지능 모델들을 설명하고자 개발된 방법들을 Post-hoc Explanations이라고 부르는데, AI가 판단한 기반이 되는 룰의 리스트를 추출해 내는 ‘룰 기반 설명’이나, 설명하고자 하는 대상과 가장 유사한 혹은 대조되는 예를 드는 ‘예시 기반 설명’, 그리고 ‘특성 기여도 분석(Feature attributions)’이 있습니다. 특성 기여도 분석은 인공지능에 입력되는 특성(Feature)이 인공지능의 판단에 얼마만큼의 영향력을 미쳤는지를 보는 방법입니다.”

고기혁 팀장은 “AI 모델은 너무나 많은 방향성으로 연구가 진행되고 있어 AI 설명을 사용해서 AI 성능과 보안성을 향상시킬 수 있는지에 대한 설명을 드렸다”면서, “AI 모델에 대한 설명이 가지는 의의를 잘 이해하고 이를 활용하는 것이 안전하고 성능이 향상된 AI를 사용하는데 도움이 될 것”이라고 말했다.


▲맷 투렉(Matt Turek) DARPA 정보혁신오피스 프로그램 매니저[이미지=보안뉴스 캡처]

두 번째 키노트는 미국 DARPA 정보혁신오피스 프로그램 매니저인 맷 투렉(Matt Turek) 박사가 ‘DARPA의 설명가능(Explainable) AI’를 주제로 강연을 진행했다. 맷 투렉 박사는 “DARPA는 약 4년 전 이 설명가능 AI에 대한 연구를 시작해 2021년 늦봄에 마무리했다”면서, “이 연구는 패러다임의 변화에 맞춰 유저들이 머신러닝 모델을 이해하고 신뢰할 수 있도록 하기 위해 진행됐다”고 설명했다.

“설명가능 AI는 머신러닝의 결정과정을 알 수 없는 것, 특히 모델이 제대로 작동했는지, 취약한지, 신뢰성이 있는지 없는지를 알 수 없다는 문제를 해결하기 위해 만들어졌습니다. 이 때문에 새로운 러닝과 트레이닝 프로세스를 구축해 설명 가능한 모델을 만들고, 머신러닝 엔지니어들이 이를 쉽게 해석할 수 있게 만들어 머신러닝의 결과에 대한 유저의 신뢰성을 높였습니다.”

이어진 트랙 세션에서는 ‘OT, IT 보안에 XAI를 더하다’를 주제로 이태진 호서대학교 교수의 강연이 이어졌으며, ‘AI 보안이 적용된 의료영상 분석 사례’를 주제로 예종철 KAIST 교수의 강연도 진행됐다. 마지막으로 ‘XAI 동작 원리와 사례’를 주제로 최윤호 부산대학교 교수가 발표했다.

오후에는 ‘AI 보안 제품·서비스 개발 지원사업 성과 공유회’와 ‘AI+Security 우수논문·아이디어 공모전 시상식’이 이어졌다.
[원병철 기자(boanone@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>