인간 교감 AI 개발 위한 행동·감정 데이터셋 공개, 이를 활용해 대회 개최

[보안뉴스 김영명 기자] 한국전자통신연구원(ETRI)은 인간의 행동과 감정을 이해하는 인공지능(AI) 개발을 목적으로 축적한 데이터를 일반에 공개, 이를 활용해 ‘2022 ETRI 휴먼이해 인공지능 논문경진대회’를 개최했다고 5일 밝혔다.


▲‘2022 ETRI 휴먼이해 인공지능 논문경진대회’ 수상자들이 기념촬영을 하고 있다/[사진=ETRI]

ETRI는 AI 기술개발에 필요한 라이프로그(개인의 경험 이해를 위해 멀티모달 센서를 활용해 일상생활 중 데이터를 기록) 및 멀티모달 감정(감정 관련 발화음성, 문맥적 의미, 심전도·피부전도도·체온 등 바이오 데이터 포함) 데이터셋을 공개했다. 연구원은 이를 활용한 창의적 연구 발굴·확산을 위해 과학기술정보통신부와 국가과학기술연구회의 후원을 받아 이번 논문경진대회를 개최했다.

연구진은 인공지능 기술개발을 위해 그동안 라이프로그와 멀티모달 감정 데이터를 축적해왔다. 축적된 데이터는 인공지능을 연구하는 연구자들이 자유롭게 활용할 수 있도록 올해 초 인공지능 응용 서비스에 활용 가능한 데이터 자원과 학습데이터 구축에 필요한 툴을 사용자들에게 제공하고, ETRI의 인공지능 기술을 소개하는 기능 등이 포함된 AI 공유 플랫폼인 ‘ETRI AI 나눔’ 플랫폼에 공개했다.

이번 논문경진대회는 대학과 대학원 및 기업 등을 대상으로 열려 6월 30일까지 약 3개월간 진행됐으며, 총 36개 팀이 참가했다. 참가자들은 ETRI가 축적한 라이프로그와 멀티모달 감정 데이터 2가지 분야의 데이터 중 하나를 택해 논문을 작성했다.

라이프로그 데이터는 스마트폰과 손목밴드 등 센서와 사용자가 직접 입력한 행동·환경·감정 정보를 활용해 일상생활 중의 다양한 경험과 상황을 이해하기 위해 구축됐다. ETRI는 2018년부터 70여명의 실험자를 통해 14,000시간이 넘는 데이터를 구축했다. 이는 현재까지 공개된 라이프로그 데이터 중에선 국내 최대 규모다. 참가자들은 라이프로그 데이터를 활용해 행동, 의미장소, 이동 수단을 인식하거나, 일상과 비일상의 라이프 패턴 등 인간의 경험을 이해할 수 있는 인공지능 기술 분야의 논문을 작성했다.

멀티모달 감정 데이터는 40명의 성우를 통한 상황극과 80명에 달하는 일반인의 자유 발화를 통해 구축됐다. 발화 및 텍스트뿐만 아니라 기쁨, 놀람, 분노, 중립, 협오, 공포, 슬픔 등 7가지 감정 레이블과 신체 반응 등의 데이터를 모두 포함하고 있다. 이 멀티모달 감정 데이터를 활용하여 참가자들은 감정 데이터의 불균형 완화 방법, 멀티모달 특징 혼합 방법 등 딥러닝 기반의 멀티모달 감정 인식 기술과 관련된 논문을 작성했다.

ETRI는 대회 주관사인 인공지능팩토리와 함께 5월까지 접수된 논문을 대상으로 1차 평가를 진행해 총 7팀을 선정했다. 이어 6월 30일 열린 발표 심사에서 대상 1팀과 우수상 2팀, 장려상 4팀을 최종 선정했다. 대상 1팀과 우수상 2팀은 과학기술정보통신부 장관상을 받았으며, 장려상 4개 팀은 한국전자통신연구원 원장상이 수여됐다.


▲‘2022 ETRI 휴먼이해 인공지능 논문경진대회’ 수상팀/[사진=ETRI]

이번 대회 대상은 서강대 Sogang-ISDS팀에서 차지했다. Sogang-ISDS팀은 한국어 기반 멀티모달 감정 데이터셋의 발화 음성 및 문맥적 의미 데이터를 결합해 학습하는 MLP-Mixer 구조를 활용한 대화에서의 멀티모달 감정 인식 방법을 제안했다.

KAIST에서 출전한 도래미솔팀은 라이프로그 분야에서 오디오와 텍스트 정보를 혼합, 감정을 예측하는 모델을 제안해 우수상을 받았다. 또한, 성균관대의 디비디비딥팀은 각성도 및 긍부정도의 싱글모달 사전학습 예측 모델 기반 멀티모달 감정인식 모델을 제시해 우수상을 수상했다.

이윤근 ETRI 인공지능연구소장은 “오늘날 AI는 영상 인식, 음성인식을 넘어 인간을 이해하고, 교감하는 기술로 진화하고 있다”며 “이번 대회는 그간 ETRI가 쌓아 온 AI 데이터를 기반으로, 연구자들의 다양하고 창의적인 아이디어를 엿볼 수 있었던 귀중한 시간이었다”고 말했다. 이윤슨 소장은 “앞으로도 정기적인 대회 개최를 통해 AI 관련 연구가 활기를 띨 수 있도록 노력하겠다”고 말했다.

ETRI는 그동안 인공지능, 특히 사람의 감정을 이해하고 행동을 인식하는 ‘휴먼이해 인공지능’ 기술을 연구해오면서 이번 대회를 개최할 수 있었다. 이번 대회는 국내 연구진의 참여를 독려하고 학술적인 완성도를 확보할 수 있도록 한국정보과학회와의 협력을 통해 2022 한국컴퓨터종합학술대회(KCC2022) 행사의 일환으로 진행했다. ETRI는 앞으로도 행동·감정 인식도를 제고하는 휴먼이해 인공지능 기술의 완성도를 높이는 한편, 기술의 확산과 발굴을 위해 정기적으로 대회를 이어 나갈 예정이다.
[김영명 기자(sw@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>