얼굴인식의 대중화 가능성과 보안시장에서의 활용

[보안뉴스= 지일천 윈스로드 연구소장] 지난해 4월 공시생(공무원 시험 응시생)의 정부서울청사 침입사건이 발생하면서 바이오인식 중에서도 얼굴인식이 주목받았다. 정부가 출입통제를 위한 시큐리티 게이트에 얼굴인식을 적용하겠다고 밝혔기 때문이다.

얼굴인식은 서로 다른 얼굴 이미지를 일정 특징 값으로 추출하거나 데이터베이스에 저장해 두고 실시간으로 입력되는 얼굴 영상을 특징화하여 등록된 얼굴 데이터베이스의 특징 값들과 비교해 해당 이미지를 판별해내는 일련의 자동화된 디지털 영상처리라고 설명할 수 있다.

얼굴인식의 대중화는 얼굴인식이라는 한 가지 기술로 다양한 애플리케이션 분야에 활용되는 방안과 다른 바이오인식과의 결합으로 나눠 생각해 볼 수 있다. 이중 얼굴인식을 단독으로 활용하는 예를 살펴보자.

첫 번째 사례로는 개인 모바일 단말기를 위한 개인 인증에 활용되는 것을 꼽을 수 있다. 스마트폰의 보급으로 고화질의 카메라 모듈 탑재와 일반 PC사 양과 비슷한 2Ghz이상의 속도를 내는 고성능의 CPU가 탑재되면서 더 이상 얼굴인식과 같은 영상처리 라이브러리를 사용 못 할 이유가 없어졌다.


▲삼성 갤럭시 S8에 탑재된 얼굴인식의 로그인 기능[자료: 윈스로드]

이에 따라 스마트폰 제조사들의 얼굴인식 도입이 확대되고 있다. 삼성전자는 최근 갤럭시 S8에 얼굴인식을 탑재해 진일보한 보안 서비스를 제공하고 있다. 삼성의 경쟁사들도 개인 식별 로그인 기능과 공인인증서를 보완 및 대체기능으로 적극 활용할 계획이다.

멀티미디어 정보검색에서도 동영상전문가그룹(MPEG)의 Mpeg7 첨단 얼굴인식 기술을 이용하여 정보검색시 단순히 텍스트를 검색하는데서 탈피해 여러 가지 포맷의 동영상에 포함된 얼굴과 이미지 안에서의 얼굴을 검색하고 인식해 처리하는 의미 기반 정보검색이 사용되고 있다.

중국의 알리바바는 온라인 화상회의와 채팅 등을 위해 인터넷 기반 개인 인증 응용에 얼굴인식을 활용하고 있다. PC 기반 응용분야로는 개인 사용자 인증이나 파일 암호화, 스크린 세이버 등을 꼽을 수 있다.


▲알리바바 알리페이에 적용된 얼굴인식 결제 방식(좌), MSI의 얼굴인식 로그인[자료: 윈스로드]

금융권의 비대면 실명 인증 서비스나 엔터테인먼트 응용 분야에서도 얼굴인식이 활용되고 있다. 금융권의 오프라인 영업점 축소 추세와 맞물려 24시간 무인 영업점이 확대될 것으로 전망되면서 실명인증을 위한 필수 기능으로 바이오인증이 유력시되고 있다.

얼굴인식 역시 지문이나 홍채인식 서비스와 더불어 활용도가 높다. 또한 미래 사회에서 필수 가전으로 꼽힐 로봇도 인간의 표정 인식 서비스와 함께 개인화 서비스의 필수인 얼굴인식을 적용하고 있다. 음성인식만큼이나 얼굴인식의 편리성과 서비스 확장성이 증가되고 있는 것이다.

이밖에 바이오인식 여권의 보급과 ICAO(국제민항기구) 표준화에 따라 바이오인식을 이용한 자동 출입국 서비스를 지원하는 나라들이 늘고 있다. 우리 법무부도 사전 자동출입국심사 등록을 거쳐 간소한 출입국 절차서비스를 받을 수 있게 하고 있다.

듀얼 카메라 연동 환경과 비제약형 얼굴인식 기술
최근 CCTV 보급이 확산되고 공급추세가 저화질에서 고화질로 빠르게 변화하고 있다.

이 가운데 사용자 편리성과 인식 계속성이 확보되는 고화질 CCTV의 얼굴인식 기술이 날로 중요해지고 있다. 최근에는 얼굴인식 기술의 발전이 이뤄져 주변 환경의 영항을 획기적으로 줄이는 환경 비제약형 얼굴인식 기술이 급속하게 요구되고 있다.


▲MS win10 얼굴인식(좌), 중국 공안의 얼굴인식 로봇(가운데), 법무부의 자동 출입국 심사 서비스(우)[자료: 윈스로드]

고화질 영상감시 시장의 급성장속에서 근거리 얼굴인식 뿐만 아니라 원거리 영상감시에서 얼굴인식을 접목하는 시도가 요구되는데, 이를 통해 전역적 영상 감시 기술, 무인화 기술 등과 접목되며 새로운 지능형 영상감시 시장을 창출할 것으로 기대된다.

일본은 NEC, 오므론 등이 얼굴인식에 큰 관심을 갖고 있으며, NEC는 얼굴 인식과 탐색, 성별을 구별할 수 있는 어플리케이션 개발에 완성도를 높이고 있다.

미국은 국방관련 업체 뿐 만이 아니라 마이크로소프트, 애플, 구글 등이 얼굴인식에 지대한 관심을 보이며 투자를 하고 있으며, 9.11테러 이후 국가 안보 차원의 영상감시 기술을 강화하는 FBI NGI 프로젝트 등 대규모 공공보안사업을 발주하고 있다.

다만 아직까지는 근거리 얼굴 탐색 기술은 많은 보완됐지만 원거리에서의 얼굴 탐색 기술에서는 기술적 보완이 많이 필요한 실정이다.

현재는 카메라 한 대에 의존한 객체 탐색(Object Detection) 기능과 얼굴 탐색(Face Detection) 기능을 분리해 광역감시 고정형 카메라와 PTZ 카메라를 채택해 각각의 기능 분산과 시스템 로드를 경감시키는 동시에 서로 다른 장소의 다채널 전송 영상 얼굴인식 등이 가능하다.

향후 원거리에서의 얼굴 탐색 능력을 향상시키는 한편 다채널 동시 입력 영상에서의 얼굴인식을 수행할 수 있도록 기술이 고도화돼야 한다.

고정 카메라와 FD 기능 PTZ 카메라에서의 얼굴탐색
첫 번째 스텝은 고정 카메라에서의 배경 영상을 이용한 객체 분리 및 추적이다. 원거리 입력 영상에서의 객체 탐색을 위해 배경이미지를 저장한 후 입력되는 영상에서 차 영상을 추출하여 객체를 추적하고 분리하는 동시에 PTZ카메라를 제어하는 방법을 적용했다.


▲<그림1> 객체담색에서의 배경 추출 과정[자료: 윈스로드]

<그림 1>은 고정형 카메라의 영상처리 흐름을 설명한다. 입력된 광역 감시 카메라의 영상에서 객체가 없는 배경 영상을 저장하여 배경 모델로 사용한다. 이를 이용하여 배경 속 객체를 분리하며, 분리된 객체를 모션 예측과 방향성을 고려하여 트랙킹한다. 분리된 객체를 마스킹하여 객체가 위치한 영역 좌표와 함께 PTZ 카메라 컨트롤 모듈에 전송해 PTZ 카메라가 해당 사분면으로 이동하여 얼굴탐색 기능을 수행하게 한다.


▲<그림2> 입력 영상의 분할 처리(좌)와 <그림 3>입력 영상의 유효 영역 지정(우)[자료: 윈스로드]

<그림 2>와 <그림 3>은 PTZ 카메라 입력 영역을 사분할하여 해당 영역에서 유효영역(ROE)을 설정한 화면이다. 여기서는 전혀 영상처리가 필요 없는 영역을 미리 설정해 얼굴 탐색 모듈의 시스템 로드를 경감하는 효율적인 방법을 적용했다.

두 번째는 고해상도 입력 영상에서의 유효 화면 분할과 거리별 객체 탐색 단계다. 입력 영상을 효율적으로 처리하기 위해 유효영역(ROE)을 지정하며 입력영상을 분할하여 탐색하는 방법을 적용했다.

감시영역을 사분할 함으로써 PTZ 카메라의 이동 거리와 시간을 줄이는 동시에 고화질 카메라의 이점을 최대한 살릴 수 있었다. 고화질 카메라의 입력 영상은 HD(720p) 수준의 화면 크기이기 때문에 고정 카메라 입력 영상에 준하는 영상 사이즈를 입력받을 수 있다. 또한 입력 영상이 고화질이기 때문에 얼굴탐색을 수행하는 데도 특정 객체에만 PTZ해야 하는 기존 저화질 영상의 얼굴 탐색의 단점을 극복하기에 충분하다.

근거리 및 원거리 객체 포커싱을 위해 프리셋 기능을 적용해 자동 탐색과 능동적인 감시 기능도 구현했다. PTZ 카메라의 프리셋 기능을 사용하여 특정 시간과 특정 영역을 자동으로 이동 감시할 수 있게 함으로써 무인 감시 기능과 효율적인 카메라 관리 기능을 수행할 수 있다.

다음 단계는 탐색된 얼굴 이미지 분산과 인식 서버 전송 처리다. PTZ 카메라로부터 자동 탐색된 얼굴 이미지를 원격지에 위치한 인식 서버로 전송한다. PTZ 카메라와 연결된 FD 기능 탑재된 TI DSP에서 처리하며 실시간 인식 서버로 전송한다. 인식 서버로 전달된 얼굴 이미지는 분산처리 기술을 적용해 서버 한대당 64채널을 유지하며, 200개 채널을 유지하기 위해서는 4대의 서버면 충분하다.

이 같은 시스템을 개발한 결과, 얼굴 멀티 탐색을 수행할 수 있었으며 동시에 멀티채널 CCTV 영상을 입력받아 처리할 수 있었다. 얼굴인식 모듈의 분산 쓰레드 방식을 도입하면 초당 인식 가능 개수는 15개, 서버 4대로 영상채널(CCTV) 200개까지 입력받을 수 있다.


▲<그림4> FD 전송 에뮬레이터(좌), <그림5> 동시 얼굴인식 처리(가운데), <그림6> 전송 이미지 인식 결과(우)[자료: 윈스로드]

<그림 4>는 얼굴 탐색된 이미지를 얼굴 인식 모듈에 전송하여 처리되는 과정을 보여준다. 얼굴 이미지를 클리핑(Clipping)해 전송되고 실시간 처리가 가능하며 시스템 연산능력을 고려해 개발할 수 있는 장점이 있다.

<그림 5>는 얼굴 탐색 모듈에서 동시에 여러 명의 얼굴을 탐색하여 이를 마스킹하고 얼굴 영역을 동시에 표시하는 과정이다. 얼굴인식은 눈 검출까지 성공한 경우에 한해 시도하게 된다. 유사성(Similarity Score)이 0~100레벨 중에서 16이상이면 성공이고, 이보다 작으면 알 수 없음(Unknown)으로 분류한다. 잡음 제거는 평균 피부색(Skin Color)을 0~255레벨 중에서 50이하면 제거하도록 설정했다. 한편, 얼굴 추적은 한번 객체 모델로 등록을 하면 연속된 60프레임 동안 추적하도록 했다.

그 동안 새로운 얼굴 탐색이 이루어지면 객체 ID가 갱신이 되고 갱신된 순간부터 다시 60프레임 동안 추적이 이루어지도록 했다. 이를 위해서는 새로 얼굴 탐색된 얼굴과 기존 추적 얼굴 영역사이의 병합 단계가 필요하다. 이 모듈에서는 얼굴 위치는 새로 인식된 얼굴영역에 우선순위를 두었고, 얼굴 ID는 인식 유사성이 높은 쪽의 것을 갖도록 하였다. 만일 알 수 없음으로 분류된 얼굴이라면 다음 프레임에서도 얼굴인식을 시도하게 된다.

<그림 6>은 클리핑된 얼굴 영역을 갖고 분산처리 얼굴인식 모듈 쓰레드가 동작해 전송된 순서에 따라 인식 처리 결과를 보여준다. 이는 객체 탐색과 얼굴 탐색은 로컬 영역에서 처리하고 인식과정은 원격지에서 확장하거나 수행할 수 있는 가능성을 보여주고 있다.

영상감시와 얼굴인식의 접목 가능성
위의 시스템은 다수의 CCTV 영상의 얼굴인식을 위하여 FD 기능을 분리해 로컬에 있는 PTZ 카메라 연동 TI DSP로부터 얼굴 탐색을 수행하여 얼굴 이미지만 인식 서버로 전송하는 시스템으로 확장해 개발할 수 있다.

이는 인식 서버의 성능을 높이고 서버 수를 늘리면 이에 비례해서 감시하거나 처리할 수 있는 영역도 확장 할 수 있는 장점을 누릴 수 있다. 향 후 이 시스템으로 지하철 탑승 게이트 및 오픈된 공공장소에서의 출입자 인식과 공공시설물 안전감시 시장에 적용할 수 있으며 새로운 지능형 영상감시 시장을 창출할 수 있다.
[글_ 지일천 윈스로드 연구소장(www.winsroad.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>