초소형 스테레오 카메라를 통한 차량운전자 시선검출기술 개발 이번 호에서는 설치성이 높은 차재(車載)를 향한 초소형 스테레오 카메라를 이용해 운전자의 얼굴방향 시선을 검출하기 위한 기술을 제안하도록 한다. 제안기술에서는 각 영상을 단독으로 이용한 경우에는 실현이 곤란했던 단기선장 스테레오 카메라 환경의 3차원 자세추정을 휘도영상과 거리영상의 양방향을 보완함으로서 가능하게 했다. 특히, 밀 형태 모델과 소외형 모델이라고 하는 2종류의 3차원 얼굴 모델을 파티클 필터 틀에서 병용함으로써, 거리영상의 오차가 큰 경우라도 안정된 자세 추정을 실현할 수 있다. 여기서는 제안기술의 평가결과를 보고하고, 제안기술이 광범위의 각도에서도 고정적인 얼굴방향 시선검출을 실현하고 있다는 것을 입증했다.

머리말
보다 안전한 자동차생활 실현을 목표로 자동차 운전자의 곁눈질 상태를 검지하여 운전자에게 경고하는 시스템 개발이 진행되고 있다. 또한, 곁눈질 상태의 검지를 목표로 하는 기술들도 등장하고 있다. 더욱이 차재(車載) 카메라로 촬영한 운전자의 얼굴영상을 토대로 운전자의 얼굴방향이나 시선을 검출하는 기술이 개발되고 있다. 필진은 얼굴 방향·시선을 안정시켜 검출 가능한 차재용 초소형 스테레오 카메라 장치를 개발했다(그림 1). 
이 장치는 6nm의 스테레오 카메라와 근적외선 LED의 일체구조를 가지고, 스테레오 카메라인 것과 동시에 단안(單眼) 카메라와 동등한 높은 설치성을 실현하고 있다.
스테레오 카메라에 의한 얼굴 방향·시선검출은 단안 카메라의 경우와 비교했을 때 ①조명 변동이나 얼굴부의 고속운동에 대해서 완강한 검출이 가능 ②검출 가능한 각도범위가 넓고 검출정도가 높다. ③얼굴부 및 안구 위치의 3차원 위치취득이 가능한 이점이 있다. 이러한 이점은 곁눈질 검지의 안정성 향상이며, 곁눈질 검지 외의 응용성 향상에도 크게 공헌할 수 있다. 그리고 이 장치와 같은 기선장(基線長)이 짧은 스테레오 카메라에 대해서 종래부터 제안되고 있는 얼굴방향 시선검출 방식을 그대로 적용하게 되면, 얼굴부 자세추정의 안정성이 대폭 저하되는 문제가 있다.
여기서는 초소형 스테레오 카메라를 두고 안정된 얼굴 방향 및 시선을 검출하기 위한 기술을 제안한다. 이하 제안기술의 내용에 대해서 설명하고, 성능평가를 위해 실시된 실험에 대해서 살펴본다.

제안기술
이 기술은 기선장이 짧은 스테레오 카메라로 촬영한 인물의 얼굴방향 및 시선을 검출하는 기술이다. 그리고 여기에 문헌 기술을 베이스로 해서 개선된 기술이 더해진 것이다.

초소형 스테레오에 의한 얼굴방향 시선검출
제안기술의 구성을 그림 2에 나타냈다. 기술의 입력 화상은 스테레오 카메라로부터 얻은 2장의 휘도영상과 거기서부터 계산한 거리영상이다. 거리영상은 2장의 휘도영상 간에 대응하는 화소를 특정하여 시차요구로 취득할 수 있다. 이 때, 시차는 서브 픽셀 레벨에서 계산하는 것으로 한다.
먼저 초기화부를 두고, 각 유저에 따라 2종류의 3차원 얼굴 모델을 자동적으로 생성한다. 초기화부에서의 모델 생성에 성공한 경우, 추적부에서는 2종류의 모델과 입력영상(휘도영상과 거리영상)을 파티클 필터의 틀에서 매칭을 한다.
이것에 의해 각 플레임에서의 얼굴부 자세를 순차적으로 추정하게 된다. 그후 계산한 얼굴부 자세를 토대로 얼굴 방향과 시선을 계산한다. 아래에 초기화부와 추적부의 처리과정에 대해서 상세하게 설명한다.

[초기화부]
초기화부에서는 추적시, 화상 매칭으로 사용하기 위해 3차원 얼굴 모델로 [밀 형태 모델]과 [소외형 모델]이라고 하는 2종류의 모델을 생성한다.
밀 형태 모델은 그림 3(a)에 나타낸 다수(100점 정도)의 얼굴 특징점에 대해서 각 특징점간의 3차원 위치관계를 표현한 모델이며 거리영상과의 매칭에 사용한다. 그리고 이것들의 특징점은 Harris의 코너 검출법 등에 의해 검출된 것이다. 매칭에 다수의 점을 사용하는 것으로 용장(冗長)성을 높이는 효과가 생기기 때문에, 초소형 스테레오 카메라처럼 거리영상에 비교적 큰 오차가 있는 경우에도 카메라 광축방향에 안정한 자세 추정이 가능하게 된다.
한편, 소외형 모델은 그림 3(b)에 나타낸 것처럼 소수(10점 정도)로 텍스쳐의 비교적 많은 얼굴 특징점은, 각 특징점의 3차원 위치관계 및 외관을 표현하는 것이며, 휘도영상과의 매칭에 이용한다. 이러한 매칭은 카메라 광축에 수직방향의 고정적인 추정에 크게 공헌한다. 어떠한 모델도 얼굴부에 고정된 얼굴 모델 좌표계 내에서의 3차원 위치로서 표현되고 있다. 여기서 밀 형태 모델의 각 특징점의 좌표를  소외형 모델의 각 특징점의 좌표를  이라고 한다. 또한, 소외형 모델에 관해서는 초기화 때의 휘도영상부터 획득한 화상 템플렛 Tk를 보유하고 있다.
그리고 유저가 화상 플레임 내에 나타나거나 유저를 잃어버리는 것에 이 초기화부를 적용한다. 따라서 임의 유저에 대해서는 안정된 머리부 추적이 가능한 것이다.

[추적부]
초기화부에서 작성한 3차원 모델과 입력 화상열에서 파티클 필터를 이용해 3차원적으로 머리부 자세를 추정한다. 여기에서는 시각 t의 머리부 자세를 6차원 상태 공간 s중의 스펙트럼 으로 표현한다. 그리고 과 는 각각 세계 좌표계로부터 얼굴 모델 좌표계의 3차원적인 병진과 회전을 나타낸다. 또한, 입력 화상열로는 휘도영상과 거리영상을 이용한다.
이 기술에서 이용하는 파티클 필터는 6차원 상태공간 s중의 확률밀도함수를 n개의 이산적인 가설 과 이것에 대응하는 확률 에 따라 표현을 한다. 그리고 바로 전의 시작 t-1에 있어서의 가설군 으로부터 입력영상과의 매칭을 지나 현 시각 t에 관한 가설군 을 추정한다.
먼저, 가설군의 안부터의 확률 에 토대를 두고 가설을 1개 선택한다. 그리고 선택한 가설을 이라고 한다. 그리고 식(1) 의 동작 모델에 의해 을 으로 이동을 한다.



여기서, t는 화상 플레임간의 시간간격, Vt-１는 머리부 자세의 속도이다. 또한 은 평균이 영 벡터의 가우스 잡음으로 하고, 머리부 운동에 응하여 분산의 크기를 제어하는 것으로 한다. 이상의 선택·이동의 프로세스를 n회 반복하는 것에 의해 N개의 가설 을 얻을 수 있게 된다. 
다음으로, 각 가설수식 에 대응하는 확률 을 시각 t에서의 입력 화상에 근거를 두고 계산을 한다. 이 때, 밀 형태 모델에 의해 매칭 스코어 과 소외형 모델에 근거하여 매칭 스코어 을 이하의 방법에 따라 취득한다.
밀 형태 모델에 의한 매칭 스코어 을 계산하기 위해서 먼저  을 나타낸 3차원 자세에 응하여 밀 형태 모델을 3차원적으로 병진·회전한다. 그 후 밀 형태 모델상의 각 특징점 δ1을 투영함수 P에 거리영상 상의 1점에 투영한다. 그리고 상기처럼 병진·회전한 δ1의 카메라 좌표계 표현 δ1을 계산한다. 이 때 식(2)에 의한 매칭 스코어 을 취득할 수 있다.



여기서, 거리화상의 1점 x에 관해 거리 데이터를 D(x) δ1 카메라 광축성분을 δ1 , a는 경험으로 정한 정의 정수로 한다. 즉, 모든 특징점에 대해서 D(x)와 δXL이 일치할 때 최고의 매칭 스코어를 얻을 수 있게 된다.
한편, 소외형 모델에 의한 매칭 스코어 의 계산에서는 밀 형태 모델일 때와 같게 하고, 가설 에 응한 모델의 병진·회전 후, 각 특징점 μk을 휘도화상 상의 1점으로 투영한다. 그리고 투영점 근접의 위도 화상과 초기화부에서 등록한 템플릿 Tk과의 정규화 상관값을 계산하는 작업의 전 특징점에 실시한다. 즉, 템플릿 Tk와 투영점 x와의 정규화 상관을 N(Tk, x)으로 했을 때, 식(3)에 의해 매칭 스코어 을 얻을 수 있다.



그 후, 양쪽의 매칭 스코어를 식(4)에 통합한 후 식(5)에 확률 을 계산한다.
이 때, λ, κ은 양 매칭 스코어의 혼합비, σ은 가우스 분포의 표준 편차이며 현재는 경험으로 결정을 하고 있다. 또한 β은 의 최대값과 일치하는 정수이다. 그리고 은 전체 가설의 합계가 1이 될 수 있도록 정규화한다.

이상으로, 시각 의 가설군 이 결정된다. 실제로는 문헌에서 실시하는 것과 같은 리샘플링 처리를 시행하는 것으로 가설배치의 효율화를 도모할 수 있다.
가설군의 결정 후, 시각 t에 머리 부 자세 Pt을 식(6) 및 식(7)으로 계산을 한다. 여기서 확률이 최대가 되는 가설의 인근에 속하는 가설만을 이용해 가중 평균을 얻는다.



여기서 d를 개정의 정수로 하고 을 확률이 최대가 되는 가설을 세운다. 여기서 계산한 머리부 자세부터 얼굴 방향을 결정한다. 또한 시선방향에 대해서는 종래 방식과 같게 화상 안에서의 동공 위치와 얼굴의 좌우대칭면을 이용해 산출한다.

거리영상 이용에 의한 단기선장에의 대응
여기서의 제안기술과 종래기술과의 가장 큰 차이점은 제안기술에서는 입력영상으로서 거리 용상을 이용하고 있다는 것이다. 종래기술에서는 거리영상을 이용하지 않은 채 휘도영상과의 매칭만으로 기초를 둬 자세의 추정을 실시했다. 스테레오 카메라의 기선장(基線長)이 비교적 긴 경우라면, 가설 이 카메라 광축방향에만 분포를 하고 있어도, 적어도 반대 측의 화상은 다른 화소로 투영되게 된다. 그래서 각 가설  에 다른 매칭 스코어 가 분할된다.
이에 대하여 스테레오 카메라의 기선장이 짧은 경우, 그림 4(a)에 나타낸 것처럼 광축방향에 다소 변동한 정도에서는 양측의 영상과 함께 투영 화소는 거의 변화하지 않은 채 매칭 스코어 가 거의 같은 값이 된다. 이 때, 광축 방향은 불확정성이 생각보다 높아지게 되고, 그로 인해 전체적인 추적 안정성이 대폭으로 노화된다.
한편, 제안기술의 경우는 거리영상을 이용하는 것으로 이 문제를 해결할 수 있다. 거리영상을 계산할 때, 서브 픽셀 레벨에서 시차계산을 실시하기 때문에 거리영상의 광축 방향 해상도는 비교적 높아지게 된다. 따라서 그림 4(b)과 같이 가설과 거리영상과의 거리에 근거를 두는 매칭 스코어를 채용하는 것으로 가설 이 카메라의 광축방향에 분포할 때 밀 형태 모델과의 매칭 스코어 가 각각의 가설대로 다른 값을 취하게 되는 것이다. 그러므로 자세 추정시 광축방향의 불확정성을 작게 맞이하는 것이 가능하고, 추적 안정성이 향상된다는 이점이 있다.
또한, 제안기술에서는 거리영상과의 매칭을 두어 다수의 점을 이용해 안정성이 한층 더 높아지는 것을 도모하고 있다. 일반적으로 기선장이 짧은 경우에는 거리영상의 오차의 분산이 크게 된다. 이 때, 매칭 점의 수가 적으면 오차의 영향을 크게 받아들이게 되어 추적에 실패하기 쉽게 된다. 그래서 거리영상의 오차분포가 가우스상이 되는 것을 주목하고 매칭 점의 수를 늘리기 쉽게 함으로써 오차의 영향을 작게 받도록 하는 것이다.
이것으로, 제안방식은 기선장의 짧은 초소형 스테레오 카메라로 안정된 머리부 자세추적을 실현할 수 있게 되었다.

평가시험 
여기서 제안한 얼굴방향 시선검출 기술의 성능에 대해서 2종류의 평가시험을 실시했다.

얼굴방향 추적 실패율의 평가
이번 실험에서는 운전자의 좌우 확인 조작이나 말려드는 확인 동작을 촬영한 10초 정도의 화상 시퀀스를 32개 추출하고, 각각의 시퀀스에 촬영방식과 종래방식을 적용하여 얼굴방향을 추적했다. 이 때 시퀀스 방식대로 추적의 성부(成否)를 주시한 판단을 토대로, 각 방식의 추적 실패율을 계산·비교했다. 그리고 이 평가실험의 피험자는 8명, 평가화상의 촬영은 실내이며 파티클 필터의 가설 수는 100개, 밀 형태 모델의 특징점수는 100개, 소외형 모델의 특징점수는 10개였다.
  실험의 결과, 종래 방식의 추적실패율은 28%였던 것에 비해 제안방식의 추적 실패율은 6%까지 저하했다. 이것으로 제안 방식이 추적의 안정성을 향상시키는 것에 크게 기여하고 있다는 것을 알 수 있다.

얼굴방향·시선검출 오차의 평가
이번 평가에서는, 제안 방식에 의한 얼굴방향 시선검출 결과와 실제 얼굴방향 및 시선방향(이하 진값이라고 부른다)과의 오차에 대해서 평가했다. 그리고 얼굴방향의 진값은 머리부에 고정된 레이저 발광기의 포인터를 미리 소정의 각도방향에 첩부해둔 마커에 맞춘 동작으로 취득했다. 또한, 시선의 진값은 상기 마커를 주시하는 것으로 특정할 수 있게 했다. 이번 평가실험의 피험자는 4명, 평가화상의 촬영은 실내이며, 파티클 필터의 가설수는 1000개, 밀 형태 모델의 특징 점수는 100개, 소외형 모델의 특징 점수는 10개였다.
평가결과를 그림 5에 나타냈다. 그림 5(a)가 얼굴방향 검출의 평가 결과, 그림 5(b)가 시선검출의 평가결과이다. 각 그래프의 횡축은 진값이며 종축이 평균오차를 나타낸다. 그림 5에 나타난 것처럼 얼굴방향 검출결과는 좌우 +,- 90도 이내의 많은 구간으로 평균 오차 5도 이하를 달성했다. 또한 시선검출 결과에서도 좌우 +,-30도 이내 평균 오차가 5도 이하였다. 이런 결과로 인해 이번 제안방식은 광범위한 각도로 얼굴방향 시선검출이 가능하다는 것을 입증해 주었다.
마지막으로 실제 주행 차량에 탑재한 초소형 스테레오 카메라에 의한 얼굴방향 검출 결과를 그림 6에 나타냈다. 또한 그림 6(a)에 시선검출 결과도 기입했다. 이러한 실차주행 환경에서도 제안방식이 유효하다는 것을 증명할 수 있었다.

맺음말
여기서는 설치성이 높은 초소형 스테레오 카메라를 이용해 운전자의 얼굴방향과 시선을 검출하는 방식에 대해서 제안했다.
제안방식에서는 파티클 필터의 틀에 기초를 두고 휘도영상과 거리영상을 병용하는 것으로 단기선장의 스테레오 카메라의 안정된 머리부 자세 추정을 실현했다.  후에는 실외의 여러 가지 환경 아래에서 촬영한 영의 평가를 반복하여 이 식의 유효성 검증을 진행해 나갈 예정이다. 
<글 : 파나소닉(주) 오카 켄지(Oka Kenzi)·츠키자와 소타로(Tukizawa Sotarou)·마루야 켄스케(Maruya Kensuke) / 동경대학교 사토 요이치(Satou Yoiti)>

[월간 시큐리티월드 통권 제158호(info@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>