[시큐리티월드 우키타 노리미치] 나라첨단과학기술대학원대학은 시야에 중첩이 없는 분산 카메라군으로 넓은 공간을 이동하는 사람을 추적하기 위해서 사람의 그룹 특징량을 이용하는 추적법을 연구하고 있다. 이 특징량은 종전에 널리 연구되어 온 사람의 외견 이외의 정보도 표현하고 있다. 이와 같이 외견과는 독립된 특징량으로 외견이 유사한 사람의 식별 정밀도를 향상시킨다.

우선 각 카메라 시야에서 촬영되고 있는 사람들을 그룹별로 나눈다. 그룹 검출 결과로 각 사람의 그룹 특징량을 획득하고 개인의 색 정보나 카메라간의 이동시간을 참조한 기존 특징량과 병용함으로써 각각의 카메라끼리 사람을 동일한 사람으로 정의한다. 실험에서는 궤적과 그룹 속성의 정답 데이터를 주었을 경우 종전에 특징량만을 이용했을 때에 비해 카메라간 사람 동정의 정밀도를 향상할 수 있었다.

사람들이 안전하고 안심할 수 있는 생활을 영위하기 위해서 보안에 관한 기술은 없어서는 안 되는 것이다. 그 중에서도 CCTV를 사용하여 광역에 걸친 사람을 추적하는 기술은 범인의 도주 경로를 특정하거나 차량이나 사람 등의 흐름 분석에 이용할 수 있는 중요한 기술이다.

일반적인 CCTV는 시야가 고정되어 있어 1대의 카메라로는 촬영할 수 있는 범위가 한정되고 있기 때문에 광역 추적을 위해서는 복수대의 카메라가 연계되어 있어야 한다. 복수의 카메라를 사용한 사람 추적에서는 각 카메라 시야 내에서의 사람 추적과 함께 어떤 카메라에 찍힌 사람이 다른 카메라에 찍힌 사람과 동일 인물인가를 판단하는 사람 동정이 필요하다.

CCTV는 비용 때문에 시야가 겹치지 않도록 배치되어 있는 경우가 많아 계속적인 추적이 어렵다. 또, 일반적인 CCTV 영상 중에서는 그림 1과 같이 각 사람은 작게 찍혀 있기 때문에 얼굴 인식 등과 같이 해상도가 높지 않으면 이용할 수 없는 수법을 이용하기는 어렵다.

그림 1. 분산 CCTV의 영상 예. 시야를 공유하지 않는 분산 카메라간의 사람 추적에는 각 카메라의 시야 내에서 촬영된 사람의 추적(파선)과 각 카메라로 촬영된 사람 사이에서 동일 인물을 판정하는 카메라간 사람 동정(실선)이 필요. 각 테두리는 각 사람의 그룹을 나타낸다.

이번 연구에서는 카메라간 사람 동정에 있어서 개인의 외견 이외에 이용할 수 있는 특징량으로서 ‘위치관계나 궤적의 유사성에 착안하는 것으로 검출되는 사람의 집단’을 그룹이라고 정의하고 이 그룹(그림 1 내 각 테두리 참조)에 관한 특징량을 제안한다.

다른 카메라로 넘어가도 그룹의 관계는 잘 변하지 않는다는 가정 하에 그 사람이 속하는 그룹의 인원수나 그룹 내 전원의 외관 정보로부터 그룹 특징량을 얻는다. 이 가정은 통로가 한정되어 있는 빌딩 등의 실내나 보행자간의 진로 변동이 작은 곳, 카메라간 거리가 짧은 환경 등에서 성립한다.

영상 특징량과 그룹 특징량을 통합한 대상 동정

그림 2에 제안 수법의 전체 처리 흐름을 나타낸다. 카메라 간 사람 동정은 단안 카메라 시야 내에서 각 사람의 정보를 취득하는 처리(그림 중 왼쪽)와 취득한 정보를 복수 카메라 사이에서 비교해 사람을 동정하는 처리(그림 중 오른쪽)로 크게 나눌 수 있다. 종전 수법에서는 각 카메라 시야 내에서 추출된 개인의 특징량을 카메라 사이에서 비교함으로써 사람을 동정을 하고 있다. 제안 수법은 개인의 특징량만을 참조하는 수법에 그룹에 관한 특징량을 추가한 것이다.

그림 2. 동정 처리의 전체 흐름. 빨간색 테두리로 표시되어 있는 처리가 제안 수법에서 새롭게 추가한 처리.

① 단안 시야 내에서의 사람 추적

각 시야 내에서 사람을 검출하거나 사람을 추적한다. 후술하는 실험에서는 사람 검출·추적 결과로 공개 데이터 세트에 포함되어 있는 정답 데이터를 사용했다. 영상인식 분야에서는 HOG 특징과 Support Vector Machine의 조합에 의한 사람영역 검출 등이 많이 연구되고 있어 그 성과들을 이용할 수 있다.

② 단안 시야 내의 그룹 검출

제안하는 그룹 특징량을 구하기 위해서 각 시야 내에서의 사람 추적에 의해 얻은 궤적으로부터 그룹을 검출한다. 이 그룹 검출에는 저자들이 이전에 제안한 수법1)을 이용했다.

③ 카메라간 사람 동정

단안 카메라 시야 내에서 얻은 각 사람의 정보를 이용해서 특징량을 산출하고 다른 카메라로 촬영된 임의의 두 사람 사이의 특징량을 비교하는 것으로 그 두 사람이 동일 인물임을 나타내는 사람 동정용 스코어를 산출해 카메라간 사람 동정을 한다.

우선 종전 특징량인 사람의 색 히스토그램과 카메라간의 이동시간으로부터 사람 동정용 스코어를 산출한다.

각 사람의 색 히스토그램은 사람 추적 결과로부터 얻은 검출 범위 내에서 추출하고 색 히스토그램의 유사성을 나타낸 Bhattacharrya계수를 이용해 임의의 두 사람 i와 j의 색 분포 유사도를 나타내는 스코어를 구한다. 카메라간의 이동시간은 사람 추적 결과로 얻을 수 있는 카메라 시야에 들어가고 나온 시간으로 계산한다. 사전에 카메라간의 이동시간을 확률적으로 구해 두고 이 값과 2개의 검출 결과간 이동시간을 비교해 이 2개의 검출영역간 스코어 RT(i,j)를 구한다(상세한 것은 문헌 2) 참조).

이들 종전 특징량과 함께 제안 수법에서는 새롭게 그룹 특징량으로부터 사람 동정용 스코어를 구한다. 이 스코어는 그룹 검출 결과1)로부터 그 사람이 속하는 그룹 내 사람 수(그룹 내 인원수 특징량)와 전원의 색 정보(그룹 내 색 특징량)을 참조해서 구한다. 그룹 내 인원수 특징량은 색 정보와는 독립적이기 때문에 색에 의거한 동정 실패를 보충할 가능성이 있다.

또, 그룹 내 전원의 색 정보는 종전 특징량과 마찬가지로 사람영역 검출 결과로부터 비교적 확실하게 추출할 수 있다는 이점이 있다. 이상과 같은 4종류의 특징량(색 특징량, 시간 특징량, 그룹 내 인원수 특징량, 그룹 내 색 특징량)에 의해 카메라간 사람을 동정한다. 다음은 2종류의 그룹 특징량 계산법과 전체 특징량을 병용한 사람 동정법에 대해서 기술한다.

그룹 구성원의 색 특징량

각 사람이 속하는 그룹 내 전원의 영역에서 색 히스토그램을 1개 추출하여 임의의 2그룹 간에 그룹 내 색 특징량 유사도 스코어 RGC를 계산한다. 각 그룹의 색 히스토그램은 전체 구성원의 히스토그램을 가산, 정규화해서 얻는다. 먼저 임의의 두 사람 i 와 j가 속하는 그룹 전체 구성원의 색 히스토그램을 추출하고 각 그룹의 평균 색 히스토그램 CG,i, CG,j를 추출한다. 그 다음에 개인 특징량과 마찬가지로 히스토그램간 유사도를 나타내는 Bhattacharrya계수를 그룹 내 색 특징량의 스코어 RGC로 한다.

식 (1)

단, NH는 히스토그램의 빈 수 CG,i(u), CG,j(u)는 히스토그램의 u번째 값을 나타낸다.

(중) 그룹 구성원의 인원수 특징량

그룹 내 인원수가 같은 사람끼리의 스코어가 높아지는 그룹 내 인원수 특징량 스코어 RGP를 설정한다. 이러한 스코어는 단순하게는 대상 그룹 구성원 인원수의 차분만으로 표현할 수 있다. 이상적으로는 보행자 i와 보행자 j의 그룹 내 인원수 Ni와 Nj의 차이는 0이 된다.

실제로는 그룹 검출이 실패하거나 카메라간을 이동할 때에 그룹 구성원의 인원수가 증감될 가능성이 있기 때문에 차이가 0이 되었을 때에 스코어가 높아지며 동시에 그룹 검출 실패나 그룹 내 인원수의 변화에도 대응할 수 있도록 그룹 내 인원수가 다른 경우에는 스코어를 작게 한다. 본 연구에서는 이러한 가중으로서 평균 0, 분산 σ_GP^2의 가우스 분포를 채용하고 아래 식을 그룹 내 인원수 특징량의 스코어 RGP(i, j)로 한다.

식 (2)

식 (2)는 그룹 검출 성공 가능성이 일정해지도록 분산이 정수의 가우스 분포로 표현되어 있다. 그러나 실제로는 그룹 검출법에 있어 검출의 확신도에 따라 그룹별로 가중이 설정되어야 한다. 그래서 보행자 i의 스코어를 계산할 때 i와 동시에 시야 내에 관측된 다른 보행자 j가 i와 동일한 그룹 내에 있는가 아니면 그룹 외에 있는가에 따라 다음과 같이 가중을 조절한다.

· 그룹 내 : I와 j가 동일 그룹에 속할 확신도가 낮을수록 그룹 내 인원수 특징량의 가중을 낮춘다.

· 그룹 외 : i와 j가 동일 그룹에 속하지 않을 확신도가 낮을수록 그룹 내 인원수 특징량의 가중을 낮춘다.

이 가중은 식(2)의 분산 조절로 주어진다. 그룹 검출의 확신도 계산은 그룹 검출법에 의존한다. 이번 연구에 있어 그룹 검출1)에서는 임의의 2명이 동일 그룹에 속하는가 아닌가를 서포트 벡터 머신(SVM)으로 식별한다. SVM 스코어는 2명이 동일 그룹에 속할 경우에 +값을 취하고 값이 클수록 확신도가 높다. 반대로 속하지 않을 확신도가 높을수록 작은 -값을 취한다. 그래서 식 (3)에 의해 그룹 내 인원수 특징량의 스코어 RGP(i, j)를 얻는다.

식 (3)

단, Mi는 i와 동시에 시야 내에서 관측된 사람 수, Si는 i와 n이 동일 그룹에 속하는가 아닌가를 SVM로 판정한 스코어이다. 인원수가 많을수록 동일 그룹 판정의 실패 가능성이 높아지는 것에 대응하기 위해서 0로부터 1의 값을 취하는 min(1,|Si,n|)의 곱으로 인원수가 늘어난 만큼 w를 작게 했다. w가 작아지면 e^(-awi)가 커지고 그 결과 Ni-Nj 가 0 이외의 값을 취해도 스코어 RGP가 크게 감소하지 않는다.

그룹 특징량과 종전의 특징량을 병용한 카메라간 사람 동정

카메라간 사람 동정용 스코어 R은 4종의 스코어 RC(개인의 색 특징량의 스코어), RT(개인의 카메라간 이동시간 특징량의 스코어), RGP(그룹 내 인원수 특징량의 스코어), RGC(그룹 내 색 특징량의 스코어) 모두가 높아졌을 경우에 R이 높아지도록 식 (4)과 같은 4종류의 스코어 곱으로 산출한다.

식 (4)

이 R(i, j)가 큰 것부터 동정 후보로 제시함으로써 카메라간 사람 동정을 실현한다.

실험 결과

실험에 사용한 동영상은, Person Re-ID 2011 dataset3) 중 2개의 카메라로 촬영된 동영상이다. 2개의 카메라로 촬영된 영상 예는 그림 1에 나타냈다. 동영상은 2개의 카메라 모두 1시간정도의 길이이며 2개의 카메라간 이동시간은 평균 65초이다. 데이터 세트에는 동영상 이외에 각 사람의 ID가 달린 추적 결과(사람의 전신을 둘러싼 사각형의 x, y좌표와 사이즈)의 정답 데이터가 주어졌다. 다른 카메라 영상에서도 같은 사람에게는 동일한 ID가 할당되어 있다.

단, 데이터 세트에 이미 첨부되어 있는 정답 추적 데이터는 사람이 차폐된 곳 없이 찍혀 있는 프레임에서만 보존되어 있으며 차폐 순간의 정답 데이터가 포함되어 있지 않다. 그래서 추적 결과의 정답 데이터가 주어져 있지 않은 프레임에 대해서는 수동으로 정답 데이터를 주었다. 보완 후의 정답 데이터에 있어 각 카메라의 검출 인원수는 카메라 a에 573명, 카메라 b에 884명이었고 전체 관측 인원수 중에서 양쪽 카메라에서 검출된 인원수는 342명이었다.

또, 누구와 누가 동일 그룹 내 페어인가 하는 그룹 정보의 정답 데이터도 포함되어 있지 않기 때문에 각 동영상 속 위치관계나 궤적의 유사도, 또 부모와 자식 등 사회적 관계 등에 착안해 수동으로 주었다. 이 때 한쪽 카메라에서만 그룹이라고 판별할 수 있는 페어도 동일 그룹 내의 페어로 설정했다. 그룹 내 페어의 총수는 카메라 a의 동영상에 134쌍, 카메라 b의 동영상에 152쌍이었다. 전체 관측 인원수 중에서 2명 이상의 그룹에 속해 있는 사람 수는 카메라 a, b의 영상 중에서 각각 103명, 147명이었다.

이번 연구에서 나타내는 실험에서는 카메라 a의 시야 내에서 검출된 사람에 대해 카메라 b에서 검출된 884명 전원과의 사이에서 카메라간 사람 동정용 스코어 R(i,1), R(i,2), …, R(i,884)를 식(4)로 구한다. 이 처리를 양쪽 카메라 시야 내에서 검출 성공한 342명에 대해 실시하고 전체 후보 884명 중에서 본인들 사이의 스코어 순위를 조사하는 것으로 사람 동정의 정밀도를 평가한다.

이 정밀도를 평가하기 위해서 CMC곡선(Cumulative Match Characteristic Curve)을 사용한다. 이 동정 정밀도 평가를 그룹 특징량을 병용했을 경우와 병용하지 않았을 경우 각각에 대해서 구해 그룹 특징량의 유용성을 조사한다.

그룹 내 인원수 특징량의 스코어 계산에 사용하는 식(2)의 σ_GP^2와 식(3)의 a는 본 실험 장면의 예비 실험에서 σ_GP^2= 0.222..., a =1로 했다.

먼저 수법(1)에 의한 그룹 검출 결과를 사용하여 각 사람의 그룹 특징량을 구한다. 이 그룹 특징량과 종전 특징량을 병용하여 카메라간 사람 동정의 정밀도를 확인한다.

색 특징량과 그룹 검출의 결과로 얻은 그룹 특징량을 병용했을 때의 동정 결과를 그림4에 나타낸다. 그룹 내 인원수 특징량으로서 식 (3)과 식 (4)를 이용한 결과를 함께 나타내고 있다. 그림4에서 RGC, RGP를 이용한 결과 쪽이 더 RGC, RGP를 이용하지 않은 결과보다 동정 정밀도가 높다.

그림 3. 색 특징량과 그룹 검출 결과에 의한 그룹 특징량을 병용했을 때의 카메라간 사람 동정 결과도

이것으로부터 그룹 검출의 결과로 얻은 그룹 특징량을 이용함으로써 카메라간 대상 동정의 정밀도가 향상되었다는 것을 알 수 있다. 식 (3)과 식 (4)의 그룹 특징량을 비교하면 그룹 검출의 확신도를 참조하는 식 (4)에 의한 결과가 더 특징량의 효과가 저감되는 것을 억제할 수 있었다.

그림 4. 2종류의 종전 특징량과 그룹 검출 결과에 의한 그룹 특징량을 병용했을 때의 카메라간 사람 동정 결과도

그 다음에 2종류의 종전 특징량(색 특징량과 시간 특징량)과 그룹 검출 결과로 얻은 그룹 특징량을 병용했을 때의 동정 결과를 그림 4에 나타낸다. 시간 특징량을 채용하지 않을 경우(그림 3)와 마찬가지로 그룹 검출 결과로 얻어진 그룹 특징량을 이용함으로써 카메라간 사람 동정의 정밀도 향상이 나타났다.

그림 5. 그룹 특징량의 효과 예. 수법에 의해 동정된 대상 영역을 주황색 사각형으로 나타낸다.

그림 5에 그룹 특징량의 효과 예를 나타낸다. 그룹 특징량이 없는 경우 카메라 a에서 검출된 Pa1은 카메라 b의 Pb2라고 동정해 버렸다. 실제로 Pa1과 동일한 대상은 Pb1인데 조명 조건의 변화 등에 의해 Pb1이 입은 흰 옷의 휘도가 떨어져버린 것 등이 동정 실패의 원인이다. 이것에 대해 그룹 특징량을 이용했을 경우는 정확하게 Pa1과 Pb1을 동정할 수 있었다.

이것은 양쪽 카메라에서의 그룹 검출 결과(그림 (b) 중의 검은색 점선 사각형 안 2인 그룹) Pa1과 Pb1 사이에서 ①그룹 내 인원수 특징량의 스코어가 높아졌고 ②그룹 내 색 특징량의 스코어도 높아졌다(Pb2의 그룹 내 색 특징량은 주로 흰색으로만 구성되지만 Pa1과 Pb1의 그룹 내 색 특징량에는 다른 한 쪽 구성원이 입고 있는 옷의 색인 검정색이 혼입된다)는 결과였다.

더 효과적인 색 특징량 취득법 검토 필요

카메라간 사람 동정을 위한 그룹 특징량을 제안하고 이것과 종전 특징량을 병용하는 것으로 카메라간 사람 동정의 정밀도를 향상시켰다. 실험에서 궤적과 그룹 속성의 정답 데이터를 주었을 경우 종전 특징량만을 사용했을 때와 비교해 그룹 특징량을 병용함으로써 카메라간 사람 동정의 정밀도를 향상시켰다.

앞으로의 과제로서 제안한 2종의 그룹 특징량 가운데 그룹 내 색 특징량의 효과가 약하기 때문에 더 효과적인 색 특징량 취득법을 검토할 필요가 있다. 새로운 그룹 특징량에 대한 검토도 중요하다.

예를 들면 그룹 검출을 할 때 누구와 누가 그룹인가 하는 정보 이외에 부모와 자식관계 등의 사회적 관계를 추정하는 것으로 새로운 그룹 특징량을 취득할 수 있게 된다. 또, 본고에서는 공개 데이터 세트에 포함되어 있는 사람영역의 정답 데이터를 사용해서 실험을 했지만 사람영역의 검출 및 추적 결과의 오류가 제안 수법에 주는 영향을 조사하여 실제 응용을 위한 개발도 중요한 과제이다.

참고문헌

1) 모리구치 유스케, 오카다 아사미, 우키타 노리미치, 하기타 노리히로: 궤적간의 시공간 특징량을 사용한 사람의 그룹 검출, 전자정보통신학회 논문지, Vol.J96-D, No.11, pp.2776-2783 (2013)

2) 우키타 노리미치: 광역 분산 카메라군의 확률적 연결관계 추정법, 전자정보통신학회 논문지, Vol.J89-D, No.7, pp.1523-1533 (2006)

3) http://lrs.icg.tugraz.at/datasets/prid/

[글 시큐리티월드 우키타 노리미치(浮田宗伯) 나라첨단과학기술대학원대학 정보과학연구과 준교수]

[월간 시큐리티월드 통권 221호 (sw@infothe.com)]

<저작권자 : (www.securityworldmag.co.kr) 무단전재-재배포금지>