진화하는 8K 촬영 기록 기술

[보안뉴스= 카지야마 타케시, 후나쯔 요헤이 NHK방송 기술연구소] 흔히 방송영상 기술을 영상감시 기술의 교과서라고 부른다. 방송 기술의 진화를 보면 영상감시기술의 미래를 볼 수 있기 때문이다. 일례로 영상감시 분야에서 4K가 최신 기술로 주목받고 있는 이때 방송영상 분야에서는 8K 기술이 회자되고 있는 것을 꼽을 수 있다.

이같은 관점에서 여기에서는 일본의 공영방송 NHK가 연구·개발한 차세대 현장 방송 시스템인 ‘8K 슈퍼 하이비전’을 살펴본다. 이 시스템은 올해 12월 최초로 상용화될 예정으로 2020년 도쿄 올림픽에서는 많은 경기가 8K로 제작돼 일본 가정에서 박진감있는 현장 영상을 즐길 수 있게 될 것으로 기대되고 있다. 먼저 8K 슬로모션 영상 기술을 살펴보고, 이어서 8K 캠코더에 대해 알아보기로 한다.


[사진=dreamstime]

향후 8K 슈퍼 하이비전을 본격적으로 보급하기 위해서는 스포츠와 드라마, 음악, 다큐멘터리, 뉴스, 오락 등 다채로운 프로그램을 많이 제작해야 한다. 이에 따라 NHK방송 기술연구소에서는 8K 프로그램 제작의 요구에 대응하기 위한 촬영·기록 기술의 연구를 개발하고 있다.

여기에서는 8K, 4배속 슬로모션 시스템과 8K 캠코더의 프로토 타입 시스템을 소개한다. 8K, 4배속 슬로모션 시스템은 스포츠 등의 빠른 움직임을 슬로모션 영상으로 선명하게 파악하기 위해 개발되고 있다.

8K 영상을 통상의 4배의 프레임 레이트인 240fps(frames per second)로 촬영·기록하며 60fps로 재생하는 것으로 1/4의 속도가 되는 8K 슬로모션을 실현한다. 8K 캠코더는 간편하고 저렴한 8K 영상 제작을 위해 개발했다. 60fps의 8K 영상을 4장의 SD카드에 100분 이상 압축해 기록할 수 있는 캠코더의 프로토 타입이다.

슬로모션 재생은 스포츠 프로그램에서 필요 불가결한 연출의 하나다. 통상의 속도(60fps)로 촬영한 영상을 슬로로 재생한 경우 움직임이 희미해지고 중간 프레임의 부족으로 부자연스러운 영상이 되는 상황이 발생한다.

보다 자연스럽고 매끄러운 슬로모션 영상을 만들기 위해서는 평소보다 많은 프레임 수를 촬영하는 것이 일반적이다. NHK에서는 지금까지 8K를 120fps로 촬영해 기록하는 기술을 연구해 왔지만, 슬로모션 재생에서 연출 효과가 높다고 하는 3배속을 넘는 고속 촬영과 녹화 기술은 아직 확립하지 못해 조기 실현에 대한 기대가 높다. NHK는 2020년 도쿄올림픽과 패럴림픽을 위해 8K 4배속 슬로모션 시스템 개발에 박차를 가하고 있다.

슬로모션 시스템의 구성
NHK가 실험 제작한 슬로모션 시스템은 고속도 촬영 장치와 슬로 장치로 구성된다. 이 두 가지는 8K/240fps 인터페이스로 접속된다<그림1>. 고속촬영 장치로 촬영한 8K, 4배속으로(240fps) 영상을 슬로 장치에서 실시간으로 압축 수록하고 60fps로 복호화 재생하는 것으로 8K의 1/4 느린 그림 영상을 얻을 수 있다.


<그림1> 8k 슬로모션 시스템 개요

슬로 장치로 수록한 영상은 1/4 슬로 재생할 뿐 아니라 컨트롤러의 T자형 바 조작에 의해 슬로 재생 속도를 변경하는 것으로 연출에 따라 가 변속 슬로 재생도 가능하다. 8K/240fps 인터페이스에 대해서는 U-SDI(Ultrahigh-definition Signal/DataInterface)로 규격화된 방식에 새롭게 고안한 신호 매핑 방식을 도입하고 U-SDI케이블 1개로만 전송을 실현한다.

고속 촬영 장치
고속도 촬영 장치는 카메라 헤드와 CCU(Camera Control Unit)으로 구성된다. 양자는 광전송 모듈에 의해서 카메라 케이블 1개로 접속된다. 카메라 케이블은 HD 카메라로 이용되는 빛 복합 회로 케이블을 이용할 수 있다. 고속 촬영 장치의 구성을 <그림2>에 사양은 <그림1>과 같이 나타낸다.


<그림2> 고속 촬영장치 구성


<표1> 고속 촬영 장치 사양

카메라 헤드
240fps에서 촬영이 가능한 흑백 8K촬상 소자를 이용해 8K, 4배속으로 카메라 헤드를 실험 제작했다. 이 촬상 소자는 화소의 구역과 AD변환 신호 처리 구역이 다른 웨이퍼상에 형성된 3차원 적층 구조가 돼 있어 8K·12bit·240fps의 고속 판독을 실현하면서도 3.0W의 저소비 전력화를 이뤘다. 이 센서는 온 칩 컬러 필터가 없어 단판식 카메라 시스템에 이용하면 흑백 영상으로 촬영된다.

카메라 헤드와 CCU을 접속하는 쌍방향 파장 분할 다중 방식의 광전송 모듈은 카메라 헤드에서 8K·12bit·240fps 신호 전송과 CCU의 뷰 파인더용 리턴 신호 전송을 카메라 케이블 1개로 한다. 촬상 소자의 출력 신호의 데이터 레이트는 144Gbps(Giga-bit per second)으로 매우 고속이지만 이 모듈은 100Gbps의 대역을 가진 QSFP28 광 트랜시버를 2개 갖추고 있어 최대 200Gbps까지 전송할 수 있다.

또, 뷰 파인더용 리턴 영상 신호 전송용으로 10Gbps신호 전송이 가능한 SFP+ 광 트랜시버를 2개 갖춰 최대 20Gbps의 리턴 영상 신호를 전송할 수 있다. 다만 이번 촬영 장치의 리턴 영상 신호의 해상도는 HD이기 때문에 2개의 SFP+중 1개만을 사용해 리턴 영상 신호를 전송한다. 기존의 풀 스펙 8K 카메라²⁾에 적용한 광전송 모듈과 비교하면 이 모듈의 전송 대역은 25% 증가하고 있음에도 불구하고 크기가 약 1/16, 소비 전력은 약 1/4로 카메라 헤드의 전력 절약에 크게 기여한다.

CCU
CCU는 카메라 헤드 측과 대칭되는 광 전송 모듈과 8K/240fps의 화면 조정 회로 및 신호 출력 기능을 갖춘다. 영상 조정 회로는 카메라 헤드 측의 컬러화를 상정한 설계가 되며, 8K/40fps의 컬러 영상 신호를 처리한다. 또, 8K/240fps와 동시에 4K/240fps와 HD의 신호를 모두 출력한다. 이런 신호 출력 기능은 화면 조정 회로와 마찬가지로 8K/240fps 컬러신호에 대응한 인터페이스다.

8K/240fps 인터페이스
고속도 카메라와 슬로 재생 장치는 규격화된 인터페이스로의 접속이 바람직하지만 현시점에서는 8K/240fps에 대응한 기기 간의 인터페이스 규격이 없다. 또한, 8K/120fps에 대응한 U-SDI 규격의 인터페이스 2식을 이용해 분할 전송할 수도 있지만 송수신의 각 하드웨어 규모가 증가하기 때문에 1개의 U-SDI 케이블과 U-SDI 규격 신호 매핑을 응용해 8K/240fps를 전송하는 방법을 고안했다.

U-SDI는 24채널의 10G 링크 신호로 구성되며 영상 신호의 해상도나 샘플 형식에 대하여 사용하는 10G링크 신호 채널 수를 바꿈으로써 데이터 레이트의 다른 여러 가지 형식의 고화질 영상을 전송할 수 있다. 특히, YCbCr 4:2:0 형식의 8K/120fps를 전송하는 경우 사용할 10G 링크 신호의 채널 수는 RGB 4:4:4 형식 전송 시의 절반인 12채널이다. 거기에서 8K/240fps 4:2:0 형식의 영상 프레임을 짝수·홀수 프레임에 분할한 신호를 1~12채널 및 13~24채널로 할당함으로써 1개의 U-SDI케이블에 의한 8K/240fps 전송을 실현했다.<그림3>


<그림3> U-SDI 케이블에 의한 8K/240fps 전송

슬로 장치
슬로 장치는 레코더와 컨트롤러로부터 구성된다. 레코더로 기록하는 8K/240fps, 4:2:0 형식의 영상은 8K/120fps, 4:4:4 형식의 영상과 동등한 데이터 레이트(144Gbps)을 가지고 있다. 필자들은 그 동안 8K/120fps, 4:4:4 형식에 대응한 풀 스펙 8K압축 기록 장치를 개발해 왔다.

이 장치는 영상 입출력 인터페이스로서 U-SDI을 갖추고 확장 JPEG 방식에 의한 실시간 압축과 최대 20Gbps의 기입 속도에 대응한 착탈식 메모리 팩에 대한 기록을 실현한다. 8K/240fps, 4:2:0 형식의 압축 기록에는 이 압축 기록 장치가 가진 압축 연산 회로나 메모리 대역을 그대로 활용할 수 있는 점에 주목해 개수를 첨가하여 슬로 장치를 실현했다.

신호 입력 인터페이스에 대해서는 전술한 새로운 방식으로 대응한 회로를 추가하고 재생 출력에 대해서는 U-SDI에서 8K60fps의 규격에 준한 신호를 출력하는 것으로 대응했다.

촬영 시 압축률은 약 9분의 1(16Gbps)이다. 이 압축률은 8K120fps 카메라의 영상을 이용한 예비 실험에서 설정했으며, 객관 평가 값으로 휘도 성분의 PSNR(Peak Signal-to-Noise Ratio) 40dB이상 및 SSIM(Structural Similarity) 0.98 이상을 충족하는 압축률로 했다. 압축 촬영된 화상은 프레임마다 독립된 데이터로서 메모리 팩에 기록되기 때문에 슬로 재생시에는 임의 프레임별 읽기가 용이하며 가변속 슬로 재생과 JOG재생 등에 적합하다.

8K·240fps슬로 장치의 제원을 <표2>에 제시한다. 8TB의 착탈식 메모리 팩을 사용할 경우 8K·240fps의 압축 영상을 58분 기록할 수 있다. 본 장치는 범용 컨트롤러에 의한 원격 조작에도 대응하고 있어 T자형 바, 다이얼을 이용한 가변속 슬로 그림이나 임의의 재생 위치의 첫머리를 찾는 CUE 업 등 간단한 슬로 모션 재생에도 대응할 수 있다. 더불어 SMPTE 규격에서 미래 확장으로서 제안된 240fps까지 대응한 타임 코드에 대해서도 내부 생성이 가능하고, 향후의 슬로 모션 제작의 검토에 활용할 수 있는 사양이다.


<표2> 슬로 장치 제원

슬로모션의 촬영 사례
이 슬로모션 시스템에서 4배속으로 촬영·녹화한 사례를 <그림4>와 같이 제시한다. 영상은 평가용 화상을 인쇄한 피사체를 수평 방향으로 일정 속도로 움직이면서 촬영한 영상이며 60fps(4프레임 가산)의 영상과 비교하면 움직이는 흔들림이 적은 선명한 영상을 확인할 수 있다. 이 8K슬로 모션 시스템은 ‘기연 공개 2017’에서 전시했다<그림5>.


<그림4> 촬영 녹화 사례(분리영상), 240fps(좌) 60 fps(우)


<그림5> 기연 공개 2017 전시
이번에 소개한 슬로모션 시스템은 흑백 영상에서의 촬영과 수록이지만, CCU, 240fps 인터페이스 및 슬로 장치는 컬러 신호에 대응하고 있기 때문에 이미지 센서와 카메라 헤드를 컬러에 지원함으로써 시스템 전체의 컬러화를 실현할 수 있다. 앞으로는 컬러화와 함께 현장 운용을 위한 조작 개선을 추진해 나갈 방침이다.


[참고문헌]
1) Rec. ITU-R BT.2020-2, ‘Parameter values forultra-high definition television systems for production and international programme exchange’（2015）
2) K. Kitamura, et al., “Full-Specification 8K Camera System”, Proc. NAB Broadcast Engineering Conference, April 2016, pp.266-271
3) 小倉ほか，“フルスペック対応SHV圧縮記録装置の開発”，映像情報メディア学会年次大会予稿集，34D-1 (2016)
4) 電波産業会ARIB STD-B58 1.1版，“超高精細度テレビジョン信号スタジオ機器間インターフェース規格”（2015）
5) T. Arai et al., “A 1.1-μm 33M-pixel 240fps 3D Stacked CMOS Image Sensor with 3-Stage Cyclic Based Analog-to-Digital Converters,” IEEE ISSCCDig. Tech. Papers, February 2016, pp.126-127”（2016）
6) SFF Committee Specification: “SFF-8665 QSFP+ 28 Gb/s 4X Pluggable Transceiver Solution (QSFP28)”
7) SFF Committee Specification: “SFF-8083 SFP+ 1X 10 Gb/s Pluggable Transceiver Solution (SFP10)”
8) ISO/IEC 10928-1, “Digital Compression and Coding of Continuous-tone Still Images：Requirements and guidelines” (1994)
9) SMPTE ST12-3:2016, “Time Code for High Frame Rate Signals and Formatting in the Ancillary Data Space"

[Key Word]
-캠코더 : 촬영부와 수록부가 일체화된 비디오 카메라.
-퍼블릭 뷰잉 : 스포츠 경기 등에서 경기장에서 떨어진 곳에서 대형 영상장치를 통해 관전, 관람하는 이벤트
-3차원 적층 구조 : 복수의 LSI칩을 적층해, 미소한 관통 배선에서 칩 사이를 상호 접속함으로써 회로의 대규모화나 고속화가 가능한 반도체 기술. 이 기술을 이용하여 8K촬상 소자의 고속화를 실현했다
-온 칩 컬러 필터 : 1장의 촬상 소자로 칼라 화상을 취득하기 위해서, 화소상에 직접 형성된 컬러 필터.
-쌍방향 파장 분할 : 다중 방식 1개의 광섬유상에 파장과 전송 방향의 다른 복수의 광신호를 다중하고 전송하는 광전송 방식.
-YCbCr 4:2:0 : 영상의 색 성분을 솎아 정보량을 줄이는 포맷의 하나. 4:2:0방식으로는 휘도 신호는 원래의 정보가 유지되면서 색차 신호는 원래 1/4의 정보량이다.
-RGB 4:4:4 : 영상의 색 성분을 줄이지 않고 취급하는 고화질의 포맷.
-PSNR : 피크 신호 대 잡음비.비가역 압축에 의한 화상 품질의 객관 평가에 이용된다.
-SSIM : 두 화상의 유사성을 계측하는 지표. PSNR과 비교하고 인간의 주관적 평가에 가까운 것으로 알려졌다
-프록시 파일 편집이나 미리 보기 등에 사용하는 저 비트 레이트 영상 파일.
Super35㎜ : 영화용 렌즈로 널리 이용되고 있는 광학 사이즈. 수평 24.89×수직 18.66㎜
-마이크로 포 서즈 : 광학 사이즈 4/3인치(수평 약 17.3㎜× 수직 약 13㎜)의 렌즈 마운트 규격. 기존의 포 서즈 규격보다 플랜지 백장과 마운트 외경이 축소되면서 카메라의 소형화에 적합하다.
-고정패턴 잡음 : 발생 패턴이 연결한 노이즈. 이미지 센서의 특성 차이에 의해서 생긴다.
-렌터링 : 편집한 내용을 동영상에 반영하기 위한 계산 처리.
-AVC/H.264 : 동영상 압축 규격의 하나, 부호화 효율은 종래의 MPEG-2의 약 2배로 개선하는 해상도는 4K까지 대응
-HEVC/H.265 : AVC/H.264의후계 포맷, 부호화 효율은 MPEG-2의 약 4배, AVC/H.264의 약 2배로 개선하는 해상도는 8K까지 대응.
[글_ 카지야마 타케시, 후나쯔 요헤이 NHK방송 기술연구소]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>