온 디바이스 얼굴 라이트필드 합성 시스템

초록

본 논문에서는 온 디바이스 환경에서 단안의 얼굴 영상을 입력받아 라이트필드 영상을 합성하는 시스템을 제안한다. 제안하는 기법은 지도학습에서의 참값(ground truth) 얼굴 라이트필드 취득의 어려움을 극복하기 위해, 3차원 모델링 도구를 이용하여 다양한 얼굴에 대해 취득한 합성 라이트필드를 학습데이터로 이용한다. 또한, 온 디바이스 구현을 위해 네트워크 경량화 기법과 모바일에 최적화된 딥러닝 프레임워크를 사용한다. 제안하는 시스템은 취득한 라이트필드 영상에 적용될 수 있는 시점변환과 깊이추정 기능을 포함한다. 이를 위해, OpenCL기반 GPU 병렬처리를 적용하여 온 디바이스 환경에서 라이트필드 응용효과들이 신속히 처리될 수 있도록 하였다. 마지막으로, 본 논문은 제안하는 시스템을 GUI 프로그램으로 구현해 각 플랫폼에서의 동작결과 및 처리시간을 평가했다.

키워드