Generative Adversarial Network를 이용한 손실된 깊이 영상 복원

초록

본 논문에서는 generative adversarial network (GAN)을 이용한 비감독 학습을 통해 깊이 카메라로 깊이 영상을 취득할 때 발생한 손실된 부분을 복원하는 기법을 제안한다. 제안하는 기법은 3D morphable model convolutional neural network (3DMM CNN)와 large- scale CelebFaces Attribute (CelebA) 데이터 셋 그리고 FaceWarehouse 데이터 셋을 이용하여 학습용 얼굴 깊이 영상을 생성하고 deep convolutional GAN (DCGAN)의 생성자(generator)와 Wasserstein distance를 손실함수로 적용한 구별자(discriminator)를 미니맥스 게임기법을 통해 학습시킨다. 이후 학습된 생성자와 손실 부분을 복원해주기 위한 새로운 손실함수를 이용하여 또 다른 학습을 통해 최종적으로 깊이 카메라로 취득된 얼굴 깊이 영상의 손실 부분을 복원한다.

키워드