소수의 협소화각 RGBD 영상으로부터 360 RGBD 영상 합성

360 RGBD Image Synthesis from a Sparse Set of Images with Narrow Field-of-View

초록

깊이 영상은 3차원 공간상의 거리 정보를 2차원 평면에 나타낸 영상이며 다양한 3D 비전 연구에서 유용하게 사용된다. 기존의 많은 깊이 추정 연구는 주로 좁은 FoV (Field of View) 영상을 사용하여 전체 장면 중 상당 부분이 소실된 영상에 대한 깊이 정보를 추정한다. 본 논문에서는 소수의 좁은 FoV 영상으로부터 360° 전 방향 RGBD 영상을 동시에 생성하는 기법을 제안한다. 오버랩 되지 않는 4장의 소수 영상으로부터 전체 파노라마 영상에 대해서 상대적인 FoV를 추정하고 360° 컬러 영상과 깊이 영상을 동시에 생성하는 적대적 생성 신경망 기반의 영상 생성 모델을 제안하였으며, 두 모달리티의 특징을 공유하여 상호 보완된 결과를 확인한다. 또한 360° 영상의 구면 특성을 반영한 네트워크를 구성하여 개선된 성능을 보인다.

키워드

360 ImagePanoramaImage SynthesisDepth Estimation3D Scene Reconstruction
제목
소수의 협소화각 RGBD 영상으로부터 360 RGBD 영상 합성
제목 (타언어)
360 RGBD Image Synthesis from a Sparse Set of Images with Narrow Field-of-View
저자
김수지박인규
DOI
10.5909/JBE.2022.27.4.487
발행일
2022-07
유형
Y
저널명
방송공학회 논문지
27
4
페이지
487 ~ 498