내재 요소 및 재조명을 이용한 얼굴 그림자 제거

초록

인물 사진에서 발생한 그림자는 사진의 품질에 영향을 미친다. 그림자로 인해 얼굴의 구조나 색상에 왜곡이 발생하며 이는 얼굴 인식 및 탐지와 작업에서 성능 저하가 발생한다. 이를 해결하기 위해 그림자가 있는 단일 얼굴 영상에서 그림자를 제거하는 방법을 제안한다. 본 논문에서는 임의의 방향에서 조명을 비추는 상황에서 발생한 그림자를 제거하는 것을 목표로 한다. 이를 위해 원래의 조명 방향에서 다른 원하는 조명 방향으로 비추는 새로운 영상을 생성하는 재조명 방법에서 영감을 받아 정면에서 조명을 비추는 영상을 생성하여 그림자를 제거하고자 한다. 인코더-디코더 구조를 통해 비율 영상을 생성하여 그림자가 있는 입력 영상에 곱해주어 그림자 제거 영상을 생성한다. 얼굴의 기하학적 구조를 반영하기 위해 얼굴의 노말 맵을 추정하는 디코더를 추가했으며 노말 맵과 조명 방향으로 그림자 마스크를 추정하여 그림자 제거 영상을 생성하는 데 도움을 준다. 그림자가 제거된 영상은 조명으로 인해 밝았던 영역의 부자연스러움이 존재하기 때문에 이를 제거하기 위해 보정 네트워크의 특징 마스킹 메커니즘을 사용하여 보완하고자 한다. YaleB 데이터셋에서 기존 그림자 제거 연구에 비해 RMSE, PSNR, SSIM의 지표에서 각각 0.04, 2.88, 0.06의 성능 향상을 얻었다.

키워드