분위 회귀 분석을 이용한 비디오로부터의 3차원 인체 복원

초록

본 논문은 비디오로부터 추출한 프레임으로부터 3차원 인체 형상과 자세 복원을 수행하고 이를 시간 축에서 자연스럽고 부드러운 움직임을 나타내도록 보정하는 기법을 제안한다. 제안하는 기법은 우선 비디오로부터 추출한 개별 프레임으로부터 convolutional neural network을 이용하여 관절의 위치와 인체의 윤곽을 추정한다. 인체의 형상 및 자세는 매개변수 기반의 3차원 변형가능 모델 (morphable model)을 2차원 영상으로 투영후 정합하여 최적의 매개변수 값을 추정한다. 이 때 각 프레임에 대한 복원이 개별적으로 수행되면 시간 축에서 자세의 연속성과 체형의 일관성이 보장되지 못하고 올바르지 못한 복원 결과가 나타난다. 제안하는 기법은 이러한 문제점을 보완하기 위하여 각 프레임으로부터 복원된 3차원 변형가능 모델의 주성분 매개변수의 분석 및 보간을 수행한다. 실험결과 3차원 인체 복원에 오류가 발생한 프레임에 대해 이전과 이후 프레임들 사이의 관계를 통해 오류가 보정되어 개선된 복원 결과를 얻을 수 있음을 보인다.

키워드