행동 분류에 기반한 영상의 시공간적 특성과 자기주도 학습의 융합적 접근

초록

본 논문에서는 차량 내부에서 운전자의 행동을 촬영하고 해당 데이터를 활용하여 운전자의 행동이 운전에 적합한지를 판별하는 비디오 내 인물 행동 인식(Video human action recognition) 문제에 대한 연구를 다룬다. 이를 위해 세 가지 관점에서 찍힌 운전자의 행동 데이터셋을 구축하여, 운전자의 동작을 인식하고 분류하는 작업을 진행하였다. 이를 위해 다양한 특징 추출 기법과 대조 학습(Contrastive learning) 중 하나인 자기주도 학습을 사용하여 여러 벤치마크 모델을 학습하고 평가하였다. 특히, Slowfast 특징 추출기를 활용하여 세 관점의 데이터를 통합적으로 활용하는 'Triplepoint feature extraction' 및 프레임의 완전한 랜덤 추출을 통해 시간적인 특징을 가진 'Random complete extraction'과 같은 다양한 시간 공간적 특징 추출 방법을 적용하여 성능을 비교하였다.

키워드