외부 메모리 어텐션 기반 준지도 비디오 객체 분할

초록

본 논문은 준지도 비디오 객체 분할에서 어텐션 기법을 활용한 연구를 다룬다. 일반적인 준지도 비디오 객체 분할은 합성곱 신경망을 사용하므로 장거리 종속성 문제를 가지고 있다. 최근 분류, 감지, 분할 등의 딥러닝 분야에서 어텐션 기법을 적용하여 이를 완화하는 연구가 진행되고 있다. 대중적으로 셀프 어텐션 기반 접근 방식이 사용되지만, 다른 영상 간의 연관성을 모델링하기 어렵다는 한계가 있다. 본 논문에서는 장거리 종속성 문제 완화 및 다양한 영상 간의 연관성 고려를 위해 외부 메모리 어텐션 기반의 준지도 비디오 객체 분할 기법을 제안한다. 제안 기법은 두 개의 선형 레이어를 메모리로 활용하여 다양한 영상 간의 연관성을 모델링하며, 캐스케이드 연산을 통한 어텐션 과정을 거친다. 다양한 실험을 통해 DAVIS 2017 데이터셋에서 효용성을 검증하였고, 준지도 비디오 객체 분할의 대표적인 모델인 STM(Space-Time Memory) 보다 자카드지수와 경계 정확도의 평균에서 약 3.8%의 성능 향상을 보였다.

키워드