동질적 특징을 이용한 견고한 멀티모달 분류 모델

초록

본 연구에서는 데이터 획득 비용이 높아 충분한 학습 데이터를 획득하지 못하거나, 학습에 사용되는 데이터에 노이즈가 많이 포함되어 학습이 제대로 진행되지 못하는 상황에서 동일한 데이터이지만 서로 다른 모달의 동질적인 특징을 이용한 멀티모달 학습 방법이 노이즈에 견고하고, 일반화에 우수함을 실험을 통해 증명하였다. 실험 과정에서는 이미지 MNIST 데이터셋과 시퀀스 MNIST 데이터셋에 노이즈를 추가하여 사용하였다. 실험 비교를 위해 단일 CNN 계열 모델 3개, 단일 RNN 계열 모델 3개, 그리고 멀티모달 계열 모델 3개를 사용하였으며, 단일모달만을 사용하였을 때보다 멀티모달 모델을 사용했을 때 전반적으로 성능이 개선되는 것을 확인하였다.