쿠버네티스 기반 에지 컴퓨팅 환경에서의 멀티모달 감정인식 연구

초록

본 연구는 에지 컴퓨팅 환경에서 실시간 처리 요구사항을 충족할 수 있는 최적의 멀티모달 감정 인식 모델을 제안한다. 에지 컴퓨팅은 데이터를 생성 지점에서 처리를 하여 신호 지연과 네트워 크 부하를 줄이는 장점이 있지만, 복잡한 딥러닝 모델의 실시간 적용에는 한계가 있다. 이를 해결 하기 위해 쿠버네티스 클러스터를 구축하고, 에지 환경에서 음성 신호와 얼굴 표정 정보를 학습 시킨 세 가지 멀티모달 퓨전 기법(Feature-level, Model-level, Decision-level)의 성능을 비교 분 석하였다. 연구 결과, Model-level Fusion 기법이 가장 우수한 성능을 보였으며 제안하는 CNNLSTM 모델은 90.2%의 높은 정확도와 실시간 추론 성능을 달성하였다.