시각 및 언어 모델을 활용한 인터랙티브 미술 감상 AI 도슨트 시스템

초록

본 논문은 시각장애인을 포함한 다양한 사용자가 시각 예술을 주체적으로 감상할 수 있도록, 컴퓨터 비전과 대규모 언어 모델을 결합한 대화형 미술 감상 시스템을 제안한다. 제안 시스템은YOLO 기반 객체 탐지와 VGG16 분류기를 통해 작품을 인식하고, HSV 색공간 기반 색상 보정을적용하여 감정 분석의 신뢰도를 향상시킨다. 이어서 Qwen2.5-VL-3B 모델은 시각 정보를 요약하고, Qwen2.5-32B 모델은 감성적 설명과 상호작용형 대화를 생성한다. 또한 RAG 기반 질문 응답구조와 Visual Thinking Strategies(VTS)를 활용한 프롬프트 설계를 통해 감상자의 감정 표현을 유도하고, 의미 있는 상호작용을 가능하게 한다. 본 시스템은 미술 감상의 몰입성과 접근성을 동시에 향상시키는 인공지능 응용의 가능성을 보여준다.

키워드