한국어 데이터 셋을 이용한 이미지 캡션에 대한 연구

초록

최근 딥러닝에 관심이 증가하면서 컴퓨터가 시각적 이미지를 인식하여 문장으로 표현하는 이미지 캡션에 대하여 연구가 활발히 진행되고 있다. 기존 이미지 캡션은 대다수 영어로 공개된 데이터 셋을 이용하여 하고 있으며, 한국어 이미지 캡션을 생성하기 위해서는 영어 데이터를 번역하여 사용하거나 이미지 캡션 결과를 번역하고 있다. 하지만 국내에서도 한국어 이미지 캡션 데이터를 최근에서야 제공하고 있지만 데이터의 적합성을 알 수 없다. 본 논문에서는 한국어 이미지 데이터를 이용하여 한국어 이미지 캡션을 생성하였으며, 기존 영어 데이터와 비교하여 신뢰성을 살펴본다. 언어평가모델을 사용하여 한국어 이미지 캡션을 평가한 결과 BLEU-1 75.9, BLEU-2 59.7, BLEU-3 47.0, BLEU-4 36.9를 보였다. 기존의 영어 데이터보다 높은 BLEU 점수를 확인할 수 있었다. 또한 정성적 평가를 추가로 진행하여 생성된 문장 캡션이 이미지에 대하여 적절한 상황정보를 포함하는 캡션을 생성하는 것을 확인할 수 있었다.

키워드