다중 손실 함수를 활용한 문장 유사도 성능 향상 기법

초록

본 논문에서는 추가적인 데이터의 수집 없이 STS(Semantic Textual Similarity) task에서 multiple loss와 label smoothing 기법을 활용하여 성능을 향상시키는 방법을 제안한다. 기존의 모델들은 3-way softmax loss또는 cosine-similarity with MSE loss를 활용하여 STS task에 대한 손실 함수 값만 계산하기 때문에, 사전 훈련된 언어 모델의 Word Contextual Embedding Vector가 좋지 않은 방향으로 변할 수 있는 문제점이 있다. 따라서 softmax loss에 label Smoothing 기법을 활용하여 유사한 문장끼리 클러스터링이 되도록 학습을 하였으며, 사전 언어 모델 중의 하나인 GPT(Generative Pre-training)에서 사전 훈련을 할 때 이용했던 loss 계산 방식에서 아이디어를 얻어 새로운 loss를 제안하는 모델에 결합하여 활용하였다. 이 2가지 접근 방식은 fine-tuning시에 활용하여 성능을 향상시킨다. 사전 훈련에는 Multi-genre Natural Language Inference, Stanford Natural Language Inference 데이터를 이용하였으며, 모델을 평가하기 위한 데이터로는 Semantic Textual Similarity benchmark를 이용하였다. 평균적으로 1.24% 정도의 성능 향상을 보였으며, Spearman’s rank에서는 최대 4.67%, Pearson correlation coefficient에서는 최대 5.64%의 성능 향상을 보였다.