데이터 증강 방법에 따른 에세이 자동채점 모델의 성능 검증

초록

한국어 에세이 자동채점 시스템이 충분한 성능을 보장하기 위해서는 대량의 양질 데이터가 필요하지만 현실적으로 이러한 데이터를 확보하는 것에는 많은 어려움이 따른다. 따라서 부족한 데이터 확보 방안으로 데이터 증강에 대한 관심이 높아지고 있으며 이에 본 연구에서는 대규모 언어 모델 기반 데이터 증강 기법이 자동채점 모델 성능에 미치는 영향을 탐색하였다. 500개의 대학생 에세이 답안을 활용하여 점수대별 150개가 되도록 균형을 맞춰 증강하는 방식과 원데이터를 2배수 증강하는 2가지 방식 간에 자동채점 모델의 성능을 비교하였다. 방식별 10회의 독립적 반복 실험 결과, 점수별로 균등하게 증강한 방식이 2배수 증강 방식보다 더 좋은 성능을 보였으며, 특히 원본 데이터에서 부족했던 점수대의 예측 성능이 크게 향상되었다. 이는 단순히 데이터양을 늘리는 것보다 점수대 간 균형을 맞춰 데이터 불균형 문제를 해소하는 전략이 더 효과적임을 시사한다.

키워드