다중 목적 학습과 Self-Consistency를 활용한 생성형 LLM의 자동 에세이 채점 성능 최적화

초록

대규모 글쓰기 평가에서 자동 에세이 채점(Automated Essay Scoring,AES)은 채점 효율을 높이지만, 생성형 LLM 기반 채점은 점수 토큰의 순서형학습이 어렵고 동일 입력에서도 출력이 달라지는 변동성으로 채점 정확도,신뢰도 문제가 발생할 수 있다. 본 연구는 추가 회귀 헤드 없이 단일 LLM이루브릭별 점수 토큰과 피드백 텍스트를 하나의 autoregressive 생성 경로에서 순차 생성하는 통합 학습ㆍ추론 프레임워크를 제안하였다. 학습에서는숫자 토큰 분포 기대값과 정답 점수의 오차를 최소화하는 숫자 토큰 손실(Number Token Loss, NTL)로 순서형 점수의 위계 구조를 반영하고, 피드백생성의 표면형 일치 과의존을 완화하기 위해 정답 피드백 주변 의미 공간으로 예측 분포를 정렬하는 보조 목적함수 의미 정렬 손실(SemanticAlignment Loss, SAL)를 결합하였다. 추론에서는 자기 일관성(Self-Consistency)으로 다회 샘플을 생성한 뒤 평균 집계하여 확률적 변동성을 통계적으로 완화하였다. AI Hub ‘서술형 글쓰기 평가 데이터셋’에서제안 방법은 평균 Quadratic Weighted Kappa (QWK) 0.626를 달성해 회귀헤드 기반 베이스라인(0.581)을 상회했다. 이는 NTL이 점수 예측 정밀도를개선하고, 자기 일관성이 재현성과 강건성을 높이며, SAL이 점수 판정에상보적 학습 신호를 제공함을 시사한다.

키워드