한국어 논･서술 답안 자동채점 프로그램 PASTA-I 개발

초록

본 연구에서는 학교 현장의 논․서술 평가의 채점 부담과 채점의 객관성 및 일관성의 문제를 해결하기 위해 논․서술 답안 자동채점 프로그램인 PASTA-I을 개발하였다. PASTA-I은 한국지능정보사회진흥원에서 공개한 ‘에세이 글 평가 데이터’ 중 3개 주제에 대한 데이터를 기반으로 채점 모델을 구축하였다. 채점은 총 10개의 세부 채점 영역에 대해서 채점 영역별로 3점 만점으로 채점이 이루어졌으며, 이에 따라 본 연구에서도 10개의 채점 영역별로 채점이 이루어지도록 자동채점 모델을 구현하였다. 채점 모델 구현에 사용한 알고리즘은 ELECTRA 모델을 기반으로 한국어 데이터를 학습시킨 electra-kor-base를 사용하였으며, ‘나의 위인전, ‘영화/독서 감상문’, ‘본인의 성격 장단점’ 등 3가지 주제에 대해 평가용 데이터를 이용하여 자동채점 모델의 성능을 검증한 결과 거의 모든 영역에서 .7이상의 정확도를 보였다.

키워드