한국어 쓰기 평가를 위한 자동채점의 가능성 탐색

초록

이용상･신동광･김현정. 2022. 3. 30. 한국어 쓰기 평가를 위한 자동채점의 가능성 탐색. 이중언어학 86, 00-00. 본 연구에서는 SKA 쓰기 자동채점의 가능성을 탐색하기 위해 SKA 예비 평가 답안 및 채점 자료를 활용하여 기계학습을 통한 채점 모형 구축 및 점수 예측을 실시하였다. 기계학습은 대표적 지도학습 알고리듬 중 하나인 랜덤 포레스트를 사용하였으며, 채점 모형의 성능은 정확도, 정밀도, 재현율, F1, 카파 값을 통해 비교하였다. 연구 결과 채점 영역 중 ‘언어사용’ 영역과 ‘내용’ 영역에서의 채점 모형의 성능은 양호하게 나타났으며 이는 본 연구에서 활용한 기계학습에 대한 데이터가 매우 적고, SKA 쓰기 시험 문항에 특화된 채점 자질이 개발되지 않았음에도 불구하고 도출된 결과로 매우 고무적이라 할 수 있다. 특히 본 연구의 채점 모형을 이용하여 예측한 점수와 채점자가 부여한 점수 간의 상관 분석 결과, 두명의 채점자가 부여한 점수 간에 상관보다는 작게 나타났으나 그 차이가 약 .10 정도로 향후 충분한 기계학습용 데이터 확보와 채점 자질 최적화 그리고 채점 모형의 정교화를 통해 충분히 극복될 수 있는 수준인 것으로 판단된다.(인하대학교･광주교육대학교･세종학당재단)

키워드