교양 글쓰기 교육 강화를 위한 자동평가 적용 사례 : K 대학 사례를 중심으로

초록

본 연구에서는 교양 글쓰기 교육의 내실화를 위한 자동평가의 유용성과 신뢰성을 확인하기 위해 K 대학의 글쓰기진단평가에 자동평가를 적용한 사례를 분석하였다. K대학 교양 글쓰기 진단평가는 ‘주장하기’와 ‘요약하기’의 2개문항으로 구성되었으며, 본 연구에서는 이들 2개 문항에 대한 학생들의 글쓰기 답안을 ‘과제 수행’, ‘내용 구성’, ‘언어 사용’의 3가지 채점 영역으로 나누어 인공지능 기반 자동평가 프로그램인 ‘PASTA’로 채점을 실시하고 그결과를 분석하였다. K 대학의 글쓰기 진단평가에 활용된 자동평가 모델의 성능을 우선 검증한 결과 타 시험의 인간채점자 간의 일치도 및 유사 일치도와 비교할 때 유사하거나 오히려 높은 수준인 것으로 나타나 본 연구의 자동평가의신뢰성을 확인할 수 있었다. 자동평가 프로그램 ‘PASTA’는 학생들의 글쓰기 답안을 자동채점 해주고 그 결과를입체적으로 제시하면서 동시에 개인별 피드백을 주기 때문에 글쓰기 수업에서 평가도구로 유용하게 활용될 수 있음을보여주었다. 더불어 자동평가 시스템을 글쓰기 수업에 적용할 경우 교수자의 채점 부담을 경감시키고 학생들에게좀 더 많은 글쓰기 평가 기회를 제공할 수 있어 글쓰기 수업 내실화에 기여할 것으로 기대된다. K 대학의 글쓰기자동평가 결과를 분석한 결과 학생들의 글쓰기 학습 경험 여부가 학생들의 글쓰기 능력 차이를 유발하는 의미 있는변수로 나타났으며, 또한 학습 기간이 1주일 이내인 학생들과 1주일 이상인 학생들 간에 글쓰기 능력에 차이가 있는것으로 나타나 글쓰기 교육이 지속적으로 이루어 질 때 학생들의 글쓰기 능력이 향상될 수 있음을 실증적으로 보여주었다

키워드