서울대학교 신입생 글쓰기 평가 결과 분석 - 글의 수준에 따른 평가 준거별 특성 비교 -

초록

이 연구는 서울대학교에서 시행한 2022학년도 신입생 글쓰기 평가 결과를 분석하여 이들의 글쓰기 능력을 절대 수준으로 분류하고, 글의 수준에 따른 평가 준거별 특성을 탐색하였다. 분석적 채점을 통해 1,257명이 작성한 논증 에세이를 평정하고, 총점 구간을 기준으로 수정된 앙고프(Angoff) 방법을 통해 전체 응시자가 작성한 글을 세 개의 수준으로 나누었다. 다분형 문항반응이론을 사용하여 평가 준거별 난이도와 변별도를 확인하였으며, 설명적 순차 설계(explanatory sequential design)의 혼합 방법론을 적용하였다. 분석 결과 ① ‘근거의 적절성’, ‘근거의 충분성’, ‘주장의 적절성과 명료성’, ‘글 전체 구성’의 설명력이 일반적으로 높다는 점, ② 내용 범주에 해당하는 ‘접근 방법과 아이디어의 참신성’, ‘예상 반론 고려’가 상위 수준에서 상대적으로 높은 변별력을 지닌 반면 중·하위 수준에서 그에 미치지 못한다는 점, ③ 표현 범주에 해당하는 ‘맞춤법과 관습’이 하위 수준에서 상대적으로 높은 변별력을 지닌 반면 중·하위 수준에서 그에 미치지 못한다는 점을 확인할 수 있었다.

키워드