말하기 평가 채점기준표(rubric)의 상세화 및 적용 사례 연구 －설득 목적의 과제를 중심으로－

초록

목적: 설득 목적의 말하기를 수행하는 과제에 대한 말하기 평가 채점기준표(rubric)를 일정 수준으로 상세화하고 그것이 말하기 채점타당도에 미치는 영향을 탐색한다. 방법: 중학교 2학년 학생들을 대상으로 말하기 평가(예비 조사, 본 조사)를 실시하여 말하기 응답을 수집하였다. 채점자와 채점 대상을 모두 달리하여 1차 채점(예비 조사 채점)과 2차 채점(본 조사 채점)이 진행되었고, 이때 상세화한 채점기준표를 적용하였다. 각각의 채점이 끝난 후 채점자 간 신뢰도(ICC)를 확인하였다. 결과: 채점 결과, 3개 대범주와 7개 하위 범주로 구성된 채점기준 항목에서 2차 채점의 ‘주장의 명료성’을 제외하고 모두 양호한 신뢰도를 보였다. 채점자 간 신뢰도가 낮은 항목에 대한 원인을 탐색하였다. 결론: 본 연구에서 제안한 ‘채점기준표 상세화’가 채점자 간 신뢰도를 높이는, 나아가 평가타당도를 높이는 방안이 될 수 있음을 확인하였다.

키워드