인공지능 작성 여부에 대한 출처 정보가 쓰기 평가에 미치는 영향 — 글 수준 및 분석적 채점 준거별 변화 분석

초록

이 연구는 인공지능 작성 여부에 대한 출처 정보가 쓰기 평가에 미치는 영향을 분석하고, 그 양상을 총점, 글 수준, 분석적 채점 준거별로 검토하는 데 목적이 있다. 이를 위해 동일한 인공지능 생성 텍스트를 대상으로 출처 정보 제시 여부만을 달리한 반복측정 설계를 적용하여 국어 교사 20명의 평가 결과를 비교하였다. 분석 결과, 인공지능 작성 정보 제시 시 총점이 유의하게 하락하였으며, 이러한 변화는 특히 중 수준 글과 ‘이유와 근거’, ‘문장과 어휘’ 준거에서 두드러졌다. 질적 분석에서는 평가자가 인공지능 텍스트에 대해 높은 기대를 적용하거나 내용의 깊이와 진정성을 비판적으로 재해석하는 경향이 확인되었다. 이는 평가자 효과와 프레이밍 효과, 그리고 알고리즘 회피 성향이 평가 판단에 작용함을 시사한다. 이 연구는 인공지능 시대 쓰기 평가의 공정성과 타당성 논의에 시사점을 제공한다.

키워드