Q-Craft 프로그램을 이용한 자동생성문항 타당성 평가 연구

초록

목적 자동문항생성에 대한 수요가 증가하는 환경에서 자동문항생성이 실제 교육현장에서 제대로 활용되기 위해서는 공인된 인간출제 검사 문항과 유사하게 또는 동형의 수준으로 자동문항생성에 의한 문항들이 만들어질 필요가 있다. 따라서, 본 연구는 전통적인 방식의 인간출제 문항(MIG 문항)들을 기반으로 이와 유사한 문항들을 자동문항생성 프로그램을 통하여 생성하고, 생성된 문항들이 MIG 문항들과 얼마나 유사하게 생성되었는지를 분석함으로써 Q-Craft 프로그램을 이용하여 자동생성된 문항의 타당성을 평가하고자 하였다. 방법 이를 위하여 서울시 교육청에서 주관하는 2023년 3월 고3 전국연합학력평가 영어시험에서 15가지의 대표적인 문항유형을 선정하여 MIG 문항들을 구성하고, 이와 유사하게 자동문항생성 프로그램인 Q-Craft에 의해 15개의 자동문항(AIG 문항)들을 생성하였다. AIG 문항은 내용전문가 10명에게 블라인드 리뷰를 의뢰하였으며, 대학교 신입생 48명을 대상으로 MIG 문항 검사와 AIG 문항 검사를 동시에 시행하였다. 결과 AIG 문항을 내용전문가에게 의뢰한 결과, 지문흐름의 자연스러움, 영어표현의 자연스러움에서 높은 수준의 평가를 받았으나, 선택지의 매력정도는 상대적으로 낮은 평가를 받았다. 대학생들을 대상으로 MIG 문항 검사와 AIG 문항 검사를 동시에 수행하여 응답결과를 분석한 결과 동형검사 신뢰도는 .662로 유사성 정도가 높은 편이었으며, 검사정보함수를 통해 비교한 결과 두 검사가 최대 검사정보를 주는 학생의 능력수준이 동일하였다. 결론 본 연구에서 동형검사 신뢰도는 .662로 유사성 정도는 높다고 할 수 있으나, MIG 문항 검사와 AIG 문항 검사가 동형검사라고 하기에는 미흡하다고 판단하였다. 그러나, 검사정보함수 분석결과 AIG 문항 검사가 MIG 문항이 정확하게 추정해내는 학생들의 능력수준과 동일하였던 것은 매우 의미있으며, 검사 목적에 따라 AIG 문항은 타당성을 부여할 수 있다.

키워드