생성형 언어모델을 활용한 수능 영어 자동문항생성에서 난이도 통제 방안 탐색

초록

본 연구는 생성형 언어모델 기반 자동문항생성에서 난이도를 체계적으로 통제하기 위한 변인 기반 방안을 탐색하고 그 효과성을 검증하였다. 수능 영어 영역 관련 선행 연구를 바탕으로 10개 난이도 변인을 선정하고, 2021~2025학년도 수능 및 모의평가 135개 문항을 분석하여 변인별 3수준 경계값을 도출하였다. 이를 프롬프트 체이닝, 생각의 사슬 프롬프팅, 정적 지식 증강 프롬프팅을 활용한 6개 모듈의 문항 생성 절차에서 활용하였다. 고등학교 영어 교사 9명의 평가 결과, 생성 문항은 평균 2.938점(4점 만점)으로 실제 문항(3.448점)과 0.509점의 차이를 보였으며, 전체 예측 정답률 차이는 2.14%p로 유사한 난이도 수준이 확인되었다. 본 연구는 추상적 난이도 지시에 의존하던 기존 접근의 한계를 넘어 정량적 난이도 통제 기준을 제시한 초기 연구로서 의의를 가지며, 향후 문항 유형별 차별화된 통제 전략의 필요성을 시사한다.

키워드