LoRA 파인튜닝을 활용한 개방형 GPT 모델 기반 수능 국어 문항 생성 품질 비교

초록

본 연구는 프롬프트 엔지니어링 방식을 통한 자동문항생성 방법론이 활발히 제기되는 상황에서, 품질 일관성 확보의 한계와 폐쇄형 모델 활용으로 인한 고보안 평가 환경에 부적합한 문제를 해결하기 위해 개방형 GPT 모델에 LoRA 파인튜닝을 적용하여 수능 국어 문항을 생성하고 품질을 실증 분석하였다. 2022~2025학년도 기출문항 150개를 학습 데이터로 구축하고, 4개 유형별로 각 2문항씩 생성하여 국어교육 전문가 11명이 평가하였다. 분석 결과, 전체 평균은 실험군과 대조군 모두 2.46점으로 유의한 차이가 없었으나, 문항 유형별 분석에서는 '구체적사례적용'은 LoRA 적용 문항이, '작품내용이해'는 LoRA 미적용 문항이 더 높은 평가를 얻었다. 이는 LoRA 파인튜닝이 구조적 패턴이 명확한 유형에서만 효과적임을 시사한다. 본 연구는 보안이 요구되는 환경에서 개방형 모델 활용의 가능성과 한계를 체계적으로 분석한 초기 연구로서 의의를 갖는다.

키워드