한국사 RAG 기반 학습 지원 시스템의 구현 및 성능 평가

초록

본 연구의 목적은 한국사능력검정시험 대비 학습을 지원하기 위해 LLM과 RAG 기반 기술을 결합한 학습 지원시스템을 설계 및 구현하고, 시스템의 응답 수행 결과와 성능을 평가하는 데 있다. 이를 위해 한국사능력검정시험과관련된 공개적으로 접근 가능한 문제 자료와 이론 자료를 수집하여 지식 기반을 구축하고, PDF 문서에서 추출된텍스트를 전처리 및 토큰 기반 청킹을 통해 검색과 생성에 적합한 단위로 변환하였다. 이후 청크를 임베딩하여 벡터화하고FAISS와 BM25를 결합한 하이브리드 검색 인덱스를 구축하여 검색 문서에 근거한 응답 생성 파이프라인을 구성하였다. 연구 결과, 설명형 질의응답은 정의–배경–의의–정리 포인트를 포함한 학습 친화적 구조로 생성되었으며, 사료 기반문제 풀이에서는 시기 판별–사건 맥락 해석–선택지 비교의 사고 과정이 응답에 반영되었다. 또한 문제 생성 기능은시기 중심 키워드를 기반으로 실제 시험과 유사한 사료, 선택지, 해설 구조를 갖춘 문항을 생성하였다. 정량평가에서검색 기능은 50개 질의 평가셋 기준 k=3에서 F1-score 0.5248로 가장 높게 나타났고, 문제 풀이와 문제 생성 기능은각각 50문항, 50키워드 평가셋에서 100% 수행률을 기록하였다. 정성평가에서는 20문항을 대상으로 18명이 판별을수행한 결과 평균 판별률이 50%로 나타났으며, 개방형 응답에서도 기출문제와 생성 문항 간 체감 차이가 크지 않다는인식이 다수 확인되었다. 이는 RAG 기반 학습 지원 시스템이 한국사능력검정시험 대비 학습에서 설명 제공, 문제풀이, 문제 생성 기능을 통합적으로 지원할 수 있는 실질적 가능성을 보여준다

키워드