중학교 수리적성 영역 검사에 대한 Modified-Angoff와 Bookmark 준거설정 방법 비교

초록

본 연구의 목적은 두 가지 준거설정 방법을 비교 분석하여 학교 현장에서의 적용 가능성을 탐색하고자 하는 것으로, 다양한 준거설정 방법들 중에서 현재까지 보편적으로 사용되고 있는 Modified-Angoff 방법과 문항반응이론을 적용한 Bookmark 방법을 사용하여 분할점수를 산출 및 비교하였다. 검사자료는 ‘종합진로직업적성검사(CACV) 중학생용(성태제 외, 2016)’을 사용하였으며 성취수준은 기초미달, 기초, 숙달의 3개 범주로 분류하였다. Modified-Angoff 방법과 Bookmark 방법으로 준거설정을 실시한 결과, Modified-Angoff 방법의 분할점수가 더 높았으며, 1차 평정에 비해 2차 평정에서 준거설정자 간 점수의 표준편차가 줄어들었다. 또한 준거설정자 내 일치도는 Modified-Angoff 방법에서, 준거설정자 간 일치도는 Bookmark 방법에서 더 높았다. 준거설정 전반에 대한 설문 결과, Modified-Angoff 방법과 Bookmark 방법에 대한 선호도가 유사하였으며, 준거설정자의 자격 요건에 관한 질문에는 현장 경력이 있는 교사를 가장 적합하게 여기는 것으로 나타났다. 결론적으로 학교 교사들을 준거설정자로 선정하여 준거를 설정함에 있어서 Modified-Angoff 방법과 Bookmark 방법이 실제적으로 적용하기에 용이하였다. 따라서 국내외 교육 분야에서 보편적으로 사용되는 Modified-Angoff 방법과 문항반응이론에 기초한 Bookmark 방법을 사용하고, 두 방법에 의한 결과를 비교하여 볼 것을 권장한다. 특히 Bookmark 방법은 문항별로 준거를 설정하는 것이 아니라 문항순서집에 의하여 준거점수를 결정하므로 준거설정자 간의 점수 차이가 적어 보다 안정적인 준거를 설정할 수 있다. 단, Bookmark 방법을 원활히 적용하기 위해서는 문항반응이론에 대한 기초적인 이해가 전제되어야 한다.

키워드