An Analysis of the Determinants and the Validity of Item Weighting
Joohoon Kim, Joohoon Kim, Mi‐Young Song, Song Miyoung, Mi‐Young Kim, Miyoung Kim, Wonho Choi, Jaebong Lee, Jieun Joo, Eunkyung Lee, Ji-Yoon Kim, Ji-Yoon Kim · Journal of Curriculum and Evaluation · 2010
본 연구는 문항의 차등 배점을 적용할 경우 합리적 방안이 무엇인지 규명하고자 하였다. 이를 위해 각종 국가 고사의 배점 방식을 조사하고, 이 중 2009학년도 의학교육입문검사를 대상으로 내 용 전문가들의 판단에 의한 차등 배점 부여 시 적용되는 논리의 일관성과 타당성을 경험적으로 분 석하였다. 분석 결과, ‘예상 정답률, 문항 풀이 시간, (교육과정상의) 중요도’ 등 3가지의 차등 배 점 요인이 추출되었다. 또한 전문가 판단의 논리적 타당성을 검증하기 위해 전문가들의 문항 평정 일치도를 분석한 결과, 평가 영역별로 차이가 있었으며 전반적으로 낮은 일치도를 나타내었다. 차 등 배점의 효과를 분석한 결과, 관찰된 검사 점수의 수는 동등 배점 시보다 2배 이상 증가하여 동 점자 해소의 효과가 있었으나 그 외의 효과는 긍정적이지 않았다. 이러한 분석 결과를 바탕으로 본 연구에서는 차등 배점 방식을 합리적으로 적용하기 위한 방안을 제시하였다. 첫째, 차등 배점의 장 단점에 대한 명확한 이해가 선행되어야 하며, 검사의 성격과 목적을 고려하여 차등 배점 적용 여부 를 판단해야 한다. 둘째, 전문가 판단에 의한 차등 배점 방식을 적용할 때에는 반드시 전문가들에 대한 사전 교육 및 연수가 선행되어야 한다. 셋째, 동점자 해소 방안의 하나로 차등 배점 방식을 고려할 수는 있으나 차등 배점의 효과가 그리 크지 않을 수 있다는 점을 유의해야 한다. 넷째, 최 소 배점과 최대 배점 간의 차이가 3배 미만으로 설정해야 전문가 집단뿐만 아니라 시험 관련 이해 당사자들 간의 논란을 최소화할 수 있다.