(정찬기오의 교육 논설(칼럼) )
교육학 박사
경상대학교 명예교수

평가 문항의 관리는 ①평가 문항 자료들의 수집과 작성 ②평가의 시행과 관리 ③평가 결과들의 검토와 그 활용 등에 초점이 맞추어진다.

평가 문항을 준비하는 예비 단계의 경우는 문항 카드를 작성하는 활동에 그 초점이 맞추어진다. 문항 카드를 작성하는 활동은 문항을 편집하고 정리하는 일을 좀 더 용이하게 한다. 평가 문항을 편집하고 정리하는 과정은 문항 구성이 적절한지, 문항이 평가 의도와 유관성이 있는지, 그리고 문항의 모호성이 있는지, 부적절한 단서가 있는지, 그리고 평가 기능을 제대로 발휘하지 못하는 자료를 배제할 수 있는지 등과 같은 점검을 포함한다. 채택된 최종 문항들(final group of items)은 학습 결과의 대표성을 가진 표본이 될 수 있는지, 코스 내용이나 활동이 제대로 평가될 수 있는지 등을 확인하기 위하여 이원목적분류표(the table of specificating) 또는 다른 검사 계획 등을 대조하기도 한다.

평가 또는 검사를 위한 안내는 피험자들에게 검사의 목적, 답을 하는 데 주어지는 시간, 답을 하는 절차, 무엇을 추측해야 하는지(what to do about guessing) 등을 명확히 해야 한다.

출제 문항의 배열은 동일 유형의 문항들을 하나의 구획 속에(in a separate section) 함께 배치하여야 하고 각 구획 내의 문항들은 평가 의도에 따라서 적절히 조직되어야 하며, 점점 어렵게 배치되어야 한다. 즉 매우 쉬운 문항→ 쉬운 문항→ 중간 정도의 문항→ 어려운 문항→ 매우 어려운 문항 등의 순으로 배치하여야 한다.

검사의 관리 절차는 모든 피험자들에게 기회가 공평하게 제공되어야 하며, 물리적·심리적 환경은 피험자의 최대 수혜에 도움이 되어야 하고, 불필요한 방해 요인은 제거되어야 한다. 이웃 학생 또는 감독 교사로부터 받게 되는 부정한 도움 또한 없어야 한다.

검사의 채점은 중요한 용어나 기호(key) 혹은 채점판(stencil)에 의해 용이하게 채점되어야한다. 각 정답은 균등한 점수(one point)로 계산하는 것이 좋다. 추측 요인에 대한 교정은 속도 검사(speeded test)에서만 사용되고 피험자들이 해당 질문에 대하여 모든 것을 생각할 수 있는 충분한 시간을 갖는 시험에서는 요구되지 않는다. 가능하다면 모든 학생이 모든 문항에 답하도록 하고, 가능한 범위 내의 답을 정답으로 계산하는 것이 좋다.

채점 후에 이루어지는 문항 분석은 각 문항의 작용 효과를 평가하는 것이다. 문항 난이도는 그 문항을 바르게 이해한 학습자 백분율로 표현된다. 문항 변별의 정도는 대단히 좋은 문항, 좋은 문항, 더 고칠 수 있을 가능성이 있는 문항, 경계선에 있는 문항, 조금 더 고쳐야 할 문항, 좋지 못한 문항, 버리거나 전면 수정해야 할 문항 등으로 구분할 수 있다.

답지의 효율성 분석 혹은 반응 분포 분석은 일반적으로 오답지를 선택한 상위집단의 학생 수와 오답지를 선택한 하위집단의 학생 수를 비교해 보는 과정이다. 훌륭한 오답지는 상위집단의 학생보다도 하위집단의 학생들이 반응을 많이 하게 될 것이라고 기대할 수 있다. 오답지를 다른 말로 교란지(攪亂肢)라고 부르는 이유도 여기에 있다.

오답 반응의 분포를 분석하는 것은 각 오답지의 능률성을 밝힘으로써 보다 매력적이고 자기 기능을 가질 수 있는 오답지를 만드는 데 도움이 되게 한다는 것이 주된 목적이다. 그리고 오답을 조사/분석함으로써 학생들이 일반적으로 갖고 있는 잘못된 이해가 어떤 것인지를 진단할 수 있기 때문에 학습 안내 및 지도에 많이 활용되고 있다.

저작권자 © 경남연합신문 무단전재 및 재배포 금지