모든 평가를 할 때 첫 번째로 중요한 것은 타당성(validity)이다. 타당성은 평가 결과가 의도하는 특정 용도에 부합되는 특성을 말한다. 따라서 타당성은 정도의 문제를 중요시해야 하며 특정 용도에 부합되는 특성과 정도에 그 초점이 맞추어진다. 평가의 타당성은 이론적·논리적 타당성과 경험적·수량적 타당도로 구분하여 설명할 수 있다. 이론적-논리적 타당성에는 평가 지표나 항목에 대하여 평가를 받는 사람이 느끼게 되는 표면 타당성, 내용 전문가가 평가 항목이나 지표에 대하여 느끼는 내용 대표성, 평가 항목이나 목표 또는 평가 목적과의 관련성 등이 포함된다. 경험적-수량적 타당도에는 관련 평가 결과와의 일치 정도 또는 공인의 정도, 미래의 성취를 예언하는 정도, 구하려는 변인을 구할 수 있는 정도, 그리고 하위 요인의 독립성 또는 독특성의 정도 등이 포함된다.

평가의 타당도를 높이는 우선적인 방법은 평가항목이나 지표 등을 작성할 때 평가를 받는 입장에서 어느 정도 공감할 수 있겠는지를 고려해야 하고, 그 분야의 내용전문가도 공감할 수 있겠는지, 그리고 상식적으로 공감할 수 있겠는지 등이 고려되어야 한다. 그다음 단계에서는 일정 범위 내의 다른 평가 결과와 어느 정도 일치 또는 공인할 수 있는지, 예언의 정도는 어떠한지, 그리고 구인성과 독립성은 어느 정도 인지 등도 고려되어야 한다고 말할 수 있다.

모든 평가를 할 때 두 번째로 중요한 것은 신뢰성 또는 신뢰도(reliability)이다. 신뢰도의 산출은 하나의 평가 결과가 다른 평가 결과와 얼마나 일치하는가를 계산하여 산출하게 된다. 일정한 시간 간격을 두고 같은 집단에 똑같은 시험을 두 번 치르게 하여 일치의 정도를 산출하는 방법을 검사-재검사(test-retest) 신뢰도 산출법이라고 한다. 이때에 나타나는 결과 수치를 전문 용어로 안정성 계수(coefficient of stability)라고 한다. 또한 일정 시간 간격을 두거나 거의 동시에 똑같은 집단에게 두 형태의 검사(A형, B형)를 치르게 하여 신뢰도를 산출하는 방법을 동형 검사(equivalent-forms) 신뢰도 산출법이라고 하며, 이때에 나타나는 결과 수치를 동형성 계수(coefficient of equivalence)라고 한다. 필요한 경우에 한 번의 검사를 기우(奇偶) 또는 전후(前後)로 양분하여 채점하고 평가 문항 내용의 동질성을 확인하는 반분(split-half) 신뢰도 검사법이 사용되기도 한다.

평가 도구의 신뢰도를 높이는 방법은 평가 지표 또는 평가 항목 자체의 불안정성을 최소화하고, 평가 실시의 조건 및 평가 방법의 차이에서 오는 평가 결과의 오차를 최소화하여야 하며, 평가 대상자의 태도 동요에서 오는 평가 결과의 오차를 최소화하는 것이다. 그리고 평가 목적과 직접 관계가 없는 변인 등이 평가 결과에 영향을 미치지 않도록 오차의 근원을 통제하는 노력에 최선을 다해야 한다. 나아가 평가 항목의 동질성을 높일 수 있게 노력하고, 평가 항목수를 되도록 많이 하여 평가 항목이 모집단을 대표할 수 있도록 해야 하며, 난이도가 50 내·외인 항목들로 잘 표집 해야 한다. 또한 평가 실시의 조건과 방법을 엄격히 표준화하고, 평가 대상자들이 최선을 다할 수 있게 평가 목적이나 취지를 잘 설명해야 하며, 평가에 대한 불안이 심하게 작용하지 않도록 하여야 한다.

평가의 타당성이나 신뢰성에 덧붙여 평가 도구의 실용성, 난이도, 변별도, 그 외의 여러 사항들, 예컨대 요구되는 시간, 해석과 적용의 용이성, 유사한 형태의 이용 가능성, 그리고 평가의 비용 등을 고려하는 것도 중요하다.