논술 문항은 일종의 서술을 요구 하지만 ‘개인 나름의 생각이나 주장을 창의적이고 논리적이면서도 설득력 있게 조직하여 작성해야 함’을 강조한다는 측면에서 일반 서술형과 구별하기도 한다. 제시 형태는 복잡한 내용의 인지 능력, 분석 능력, 종합 능력 등과 같은 고등 정신 능력의 측정을 위하여 ‘제시된 자료를 비교/분석하라, 자신의 견해를 제시하고 설명하라’ ‘현대를 사는 우리에게 어떤 교훈을 주고 있는가?’ 등의 형태로 제시되고 있다. 특히 논쟁을 다루는 논술은 자신의 견해를 밝히고 그 견해를 논리적으로 구조화하여 구체적으로 설명해야 한다. 응답의 길이를 제한하는 형태의 논술인 경우는 예컨대, A 현상이나 A 사건에 대한 자신의 견해를 ‘200자 이내로’ 또는 ‘600자 이내로’ 그리고 ‘1200자 이내로 설명하시오’ 등의 형태로 제시되고 있다.

논술 문항을 출제 또는 제작할 때 고려해야 할 사항들은 논술 내용이나 지시문의 어휘 수준, 선택형 논술 문항의 문제점 고려, 논술 문항 배열 과제 고려, 피험자의 응답 시간을 고려한 출제, 논술 문항 당 배점의 조절, 채점 기준의 사전 마련 등이다.

논술 지시문이 피험자의 어휘 수준을 고려해야 하는 이유는 보통 수준의 피험자일 경우와 상위 수준일 경우에 따라서 논술의 내용이나 수준이 달라질 수 있기 때문이다.

출제된 문항들 중에서 선택하여 응답하는 선택형 논술 문항이 지양되어야 하는 이유는 교육내용의 타당성 측면이 고려되어야하기 때문이다.

논술 문항의 배열이 쉬운 문항에서 어려운 문항으로 배치되어야 하는 이유는 피험자의 심리적 측면과 교육적 측면이 동시에 고려되어야하기 때문이다.

피험자의 응답 시간이 적절해야 하는 이유는 논술에 소요되는 시간은 필요에 따라서 짧은 경우에 10분 또는 20분, 긴 경우는 90분까지(대학원 입시의 경우) 가능하기 때문이다.

논술 문항 당 배점이 분명하게 제시되어야 하는 이유는 배점 비중에 따라 응답자들의 논술 문항이 달라질 수 있기 때문이다.

채점의 기준이 사전에 마련되어야 하는 이유는 출제 문항의 전체 형태와 문항 수 등이 달라질 수 있기 때문이다.

논술 문항의 평가 요소는 내용(content) 평가, 조직(organization) 평가, 과정(process) 평가, 정확성(accuracy)과 합리성(rationality) 평가, 완성도 또는 내적 일관성 평가, 독창성 또는 창의성 평가 등이다. 다시 말하면 질문에 부합되는 내용의 응답인지, 서론-본론-결론 또는 기승전결(起承轉結)이 있는 논리적인 진술인지, 응답 내용이 정신기능 중 이해 수준인지-적용/분석 수준인지-종합 수준인지, 그리고 서술의 정확성과 응답의 내적 일관성 또는 완성도, 내용의 독창성과 창의성 등도 평가 요소들이 되고 있다.

논술 항목별 평가 방법은 3단계 평정법 또는 5단계 평정법을 사용한다. 3단계 평정의 경우는 A B C 또는 1점 2점 3점 등으로 구분하고, 5단계 평정의 경우는 매우 우수- 우수 – 보통- 부족- 매우 부족 또는 1점 2점 3점 4전 5점 등으로 구분한다. 5급(사무관) 수준의 논술 채점일 경우는 7명의 평가자가 7단계 정도의 평정 결과들 중 가장 후한 평정 결과와 가장 인색한 평정 결과를 제외한 후 그들의 평균을 최종 자료로 사용함으로써 채점의 신뢰성과 객관성을 보완하기도 한다.