Reliability of the evaluation of students' answers to essay-type questions / Confiabilidad de la evaluación de las respuestas de los estudiantes a las preguntas de ensayo

ABSTRACT

INTRODUCTION: This paper seeks to quantify the reliability of the assessment of students' answers to essay-type questions, in an attempt to define the role of such questions in University examinations. METHODS: The marks awarded for essay-type questions during three consecutive final undergraduate examinations in surgery were analyzed. The mean scores, 95% confidence intervals and the standard error of the mean were calculated to determine the distribution of the marks. Statistical analysis was used to determine the correlation of the marks awarded for the same answer by different markers and deduce the dependability of this method of testing. RESULTS: The marks awarded to 233 answer papers were available for analysis. The marks awarded by each pair of examiners for student answers to individual questions coincided on only 46.3% of occasions, but varied within just ± 5% on 90.7% of occasions. Use of the kappa index to determine the agreement between markers produced a value of just 0.385, well short of the ideal of 1.0. Assessment of the overall reliability of this type of examination by Cronbach's reliability coefficent gave a value of 0.672. CONCLUSION: There was a significant variation among markers in the evaluation of answers to essay-type questions. However, the overall test reliability was acceptable enough to justify continuation of this type of assessment as a supplement to other methods.

RESUMEN

INTRODUCCIÓN: Este trabajo busca cuantificar la confiabilidad de la evaluación de las respuestas de los estudiantes a las preguntas de ensayo, en un intento por definir el papel de este tipo de preguntas en los exámenes de la Universidad. MÉTODOS: Se analizaron las notas otorgadas en cirugía a las preguntas de ensayo durante los tres exámenes finales consecutivos de pregrado. Se calcularon los puntajes promedio, intervalos de confianza de 95%, y el error estándar de la media, con el fin de determinar la distribución de las notas. Se usó el análisis estadístico para determinar la correlación de las notas dadas a las mismas respuestas por diferentes evaluadores, y para deducir la confiabilidad de este método de evaluación. RESULTADOS: Las notas otorgadas a 233 pruebas respondidas fueron puestas a disposición para su análisis. Las notas dadas por cada par de examinadores a las respuestas de los estudiantes a las preguntas individuales, coincidieron sólo en 46.3% de las ocasiones, pero variaron en justamente ± 5% en 90.7% de las ocasiones. El uso del índice de Kappa para determinar el acuerdo entre evaluadores, produjo un valor de sólo 0.385, bien lejos del ideal 1.0. La evaluación de la confiabilidad general de este tipo de examen, mediante el coeficiente de confiabilidad de Cronbach, arrojó un valor de 0.672. CONCLUSIÓN: Hubo una variación significativa entre los evaluadores a la hora de calificar las respuestas a las preguntas de ensayo. Sin embargo, la confiabilidad de la prueba en general fue suficientemente aceptable para justificar que se continúe con este tipo de evaluación como un complemento de otros métodos.