Evaluación de la ejecución mediante el modelo Many-Facet Rasch Measurement / Performance assessment using the Many-Facet Rasch Measurement

RESUMEN

Este trabajo describe cómo se puede aplicar el modelo Many-Facet Rasch Measurement (MFRM) para medir los elementos de las facetas (examinados, ítems y calificadores) involucradas en las pruebas para evaluar la ejecución. Con este fin se incluye una introducción al MFRM, una descripción de los procedimientos de análisis y un ejemplo ilustrativo de sus potencialidades en el que se analizan, mediante el programa FACETS, las fuentes de variabilidad de la ejecución de los estudiantes en un test de expresión escrita del DELE (Diplomas de Español como Lengua Extranjera). Los resultados muestran que el procedimiento es especialmente útil para detectar a los calificadores que presentaron diferencias en el grado de severidad, debido a su diferente empleo de los criterios de asignación de las calificaciones. La medición de los elementos de cada faceta en una métrica común facilita la comprensión de los distintos aspectos que influyen en las evaluaciones y permite obtener medidas objetivas de los elementos de una faceta (AU)

ABSTRACT

This paper describes how the Many-Facet Rasch Measurement (MFRM) can be applied to constructed-response items and rater analysis. The article provides an introduction to MFRM, a description of facet analysis procedures, and an illustrative example to examine the effects of various sources of variability on students’ performance on a DELE (Diplomas in Spanish as a Foreign Language) test by means of the FACETS program. Results highlight the usefulness of the MFRM to detect raters that have extreme values on the continuum of severity. MFRM facilitates comprehension of the assessment process as well as providing objective measurement of facet elements (AU)