Análisis de un test de desempeño en expresión escrita mediante el modelo de MFRM

Este trabajo muestra la utilidad de un modelo de Rasch (Many-Facet Rasch Measurement, MFRM) para medir la competencia de los examinados, la severidad de los calificadores, la dificultad de las tareas y de las variables puntuadas en las pruebas de respuesta construida que se suelen emplear para evaluar el desempeño. Inicialmente se describe el modelo y sus estadísticos básicos. Finalmente se presenta un ejemplo ilustrativo en el que se analizan, mediante el programa FACETS, las fuentes de la variabilidad de las calificaciones de los estudiantes en un test de expresión escrita. Los resultados muestran que el procedimiento es útil para detectar a los calificadores que presentan valores extremos en la variable severidad/ benignidad y para obtener calificaciones objetivas de los examinados (libres de la severidad del calificador).

This paper describes how a Rasch model (Many-Facet Rasch Measurement) can be applied to performance assessment focusing on analysis of examinee, raters, tasks and variables. The article provides an introduction to MFRM, a description of analysis procedures, and an illustrative example to examine the effects of various sources of variability on students' performance on a writing test by means of the FACETS program. Results highlight the usefulness of the MFRM to detect raters that have extreme values on the continuum of severity/leniency as well as providing objective measurement of examinee (scores free of rater severity).

Análisis de la Escala de Soledad de De Jong Gierveld mediante el modelo de Rasch / Analysis of the De Jong Gierveld Loneliness Scale Using the Rasch Model

Este trabajo examina mediante el modelo de Rasch las propiedades psi-cométricas de la adaptación española de la escala de Soledad de De Jong Gierveld. Participaron 614 personas (60-96 años) no institucionalizadas. También se midieron los afectos (PANAS) y la satisfacción con la vida. Los valores del ajuste al modelo y la precisión de las medidas de los ítems fueron elevados (0.99). La fiabilidad de las puntuaciones de las personas (0.69) y los ítems (0.77) fue baja. Los análisis factoriales confirmaron una estructura unidimensional. Algunos ítems mostraron un funcionamiento diferencial (FDI) asociado al sexo y a la forma de vida. Las garantías sobre la validez convergente/discriminante fueron moderadas. Los resultados deberían ser tomados en consideración para una revisión del instrumento.

This study examines the psychometric properties of the Spanish adaptation of the De Jong Gierveld Loneliness Scale by means of the Rasch model. Participants were 614 Spanish community-dwelling older adults (60-96 years). Convergent/divergent validity was examined by correlating the scale with both the PANAS scale and a satisfaction with life scale. Results showed that our data fit the model and that average item reliability were high (0.99), but average person reliability was low (0.69). Factorial analysis confirmed a unidimensional structure. Some items had a significant DIF for sex and living arrangements. The scale demonstrated moderate convergent/discriminant validity. These results should be taken into account for a revision of the instrument.

Evaluación de la ejecución mediante el modelo Many-Facet Rasch Measurement / Performance assessment using the Many-Facet Rasch Measurement

Este trabajo describe cómo se puede aplicar el modelo Many-Facet Rasch Measurement (MFRM) para medir los elementos de las facetas (examinados, ítems y calificadores) involucradas en las pruebas para evaluar la ejecución. Con este fin se incluye una introducción al MFRM, una descripción de los procedimientos de análisis y un ejemplo ilustrativo de sus potencialidades en el que se analizan, mediante el programa FACETS, las fuentes de variabilidad de la ejecución de los estudiantes en un test de expresión escrita del DELE (Diplomas de Español como Lengua Extranjera). Los resultados muestran que el procedimiento es especialmente útil para detectar a los calificadores que presentaron diferencias en el grado de severidad, debido a su diferente empleo de los criterios de asignación de las calificaciones. La medición de los elementos de cada faceta en una métrica común facilita la comprensión de los distintos aspectos que influyen en las evaluaciones y permite obtener medidas objetivas de los elementos de una faceta (AU)

This paper describes how the Many-Facet Rasch Measurement (MFRM) can be applied to constructed-response items and rater analysis. The article provides an introduction to MFRM, a description of facet analysis procedures, and an illustrative example to examine the effects of various sources of variability on students’ performance on a DELE (Diplomas in Spanish as a Foreign Language) test by means of the FACETS program. Results highlight the usefulness of the MFRM to detect raters that have extreme values on the continuum of severity. MFRM facilitates comprehension of the assessment process as well as providing objective measurement of facet elements (AU)

[Performance assessment using the Many-Facet Rasch Measurement]. / Evaluación de la ejecución mediante el modelo Many-Facet Rasch Measurement.

This paper describes how the Many-Facet Rasch Measurement (MFRM) can be applied to constructed-response items and rater analysis. The article provides an introduction to MFRM, a description of facet analysis procedures, and an illustrative example to examine the effects of various sources of variability on students' performance on a DELE (Diplomas in Spanish as a Foreign Language) test by means of the FACETS program. Results highlight the usefulness of the MFRM to detect raters that have extreme values on the continuum of severity. MFRM facilitates comprehension of the assessment process as well as providing objective measurement of facet elements.