Análisis de un test de desempeño en expresión escrita mediante el modelo de MFRM

Este trabajo muestra la utilidad de un modelo de Rasch (Many-Facet Rasch Measurement, MFRM) para medir la competencia de los examinados, la severidad de los calificadores, la dificultad de las tareas y de las variables puntuadas en las pruebas de respuesta construida que se suelen emplear para evaluar el desempeño. Inicialmente se describe el modelo y sus estadísticos básicos. Finalmente se presenta un ejemplo ilustrativo en el que se analizan, mediante el programa FACETS, las fuentes de la variabilidad de las calificaciones de los estudiantes en un test de expresión escrita. Los resultados muestran que el procedimiento es útil para detectar a los calificadores que presentan valores extremos en la variable severidad/ benignidad y para obtener calificaciones objetivas de los examinados (libres de la severidad del calificador).

This paper describes how a Rasch model (Many-Facet Rasch Measurement) can be applied to performance assessment focusing on analysis of examinee, raters, tasks and variables. The article provides an introduction to MFRM, a description of analysis procedures, and an illustrative example to examine the effects of various sources of variability on students' performance on a writing test by means of the FACETS program. Results highlight the usefulness of the MFRM to detect raters that have extreme values on the continuum of severity/leniency as well as providing objective measurement of examinee (scores free of rater severity).

Análisis de la Escala de Soledad de De Jong Gierveld mediante el modelo de Rasch / Analysis of the De Jong Gierveld Loneliness Scale Using the Rasch Model

Este trabajo examina mediante el modelo de Rasch las propiedades psi-cométricas de la adaptación española de la escala de Soledad de De Jong Gierveld. Participaron 614 personas (60-96 años) no institucionalizadas. También se midieron los afectos (PANAS) y la satisfacción con la vida. Los valores del ajuste al modelo y la precisión de las medidas de los ítems fueron elevados (0.99). La fiabilidad de las puntuaciones de las personas (0.69) y los ítems (0.77) fue baja. Los análisis factoriales confirmaron una estructura unidimensional. Algunos ítems mostraron un funcionamiento diferencial (FDI) asociado al sexo y a la forma de vida. Las garantías sobre la validez convergente/discriminante fueron moderadas. Los resultados deberían ser tomados en consideración para una revisión del instrumento.

This study examines the psychometric properties of the Spanish adaptation of the De Jong Gierveld Loneliness Scale by means of the Rasch model. Participants were 614 Spanish community-dwelling older adults (60-96 years). Convergent/divergent validity was examined by correlating the scale with both the PANAS scale and a satisfaction with life scale. Results showed that our data fit the model and that average item reliability were high (0.99), but average person reliability was low (0.69). Factorial analysis confirmed a unidimensional structure. Some items had a significant DIF for sex and living arrangements. The scale demonstrated moderate convergent/discriminant validity. These results should be taken into account for a revision of the instrument.