Estimating the reliability coefficient of tests in presence of missing values / Estimación del coeficiente de fiabilidad en presencia de valores perdidos

ABSTRACT

BACKGROUND: The problem of missing values at the item level is common in studies using educational and psychological tests. The aim of the present work is to explore how the estimation of reliability is affected by missing values. METHOD: Using real data, we simulated missing values in accordance with a «missing at random mechanism». Four factors were manipulated with the aim of checking their effect on the estimation of the reliability of the instrument missing data mechanism, percentage of missing data in the database, sample size, and procedure employed for the treatment of missing values. RESULTS: The results show that the quality of estimations depends on the interaction of various factors. The general tendency is that the estimations are worse when the sample size is small and the percentage of missing values increases. Listwise is the worst procedure for treatment of the missing data in the simulated conditions. CONCLUSIONS: It is concluded that with a small percentage of missing values one can obtain estimations that are acceptable from a practical point of view with all the procedures employed, except Listwise

RESUMEN

ANTECEDENTES el problema de la presencia de valores perdidos a nivel de ítem es común en los estudios que emplean tests psicológicos o educativos. El objetivo de este trabajo es explorar cómo se ve afectada la estimación de la fiabilidad por la presencia de valores perdidos. MÉTODO: partiendo de datos reales se simularon valores perdidos de acuerdo a un mecanismo aleatorio. Se manipularon cuatro factores para comprobar su influencia en la estimación de la fiabilidad de la prueba mecanismo de pérdida de datos, porcentaje de valores perdidos, tamaño de muestra y método empleado para el manejo de los datos perdidos. RESULTADOS: los resultados muestran que la calidad de las estimaciones depende de la interacción de varios factores. La tendencia general es que las estimaciones son peores cuando el tamaño de muestra es pequeño y aumenta el porcentaje de valores perdidos. Listwise es el peor procedimiento de manejo de los valores perdidos en las condiciones simuladas. CONCLUSIONES: cuando el porcentaje de valores perdidos es pequeño pueden obtenerse estimaciones aceptables, desde un punto de vista práctico, con todos los procedimientos empleados, excepto Listwise