Comparison of three software programs for evaluating DIF by means of the Mantel-Haenszel procedure: EASY-DIF, DIFAS and EZDIF

RESUMEN

El análisis del DIF (Funcionamiento Diferencial de los Ítems) examina si las respuestas a un ítem difieren en función de características como el idioma o el grupo étnico, entre personas igualadas respecto de la habilidad medida por el test. El análisis del DIF puede realizarse a partir de diferentes técnicas estadística, siendo el estadístico Mantel Haenszel uno de los más relevantes. El estadístico Mantel-Haenszel puede calcularse mediante programas como el EZDIF, el DIFAS y recientemente el EASY-DIF. En este contexto, el objetivo de este trabajo es comparar estos tres programas informáticos usando datos simulados y reales. Se analizaron las características procedimentales e instruccionales de los tres programas y se compararon los resultados proporcionados por cada uno de ellos para el mismo conjunto de datos. DIFAS y EASY-DIF siempre proporcionan resultados equivalentes, mientras que el EZDIF es menos preciso cuando se utiliza una estrategia de igualación delgada. Los resultados también mostraron una mayor facilidad en la ejecución de los programas DIFAS y EASY-DIF, especialmente para profesionales de la evaluación con tests en contextos aplicados, ofreciendo el segundo un mayor rango de resultados para características claves en la detección del DIF(AU)

ABSTRACT

The analysis of differential item functioning (DIF) examines whether item responses differ according to characteristics such as language and ethnicity, when people with matching ability levels respond differently to the items. This analysis can be performed by calculating various statistics, one of the most important being the Mantel-Haenszel, which can be carried out with software programs such as EZDIF, DIFAS and, more recently, EASY-DIF. In this context, the aim of the present study is to compare these three software programs by using simulated and real data. The procedural characteristics and the results obtained from the same dataset were thus compared by the three programs. DIFAS and EASY-DIF always provide equivalent results, while EZDIF is less accurate when using the thin matching strategy. The results also showed that DIFAS and EASY-DIF were the easiest to run, especially for testing practitioners, with the second offering a broader range of results for key characteristics for detecting DIF(AU)