Estimation approaches in cognitive diagnosis modeling when attributes are hierarchically structured / Enfoques de estimación en Modelado Diagnóstico Cognitivo cuando los atributos están estructurados jerárquicamente

BACKGROUND: Although research in cognitive psychology suggests refraining from investigating cognitive skills inisolation, many cognitive diagnosis model (CDM) examples do not take hierarchical attribute structures into account. When hierarchical relationships among the attributes are not considered, CDM estimates may be biased. METHOD: The current study, through simulation and real data analyses, examines the impact of different MMLE-EM approaches on the item and person parameter estimates of the G-DINA, DINA and DINO models when attributes have a hierarchical structure. A number of estimation approaches that can result from modifying either the Q-matrix or prior distribution are proposed. Impact of the proposed approaches on item parameter estimation accuracy and attribute classification are investigated. RESULTS: For the G-DINA model estimation, the Q-matrix type (i.e, explicit vs. implicit) has greater impact than structuring the prior distribution. Specifically, explicit Q-matrices result in better item parameter recovery and higher correct classification rates. In contrast, structuring the prior distribution is more influential on item and person parameter estimates for the reduced models. When prior distribution is structured, the Q-matrix type has almost no influence on item and person parameter estimates of the DINA and DINO models. CONCLUSION: We can conclude that the Q-matrix type has a significant impact on CDM estimation, especially when the estimating model is G-DINA

ANTECEDENTES: a pesar de que investigación en psicología cognitiva sugiere abstenerse de investigar rasgos cognitivos de forma aislada, muchos de los ejemplos en Modelado Diagnóstico Cognitivo (MDC) no tienen en cuenta la estructura jerárquica de los atributos implicados. Sin embargo, las estimaciones que se hagan con los MDC pueden estar sesgadas cuando no se consideran estas relaciones jerárquicas. MÉTODO: a través de la simulación y datos reales, el presente estudio estudia el impacto de diferentes enfoques MMLE-EM en los parámetros estimados para los ítems y las personas según los modelos G-DINA, DINA y DINO cuando los atributos tienen una estructura jerárquica. Se proponen una serie de enfoques de estimación que resultan de modificar la Matriz-Q o la distribución previa. Se investiga el impacto de los enfoques propuestos en la precisión en la estimación de los parámetros de los ítems y la clasificación de atributos. RESULTADO: para la estimación del modelo G-DINA, el tipo de Matriz-Q (es decir, explícita vs. implícita) tiene un impacto mayor al de que la distribución previa esté estructurada. Por el contrario, una distribución previa estructurada influye más sobre la estimación de los parámetros de los ítems y las personas en el caso de los modelos reducidos. CONCLUSIÓN: podemos concluir que el tipo de Matriz-Q tiene un impacto significativo en la estimación de MDC, especialmente en el modelo G-DINA

Traditional scores versus irt estimates on forced-choice tests based on a dominance model / Puntuaciones tradicionales y estimaciones TRI en tests de elección forzosa con un modelo de dominancia

BACKGROUND: Forced-choice tests (FCTs) were proposed to minimize response biases associated with Likert format items. It remains unclear whether scores based on traditional methods for scoring FCTs are appropriate for between-subjects comparisons. Recently, Hontangas et al. (2015) explored the extent to which traditional scoring of FCTs relates to the true scores and IRT estimates. The authors found certain conditions under which traditional scores (TS) can be used with FCTs when the underlying IRT model was an unfolding model. In this study, we examine to what extent the results are preserved when the underlying process becomes a dominance model. METHOD: The independent variables analyzed in a simulation study are: forced-choice format, number of blocks, discrimination of items, polarity of items, variability of intra-block difficulty, range of difficulty, and correlation between dimensions. RESULTS: A similar pattern of results was observed for both models; however, correlations between TS and true thetas are higher and the differences between TS and IRT estimates are less discrepant when a dominance model involved. CONCLUSIONS: A dominance model produces a linear relationship between TS and true scores, and the subjects with extreme thetas are better measured

ANTECEDENTES: los tests de elección forzosa (TEFs) fueron propuestos para reducir los sesgos de respuesta de ítems tipo Likert. Se cuestiona que los métodos de puntuación tradicional (PT) empleados permitan hacer comparaciones entre-sujetos. Recientemente, Hontangas et al. (2015) exploraron cómo las PTs obtenidas con diferentes TEFs se relacionan con sus puntuaciones verdaderas y estimaciones TRI, mostrando las condiciones para ser utilizadas cuando el modelo subyacente es un modelo de unfolding. El objetivo del trabajo actual es comprobar si el patrón de resultados se mantiene con un modelo de dominancia. MÉTODO: las variables independientes del estudio de simulación fueron: formato de elección forzosa, número de bloques, discriminación de los ítems, polaridad de los ítems, variabilidad de la dificultad intrabloque, rango de dificultad del test y correlación entre dimensiones. RESULTADOS: un patrón similar de resultados fue obtenido en ambos modelos, pero en el modelo de dominancia las correlaciones entre PTs y puntuaciones verdaderas son más altas y las diferencias entre PTs y estimaciones TRI se reducen. CONCLUSIONES: un modelo de dominancia produce una relación lineal entre PTs y puntuaciones verdaderas, y los sujetos con puntuaciones extremas son medidos mejor

Cognitively Diagnostic Assessments and the Cognitive Diagnosis Model Framework / El marco de la evaluación y los modelos de diagnostico cognitivo

This paper aims to identify the utility of and the need for cognitively diagnostic assessments (CDAs) in conjunction with cognitive diagnosis models (CDMs), and to outline various considerations involved in their development and use. We begin by contrasting the CDA/CDM framework against existing assessment frameworks, which are typically based on item response theory or classical test theory, and show that CDAs used in the CDM context can provide valuable diagnostic information that could enhance classroom instruction and learning. We then detail how the components of a CDA fit into the assessment triangle framework, as well as the evidence-centered design framework. Attribute identification and item development in the context of CDA are discussed, and examples from relevant research are provided. Details of CDMs, which are the statistical models that underpin the practical implementations of CDAs, are also discussed

El presente artículo trata de identificar la utilidad y la necesidad de las Evaluaciones para el Diagnóstico Cognitivo (EDC) junto a los Modelos de Diagnóstico Cognitivo (MDC) y plantea algunas de las consideraciones implicadas en su desarrollo y uso. Se comienza comparando el marco EDC/MDC con otros marcos existentes basados típicamente en la teoría de respuesta al ítem o en la teoría clásica de los tests, mostrando que las EDC utilizadas en el contexto MDC pueden proporcionar información diagnóstica muy valiosa para mejorar el proceso de enseñanza-aprendizaje en el aula. Seguidamente se utiliza el marco del triángulo de la evaluación y del diseño centrado en la evidencia para presentar los componentes de una evaluación de este tipo. Se analiza la identificación de atributos y el desarrollo de ítems en el contexto de una EDC y se proporcionan ejemplos tomados de una investigación relevante. También se analizan cuestiones relativas a los MDC, que son los modelos estadísticos que vertebran la implementación práctica de las EDC