ABSTRACT
Introduction: Reading Comprehension skills are fundamental to the academic performance of university students. These abilities are not innate; therefore, systematic training is required before entering university. The main objective of this study was to evaluate the reading comprehension skills of Chilean University Students. Method: A sample of 579 students participated in the study, responding to four texts that comprise the Reading Comprehension Strategies for University Students (ELCU). An automated platform was used to apply and correct the test with immediate results and feedback. The tool allowed the use of a broad and representative sample of the various regions of Chile. The ELCU was developed using a cognitive diagnostic assessment (CDA) considering cognitive, metacognitive and linguistic strategies. The ana-lyses were performed using two different approaches: The Linear Logistic Test Model (LLTM) and the deterministic inputs, noisy "and" gate (DINA) model. Results: The rejection of the LLTM implies that the strategies do not differ in cognitive complexity (difficulty) while the adequate goodness of fit to the DINA model allows to characterise the students according to their reading abilities. Conclusion: The ELCU test provides reliable and valid information on the reading comprehension ability and metacognitive awareness of university students.
Introducción: Las habilidades de comprensión lectora son fundamentales para el rendimiento académico de los estudiantes universitarios. Estas habilidades no son innatas; por tanto, se requiere una formación sistemática antes de ingresar a la universidad. El objetivo principal de este artículo fue evaluar las habilidades de comprensión lectora de estudiantes universitarios chilenos. Método: En el estudio participó una muestra de 579 estudiantes que respondieron cuatro textos que componen las Estrategias de Comprensión Lectora para Estudiantes Universitarios (ELCU). Se utilizó una plataforma automatizada para aplicar y corregir la prueba con resultados y retroalimentación inmediatos. La herramienta permitió utilizar una muestra amplia y representativa de las distintas regiones de Chile. ELCU fue desarrollado mediante evaluación diagnóstica cognitiva (CDA) considerando estrategias cognitivas, metacognitivas y lingüísticas. Los análisis se realizaron mediante dos aproximaciones diferentes: The Linear Logistic Test Model (LLTM) y the Deterministic Inputs, Noisy "and" Gate (DINA) model. Resultados: El rechazo al modelo LLTM implica que las estrategias no difieren en complejidad cognitiva mientras que la adecuada bondad de ajuste al modelo DINA permiten caracterizar a los estudiantes según sus habilidades lectoras. Conclusión: La prueba ELCU permite obtener información confiable y válida sobre la capacidad de comprensión lectora y la conciencia metacognitiva de los estudiantes universitarios.
ABSTRACT
The aim of the present paper is to collect evidence about validity of the cognitive structure proposed to solve the items of an arithmetic test using an cognitive diagnosis model (based on the Item Response Theory) called Least Squares Distance Model (LSDM). The test was applied to a sample of 382 students of 7th grade from five public high schools in Bogotá-Colombia. With this data the objective was addressed in three ways: first, the analysis of two statistical validity indices; second by a cross -validation of the LSDM results on attribute difficulties using other cognitive model (LLTM), and third, by comparing the LSDM results with the observed scores on individual attributes. The logical behavior of the probability curves for the five attributes under study provides important evidence for their overall validity. Additional specific evidences of validity are also presented in the results.
El objetivo del presente trabajo ha sido reunir evidencias sobre la validez de la estructura cognitiva propuesta para resolver los ítems de un test de aritmética, mediante la aplicación de un modelo de diagnóstico cognitivo basado en la Teoría de Respuesta al Item llamado Modelo de las Distancias Mínimo Cuadráticas (LSDM, por sus siglas en inglés). El test se aplicó a una muestra de 382 estudiantes de séptimo grado en cinco colegios públicos en Bogotá-Colombia. Usando estos datos el objetivo se abordó de tres maneras: en primer lugar se analizaron dos índices estadísticos de validez, en segundo lugar, se realizó una validación cruzada de los resultados del LSDM sobre las dificultades de atributos utilizando otro modelo cognitivo (LLTM) y en tercer lugar, se compararon los resultados del modelo con las puntuaciones observadas en atributos individuales. El comportamiento lógico de las curvas de probabilidad para los cinco atributos estudiados proporciona importante evidencia para su validez general. En los resultados se presentan también otras evidencias concretas de validez de la estructura propuesta.