Validación de un modelo de cuatro estrategias de resolución de ítems de razonamiento en una prueba estandarizada de selección / Validation of a Four-Strategies Model for Solving Reasoning Items in a Standardized Selection Test

Resumen La premisa de este estudio consiste en que un modelo cognitivo permite a las personas mejorar el desempeño en la resolución de preguntas de una prueba estandarizada donde el uso de estrategias tiene un papel crucial. El propósito de la investigación fue validar un modelo cognitivo con cuatro estrategias definidas por jueces expertos con base en los procesos de respuesta que subyacen a ítems de la Prueba de Aptitud Académica de la Universidad de Costa Rica (UCR). Se realizaron ocho en trevistas semiestructuradas a estudiantes de la UCR, quienes estaban cursando el primer año en esta institución y se aplicaron las técnicas de reporte verbal para obtener evidencias de los procesos de respuesta de los ítems. Se analizaron los reportes para comprobar la correspondencia entre el marco de las estrategias definidas previamente por jueces expertos y las respuestas dadas por los participan tes. Los resultados indicaron que los participantes siguieron las estrategias propuestas para la solu ción de las situaciones planteadas por los jueces; por tanto, los ítems son indicadores de los procesos subyacentes a estas estrategias. Estos hallazgos abren la posibilidad de implementar investigaciones con atributos presentes en cada estrategia propuesta de este estudio, que posibiliten predecir las pun tuaciones de la prueba en el rendimiento académico en la UCR

Abstract The premise of this study is that a cognitive model can increase students' performance for solving items on a stan dardized test, where strategies play a crucial role. The purpose of the study is to validate a cognitive model with four strategies defined by expert judges based on the response processes that underlie the items of the University of Costa Rica (UCR) Academic Aptitude Test. Eight semi-structured interviews were conducted with first-year students at UCR and the techniques of verbal reporting were applied to gather evidence of the items' response processes. The reports were analyzed to verify the correspondence between the framework of the strategies pre viously defined by expert judges and the answers given by the participants. In light of the results, it was concluded that the participants followed the proposed strategies for solving the situations posed, and, therefore, the items are indicators of the processes underlying these strategies. The results open the possibility of implementing research with attributes present in each strategy proposed in this study, which will allow predicting test scores in academic performance at the UCR.

Autorreportes verbales en voz alta para la identificación de procesos de razonamiento en pruebas estandarizadas / Verbal Self-reporting to Identify Reasoning Processes in Standardized Tests

Resumen: Los estándares actuales, para la evaluación de la calidad psicométrica de las pruebas psicológicas y educativas, estipulan que una de las evidencias requeridas que justifican las inferencias derivadas de la aplicación de un test se refiere a las estrategias para contestar a los ítems que lo componen. Por lo tanto, el objetivo del presente artículo se propone presentar los resultados de una investigación, que consistió en la ejecución de entrevistas semiestructuradas a un conjunto de 15 estudiantes universi tarios de primer ingreso, cuyos reportes orales fueron analizados con el objetivo de fundamentar un conjunto de estrategias para contestar los ítems verbales de la Prueba de Aptitud Académica de la Universidad de Costa Rica, que habían sido identificadas previamente. Los resultados indican que efectivamente los participantes emplearon las estrategias propuestas, lo cual constituye una eviden cia de gran importancia sobre las habilidades de razonamiento que se miden con los ítems verbales de la Prueba de Aptitud Académica. Finalmente, se concluye con una discusión sobre los resultados acerca de la utilidad de los autorreportes verbales que recaban evidencias de validez para un test y sobre futuras investigaciones en esta línea.

Abstract: Current standards for assessing the psychometric quality of psychological and educational tests stip ulate that one indication required to justify the inferences derived from the application of a test are those related to answering strategies for the test items. Thus, this article presents the results of a study that involved the execution of semi-structured interviews with a group of 15 college freshmen, whose oral reports were analyzed to provide support for a set of strategies to answer previously identified verbal items from the "Academic Aptitude Test" (Prueba de Aptitud Académica) at the Universidad de Costa Rica. The results indicate that participants actually used the proposed strategies, which is important evidence about the reasoning skills measured by the Prueba de Aptitud Académica verbal items. Finally, we conclude with a discussion of the results, the usefulness of verbal self-reports to gather evidence for test validity and future research along these lines.

Efecto de una capacitación sobre los puntajes de la prueba de admisión de la Universidad de Costa Rica: una aproximación bayesiana

Se usó un diseño cuasi-experimental con pre y post-test para estimar el efecto de una capacitación para la prueba de admisión de la Universidad Costa Rica, un test estandarizado que mide habilidades de razonamiento en contextos verbales y matemáticos. Cuatro colegios públicos del área metropolitana central del país participaron en el estudio, asignándose dos de ellos aleatoriamente al grupo de intervención y los otros dos al grupo de control, con 61 estudiantes en el primer grupo y 80 en el segundo. La intervención consistió de 5 sesiones de capacitación de 3 horas, utilizando como guía un manual desarrollado por una experta pedagoga, con enfoque constructivista. Las medidas antes y después fueron formas reducidas de la prueba de admisión 2014. La variable dependiente fue la diferencia entre ambas mediciones. El efecto de la capacitación fue de 3.5 puntos porcentuales y significativo, y se estimó utilizando un modelo bayesiano de regresión multinivel.

A quasi-experimental design with pre and post- test was used to estimate training effects for the University of Costa Rica's admission test, a standardized exam that measures reasoning abilities in mathematical and verbal contexts. Four secondary public schools from the metropolitan central area of the country participated in the study; two of them were randomly assigned to the intervention group and the other two to the control group, with 61 students in the first group and 80 in the second. The intervention consisted of five three-hour training sessions, using a written guide developed by a pedagogy expert with a constructivist approach. Before and after measures were reduced test forms of the real admission test from the year 2014. The dependent variable was the difference between the two measures. The effect of the training was estimated using a multilevel Bayesian regression model with a significant magnitude of 3.5 percentage points.

The performance of students with and without disability on the 11th grade university admission test / Rendimiento en la prueba de admisión a la universidad (Saber 11) de personas en y sin condición de discapacidad

Objective Comparing standardized university admission scores between students with and without disability within the same school and also comparing the performance of students with hearing, visual and physical disability. Methods This was a retrospective cohort study which compared the test results of students with and without disabilities within the same school. A matched case-control study nested in a cohort was assembled. Standardized differences were calculated for comparing such scores. Results Students without disabilities performed significantly better than disabled ones(i.e. disabled students scored lower than their classmates). Conclusion Further research is needed to determine whether the Colombian educational system, adjustments made to tests for this population or students' individual skills were the factors underlying the difference regarding the test results.

Objetivo Comparar los resultados en la prueba Saber 11 (prueba estandarizada para la admisión en la mayoría de universidades de Colombia) entre los estudiantes con y sin discapacidad dentro de la misma institución educativa. Asimismo, comparar el rendimiento de los alumnos con problemas de audición, discapacidad visual y física. Métodos Se realizó un estudio de cohorte retrospectiva en la que se dividió a los estudiantes según su condición de discapacidad. Se anidó un caso-cohorte emparejando cada caso de discapacidad con su grupo de compañeros de colegio. Se calcularon las diferencias estandarizadas para comparar los grupos. Resultados Los estudiantes sin discapacidades se desempeñaron significativamente mejor que los estudiantes con discapacidad, es decir, los estudiantes con discapacidades obtuvieron puntajes más bajos que sus compañeros de clase. Conclusión Se necesita más investigación para investigar si el sistema educativo colombiano, los ajustes en las pruebas para esta población o las capacidades individuales de los alumnos son los factores subyacentes de la diferencia en los resultados de las pruebas.

Vías de ingreso y nivel de preparación de estudiantes que optan por carreras de ciencias médicas / Ways of enrolment and level of training of the students opting for majors in medical sciences

En la actualidad son múltiples las vías de ingreso a la Educación Superior. La Universidad de Ciencias Médicas no escapa a esta realidad. Esto presupone técnicamente diversos problemas en la preparación de los estudiantes que optan por carreras de Ciencias Médicas. Con el objetivo de precisar las vías de ingreso de los estudiantes en las carreras de Medicina y Tecnología de la Salud, así como su nivel de preparación, se realizaron encuestas, visitas a clases, tests de contenido y análisis de instrumentos evaluativos, utilizados con este fin en varias dependencias educacionales de la provincia. Los resultados indican que existen dificultades en la pertinencia de la preparación que tienen los estudiantes que optan por carreras de Ciencias Médicas.

Nowadays there are multiple ways of enrolment in high education .The medical school is not out of this reality. Technically, it presupposes certain problems in the training of the students who are opting for medical science and health technology majors, as well as the level of the training, visits to the classes, examinations and analysis of the evaluative tools used in various educational entities in the province. The outcome indicate the existence of difficulties in the training of the students opting for medical science majors.

Capacidad predictiva del corte de la décima semana en el rendimiento docente de la asignatura fisiología / Predictive capacity of the Academic cutting in 10th week. Teaching Profit in Physiology subject

Introducción: Se dispone de escasos indicadores predictores del rendimiento académico en la asignatura Fisiología. Objetivos: Evaluar la capacidad predictiva del corte de la décima semana respecto a los resultados de examen final ordinario en la asignatura de Fisiología de la carrera de Medicina. Materiales y Métodos: Se estudiaron los resultados del corte y la nota del examen final ordinario de 1250 estudiantes que recibieron la asignatura en los últimos 5 semestres que se han impartido hasta este curso 2006-2007 en la Facultad de Ciencias Médicas de Pinar del Río "Dr. Ernesto Guevara de la Serna". Para variables cualitativas se utilizaron el cálculo de porcentajes y números absolutos. La concordancia entre las evaluaciones se evaluó mediante el índice Kappa al 95 % de certeza. Además se realiza Chi cuadrado para evaluar capacidad predictiva. Resultados: Existió correspondencia de los resultados del corte con los resultados del examen final ordinario con significación leve en cuanto a la asociación cuando se usa como predictor de éxito-fracaso. Se constataron diferencias en el comportamiento por semestres y cursos escolares. Conclusiones: El corte de la décima semana constituye un indicador que aproximadamente es capaz de predecir el rendimiento académico de los alumnos en la asignatura Fisiología y que es mejor predictor cuando existen mayor número de estudiantes evaluados dentro de cada categoría.

Introduction: Predictive indicators of the academic profit in Physiology subject are scarce. Objectives: To assess the predictive capacity of the academic cutting in the 10th week in relation to the results of the final examination of Physiology subject in medical major. Material and methods: Results of the academic cutting and the final examination marks of 1250 students receiving the subject in the last five semesters till course 2006-2007 were collected at "Ernesto Guevara del Serna" Medical School in Pinar del Rio. Qualitative variates were used to calculate the percentages and absolute numbers. The coincidence in evaluations was assessed using Kappa index with a 95% of certainty. Results: A correspondence with the results of the academic cutting and the results of the final examination was observed having a slight significance regarding the association when using failure-success as a predictor. Differences in the behavior per semesters and the academic courses were noted. Conclusions: The academic cutting in the tenth week constitutes an indicator to predict the academic profit of the students in Physiology subject and this was the best predictor to be used when having a greater number of students evaluated in each category.

Al rescate de las pruebas de nivel de entrada como predictores del rendimiento en la enseñanza médica superior / Retrieval of the college admision tests as achievement predictors in superior medical education

Se reúnen una serie de evidencias dispersas en artículos anteriores y se aportan otras nuevas, basadas en la aplicación de las curvas ROC (relative operating characteristic) para mostrar la conveniencia de utilizar las llamadas "pruebas de nivel de entrada" como predictores del aprovechamiento docente. Las curvas ROC demuestran que estas pruebas pueden ser mejores predictores que algunos de los bien conocidos, como el índice académico o las pruebas de ortografía. Debido a que exploran áreas del conocimiento muy específicas y directamente asociadas con las disciplinas del plan de estudio, estas pruebas podrían servir como complemento valioso de los exámenes de ingreso, y como un elemento adicional para identificar estudiantes de bueno y de mal pronóstico en cada asignatura.

A series of scattered evidences in previous articles, is collected, and some new evidences are furnished, based in the application of ROC curves (relative operating characteristic), to show the convenience of using the so called "college admission tests" as educational achievement predictors. ROC curves demonstrate that these tests may be better predictors that some, very well known, as the academic index or the orthography tests. Due to the fact that they explore very specific areas of knowledge, directly associated with the disciplines of the curriculum, these tests could be used as valuable complements of the admission tests, and as an additional element to identify the students with a good or a poor prognostic in each subject.