Improving the ability to discriminate medical multiple-choice questions through the analysis of the competitive examination to assign residency positions in Spain.

INTRODUCTION: Psychometrics plays a vital role in evaluating educational research, including the analysis of multiple-choice exams. This study aims to improve the discriminatory ability of the "Médico Interno Residente" (MIR) medical exam in Spain, used to rank candidates for specialized healthcare training, through psychometric analysis. METHODS: We analyzed 2,890 MIR exam questions from 2009 to 2021 (totaling 147,214 exams), categorizing them based on methodology and response type. Evaluation employed classical test theory and item response theory (IRT). Classical test theory determined difficulty and discrimination indices, while IRT assessed the relationship between knowledge levels and question performance. RESULTS: Question distribution varied across categories and years. Frequently addressed knowledge areas included various medical specialties. Non-image-associated clinical cases were the easiest, while case-based clinical questions exhibited the highest discriminatory capacity, differing significantly from image-based case or negative questions. High-quality questions without images had longer stems but shorter answer choices. Adding images reduced discriminatory power and question difficulty, with image-based questions being easier. Clinical cases with images had shorter stems and longer answer choices. CONCLUSIONS: For improved exam performance, we recommend using a clinical case format followed by direct short-answer questions. Questions should be of low difficulty, providing clear and specific answers based on scientific evidence and avoiding ambiguity. Typical clinical cases with key characteristic features should be presented, excluding uncertain boundaries of medical knowledge. Questions should have lengthy stems and concise answer choices, minimizing speculation. If images are used, they should be typical, clear, consistent with the exam, and presented within clinical cases using clinical semiotics and propaedeutics.

Estudio psicométrico de las pruebas MIR de 2020 y 2021 / Psychometric study of the MIR tests of 2020 and 2021

Introducción: En España, el ejercicio de cualquier especialidad médica exige disponer del título de especialista. El acceso a la formación como especialista se realiza a través de la prueba MIR. Esta prueba es obligatoria para poder optar a una plaza de formación en cualquier especialidad médica. El presente artículo realiza un estudio psicométrico tanto a través de la teoría clásica de los test como de la teoría de la respuesta al ítem de las pruebas MIR de 2020 y 2021 (de 175 y 200 preguntas, respectivamente).Material y métodos.La base de datos utilizada en el presente trabajo contiene las respuestas de un total de 4.810 opositores que se examinaron en 2020 y 3.888 que lo hicieron en 2021. La información disponible se analizó haciendo uso de indicadores como el alfa de Cronbach, la fórmula número 21 de Kuder y Richardson, el índice de dificultad, el índice de dificultad con corrección de los efectos del azar, el índice de discriminación, el índice de correlación biserial puntual, así como los índices de dificultad y discriminación según la teoría de respuesta al ítem.Resultados.Las pruebas MIR de 2020 y 2021 presentan una alta fiabilidad, con variaciones pequeñas de un año a otro en el comportamiento de las distintas asignaturas y bloques de preguntas en lo relativo a los índices utilizados en el presente estudio.Conclusiones.Los resultados obtenidos en el presente estudio permiten afirmar que el examen MIR es un examen objetivo, de dificultad y discriminación adecuadas, así como estable de una convocatoria a otra. (AU)

Introduction: In Spain, in order to practise any medical speciality, it is necessary to have qualified as a specialist. Access to training as a specialist is gained through the MIR test. This test is mandatory to qualify for a training position in any medical specialty. This article carries out a psychometric study of the 2020 and 2021 MIR tests (with 175 and 200 questions, respectively) through both the classical test theory and the item response theory.Material and methods.The database used in this study contains the responses from a total of 4,810 individuals who took the exam in 2020 and 3,888 who did so in 2021. The information available was analysed using indicators such as Cronbach's alpha, the formula number 21 of Kuder and Richardson, the difficulty index, the difficulty index corrected for random effects, the discrimination index and the point biserial correlation index. The difficulty and discrimination indices were also used, according to item response theory.Results.The MIR tests of 2020 and 2021 present high reliability, with only slight variations from one year to another in the behaviour of the different subjects and question blocks in terms of the indices used in the present study.Conclusions.The results obtained in the present study allow us to affirm that the MIR exam is objective, of appropriate difficulty and discrimination, as well as stable from one year to another. (AU)

Resultados obtenidos en la prueba MIR de 2021, según nacionalidad y baremo académico / Results obtained in the 2021 MIR test according to nationality and academic scale

Introducción: En España, el acceso a la formación médica especializada se hace a través de la prueba MIR. Esta prueba la convocan anualmente desde 1978 los Ministerios de Sanidad, y Educación y Formación Profesional. Así, teniendo en cuenta tanto el resultado que se obtiene en la prueba como el baremo promedio del grado, se asigna un número de orden a los médicos que quieren acceder a una plaza de formación como especialistas. El objetivo de este trabajo es el análisis de los resultados obtenidos por los médicos que se presentaron a la prueba de 2021 en función de su baremo académico y de si son españoles o extranjeros.Materiales y métodos.Para esta investigación se ha hecho uso de la información oficial pública relativa al baremo académico, la nacionalidad y los resultados obtenidos en la prueba por todos los aspirantes presentados a ella.Resultados.Entre los 5.000 primeros números de orden se situaron el 90,61% de los médicos presentados con un baremo de sobresaliente, el 79,59% de los baremos de notable igual o superior a 8, el 42,21% de los baremos de notable inferior a 8 y únicamente un 7,16% de los médicos con baremo de aprobado.Conclusiones.Este estudio confirma que existe una relación directa entre el baremo de los médicos aspirantes a una plaza de formación médica especializada y el resultado que obtienen en la prueba MIR, más allá de la ponderación de éste sobre la nota final de la prueba MIR. (AU)

Introduction: In Spain, access to specialized medical training is done through the MIR test. This test is convened annually since 1978 by the Ministries of Health and Education and Vocational Training. Thus, taking into account both the result obtained in the test and the average degree scale, an order number is assigned to doctors who want to access a training position as specialists. The objective of this work is the analysis of the results obtained by the doctors who took the 2021 test based on their academic scale and whether they are Spanish or foreign.Materials and methods.For this research, the official public information regarding the academic scale, nationality and the results obtained in the test by all the applicants presented to has been employed.Results.The 90.61% of those doctors that obtained in their degrees an average mark of 9 or more can be found among the 5,000 first order numbers, the same happen to the 79.59% of those who obtained a mark from 8 to 8.99, the 42.21% of those with a mark from 7 to 7.00 and only the 7.16% of those doctors with an average mark in their degrees under 7.Conclusions.This study confirms that there is a direct relationship between the marks obtained in their degree of doctors aspiring to a specialized medical training position and the result they obtain in the MIR test, beyond the weighting of this on the final grade of the MIR test. (AU)

Análisis psicométrico de las preguntas repetidas en los simulacros de la prueba MIR / Psychometric analysis of the questions repeated in the MIR test mockups

Introducción: El presente trabajo analiza 13 preguntas que se repitieron dos veces en distintas pruebas que simulan el examen MIR, separadas en el tiempo entre dos y 15 semanas. A partir de los resultados obtenidos, se ha analizado el proceso de aprendizaje de los estudiantes que se preparan para la prueba MIR.Material y métodos.Para el presente estudio se hizo uso de una base de datos formada por un total de 2.600 preguntas respondidas en promedio por 1.585 alumnos de características relativamente homogéneas.Resultados.En general, resulta posible afirmar que entre la primera y la segunda exposición de los alumnos a la misma pregunta se produjo una mejora de los índices analizados. De los resultados obtenidos, se observa que, en promedio, a lo largo de la preparación, la dificultad de las preguntas para el grupo de estudiantes se reduce a la mitad. En lo referente al índice de discriminación, éste se incrementa cerca del 60%, lo que supone que, según transcurre la preparación, aumenta la proporción de personas que aciertan la pregunta en el grupo fuerte con respecto a las que la aciertan en el grupo débil. Finalmente, también se produce una mejora en el valor del coeficiente de correlación biserial puntual, lo que supone una mejora de la capacidad discriminativa de las preguntas.Conclusiones.Según transcurre la preparación, las preguntas analizadas se vuelven más fáciles y más discriminativas. Además, se observa cómo no todos los alumnos consiguen el mismo aprovechamiento del proceso de aprendizaje. (AU)

Introduction: The present work analyses 13 questions that were repeated twice in different tests that simulate the MIR exam, separated in time between 2 and 15 weeks. From the results obtained, the learning process of the students preparing for the MIR test has been analysed.Material and methods.For the present study, a database made up of a total of 2,600 questions which were answered on average by 1,585 students with relatively homogeneous characteristics was employed.Results.In general, it is possible to affirm that between the first and second exposure of the students to the same question there was an improvement in the indexes analysed. From the results obtained, it is observed that, on average, throughout the preparation, the difficulty of the questions for the group of students is reduced by half. Regarding the discrimination index, this increases by about 60%, which means that as the preparation progresses, the proportion of people who get the question right in the strong group increases with respect to those who get it right in the weak group. Finally, there is also an improvement in the value of the biserial point correlation coefficient, which implies an improvement in the discriminative capacity of the questions.Conclusions.As the preparation progresses, the analysed questions become easier and discriminating. In addition, it is observed how not all students obtained the same performance. (AU)

Los implantes MG-Osseous. Estudio multicéntrico retrospectivo / MG-Osseous implants. A multicentric retrospective study

No disponible