ABSTRACT
RESUMEN Introducción: Algunos autores han señalado que el armado de un examen con preguntas aleatorias puede perjudicar el rendimiento de los estudiantes. A partir de la pandemia por COVID -19 y del aislamiento social obligatorio, las actividades de educación médica de posgrado pasaron a la modalidad virtual y los exámenes se implementaron online. Objetivo: Estudiar si el ordenamiento al azar de las preguntas tiene algún efecto en los resultados de los exámenes. Material y métodos: Se redactaron 2 exámenes: uno sobre Prevención de la enfermedad cardiovascular y otro sobre Valvulopatías. Para cada uno de los temas se confeccionaron dos cuestionarios: una versión con las preguntas en el orden lógico y según dificultad estimada, y otra con las mismas preguntas distribuidas al azar. Cada examen tenía 50 preguntas de selección múltiple con 3 opciones. Puntaje máximo posible: 50 Los exámenes fueron administrados en plataforma Moodle, modalidad sincrónica, tiempo disponible 75 minutos. Los resultados se expresaron en puntajes obtenidos (rango y valores de tendencia central) y según el índice de dificultad de las preguntas. Resultados: Respondieron 284 residentes, alumnos del Curso Bianual de Cardiología. Dos grupos de 1° año (tema Prevención) y dos grupos de 2° año (Valvulopatías). No hubo diferencia entre los resultados de las dos versiones del mismo examen. Conclusiones: Este estudio careció de la potencia suficiente para fundamentar una u otra forma de ordenar las preguntas de los exámenes de ciencias clínicas. Surgieron nuevas preguntas que deberán ser respondidas en futuros estudios.
ABSTRACT Background: Some authors have pointed out that setting up an exam with random questions can impair student performance. Since the COVID-19 pandemic and compulsory social isolation, postgraduate medical education activities became virtual and exams were implemented online. Objective: The aim of the study was to analyse whether the random order of questions has any effect on test results. Method: Two exams were written: one on the Prevention of Cardiovascular Disease and another on Heart Valve Diseases. For each topic, two questionnaires were designed: a version with the questions in logical order and according to the estimated difficulty and another with the same questions randomly distributed. Each exam had 50 multiple-choice questions with 3 options, and the maximum possible score was 50 The exams were taken on the Moodle platform, with synchronous modality, and the time available was 75 minutes. The results were expressed as scores obtained (range and central tendency) and according to the index of difficulty of the questions. Results: The number of respondents was 284 residents, students of the Biannual Cardiology Course: two 1st year groups (Prevention topic) and two 2nd year groups (Valve diseases). There was no difference between the results of the two versions of the same exam. Conclusions: This study lacks sufficient power to support either way of question order in clinical sciences exams, giving rise to new queries.
ABSTRACT
La Sociedad Argentina de Cardiología, en los procesos de Certificación y Recertificación de Especialistas, implementa exámenes escritos de selección múltiple. Dos observadores independientes revisaron las 200 preguntas utilizadas en dos exámenes (A y B) realizados durante 2009. Se usó el Índice de Calidad de Galofré; este instrumento toma en cuenta 10 criterios que se deben considerar en la redacción de las preguntas de selección múltiple y establece una escala de 1 a 5 puntos según la cantidad de defectos de construcción que tenga la pregunta. El valor máximo de calidad posible es 5. La media aritmética de los valores de calidad de las preguntas expresa el Índice de Calidad del examen en su totalidad. Se encontró que el 30% de las preguntas tenían muy buena calidad técnica (valores de calidad 4 y 5); cerca del 40% eran preguntas aceptables (valor de calidad 3) que se deberían mejorar y el 30% eran inaceptables (valor de calidad 1 y 2). El examen A tiene un Índice de Calidad de 2,15 y el examen B, de 3,21. En ambos exámenes se encontró que los defectos más frecuentes en la redacción de las preguntas eran la falta de viñeta (caso clínico o problema) y la exploración de conocimientos sólo a nivel de memoria o recordación de datos aislados. Se concluyó que sería conveniente constituir en la Sociedad Argentina de Cardiología un grupo de trabajo permanente para revisar y mejorar las preguntas y armar un banco de ítems.
The Argentine Society of Cardiology uses multiple-choice questions for Cardiology Certification and Recertification exams. Two independent observers revised 200 questions used in two examination tests (A and B) during 2009. We used the Galofré Quality Index, which considers 10 criteria for writing multiple-choice questions and establishes a scale ranging from 1 to 5 points according to the number of construction defects the question has. The maximum value of quality is 5. Mean value of the quality of questions represents the Quality Index of the whole test. We found that 30% of the questions had a very good technical quality (quality value 4 and 5); about 40% were acceptable questions (quality value 3) that should be improved, and 30% were unacceptable (quality value 1 and 2). The Quality Index of test A was 2.15 and of test B was 3.21. The most frequent writing defects in both exams were the lack of bullet points (case report or problem) and exploring knowledge only in terms of memory or recalling isolated information. In conclusion, it would be convenient to constitute a permanent work group in the Argentine Society of Cardiology to revise and improve the questions and create a bank of items.