Nivel de dificultad y poder de discriminación del examen final de la asignatura Ontogenia Humana y SOMA / Difficulty level and discernment power on Human Ontogeny and SOMA final test subject

RESUMEN Fundamento: La calidad de los instrumentos evaluativos resulta esencial en el proceso de evaluación del aprendizaje. Objetivo: Determinar los índices de dificultad y discriminación del examen final ordinario de la asignatura Ontogenia Humana y Soma. Metodología: Se realizó un estudio retrospectivo transversal en la asignatura Ontogenia y SOMA, del curso 2017-2018 en la Universidad de Ciencias Médicas de Sancti Spíritus, en el que se procesaron 163 exámenes ordinarios finales, el 30 % de los examinados seleccionados mediante un muestreo aleatorio estratificado por grupos, se calcularon el índice de dificultad e índice de discriminación por preguntas, temas y ciencias. Resultados: El número de incisos esperados y reales, de acuerdo con las horas clases para cada ciencia estuvo ajustado, no así en las temáticas Ontogenia de 17 incisos esperados se dedicaron 12 (70.5 %), en SOMA de 34 incisos esperados se dedicaron 29 (85.2 %); el índice de dificultad por temáticas, ciencias y temarios fue medianamente fácil (0.74-0.86) al igual que para el examen en su conjunto. El índice de discriminación del tema Ontogenia fue superior en el temario 1 (T1: 0.37 vs. T2: 0.24) y similar en SOMA (T1: 0.40 vs. T2: 0.39) y a nivel de las ciencias [Embriología (T1: 0.39 vs. T2: 0.31), Anatomía (T1: 0.39 vs. T2: 0.37)]. A nivel de preguntas, el índice de discriminación más bajo lo tuvo la pregunta 1 del primer temario (0.22), el resto tuvo índices de discriminación superiores a 0.30. Conclusiones: Ambos temarios tienen un índice de discriminación similar. El índice de dificultad fue medianamente fácil.

ABSTRACT Background: The quality of the assessment instruments is essential in the learning assessment process. Objective: To determine the difficulty and discernment indexes of the Human Ontogeny and SOMA ordinary final test subject. Methodology: A cross-sectional retrospective study was conducted on the Ontogeny and SOMA subject, from 2017 to 2018 academic year at the Sancti Spíritus Faculty of Medical Sciences, 163 final ordinary tests were processed, 30 % of the examinees selected by stratified random cluster sampling, the difficulty and discernment index were calculated by questions, topics and sciences. Results: The number of expected and real items, according to the class hours for each science, was adjusted, but not in the subjects (Ontogeny of 17 expected items were dedicated 12 (70.5 %), in SOMA of 34 expected items 29 were dedicated (85.2 %), the difficulty index by subjects, sciences and syllabus was moderately easy (0.74-0.86) as for the exam as a whole. The discernment index of the topic Ontogeny was higher in the syllabus 1 (T1: 0.37 vs. T2: 0.24) and similar in SOMA (T1: 0.40 vs. T2: 0.39) and [Embryology (T1: 0.39 vs. T2: 0.31), Anatomy (T1: 0.39 vs. T2: 0.37)]. At the science level questions, the lowest discernment index was found in question 1 from the first syllabus (0.22), the rest had discernment indexes higher than 0.30. Conclusions: Both topics have a similar discernment index. The difficulty index was moderately easy.

Índice de dificultad y discriminación de ítems para la evaluación en asignaturas básicas de medicina / Difficulty and discrimination index of items for evaluation in basic medical subjects

Introducción: La determinación de la calidad de un instrumento de medición implica la evaluación tanto de la exactitud como de la estabilidad de dicha medición o el resultado. Objetivo: Evaluar el índice de dificultad y discriminación de los ítems de los instrumentos de medición de algunas asignaturas del eje curricular de Fundamentos de la medicina de una escuela de medicina particular. Métodos: Mediante estudio observacional, comparativo, transversal y prolectivo, se analizaron los ítems del examen ordinario de las asignaturas Morfología, Bioquímica y Biología Molecular, y Microbiología y Virología Médica, los cuales fueron contestados por 112 alumnos de Morfología, 101 de Bioquímica y Biología Molecular y 89 de Microbiología y Virología Médica. El número de reactivos resultó 100 para Morfología, 80 para Bioquímica y Biología Molecular y 75 para Microbiología y Virología Médica. Se utilizó estadística descriptiva, y se calculó el índice de dificultad y el índice de discriminación de los ítems y de todo el examen. Además, se utilizó ANOVA, considerando estadísticamente significativo un resultado igual o menor a 0,05. Resultados: Los ítems resultaron más difíciles en el examen de Morfología, ya que el 19 por ciento correspondió a la clasificación de relativamente difíciles y el 50 por ciento a la de difíciles, con un total del 69 por ciento entre relativamente difíciles y difíciles. El índice de discriminación resultó mayor en la asignatura de Microbiología y Virología Médica, mientras que en Bioquímica y Biología Molecular se presentó una buena capacidad de discriminación. Conclusiones: Existió variabilidad en el grado de dificultad y el poder de discriminación de los ítems de los exámenes analizados(AU)

Introduction: Determining the quality of a measuring instrument implies the evaluation of both the accuracy and the stability of such measurement or result. Objective: To evaluate the index of difficulty and discrimination of the items of the measuring instruments of some subjects of the curricular axis of Fundamentals of Medicine of a particular medical school. Methods: By means of an observational, comparative, cross-sectional and prolective study, the items of the ordinary examination of the subjects Morphology, Biochemistry and Molecular Biology, and Microbiology and Medical Virology were analyzed, which were answered by 112 students of Morphology, 101 of Biochemistry and Biology Molecular, and 89 of Microbiology and Medical Virology. The number of reagents was 100 for Morphology, 80 for Biochemistry and Molecular Biology, and 75 for Microbiology and Medical Virology. Descriptive statistics were used, and the difficulty index and the discrimination index of the items and of the entire exam were calculated. In addition, ANOVA was used, considering a statistically significant result equal to or less than 0.05. Results: The items were more difficult in the Morphology test, since 19 percent corresponded to the classification of relatively difficulty and 50 percent corresponded to those of difficulty, with a total of 69 percent between relative difficulty and difficulty. The discrimination index was higher in the subject of Microbiology and Medical Virology, while in Biochemistry and Molecular Biology there was a good capacity for discrimination. Conclusions: There was variability in the degree of difficulty and the power of discrimination of the items of the analyzed exams(AU)

Dificultad en evaluaciones frecuentes y finales en contenidos de Anatomía de Ontogenia Humana y SOMA / Difficulty of Quizzes and Final Evaluations in Contents about Anatomy of Human Ontogeny and Osteo-Muscular-Articulatory System

Introducción: En el marco de la validación del plan de estudio D de la carrera de Medicina en Cuba, se analiza la calidad de los instrumentos evaluativos aplicados en asignaturas del nuevo plan de estudio. Objetivo: Comparar el nivel de dificultad de las evaluaciones frecuentes y finales de la asignatura Ontogenia Humana y SOMA, en el contenido correspondiente a la anatomía de los músculos. Métodos: Se realizó una investigación pedagógica en la Universidad de Ciencias Médicas de Matanzas durante el curso 2016-2017. Se analizaron 2763 preguntas escritas de clases prácticas y 553 exámenes ordinarios. Se aplicaron métodos teóricos, empíricos y procesamientos estadísticos de datos. Resultados: Predominó el nivel medianamente fácil en las preguntas de las evaluaciones frecuentes, con una media en 0,78. El resultado estuvo influenciado por el diseño de complejidad ascendente en la forma de abordar los contenidos en dichas evaluaciones, que favoreció un entrenamiento en los estudiantes sobre la forma de evaluar. En el examen final el 65 por ceinto de los incisos correspondientes a la pregunta de anatomía de los músculos presentó dificultad media. De dificultad medianamente fácil resultó el 20 por ciento de los incisos y el 15 por ciento restante medianamente difícil. Conclusiones: El nivel de dificultad del examen final fue mayor que en las evaluaciones parciales en el 80 por ciento de los temas y el cambio fue de una categoría a la siguiente. La evaluación del contenido de músculos en la asignatura se correspondió con un nivel adecuado al cumplir con los requisitos de calidad que exige la acreditación(AU)

Introduction: During the validation process for the study plan D of the medical major in Cuba, the quality is analyzed of the evaluative tools applied in subjects of the new study plan. Objective: To compare the level of difficulty of quizzes and final evaluations of the subject Human Ontogeny and Osteo-Muscular-Articulatory System, regarding the content for the anatomy of the muscles. Methods: A pedagogical research was carried out at the University of Medical Sciences of Matanzas during the academic year 2016-2017. We analyzed 2763 quizzes from workshops and 553 first-call exams. Theoretical and empirical methods, together with statistical data processing were applied. Results: The moderately easy level prevailed in the questions of quizzes, with a mean of 0.78. The result was influenced by the design of ascending complexity in the way of addressing the contents in such evaluations, which favored a training in the students regarding the way to evaluate. In the final exam, 65 percent of the items corresponding to the question of anatomy of the muscles presented average difficulty, while 20 percent of the items were of moderately easy difficulty and the other 15 percent were moderately difficult. Conclusions: The level of difficulty of the final exam was higher than in quizzes in 80 percent of the subjects and the change was from one category to the next. The evaluation of the content of muscles in the subject corresponded to an adequate level, since it met the quality requirements for accreditation(AU)

Indicadores de calidad para un examen teórico de la especialidad de medicina general integral / Quality indicators for a theoretical exam of the Comprehensive General Medicine speciality

Se realizó un estudio descriptivo y transversal combinado con enfoques cualitativos, a fin de evaluar la calidad de los exámenes de control parcial aplicados a 30 médicos de primero y segundo años residentes en medicina general integral, que laboraban en el Hospital Clinicoquirúrgico Docente "Dr. Joaquín Castillo Duany" de Santiago de Cuba, durante el año 2014. Se emplearon métodos teóricos, empíricos y de procesamiento estadístico en el análisis de los instrumentos de evaluación. Ambos exámenes teóricos presentaron diferencias y similitudes constatadas a través de indicadores, tales como número de horas asignadas al contenido y cantidad de incisos empleados en la exploración, índice de dificultad por temáticas y preguntas, así como nivel de discriminación y consistencia interna del instrumento, todo lo cual ofreció validez y confiabilidad para el sistema de evaluación del aprendizaje.

A descriptive and cross-sectional study with qualitative approaches was carried out, in order to evaluate the quality of the exams of partial control applied to 30 doctors of first and second years of residency in Comprehensive General Medicine, who worked in "Dr. Joaquín Castillo Duany" Teaching Clinical Surgical Hospital from Santiago de Cuba, during the year 2014. Theoretical, empiric methods were used as well as those of statistical processing in the analysis of the evaluation tools. Both theoretical exams presented differences and similarities verified through indicators, such as number of hours assigned to the content and quantity of subsections used in the exploration, index of difficulty by theme and question, as well as discrimination level and internal consistency of the tool, all of which offered validity and reliability for the evaluation system of learning.

Validación de la calidad de las preguntas en un examen final de la asignatura Morfofisiología Humana / Validation of the quality of questions in a final examination of the subject Human Morphophysiology

Introducción: el índice de dificultad y el poder de discriminación son indicadores fáciles de calcular y útiles para el análisis de la correspondencia entre los resultados esperados y los obtenidos de un instrumento evaluativo. Objetivo: evaluar la calidad de las preguntas del examen final ordinario de Morfofisiología Humana V. Métodos: fueron incluidos en esta investigación los 265 exámenes teóricos realizados por los estudiantes del segundo año en la Facultad de Medicina No. 2 de la Universidad de Ciencias Médicas de Santiago de Cuba, durante el curso 2011-2012, a los que se les calculó el índice de dificultad y el poder de discriminación en cada una de las 7 preguntas aplicadas. Resultados: las preguntas de respuesta alternativa, que evaluaban los contenidos sobre la sangre y el corazón, mostraron un índice de dificultad por debajo de 0,1 y un poder de discriminación inferior a 0,2, lo que hace necesaria su reformulación en próximos instrumentos evaluativos. Los valores más altos para ambos indicadores fueron 0,34 y 0,86, respectivamente, y correspondieron a una pregunta de selección múltiple sobre vasos sanguíneos y linfáticos, siguiéndoles en orden las preguntas de respuesta abierta. Conclusiones: se demostró la pertinencia de la mayoría de las preguntas, destacándose la capacidad de 5 de ellas para distinguir estudiantes de alto y bajo rendimientos.

Introduction: the difficulty index and the discrimination power are easy indicators to calculate and useful for the analysis of the correspondence between the expected and obtained results of an evaluative instrument. Objective: to evaluate the quality of questions of the regular final examination of Human Mophophysiology V. Methods: the 265 theoretical examinations carried out by the second year students in the Medical Faculty No. 2 of the Medical University in Santiago de Cuba, during the course 2011-2012 were included in this investigation, to which the difficulty index and the discriminating power were calculated in each of the 7 applied questions. Results: the questions with alternative answer which evaluated the contents on blood and heart, showed a difficulty index below 0.1 and a discriminating power lower than 0.2, making necessary their reformulation in future evaluative instruments. The highest values for both indicators were 0.34 and 0.86, respectively, and they corresponded to a question of multiple selections on blood and lymphatic vessels, followed in order by the questions of open answer. Conclusions: the relevancy of most of the questions was demonstrated, and the capacity of 5 of them to distinguish students of high and low performances was emphasized.

Nivel de dificultad y poder de discriminación del examen diagnóstico de la asignatura Morfofisiología Humana I / Level of difficulties and discriminatory power in the diagnostic test of Human Morphophysiology I subject

El objetivo de este trabajo es identificar el nivel de dificultad y poder de discriminación del examen diagnóstico de la asignatura Morfofisiología Humana I, del Nuevo Programa de Formación de Médicos en la Facultad-Policlínico Félix Edén Aguada, de Cienfuegos, Cuba. Para ello se calcularon los índices de dificultad y de discriminación, así como el coeficiente de discriminación a la totalidad de los 421 exámenes diagnósticos aplicados de la asignatura de Morfofisiología Humana I. Se entrevistaron profesores como informantes clave y estudiantes destacados. Todas las preguntas dieron la posibilidad de discriminar y predecir. De ellas, dos presentaron un índice de dificultad media, otras dos fueron medianamente fáciles y solo una fue altamente fácil. Se identificó el nivel dificultad y el poder de discriminación de cada pregunta del examen diagnóstico de Morfofisiología Humana I, lo que permitió plantear que el instrumento aplicado, fundamentalmente osciló entre dificultad media y medianamente fácil, con adecuado poder de discriminación. Los profesores y estudiantes reconocen la necesidad de estos exámenes para corregir dificultades en la evaluación, mejorar el trabajo metodológico y reajustar la autopreparación. Se hacen conclusiones.

The objective of this paper is to identify the level of difficulties and the discriminatory power of the diagnostic test of Human Morphophysiological I included in the New Medical Formation Program that is implemented in Felix Edén Aguada teaching polyclinics located in Cienfuegos province, Cuba. To this end, the difficulty and discrimination indexes were estimated together with the discriminatory coefficient of the 421 diagnostic tests of the above-mentioned subject. The professors as key informants and outstanding students were interviewed. All the questions made it possible to discriminate and to predict. Of these, two showed a mean difficulty index, other two were fairly easy and just one was very easy. The level of difficulties and the discriminatory power of each question of the exam were established, which allowed stating that the applied instrument ranged from mean difficulty to moderately easy, with suitable discriminatory power. The professors and the students agreed that these exams were necessary to overcome difficulties in the evaluation process, to improve the methodological work and to re-adjust self-preparation. The conclusions were also submitted.