Nivel de dificultad y poder de discriminación del examen final de la asignatura Ontogenia Humana y SOMA / Difficulty level and discernment power on Human Ontogeny and SOMA final test subject

RESUMEN Fundamento: La calidad de los instrumentos evaluativos resulta esencial en el proceso de evaluación del aprendizaje. Objetivo: Determinar los índices de dificultad y discriminación del examen final ordinario de la asignatura Ontogenia Humana y Soma. Metodología: Se realizó un estudio retrospectivo transversal en la asignatura Ontogenia y SOMA, del curso 2017-2018 en la Universidad de Ciencias Médicas de Sancti Spíritus, en el que se procesaron 163 exámenes ordinarios finales, el 30 % de los examinados seleccionados mediante un muestreo aleatorio estratificado por grupos, se calcularon el índice de dificultad e índice de discriminación por preguntas, temas y ciencias. Resultados: El número de incisos esperados y reales, de acuerdo con las horas clases para cada ciencia estuvo ajustado, no así en las temáticas Ontogenia de 17 incisos esperados se dedicaron 12 (70.5 %), en SOMA de 34 incisos esperados se dedicaron 29 (85.2 %); el índice de dificultad por temáticas, ciencias y temarios fue medianamente fácil (0.74-0.86) al igual que para el examen en su conjunto. El índice de discriminación del tema Ontogenia fue superior en el temario 1 (T1: 0.37 vs. T2: 0.24) y similar en SOMA (T1: 0.40 vs. T2: 0.39) y a nivel de las ciencias [Embriología (T1: 0.39 vs. T2: 0.31), Anatomía (T1: 0.39 vs. T2: 0.37)]. A nivel de preguntas, el índice de discriminación más bajo lo tuvo la pregunta 1 del primer temario (0.22), el resto tuvo índices de discriminación superiores a 0.30. Conclusiones: Ambos temarios tienen un índice de discriminación similar. El índice de dificultad fue medianamente fácil.

ABSTRACT Background: The quality of the assessment instruments is essential in the learning assessment process. Objective: To determine the difficulty and discernment indexes of the Human Ontogeny and SOMA ordinary final test subject. Methodology: A cross-sectional retrospective study was conducted on the Ontogeny and SOMA subject, from 2017 to 2018 academic year at the Sancti Spíritus Faculty of Medical Sciences, 163 final ordinary tests were processed, 30 % of the examinees selected by stratified random cluster sampling, the difficulty and discernment index were calculated by questions, topics and sciences. Results: The number of expected and real items, according to the class hours for each science, was adjusted, but not in the subjects (Ontogeny of 17 expected items were dedicated 12 (70.5 %), in SOMA of 34 expected items 29 were dedicated (85.2 %), the difficulty index by subjects, sciences and syllabus was moderately easy (0.74-0.86) as for the exam as a whole. The discernment index of the topic Ontogeny was higher in the syllabus 1 (T1: 0.37 vs. T2: 0.24) and similar in SOMA (T1: 0.40 vs. T2: 0.39) and [Embryology (T1: 0.39 vs. T2: 0.31), Anatomy (T1: 0.39 vs. T2: 0.37)]. At the science level questions, the lowest discernment index was found in question 1 from the first syllabus (0.22), the rest had discernment indexes higher than 0.30. Conclusions: Both topics have a similar discernment index. The difficulty index was moderately easy.

Índice de dificultad y discriminación de ítems para la evaluación en asignaturas básicas de medicina / Difficulty and discrimination index of items for evaluation in basic medical subjects

Introducción: La determinación de la calidad de un instrumento de medición implica la evaluación tanto de la exactitud como de la estabilidad de dicha medición o el resultado. Objetivo: Evaluar el índice de dificultad y discriminación de los ítems de los instrumentos de medición de algunas asignaturas del eje curricular de Fundamentos de la medicina de una escuela de medicina particular. Métodos: Mediante estudio observacional, comparativo, transversal y prolectivo, se analizaron los ítems del examen ordinario de las asignaturas Morfología, Bioquímica y Biología Molecular, y Microbiología y Virología Médica, los cuales fueron contestados por 112 alumnos de Morfología, 101 de Bioquímica y Biología Molecular y 89 de Microbiología y Virología Médica. El número de reactivos resultó 100 para Morfología, 80 para Bioquímica y Biología Molecular y 75 para Microbiología y Virología Médica. Se utilizó estadística descriptiva, y se calculó el índice de dificultad y el índice de discriminación de los ítems y de todo el examen. Además, se utilizó ANOVA, considerando estadísticamente significativo un resultado igual o menor a 0,05. Resultados: Los ítems resultaron más difíciles en el examen de Morfología, ya que el 19 por ciento correspondió a la clasificación de relativamente difíciles y el 50 por ciento a la de difíciles, con un total del 69 por ciento entre relativamente difíciles y difíciles. El índice de discriminación resultó mayor en la asignatura de Microbiología y Virología Médica, mientras que en Bioquímica y Biología Molecular se presentó una buena capacidad de discriminación. Conclusiones: Existió variabilidad en el grado de dificultad y el poder de discriminación de los ítems de los exámenes analizados(AU)

Introduction: Determining the quality of a measuring instrument implies the evaluation of both the accuracy and the stability of such measurement or result. Objective: To evaluate the index of difficulty and discrimination of the items of the measuring instruments of some subjects of the curricular axis of Fundamentals of Medicine of a particular medical school. Methods: By means of an observational, comparative, cross-sectional and prolective study, the items of the ordinary examination of the subjects Morphology, Biochemistry and Molecular Biology, and Microbiology and Medical Virology were analyzed, which were answered by 112 students of Morphology, 101 of Biochemistry and Biology Molecular, and 89 of Microbiology and Medical Virology. The number of reagents was 100 for Morphology, 80 for Biochemistry and Molecular Biology, and 75 for Microbiology and Medical Virology. Descriptive statistics were used, and the difficulty index and the discrimination index of the items and of the entire exam were calculated. In addition, ANOVA was used, considering a statistically significant result equal to or less than 0.05. Results: The items were more difficult in the Morphology test, since 19 percent corresponded to the classification of relatively difficulty and 50 percent corresponded to those of difficulty, with a total of 69 percent between relative difficulty and difficulty. The discrimination index was higher in the subject of Microbiology and Medical Virology, while in Biochemistry and Molecular Biology there was a good capacity for discrimination. Conclusions: There was variability in the degree of difficulty and the power of discrimination of the items of the analyzed exams(AU)

Indicadores de calidad para un examen teórico de la especialidad de medicina general integral / Quality indicators for a theoretical exam of the Comprehensive General Medicine speciality

Se realizó un estudio descriptivo y transversal combinado con enfoques cualitativos, a fin de evaluar la calidad de los exámenes de control parcial aplicados a 30 médicos de primero y segundo años residentes en medicina general integral, que laboraban en el Hospital Clinicoquirúrgico Docente "Dr. Joaquín Castillo Duany" de Santiago de Cuba, durante el año 2014. Se emplearon métodos teóricos, empíricos y de procesamiento estadístico en el análisis de los instrumentos de evaluación. Ambos exámenes teóricos presentaron diferencias y similitudes constatadas a través de indicadores, tales como número de horas asignadas al contenido y cantidad de incisos empleados en la exploración, índice de dificultad por temáticas y preguntas, así como nivel de discriminación y consistencia interna del instrumento, todo lo cual ofreció validez y confiabilidad para el sistema de evaluación del aprendizaje.

A descriptive and cross-sectional study with qualitative approaches was carried out, in order to evaluate the quality of the exams of partial control applied to 30 doctors of first and second years of residency in Comprehensive General Medicine, who worked in "Dr. Joaquín Castillo Duany" Teaching Clinical Surgical Hospital from Santiago de Cuba, during the year 2014. Theoretical, empiric methods were used as well as those of statistical processing in the analysis of the evaluation tools. Both theoretical exams presented differences and similarities verified through indicators, such as number of hours assigned to the content and quantity of subsections used in the exploration, index of difficulty by theme and question, as well as discrimination level and internal consistency of the tool, all of which offered validity and reliability for the evaluation system of learning.

Validación de la calidad de las preguntas en un examen final de la asignatura Morfofisiología Humana / Validation of the quality of questions in a final examination of the subject Human Morphophysiology

Introducción: el índice de dificultad y el poder de discriminación son indicadores fáciles de calcular y útiles para el análisis de la correspondencia entre los resultados esperados y los obtenidos de un instrumento evaluativo. Objetivo: evaluar la calidad de las preguntas del examen final ordinario de Morfofisiología Humana V. Métodos: fueron incluidos en esta investigación los 265 exámenes teóricos realizados por los estudiantes del segundo año en la Facultad de Medicina No. 2 de la Universidad de Ciencias Médicas de Santiago de Cuba, durante el curso 2011-2012, a los que se les calculó el índice de dificultad y el poder de discriminación en cada una de las 7 preguntas aplicadas. Resultados: las preguntas de respuesta alternativa, que evaluaban los contenidos sobre la sangre y el corazón, mostraron un índice de dificultad por debajo de 0,1 y un poder de discriminación inferior a 0,2, lo que hace necesaria su reformulación en próximos instrumentos evaluativos. Los valores más altos para ambos indicadores fueron 0,34 y 0,86, respectivamente, y correspondieron a una pregunta de selección múltiple sobre vasos sanguíneos y linfáticos, siguiéndoles en orden las preguntas de respuesta abierta. Conclusiones: se demostró la pertinencia de la mayoría de las preguntas, destacándose la capacidad de 5 de ellas para distinguir estudiantes de alto y bajo rendimientos.

Introduction: the difficulty index and the discrimination power are easy indicators to calculate and useful for the analysis of the correspondence between the expected and obtained results of an evaluative instrument. Objective: to evaluate the quality of questions of the regular final examination of Human Mophophysiology V. Methods: the 265 theoretical examinations carried out by the second year students in the Medical Faculty No. 2 of the Medical University in Santiago de Cuba, during the course 2011-2012 were included in this investigation, to which the difficulty index and the discriminating power were calculated in each of the 7 applied questions. Results: the questions with alternative answer which evaluated the contents on blood and heart, showed a difficulty index below 0.1 and a discriminating power lower than 0.2, making necessary their reformulation in future evaluative instruments. The highest values for both indicators were 0.34 and 0.86, respectively, and they corresponded to a question of multiple selections on blood and lymphatic vessels, followed in order by the questions of open answer. Conclusions: the relevancy of most of the questions was demonstrated, and the capacity of 5 of them to distinguish students of high and low performances was emphasized.

Calidad del examen final de Morfofisiología Humana II en la Facultad de Ciencias Médicas de Matanzas. Curso 2011-2012 / Quality of the final test of Human Morphophysiology II in the Medical Sciences Faculty of Matanzas, school year 2011-2012

Con el objetivo de valorar la calidad del examen final teórico de la asignatura Morfofisiología Humana II, del Plan de Estudio Único (C modificado) de la carrera de Medicina, de la Facultad de Ciencias Médicas de Matanzas, curso 2011-2012, se calcularon los índices de dificultad y de discriminación, así como los coeficientes de discriminación y el alfa de Cronbach a los 168 exámenes finales teóricos aplicados en dicha asignatura. Se identificó el nivel de dificultad y el poder de discriminación de cada pregunta del examen, así como la confiabilidad del instrumento como un todo. Se concluyó que el examen presentó una discriminación excelente, con una dificultad medianamente fácil y una consistencia interna satisfactoria, lo que permitió definir el nivel de conocimiento de los estudiantes. Finalmente, se recomendó realizar estudios más exhaustivos a próximos exámenes que se confeccionen en dicha disciplina, calculando estos indicadores, no solo para las diferentes preguntas, sino para los contenidos de las ciencias básicas biomédicas que se exploren.

With the objective of evaluating the quality of the final theoretical test of the matter Human Morphophysiology II, of the Unique Study Plan (C modified) of the Medicine Specialty, Medical Sciences Faculty of Matanzas, school year 2011-2012, we calculated the difficult and discrimination indexes, and also the discrimination coefficients and the Cronbach alpha to the 168 final theoretical tests applied in this matter. We identified the difficulty level and the discrimination capacity of each test question, and also the reliability of the instrument as a whole. We arrived to the conclusion that the test had an excellent discrimination, with an averagely easy difficultness and a satisfactory internal consistence, allowing defining the students’ knowledge level. Finally we recommended studying more exhaustively the following tests prepared on this matter, calculating these indicators, not only for the different questions, but also for the contents of the explored biomedical basic sciences.

Nivel de dificultad y poder de discriminación del examen diagnóstico de la asignatura Morfofisiología Humana I / Level of difficulties and discriminatory power in the diagnostic test of Human Morphophysiology I subject

El objetivo de este trabajo es identificar el nivel de dificultad y poder de discriminación del examen diagnóstico de la asignatura Morfofisiología Humana I, del Nuevo Programa de Formación de Médicos en la Facultad-Policlínico Félix Edén Aguada, de Cienfuegos, Cuba. Para ello se calcularon los índices de dificultad y de discriminación, así como el coeficiente de discriminación a la totalidad de los 421 exámenes diagnósticos aplicados de la asignatura de Morfofisiología Humana I. Se entrevistaron profesores como informantes clave y estudiantes destacados. Todas las preguntas dieron la posibilidad de discriminar y predecir. De ellas, dos presentaron un índice de dificultad media, otras dos fueron medianamente fáciles y solo una fue altamente fácil. Se identificó el nivel dificultad y el poder de discriminación de cada pregunta del examen diagnóstico de Morfofisiología Humana I, lo que permitió plantear que el instrumento aplicado, fundamentalmente osciló entre dificultad media y medianamente fácil, con adecuado poder de discriminación. Los profesores y estudiantes reconocen la necesidad de estos exámenes para corregir dificultades en la evaluación, mejorar el trabajo metodológico y reajustar la autopreparación. Se hacen conclusiones.

The objective of this paper is to identify the level of difficulties and the discriminatory power of the diagnostic test of Human Morphophysiological I included in the New Medical Formation Program that is implemented in Felix Edén Aguada teaching polyclinics located in Cienfuegos province, Cuba. To this end, the difficulty and discrimination indexes were estimated together with the discriminatory coefficient of the 421 diagnostic tests of the above-mentioned subject. The professors as key informants and outstanding students were interviewed. All the questions made it possible to discriminate and to predict. Of these, two showed a mean difficulty index, other two were fairly easy and just one was very easy. The level of difficulties and the discriminatory power of each question of the exam were established, which allowed stating that the applied instrument ranged from mean difficulty to moderately easy, with suitable discriminatory power. The professors and the students agreed that these exams were necessary to overcome difficulties in the evaluation process, to improve the methodological work and to re-adjust self-preparation. The conclusions were also submitted.

O impacto da mudança no critério de acerto na distribuição dos escores do subteste de leitura do teste de desempenho escolar / El influjo del cambio de criterio de acierto en la distribución de los puntajes de la subprueba de lectura en la prueba de rendimiento escolar / The impact of the change in the criterion of scoring correct responses in the distribution of the scores of the reading subtest of performance school test

O estudo investiga o impacto da introdução de uma nova classe de erros no subteste de leitura do Teste de Desempenho Escolar na distribuição dos escores. Participaram do estudo 306 crianças de 1ª a 4ª séries da rede de ensino de Belo Horizonte. Para cada participante foram conferidos dois escores: um estabelecido a partir de critério do manual (EB1) e o outro a partir do critério adotado no presente estudo (EB2) - que considerou incorretas as respostas de silabação e de correção espontânea. Os resultados mostraram que a adoção do critério EB2 tornou o teste mais discriminativo, mas não impediu o aparecimento de um efeito de teto, nem proporcionou uma distribuição normal dos escores. As análises mostraram que, além do critério permissivo, o excesso de palavras fáceis e a escassez de palavras difíceis prejudicaram a variabilidade dos escores. Hipóteses sobre a dificuldade das palavras são discutidas à luz da psicolinguística.

The study investigates the impact of the introduction of a new class of errors within the original error set of the reading subtest of the Performance School Test on the distribution of the scores. The sample consisted of 306 1st - 4th grades of the school system of Belo Horizonte who participated in the study. For each child two scores were given: one based on the manual criteria (EB1) and the other on the criteria introduced in the present study (EB2) - which considered explicit sounding out of syllables or of part of the stimuli and self-corrections as incorrect responses. The results showed that the choice of the EB2 made the test more discriminative, but such a modification did not prevent the emergence of a ceiling effect, nor did it enable a normal distribution of the scores. The analysis showed that apart from the permissive criteria the excess of easy words and the shortage of difficult words affected the variability of the scores. Hypotheses about the difficulty of words were discussed in light of the psycholinguistics.

El estudio investiga el influjo que la introducción de una nueva clase de errores en la subprueba de lectura de la Prueba de Rendimiento Escolar tuvo en la distribución de los puntajes de la referida subprueba. Participaron de la investigación 306 niños de 1ª a 4ª clase de la Red de Enseñanza de Belo Horizonte. Para cada participante han sido conferidos dos puntajes: uno establecido a partir de criterio del manual (EB1) y otro a partir del criterio adoptado en la presente investigación (EB2) - que consideró incorrectas las respuestas de silabación y de corrección espontánea. Los resultados han mostrado que la adopción del criterio EB2 tornó la prueba más discriminadora, pero esa modificación no impidió el asomo de un efecto de techo, ni proporcionó una distribución normal de los puntajes. Los análisis han mostrado que, además del criterio permisivo, el exceso de palabras fáciles y la escasez de palabras difíciles perjudicaron la variabilidad de los puntajes. Hipótesis sobre la dificultad de las palabras son discutidas a la luz de la psicolingüística.

Nivel de dificultad y poder de discriminación del tercery quinto examen parcial de la cátedra de cito-histología2007 de la carrera de medicina de la UMSA / Level of difficulty and discrimination power of the third and fifth partial examination of the chair of cyto-histology 2007 of the medical career of UMSA

Objetivo:Determinar el nivel de dificultad y el índice de discriminación del tercer y quinto examen parcial de Cito-Histología. Diseño de investigación:Descriptivo de corte transversal. Lugar:Cátedra de Cito-HistologíaMuestra:388 exámenes de estudiantes que dieron el tercer parcial y 350 el quintoMétodo:Los datos se recolectaron a través de un formulario, el nivel de dificultad y poder de discriminación se obtuvieron por formulasestablecidas.Resultados:La media de dificultad del tercer parcial fue de 0,34, siendo medianamente difícil, la media del quinto fue 0,54 siendo de dificultad media. Lamedia del índice de discriminación del tercer parcial fue 0,57 y 0,45 del quinto, el coeficiente de discriminación fue 0,44 para el tercero y 0,54para el quinto, así, ambos parciales tuvieron una calidad excelente. Conclusiones:Según el nivel de dificultad del tercer parcial fue más difícil que el quinto, éste último estuvo dentro de parámetros esperados, el tercer parcialno tuvo reactivos fáciles. Ambos parciales discriminaron positivamente, una pregunta del tercer parcial debería descartarse y dos del quintorevisarse a profundidad.

Objective: To determine the level of difficulty and the power of discrimination of the third and fifth partial exam in Cytohistology Research Design: Descriptive, cross sectional Location: Chair of Cytohistology Sample:The students who took the third and fifth partial exams: 388 for the third and 350 for the fifth. Method: The data were collected by means of a form, the difficulty level and power of discrimination were calculated by established formulas Results: The average difficulty of the third partial exam was 0.34, qualified as moderately difficult. The average difficulty of the fifth partial exam was 0.54 which qualifies for half difficult. The average index of discrimination of the third partial exam was 0.57 and of the fifth 0.45. The discrimination quotient was 0.44 for the third and 0.54 for the fifth exam, and both partials were of excellent quality. Conclusions: Considering the difficulty level, the third partial exam was more difficult than the fifth the latter being within expected parameters . Both partials discriminated positively, one question of the third partial should be removed, and two questions of the fifth test should be reviewed in depth.