ABSTRACT
Objetivo. Determinar la validez de constructo y la confiabilidad de un examen clínico objetivo estructurado (ECOE) en la evaluación de una certificación nacional como reumatólogo. Método. En 2013 y 2014, se aplicaron sendos ECOE y evaluación teórica (ET) a 32 y 38 residentes aspirantes a la certificación de reumatólogo, respectivamente. Se incluyeron 12 y 15 estaciones calificadas mediante lista de cotejo validada. Previamente, 3 reumatólogos certificados realizaron sendas pruebas piloto. Se calculó la puntuación global del ECOE y se evaluó su desempeño. Resultados. En 2013, la media ± DE del ECOE fue de 7,1 ± 0,6) y ningún aspirante tuvo calificación reprobatoria (CR); la media de la ET fue de 6,5 ± 0,6 y 7 aspirantes (21,9%) tuvieron CR (< 6). En 2014, la media del ECOE fue de 6,7 ± 0,6) y 3 aspirantes (7,9%) tuvieron CR, de los cuales 2 reprobaron la ET; la media de la ET fue de 6,4 ± 0,5) y 7 aspirantes (18,5%) tuvieron CR, 2 de los cuales reprobaron el ECOE. En 2013, la correlación entre el ECOE y la ET fue de r = 0,44, p = 0,006. En ambos años, los reumatólogos certificados obtuvieron mejores calificaciones en el ECOE que los residentes. El porcentaje de aprobados en la ET fue mayor entre quienes aprobaron el ECOE que entre quienes lo reprobaron: 86% vs. 67%, p = 0,02. Se aplicaron 9 estaciones en ambos años y sus puntuaciones mostraron correlación de 0,81 a 0,95, p ≤ 0,01. Conclusión. El ECOE es una herramienta adecuada para evaluar las competencias clínicas de los aspirantes a la certificación (AU)
Objective. To assess reliability and validity of the objectively-structured clinical examination (OSCE) applied in postgraduate certification processes by the Mexican Board of Rheumatology. Method. Thirty-two (2013) and 38 (2014) Rheumatology trainees (RTs) underwent an OSCE consisting of 12 and 15 stations respectively, scored according to a validated check-list, as well as 300-multiple-choice 300 question examination (MCQ). Previously, 3 certified rheumatologists underwent a pilot-OSCE. A composite OSCE score was obtained for each participant and its performance examined. Results. In 2013, OSCE mean score was 7.1 ± 0.6 with none RT receiving a failing score while the MCQ score was 6.5 ± 0.6 and 7 (21.9%) RTs receiving a failing (< 6) score. In 2014, the OSCE score was 6.7 ± 0.6, with 3 (7.9%) RTs receiving a failing score (2 of them also failed MCQ) while the MCQ score was 6.4 ± 0.5 and 7 (18.5%) RTs were disqualified (2 of them also failed OSCE). A significant correlation between the MCQ and the OSCE scores was observed in the 2013 (r=0.44; P=0.006). Certified rheumatologists performed better than RTs at both OSCE. Overall, 86% of RTs obtaining an OSCE passing score also obtained a MCQ passing score, while this was only 67% (P=.02) among those who obtained an OSCE failing score. Nine stations were applied at both consecutive years. Their performance was similar in both certification processes, with correlation coefficients ranging from 0.81 to 0.95 (P≤0.01). Conclusion. The OSCE is a valid and reliable tool to assess the Rheumatology clinical skills in RTs (AU)
