RESUMO
En el contexto de la pandemia de COVID 19 durante el año 2020 y hasta la fecha se diseñó un formato de evaluación para nuestros alumnos de pre y posgrado bajo el alero de los exámenes clínicos objetivos estructurados (ECOE) en un formato remoto. Se revisó la literatura al respecto y se diseñó un instrumento que diera cuenta en forma oportuna y estandarizada del desempeño de nuestros alumnos y residentes. Estas experiencias están siendo evaluadas en estudios con metodología mixta. Sin embargo, decidimos compartir esta experiencia, por su impacto en el desarrollo docente de las ciencias de la salud.
In the context of the COVID-19 pandemic during 2020 and to date, an evaluation format has been designed for our undergraduate and graduate students under the design of the objective structured clinical examinations (OSCE) in a remote format. The literature was reviewed, and an instrument was designed to account for the performance of our students and residents in a timely and standardized manner. These experiences are being evaluated in studies with mixed methodology. However, we wanted to convey this experience due to its impact on the educational development of health sciences.
RESUMO
Abstract Structured Clinical Exam (OSCE) uses standardized content and procedures to assess students across multiple domains of learning. The study is aimed to assess knowledge, attitudes, practices and observations of dental faculty on OSCE. The survey was distributed into dental faculty members in randomly selected government and private institutions in Saudi Arabia. The questionnaire was pre-tested and consisted of 4 categories including general characteristics of respondents, knowledge on utility of OSCE in curriculum and its reliability, attitudes regarding OSCE on a 5 point Likert scale, practices and observations on OSCE on Multiple choice questions (both single answer and multiple answer) and responses on a 5 point Likert scale. The sample size was determined to be 93 and the survey was sent electronically to 10 institutes. 101 complete responses from 7 institutions were considered from the 122 received. Faculty participation in OSCE was high within evaluators 94% (n=94) and administrators 61% (n=61). Majority of respondents (62%) believed that OSCE is most suited for competency based education, to assess cognitive skills (73%) and diagnostic interpretation (79%). Reliability of OSCE can be increased by standardization of evaluators (77%) with highest number believing that 6-8 stations (42%) are the minimum required in an OSCE. Institution guidelines (49%) coupled with workshops (47%) was the preferred method of preparation for OSCE. Majority felt that OSCE is most suitable for high stakes exams (mean=3.37) and it is an indispensable part of dental assessment (mean=3.78). Minimum number of stations for adequate reliability was reported to be lesser that in reported literature, specially so for high stakes assessments. Logistics required for arranging an OSCE and difficulty in standardized patients, may suggest that OSCE should be used in select situations.
Resumen El examen clínico estructurado (ECOE) utiliza contenido y procedimientos estandarizados para evaluar a los estudiantes en múltiples dominios de aprendizaje. Este estudio tiene como objetivo evaluar los conocimientos, las actitudes, las prácticas y las observaciones de los profesores de odontología sobre la ECOE. La encuesta se distribuyó a los miembros de la facultad de odontología en instituciones gubernamentales y privadas seleccionadas al azar en Arabia Saudita. El cuestionario se utilizó previamente y constaba de 4 categorías que incluían generalidades de los encuestados, conocimiento sobre la utilidad de la ECOE en el plan de estudios y su confiabilidad, actitudes con respecto a la ECOE en una escala Likert de 5 puntos, prácticas y observaciones sobre la ECOE en preguntas de opción múltiple (ambas respuesta y respuesta múltiple) y respuestas en una escala Likert de 5 puntos. Se determinó el tamaño de la muestra en 93 y la encuesta se envió electrónicamente a 10 institutos. Se consideraron 101 respuestas completas de 7 instituciones. La participación del profesorado en ECOE fue alta entre los evaluadores 94% (n=94) y los administradores 61% (n=61). La mayoría de los encuestados (62%) cree que la ECOE es más adecuada para la educación basada en competencias, para evaluar las habilidades cognitivas (73%) y la interpretación del diagnóstico (79%). La confiabilidad de la ECOE puede aumentarse mediante la estandarización de los evaluadores (77%) y el número más alto cree que 6-8 estaciones (42%) son el mínimo requerido en una ECOE. Las directrices de la institución (49%) junto con los talleres (47%) fue el método preferido de preparación para la ECOE. La mayoría consideró que la ECOE es más adecuada para exámenes de alto riesgo (media=3,37) y es una parte indispensable de la evaluación dental (media=3,78).Se informó que el número mínimo de estaciones para una confiabilidad adecuada es menor que en la literatura reportada, especialmente para evaluaciones de alto riesgo. La logística necesaria para organizar un ECOE y la dificultad en los pacientes estandarizados pueden sugerir que el ECOE se debe utilizar en situaciones seleccionadas.
Assuntos
Questões de Prova , Odontologia , Docentes de OdontologiaRESUMO
OBJETIVO: Probar una metodología de enseñanza-aprendizaje, instrumentos de medición y sistema de implementación de la ECOE en relación con lactancia materna, alimentación complementaria, crecimiento y consejería. MATERIAL Y MÉTODOS: Se estudió la adquisición de competencias sobre alimentación en menores de dos años en internos de pediatría aplicando la evaluación clínica objetiva estructurada (ECOE) antes y después del desarrollo de un proceso de enseñanza aprendizaje (PEA) estructurado. Se organizaron cuatro estaciones de evaluación de los aspectos centrales de alimentación y crecimiento, en un grupo de internos seleccionados al azar. RESULTADOS: Las cuatro estaciones de la ECOE se aplicaron sin dificultades antes y después del PEA. Los resultados mostraron una mejora en el rendimiento de los internos, de manera individual y de grupo; en este último las diferencias en la media fueron para alimentación complementaria pre 2,5 (DE 0,93) y post 5 (DE 2,39); consejería pre 5,75 (DE 1,49) y post 8,13 (DE 1,25); lactancia materna pre 12,63 (DE 2,5) y post 16,38 (DE 2) y velocidad de crecimiento pre 3,13 (DE 1,36) y post 3,38 (DE 0,92). Los resultados fueron estadísticamente significativos para los tres primeros rubros. CONCLUSIONES: En base a estos resultados se sugieren mejoras en el programa de enseñanza y se verifica la aplicabilidad de la ECOE en el internado del Hospital del Niño Dr. Ovidio Aliaga Uría.
OBJECTIVE: To test a teaching-learning methodology, measurement tools and OSCE implementation system in relation to breastfeeding, complementary feeding, growth and counseling. METHODOLOGY: The acquisition of competences was studied by applying objective structured clinical examination (OSCE) before and after the development of a structured teaching-learning process. Four assessment stations were organized considering central aspects on feeding and growth of children under two years of age, in a group of randomly selected students during medical internship. RESULTS: The four OSCE stations were applied without difficulties before and after the learning and teaching process. The results showed an improvement in the performance of interns, individually and in groups; in the latter, mean differences were: for complementary feeding pre 2.5 (SD 0.93) and post 5 (SD 2.39); counseling pre 5.75 (SD 1.49) and post 8.13 (SD 1.25); breastfeeding pre 12.63 (SD 2.5) and post 16.38 (SD 2) and growth velocity pre 3.13 (SD 1.36) and post 3.38 (SD 0.92). The results were statistically significant for the first three items. CONCLUSIONS: Based on these results, the authors suggest improvements in the teaching program, and verify the applicability of the OSCE for the evaluation of rotatory internship at the Hospital del Nino Dr. Ovidio Aliaga Uria.
Assuntos
Humanos , Lactente , Aleitamento Materno , Menores de Idade , Internato e Residência , Ensino , Aprendizagem , MétodosRESUMO
Los programas de especialización médica consideran a la comunicación y profesionalismo como competencias que debe tener un médico especialista. El objetivo de esta revisión fue evaluar la utilización de la simulación clínica como instrumento de entrenamiento y evaluación de las competencias profesionalismo y comunicación en los programas de especialización médica. La Evaluación Clínica Objetiva y Estructurada (ECOE) evalúa el aprendizaje y es recomendada por sistemas de acreditación internacional como el Royal College of Physicians of Canada que elaboró los estándares Canadian Medical Education Directives for Specialist (CanMEDS) y el Comité de acreditación de los programas de postgrado de los Estados Unidos de América, Accreditation Council for Graduate Medical Education (ACGME). Para la evaluación de competencias de comunicación y profesionalismo, el ECOE aplica escenarios de simulación clínica validados que permiten una evaluación formativa y sumativa en los programas de especialización. El ECOE puede ser implementado como instrumento de evaluación de competencias en los programas de especialización de Perú. (AU)
Communication and professionalism are two competences that training subspecialties programs in medicine do consider essential among trainees. This review has the objective to evaluate the use of clinical simulation as an instrument to train residents of medicine subspecialties in getting competences in communication and professionalism. The OSCE is recommended by international accredited systems such as the Royal College of Physicians of Canada and the Accreditation Council for Graduate Medical Education of the USA. To asses competences in communication and professionalism, the OSCE uses validated scenarios of clinical simulation allowing formative and summative evaluations. OSCE can be implemented as a tool to asses competences in medicine subspecialties training programs. (AU)
Assuntos
Humanos , Masculino , Feminino , Competência Clínica , Educação Médica , Internato e ResidênciaRESUMO
Las mediciones de los logros educacionales y las pruebas de selección de ingreso a la educación superior están fuertemente correlacionadas con los antecedentes socioeconómicos y el tipo de establecimiento educacional del postulante, situación que representaría un factor predictor del rendimiento para los alumnos de primer año universitario. Considerando que los puntajes de ingreso para la carrera de medicina presentan una diferencia significativa entre los primeros y últimos seleccionados, nos preguntamos si existe algún factor nivelador que reduzca esa brecha de origen. Se analiza el rendimiento en las evaluaciones prácticas y pruebas teóricas, al comienzo y al final del año académico 2009 comparando los primeros y últimos seleccionados de acuerdo al puntaje de ingreso PSU a la carrera de medicina de la Pontificia Universidad Católica de Chile. Se observan diferencias significativas en el rendimiento de la primera evaluación Teórica de Anatomía y en la Nota Final obtenida en el curso, en cambio, no se encuentran diferencias significativas tanto en la primera Evaluación Práctica cómo en el examen final práctico del curso. Nuestros resultados sugieren que la única evaluación niveladora, que logra superar las diferencias de origen de los examinados, la constituyen nuestras pruebas prácticas; evaluaciones en las cuales el rendimiento de los primeros y de los últimos seleccionados de medicina es más homogéneo. Este tipo de evaluaciones prácticas, realizadas sobre preparaciones cadavéricas, demandan fundamentalmente experiencias vividas en nuestras actividades prácticas, colocándose por sobre la mayor o menor habilidad o experiencia que posea el estudiante relacionada con su establecimiento educacional de origen.
Level of educational achievement and screening tests for admission to higher education are strongly correlated with socioeconomic background and the type of school of the applicant, these situations would be a performance predictor for college freshmen students. Whereas the scores to be accepted into the medical career have a significant difference between the first and last selected, we wonder if there is a leveling factor that reduces the gap of origin. We analyze the performance in practical assessments and theory tests at the beginning and end of the academic year 2009 comparing the first and last selected according to the PSU score admission to medical studies at the Pontificia Universidad Catolica de Chile. Significant differences were observed in the performance of the first assessment of the theory of Anatomy and the final score obtained in the course, however, no significant differences in both the first practical test and practical final exam of the course. Our results suggest that the only evaluation level, which overcomes the differences of origin of the examined, are our practical tests; assessments in which the performance of the first and the last selected medical student is more homogenous. This type of practical assessments, performed on cadavers, primarily demanded experiences in our practical segment, standing by on the degree of skill or experience held by the students related to their educational institution of origin.
Assuntos
Humanos , Desempenho Acadêmico , Anatomia/educação , Estudantes de Medicina , Chile , Fatores SocioeconômicosRESUMO
Introducción: A pesar de considerarse el estándar de oro para la evaluación de competencias en posgrado, el Examen Clínico Objetivo Estructurado (ECOE) es escasamente aplicado en América Latina. El Gobierno de la Ciudad de Buenos Aires (GCBA) posee un sistema de residencia de Pediatría con cerca de 400 residentes, distribuidos en 13 hospitales, que comparten examen de ingreso y programa de formación. Nuestro objetivo es describir la experiencia de aplicación del ECOE a todos los residentes de Pediatría del GCBA, y comparar el desempeño según el tipo de hospital. Sujetos y método: Estudio descriptivo, incluyendo a todos los residentes de Pediatría del GCBA que finalizaban primer año, pertenecientes a 13 hospitales (2 pediátricos y 11 generales). El ECOE incluyó 10 estaciones. Resultados: Participaron 85 residentes; el 88,2% (IC 95% 79,7-93,5) aprobó la evaluación. No se encontraron diferencias significativas en la proporción de residentes que aprobó la evaluación entre los que provenían de hospitales pediátricos y los de hospitales generales (89,5 vs. 85,7%; OR = 1,4; IC 95% 0,4-5,5; p = 0,8). Conclusiones: En 2015 por primera vez se desarrolló un ECOE como evaluación unificada para todos los residentes de Pediatría del GCBA. La experiencia permitió identificar debilidades de cada evaluado y del sistema, estableciendo estrategias para superarlas.
Introduction: The Objective Structured Clinical Examination (OSCE) is considered the reference standard for competence evaluation, but its use in Latin America is limited. The City of Buenos Aires Government (CBAG) administers a Paediatric residency system that includes 400 residents distributed in 13 hospitals, sharing an admission system and education program. We aim to describe the experience of administering an OSCE for evaluating all the Paediatric residents of the CBAG. Subjects and method: Descriptive study, including all paediatric residents of the CBAG, belonging to 13 hospitals (2 paediatric and 11 general), ending their first year of training. The OSCE included 10 stations. Results: Eighty-five residents participated in the OSCE, and 88.2% (95% CI 79.7-93.5) passed the examination. There were no significant differences in the pass rate between residents from paediatric hospitals and from general hospitals (89.5 vs. 85.7%; OR = 1.4; 95% CI 0.4-5.5; P = .8). Conclusions: In 2015, the OSCE was administered to all paediatric residents of the CBAG for the first time. This experience allowed identifying weaknesses in the education system, in order to develop strategies to overcome them.
Assuntos
Humanos , Pediatria/educação , Argentina , Competência Clínica , Internato e Residência/normas , Educação Médica/normas , Avaliação Educacional/métodosRESUMO
La tendencia a la globalización en diferentes aspectos de la economía y de la sociedad, entre ellos los laborales y educativos, hace necesario que se vinculen más estrechamente las necesidades del mercado de trabajocon la enseñanza. La metodología del examen clínico objetivo estructurado (ECOE) cumple con los requisitos de una evaluación de competencias y además responde a las exigencias actuales de la educación médica superior. El presente trabajo tuvo como propósito valorar mediante el ECOE la adquisición de competencias en el área pediátrica del internado rotatorio de la Carrera de Medicina de la UNNE relacionándolas con las expectativas laborales futuras de los estudiantes. Si bien la mayoría de los cursantes obtuvieron buen nivel de aprobación en las instancias de evaluación tanto dinámicas como estáticas, se observaron puntajes más altos en quienes tenían inclinación a formarse como médicos pediatras, generalistas o de familia. En este grupo los porcentajes de reprobación fueron bajos, concluyendo que el proyecto laboral post-egreso influye positivamente en el interés por aprender, que queda reflejado en la adquisición de las competencias propias del área...
The trend towards globalization in different aspects of the economy and society, including employment andeducation, makes necessary to improve the relationship between work needings and teaching. The methodology of objective structured clinical examination (OSCE) meets the requirements of skills evaluation and also responds to the current demands of higher medical education. The purpose of this work was assessed by the OSCE skills acquisition in the pediatric area of the rotating internship in UNNE medical carreer, relating them with job prospects of students. Most students obtained good level of approval in both dynamic and static assessment, but higher scores were observed in those who expect to work as pediatricians, general or family phisicians. In this group there were lowfail rates, concluding that the post- graduation work project positively influences the interest in learning, which is reflected in the acquisition of the skills of the area.
Assuntos
Humanos , Educação Baseada em Competências/métodos , Educação Médica , Avaliação Educacional/estatística & dados numéricos , Internato e Residência , Pediatria/educaçãoRESUMO
A simulação de atendimento farmacêutico tem por finalidade avaliar as competências clínicas dos acadêmicos. Constitui uma ferramenta pedagógica que possui três etapas: a) preparação do cenário e dos casos; b) simulação; e c) avaliação. Os casos simulados consistem de informações essenciais que são fornecidas espontaneamente ao acadêmico no início da simulação e outras complementares, que somente tornar-se-ão conhecidas se forem investigadas. Toda a simulação de atendimento é filmada, o que permite a análise da comunicação. O processo de avaliação é iniciado com a leitura do caso, a análise do vídeo e a aplicação do instrumento desenvolvido. O ECOE possibilita ao acadêmico uma oportunidade de melhorar as suas habilidades e atitudes na prestação do atendimento farmacêutico, além de aprofundar os conhecimentos a respeito das situações simuladas.
Simulation of pharmaceutical care aims to assess students' clinical skills. It comprises an educational tool that has three steps: (a) setting the stage and preparing the cases; (b) simulation; and (c) evaluation. The simulated cases consist of information that is provided spontaneously to students at the beginning of the simulation and other, complementary information that only becomes known if it is investigated. All of the simulated attendance is filmed, which enables analysis of the communication. The evaluation process starts with reading the case, analysis of the video and application of the tool that has been developed. This examination provides students with an opportunity to improve their skills and attitudes in relation to provision of pharmaceutical care, in addition to deepening their knowledge about the situations that were simulated.
La simulación de atención farmacéutica tiene por finalidad la de evaluar las capacidades clínicas de los académicos. Constituye en una herramienta pedagógica que posee tres etapas: a) preparación del lugar y de los casos, b) simulación; y c) evaluación. los casos simulados constan de informaciones esenciales proporcionadas espontáneamente al académico en el inicio de la simulación y otras complementarias que sólo se conocerán si son investigadas. Se filma toda la simulación de atención, lo que permite el análisis de la comunicación. El proceso de evaluación se inicia con la lectura del caso, el análisis del vídeo y la aplicación del instrumento desarrollado. El ECOE posibilita al académico una oportunidad de mejorar sus habilidades y actitudes en la prestación de la atención del farmacéutica, además de profundizar los conocimientos respecto a las situaciones simuladas.
Assuntos
Humanos , Competência Clínica , Educação em Farmácia , Desenvolvimento de Pessoal , Assistência Farmacêutica , Estudantes de FarmáciaRESUMO
La evaluación de las competencias clínicas en el Nuevo Programa de Formación de Médicos (NPFM) ha constituido un dilema desde los inicios de este programa. La Evaluación Clínica Estructurada por Objetivos (ECOE) viene a dar solución a esta problemática en este nuevo contexto educacional. Teniendo en cuenta todas las ventajas de este método se aplicó en el Policlínico Facultad José Maceo Grajales como examen práctico ordinario de la asignatura Clínica I. Para el diseño de esta evaluación se tuvieron en cuenta distintas fases (Planificación, el día previo al examen, el día del examen y el día después del examen). Se explica cómo se llevo a cabo cada fase de las anteriores.
The assessment of clinical competences in the New Program of Physician Training Program (NPPT) is dilemma from its onset. The Structural Clinical Assessment by OBJECTIVE (SCAA) solves this problem in this new educational context. Considering all advantages of this method, it was applied in José Maceo Grajales Faculty Polyclinic like a usual practical examination of Clinic I as subject. For design of this assessment we took into account different phases (planning, prior day, the present day, and the day after examination). We explain how each phase of the previous ones was carried out.