Evaluación del formato remoto en tiempos de pandemia / Evaluation of a remote format in times of pandemic

En el contexto de la pandemia de COVID 19 durante el año 2020 y hasta la fecha se diseñó un formato de evaluación para nuestros alumnos de pre y posgrado bajo el alero de los exámenes clínicos objetivos estructurados (ECOE) en un formato remoto. Se revisó la literatura al respecto y se diseñó un instrumento que diera cuenta en forma oportuna y estandarizada del desempeño de nuestros alumnos y residentes. Estas experiencias están siendo evaluadas en estudios con metodología mixta. Sin embargo, decidimos compartir esta experiencia, por su impacto en el desarrollo docente de las ciencias de la salud.

In the context of the COVID-19 pandemic during 2020 and to date, an evaluation format has been designed for our undergraduate and graduate students under the design of the objective structured clinical examinations (OSCE) in a remote format. The literature was reviewed, and an instrument was designed to account for the performance of our students and residents in a timely and standardized manner. These experiences are being evaluated in studies with mixed methodology. However, we wanted to convey this experience due to its impact on the educational development of health sciences.

Faculty perceptions on objective structured clinical exam in dental education / Percepción de los profesores sobre el examen clínico estructurado y su objetivo en la educación dental

Abstract Structured Clinical Exam (OSCE) uses standardized content and procedures to assess students across multiple domains of learning. The study is aimed to assess knowledge, attitudes, practices and observations of dental faculty on OSCE. The survey was distributed into dental faculty members in randomly selected government and private institutions in Saudi Arabia. The questionnaire was pre-tested and consisted of 4 categories including general characteristics of respondents, knowledge on utility of OSCE in curriculum and its reliability, attitudes regarding OSCE on a 5 point Likert scale, practices and observations on OSCE on Multiple choice questions (both single answer and multiple answer) and responses on a 5 point Likert scale. The sample size was determined to be 93 and the survey was sent electronically to 10 institutes. 101 complete responses from 7 institutions were considered from the 122 received. Faculty participation in OSCE was high within evaluators 94% (n=94) and administrators 61% (n=61). Majority of respondents (62%) believed that OSCE is most suited for competency based education, to assess cognitive skills (73%) and diagnostic interpretation (79%). Reliability of OSCE can be increased by standardization of evaluators (77%) with highest number believing that 6-8 stations (42%) are the minimum required in an OSCE. Institution guidelines (49%) coupled with workshops (47%) was the preferred method of preparation for OSCE. Majority felt that OSCE is most suitable for high stakes exams (mean=3.37) and it is an indispensable part of dental assessment (mean=3.78). Minimum number of stations for adequate reliability was reported to be lesser that in reported literature, specially so for high stakes assessments. Logistics required for arranging an OSCE and difficulty in standardized patients, may suggest that OSCE should be used in select situations.

Resumen El examen clínico estructurado (ECOE) utiliza contenido y procedimientos estandarizados para evaluar a los estudiantes en múltiples dominios de aprendizaje. Este estudio tiene como objetivo evaluar los conocimientos, las actitudes, las prácticas y las observaciones de los profesores de odontología sobre la ECOE. La encuesta se distribuyó a los miembros de la facultad de odontología en instituciones gubernamentales y privadas seleccionadas al azar en Arabia Saudita. El cuestionario se utilizó previamente y constaba de 4 categorías que incluían generalidades de los encuestados, conocimiento sobre la utilidad de la ECOE en el plan de estudios y su confiabilidad, actitudes con respecto a la ECOE en una escala Likert de 5 puntos, prácticas y observaciones sobre la ECOE en preguntas de opción múltiple (ambas respuesta y respuesta múltiple) y respuestas en una escala Likert de 5 puntos. Se determinó el tamaño de la muestra en 93 y la encuesta se envió electrónicamente a 10 institutos. Se consideraron 101 respuestas completas de 7 instituciones. La participación del profesorado en ECOE fue alta entre los evaluadores 94% (n=94) y los administradores 61% (n=61). La mayoría de los encuestados (62%) cree que la ECOE es más adecuada para la educación basada en competencias, para evaluar las habilidades cognitivas (73%) y la interpretación del diagnóstico (79%). La confiabilidad de la ECOE puede aumentarse mediante la estandarización de los evaluadores (77%) y el número más alto cree que 6-8 estaciones (42%) son el mínimo requerido en una ECOE. Las directrices de la institución (49%) junto con los talleres (47%) fue el método preferido de preparación para la ECOE. La mayoría consideró que la ECOE es más adecuada para exámenes de alto riesgo (media=3,37) y es una parte indispensable de la evaluación dental (media=3,78).Se informó que el número mínimo de estaciones para una confiabilidad adecuada es menor que en la literatura reportada, especialmente para evaluaciones de alto riesgo. La logística necesaria para organizar un ECOE y la dificultad en los pacientes estandarizados pueden sugerir que el ECOE se debe utilizar en situaciones seleccionadas.

Un nuevo camino en la Atención Farmacéutica: la idoneidad de la Evaluación Clínica Objetiva Estructurada / A new path in Pharmaceutical Care: the fitness of Objective Structured Clinical Evaluation

Introducción: la Evaluación Clínica Objetiva Estructurada (ECOE) es una de las herramientas más novedosas y con mejores resultados en la evaluación de competencias clínicas. Su uso en Farmacia constituye una oportunidad para innovar y mejorar el proceso de enseñanza-aprendizaje. Método: el proceso de implementación se estructuró en dos etapas: 1) Fase de preparación, que incluyó el diseño teórico de la prueba ECOE con tres componentes clave (Comité Organizador, Mapa de Competencias y Tabla de Especificaciones y Selección de Casos y Diseño de Estaciones) y la planificación práctica con el montaje de la prueba; 2) Fase de ejecución y evaluación de resultados. Resultados: el estudio piloto se desarrolló en la Facultad de Farmacia de la Universidad de Granada, España en el curso 2018-2019, y participaron 33 estudiantes de AF de Grado y 14 estudiantes de Máster en AF. Se evaluaron cinco competencias: Clínica, Técnica, Servicios Farmacéuticos Asistenciales, Comunicación y Actividades Educativas, distribuidas en cinco estaciones, tres de paciente simulado estandarizado y dos estaciones escritas. Se identificaron los recursos materiales, humanos y económicos necesarios, se elaboraron los documentos de cada estación y se seleccionaron y entrenaron los participantes. Conclusiones: la prueba ECOE es una herramienta útil e idónea para evaluar las competencias específicas de Atención Farmacéutica. El procedimiento descrito y los elementos clave identificados facilitan la implantación de este tipo de pruebas innovadoras en Farmacia. (AU)

Introduction: Objective Structured Clinical Evaluation (OSCE) is a novel and best-performing tool in the evaluation of clinical competencies. Its use in Pharmacy represents an opportunity to innovate and improve the teaching-learning process. Method: The implementation process was structured in two stages: 1) Preparation phase, which included the theoretical design and practical planning of the OSCE test with three key components (Organizing Committee, Map of Competencies and Table of Specifications and Selection of Cases and Design of Stations) and the practical planning with the assembly of the test; 2) Phase of execution and evaluation of results. Results: The pilot study was carried out at the School of Pharmacy (University of Granada, Spain) in the 2018-2019 academic year, and 33 undergraduate students and 14 Master students participated. Five competencies were evaluated: Clinical, Technical, Pharmaceutical Services, Communication and Educational activities, delivered in five stations, three with simulated standardized patients and two written stations. Material, human and economic resources were identified. The necessary material, human and economic resources were identified, the documents for each station were prepared and the participants were selected and trained. Conclusions: OSCE is a suitable and great tool for evaluating the specific competencies of Pharmaceutical Care. The procedure and key elements identified facilitate the implementation of this type of innovative tests in Pharmacy. (AU)

Portafolio de casos clínicos con aula invertiday aprendizaje basado en equipos en el rendimiento académico en un módulo en línea / Portfolio of clinical cases with flipped classroom and team-based learning on academic performance in an online module

Introducción: Determinar la efectividad del portafolio electrónico basado en casos combinado con el aula invertida y el aprendizaje basado en equipos en el rendimiento académico.Sujetos y métodos.Estudio cuasi experimental pretest-postest de un solo grupo realizado durante 2020 en 15 estudiantes de medicina (seis varones y nueve mujeres) de un módulo en línea de oncología quirúrgica en la Universidad Privada Antenor Orrego, Trujillo, Perú.Resultados.La puntuación promedio del examen teórico al final (13,8 ± 13,12) fue significativamente más alta que la obtenida al inicio del módulo (8,64 ± 2,29) (aumento promedio de 5,17 ± 0,83; intervalo de confianza al 95%, 3,92-6,43; p < 0,001). La puntuación promedio en el examen clínico objetivo estructurado virtual al final del módulo fue 12,34 ± 2,21.Conclusiones.El modelo de portafolio electrónico basado en casos combinado con el aula invertida y el aprendizaje basado en equipos es efectivo en el rendimiento académico en la enseñanza de oncología quirúrgica. (AU)

Introduction: To determine the effectiveness of the electronic case-based portfolio combined with the flipped classroomand team-based learning on academic performance.Subjects and methods. Quasi-experimental pretest-post study of a single group carried out during the year 2020, in 15medical students (6 men, 9 women) of an online module of surgical oncology at the Antenor Orrego Private University,Trujillo, Peru.Results. The average score of the theoretical exam at the end (13.8 ± 13.12) was significantly higher than that obtained atthe beginning of the module (8.64 ± 2.29) (average increase of 5.17 ± 0.83; 95% confidence interval, 3.92 - 6.43;p <0.001). The average score in the virtual OSCE at the end of the module was 12.34 ± 2.21.Conclusions. The case-based electronic portfolio model combined with the flipped classroom and team-based learning iseffective in academic performance in the teaching of surgical oncology. (AU)

Cambios en el examen clínico objetivo y estructurado (ECOE) de las facultades de Medicina durante la COVID-19. Experiencia de una ECOE de casos-clínicos computarizados simulados (ECOE-CCS) conjunta / Changes in the Objective Structured Clinical Examination (OSCE) of University Schools of Medicine during COVID-19. Experience with a computer-based case simulation OSCE (CCS-OSCE)

Antecedentes y objetivos La pandemia de la COVID-19 ha obligado a completar los estudios universitarios online. La Conferencia Nacional de Decanos de Facultades de Medicina coordina una prueba de evaluación de competencias clínicas objetiva y estructurada (ECOE) de 20 estaciones presenciales a los estudiantes de sexto del grado. Como consecuencia de la pandemia se ha diseñado una ECOE sustitutoria con casos-clínicos computarizados simulados (ECOE-CCS). El objetivo del artículo es describir la elaboración, la ejecución y el desarrollo de la prueba. Materiales y métodos Estudio descriptivo de la ECOE-CCS conjunta desde su gestación en abril 2020 hasta su ejecución en junio 2020. Resultados La ECOE-CCS evaluó las competencias de anamnesis, exploración, juicio clínico, aspectos éticos, relaciones interprofesionales, prevención y promoción de la salud. No se evaluaron habilidades técnicas ni de comunicación. La ECOE-CCS consistió en 10 estaciones de 12 minutos de duración, con un número de preguntas de seis a 21 (media: 1,1 minutos/pregunta). En la ECOE-CCS se utilizó la plataforma virtual del campus de cada una de las 16 facultades de Medicina que participaron, con un total de 2.829 estudiantes de sexto curso. Se realizó de una forma conjunta en dos fechas de junio del 2020. Conclusiones La experiencia de la ECOE-CCS permitió llevar a cabo una integración y el trabajo interdisciplinar de las diferentes facultades de Medicina. La ECOE-CCS realizada podría asemejarse al Step 3 CCS de la United States Medical Licensing Examination (AU)

Background and objectives The COVID-19 pandemic has forced universities to move the completion of university studies online. Spain's National Conference of Medical School Deans coordinates an objective, structured clinical competency assessment called the Objective Structured Clinical Examination (OSCE), which consists of 20 face-to-face test sections for students in their sixth year of study. As a result of the pandemic, a computer-based case simulation OSCE (CCS-OSCE) has been designed. The objective of this article is to describe the creation, administration, and development of the test. Materials and methods This work is a descriptive study of the CCS-OSCE from its planning stages in April 2020 to its administration in June 2020. Results The CCS-OSCE evaluated the competences of anamnesis, exploration, clinical judgment, ethical aspects, interprofessional relations, prevention, and health promotion. No technical or communication skills were evaluated. The CCS-OSCE consisted of ten test sections, each of which had a 12-minutes time limit and ranged from six to 21 questions (mean: 1.1 minutes/question). The CCS-OSCE used the virtual campus platform of each of the 16 participating medical schools, which had a total of 2,829 students in their sixth year of study. It was jointly held on two dates in June 2020. Conclusions The CCS-OSCE made it possible to bring together the various medical schools and carry out interdisciplinary work. The CCS-OSCE conducted may be similar to Step 3 of the United States Medical Licensing Examination (AU)

Changes in the Objective Structured Clinical Examination (OSCE) of University Schools of Medicine during COVID-19. Experience with a computer-based case simulation OSCE (CCS-OSCE).

BACKGROUND AND OBJECTIVES: The COVID-19 pandemic has forced universities to move the completion of university studies online. Spain's National Conference of Medical School Deans coordinates an objective, structured clinical competency assessment called the Objective Structured Clinical Examination (OSCE), which consists of 20 face-to-face test sections for students in their sixth year of study. As a result of the pandemic, a computer-based case simulation OSCE (CCS-OSCE) has been designed. The objective of this article is to describe the creation, administration, and development of the test. MATERIALS AND METHODS: This work is a descriptive study of the CCS-OSCE from its planning stages in April 2020 to its administration in June 2020. RESULTS: The CCS-OSCE evaluated the competences of anamnesis, exploration, clinical judgment, ethical aspects, interprofessional relations, prevention, and health promotion. No technical or communication skills were evaluated. The CCS-OSCE consisted of ten test sections, each of which had a 12-min time limit and ranged from six to 21 questions (mean: 1.1 min/question). The CCS-OSCE used the virtual campus platform of each of the 16 participating medical schools, which had a total of 2829 students in their sixth year of study. It was jointly held on two dates in June 2020. CONCLUSIONS: The CCS-OSCE made it possible to bring together the various medical schools and carry out interdisciplinary work. The CCS-OSCE conducted may be similar to Step 3 of the United States Medical Licensing Examination.

Percepción del estudiante de Odontología respecto al examen clínico objetivo estructurado como método de evaluación / Dental students' perception of the structured objective clinical examination as a method of evaluation

Introducción: El examen clínico objetivo estructurado (ECOE) se aplica desde la década de los setenta en la mayoría de las escuelas de medicina del mundo. Este examen consiste en una dinámica en la que los estudiantes rotan por estaciones, dotadas de todo lo necesario para realizar un procedimiento clínico en un tiempo determinado. Objetivo: Analizar la percepción del ECOE como instrumento de evaluación para estudiantes de tercer año de Odontología de la sede de Santiago de la Universidad San Sebastián de Chile en 2018. Sujetos y métodos: Se realizó una investigación exploratoria aplicando una encuesta que mide la percepción frente a la experiencia del ECOE por los estudiantes de tercer año de la carrera de Odontología. Resultados: Los resultados indicaron que los estudiantes percibieron que el ECOE estuvo bien implementado, la mayoría pensó que mide sus habilidades y conocimientos adquiridos en años anteriores, y consideran que lo evaluado es importante para los años posteriores de su carrera. Conclusión: Los estudiantes tienen una percepción adecuada del ECOE como instrumento evaluativo; se pudo obtener información para realizar mejoras en futuras implementaciones.(AU)

Introduction: The objective structured clinical examination (OSCE) has been used since the 1970s in most medical schools worldwide. It consists of students being tested at different workstations, where they must perform a clinical procedure. Each station is equipped with everything necessary to perform a clinical procedure within a certain time. Aim: The perception of the OSCE was analyzed as an evaluation instrument for third-year students of Dentistry at the San Sebastian University, Santiago, Chile in 2018. Subjects and methods: An exploratory research was carried out applying a survey that measures the perception of the experience of the OSCE by third-year students of the Dentistry career. Results: The results indicated that the students perceived was well implemented. The majority thought that the OSCE measured their skills and knowledge acquired in previous years and that what was asked was important for the later years of their careers. It was observed that they considered the fairest evaluation of the OSCE, the most difficult -the preclinical enabling tests. It was also reported that they preferred to be evaluated more frequently with the OSCE. Conclusion: The students have an adequate perception of the ECOE as an evaluation instrument and that information could be obtained to make improvements in future implementations.(AU)

Diseño de intervención y estaciones ECOE sobre alimentación del menor de dos años / Design of intervention and oser stations on feeding children under two years of age

OBJETIVO: Probar una metodología de enseñanza-aprendizaje, instrumentos de medición y sistema de implementación de la ECOE en relación con lactancia materna, alimentación complementaria, crecimiento y consejería. MATERIAL Y MÉTODOS: Se estudió la adquisición de competencias sobre alimentación en menores de dos años en internos de pediatría aplicando la evaluación clínica objetiva estructurada (ECOE) antes y después del desarrollo de un proceso de enseñanza aprendizaje (PEA) estructurado. Se organizaron cuatro estaciones de evaluación de los aspectos centrales de alimentación y crecimiento, en un grupo de internos seleccionados al azar. RESULTADOS: Las cuatro estaciones de la ECOE se aplicaron sin dificultades antes y después del PEA. Los resultados mostraron una mejora en el rendimiento de los internos, de manera individual y de grupo; en este último las diferencias en la media fueron para alimentación complementaria pre 2,5 (DE 0,93) y post 5 (DE 2,39); consejería pre 5,75 (DE 1,49) y post 8,13 (DE 1,25); lactancia materna pre 12,63 (DE 2,5) y post 16,38 (DE 2) y velocidad de crecimiento pre 3,13 (DE 1,36) y post 3,38 (DE 0,92). Los resultados fueron estadísticamente significativos para los tres primeros rubros. CONCLUSIONES: En base a estos resultados se sugieren mejoras en el programa de enseñanza y se verifica la aplicabilidad de la ECOE en el internado del Hospital del Niño Dr. Ovidio Aliaga Uría.

OBJECTIVE: To test a teaching-learning methodology, measurement tools and OSCE implementation system in relation to breastfeeding, complementary feeding, growth and counseling. METHODOLOGY: The acquisition of competences was studied by applying objective structured clinical examination (OSCE) before and after the development of a structured teaching-learning process. Four assessment stations were organized considering central aspects on feeding and growth of children under two years of age, in a group of randomly selected students during medical internship. RESULTS: The four OSCE stations were applied without difficulties before and after the learning and teaching process. The results showed an improvement in the performance of interns, individually and in groups; in the latter, mean differences were: for complementary feeding pre 2.5 (SD 0.93) and post 5 (SD 2.39); counseling pre 5.75 (SD 1.49) and post 8.13 (SD 1.25); breastfeeding pre 12.63 (SD 2.5) and post 16.38 (SD 2) and growth velocity pre 3.13 (SD 1.36) and post 3.38 (SD 0.92). The results were statistically significant for the first three items. CONCLUSIONS: Based on these results, the authors suggest improvements in the teaching program, and verify the applicability of the OSCE for the evaluation of rotatory internship at the Hospital del Nino Dr. Ovidio Aliaga Uria.

El Examen Clínico Objetivo Estructurado (ECOE) en la evaluación de competencias de comunicación y profesionalismo en los programas de especialización en Medicina / The objective structured clinical examination (OSCE) in the evaluation of communication and professionalism competences in the medicine training subspecialties programs

Los programas de especialización médica consideran a la comunicación y profesionalismo como competencias que debe tener un médico especialista. El objetivo de esta revisión fue evaluar la utilización de la simulación clínica como instrumento de entrenamiento y evaluación de las competencias profesionalismo y comunicación en los programas de especialización médica. La Evaluación Clínica Objetiva y Estructurada (ECOE) evalúa el aprendizaje y es recomendada por sistemas de acreditación internacional como el Royal College of Physicians of Canada que elaboró los estándares Canadian Medical Education Directives for Specialist (CanMEDS) y el Comité de acreditación de los programas de postgrado de los Estados Unidos de América, Accreditation Council for Graduate Medical Education (ACGME). Para la evaluación de competencias de comunicación y profesionalismo, el ECOE aplica escenarios de simulación clínica validados que permiten una evaluación formativa y sumativa en los programas de especialización. El ECOE puede ser implementado como instrumento de evaluación de competencias en los programas de especialización de Perú. (AU)

Communication and professionalism are two competences that training subspecialties programs in medicine do consider essential among trainees. This review has the objective to evaluate the use of clinical simulation as an instrument to train residents of medicine subspecialties in getting competences in communication and professionalism. The OSCE is recommended by international accredited systems such as the Royal College of Physicians of Canada and the Accreditation Council for Graduate Medical Education of the USA. To asses competences in communication and professionalism, the OSCE uses validated scenarios of clinical simulation allowing formative and summative evaluations. OSCE can be implemented as a tool to asses competences in medicine subspecialties training programs. (AU)

Actividades prácticas en anatomía: factor nivelador de los contrastes de origen entre los alumnos de medicina / Practical activities in anatomy: leveling factor for the origin related contrasts among medical students

Las mediciones de los logros educacionales y las pruebas de selección de ingreso a la educación superior están fuertemente correlacionadas con los antecedentes socioeconómicos y el tipo de establecimiento educacional del postulante, situación que representaría un factor predictor del rendimiento para los alumnos de primer año universitario. Considerando que los puntajes de ingreso para la carrera de medicina presentan una diferencia significativa entre los primeros y últimos seleccionados, nos preguntamos si existe algún factor nivelador que reduzca esa brecha de origen. Se analiza el rendimiento en las evaluaciones prácticas y pruebas teóricas, al comienzo y al final del año académico 2009 comparando los primeros y últimos seleccionados de acuerdo al puntaje de ingreso PSU a la carrera de medicina de la Pontificia Universidad Católica de Chile. Se observan diferencias significativas en el rendimiento de la primera evaluación Teórica de Anatomía y en la Nota Final obtenida en el curso, en cambio, no se encuentran diferencias significativas tanto en la primera Evaluación Práctica cómo en el examen final práctico del curso. Nuestros resultados sugieren que la única evaluación niveladora, que logra superar las diferencias de origen de los examinados, la constituyen nuestras pruebas prácticas; evaluaciones en las cuales el rendimiento de los primeros y de los últimos seleccionados de medicina es más homogéneo. Este tipo de evaluaciones prácticas, realizadas sobre preparaciones cadavéricas, demandan fundamentalmente experiencias vividas en nuestras actividades prácticas, colocándose por sobre la mayor o menor habilidad o experiencia que posea el estudiante relacionada con su establecimiento educacional de origen.

Level of educational achievement and screening tests for admission to higher education are strongly correlated with socioeconomic background and the type of school of the applicant, these situations would be a performance predictor for college freshmen students. Whereas the scores to be accepted into the medical career have a significant difference between the first and last selected, we wonder if there is a leveling factor that reduces the gap of origin. We analyze the performance in practical assessments and theory tests at the beginning and end of the academic year 2009 comparing the first and last selected according to the PSU score admission to medical studies at the Pontificia Universidad Catolica de Chile. Significant differences were observed in the performance of the first assessment of the theory of Anatomy and the final score obtained in the course, however, no significant differences in both the first practical test and practical final exam of the course. Our results suggest that the only evaluation level, which overcomes the differences of origin of the examined, are our practical tests; assessments in which the performance of the first and the last selected medical student is more homogenous. This type of practical assessments, performed on cadavers, primarily demanded experiences in our practical segment, standing by on the degree of skill or experience held by the students related to their educational institution of origin.

Objective Structured Clinical Examination as an Assessment Tool for Clinical Skills in Dermatology.

BACKGROUND: Objective Structured Clinical Evaluation (OSCE) is an excellent method to evaluate student's abilities, but there are no previous reports implementing it in dermatology. OBJECTIVES: To determine the feasibility of implementation of a dermatology OSCE in the medical school. METHODS: Five stations with standardized patients and image-based assessment were designed. A specific checklist was elaborated in each station with different items which evaluated one competency and were classified into five groups (medical history, physical examination, technical skills, case management and prevention). RESULTS: A total of 28 students were tested. Twenty-five of them (83.3%) passed the exam globally. Concerning each group of items tested: medical interrogation had a mean score of 71.0; physical examination had a mean score of 63.0; management had a mean score of 58.0; and prevention had a mean score of 58.0 points. The highest results were obtained in interpersonal skills items with 91.8 points. LIMITATIONS: Testing a small sample of voluntary students may hinder generalization of our study. CONCLUSIONS: OSCE is an useful tool for assessing clinical skills in dermatology and it is possible to carry it out. Our experience enhances that medical school curriculum needs to establish OSCE as an assessment tool in dermatology.

Aplicación del Examen Clínico Objetivo Estructurado en la residencia de Pediatría de la Ciudad de Buenos Aires / The Use of the Objective Structured Clinical Examination for Paediatric residents in the City of Buenos Aires

Introducción: A pesar de considerarse el estándar de oro para la evaluación de competencias en posgrado, el Examen Clínico Objetivo Estructurado (ECOE) es escasamente aplicado en América Latina. El Gobierno de la Ciudad de Buenos Aires (GCBA) posee un sistema de residencia de Pediatría con cerca de 400 residentes, distribuidos en 13 hospitales, que comparten examen de ingreso y programa de formación. Nuestro objetivo es describir la experiencia de aplicación del ECOE a todos los residentes de Pediatría del GCBA, y comparar el desempeño según el tipo de hospital. Sujetos y método: Estudio descriptivo, incluyendo a todos los residentes de Pediatría del GCBA que finalizaban primer año, pertenecientes a 13 hospitales (2 pediátricos y 11 generales). El ECOE incluyó 10 estaciones. Resultados: Participaron 85 residentes; el 88,2% (IC 95% 79,7-93,5) aprobó la evaluación. No se encontraron diferencias significativas en la proporción de residentes que aprobó la evaluación entre los que provenían de hospitales pediátricos y los de hospitales generales (89,5 vs. 85,7%; OR = 1,4; IC 95% 0,4-5,5; p = 0,8). Conclusiones: En 2015 por primera vez se desarrolló un ECOE como evaluación unificada para todos los residentes de Pediatría del GCBA. La experiencia permitió identificar debilidades de cada evaluado y del sistema, estableciendo estrategias para superarlas.

Introduction: The Objective Structured Clinical Examination (OSCE) is considered the reference standard for competence evaluation, but its use in Latin America is limited. The City of Buenos Aires Government (CBAG) administers a Paediatric residency system that includes 400 residents distributed in 13 hospitals, sharing an admission system and education program. We aim to describe the experience of administering an OSCE for evaluating all the Paediatric residents of the CBAG. Subjects and method: Descriptive study, including all paediatric residents of the CBAG, belonging to 13 hospitals (2 paediatric and 11 general), ending their first year of training. The OSCE included 10 stations. Results: Eighty-five residents participated in the OSCE, and 88.2% (95% CI 79.7-93.5) passed the examination. There were no significant differences in the pass rate between residents from paediatric hospitals and from general hospitals (89.5 vs. 85.7%; OR = 1.4; 95% CI 0.4-5.5; P = .8). Conclusions: In 2015, the OSCE was administered to all paediatric residents of the CBAG for the first time. This experience allowed identifying weaknesses in the education system, in order to develop strategies to overcome them.

[The Use of the Objective Structured Clinical Examination for Paediatric residents in the City of Buenos Aires]. / Aplicación del Examen Clínico Objetivo Estructurado en la residencia de Pediatría de la Ciudad de Buenos Aires.

INTRODUCTION: The Objective Structured Clinical Examination (OSCE) is considered the reference standard for competence evaluation, but its use in Latin America is limited. The City of Buenos Aires Government (CBAG) administers a Paediatric residency system that includes 400 residents distributed in 13 hospitals, sharing an admission system and education program. We aim to describe the experience of administering an OSCE for evaluating all the Paediatric residents of the CBAG. SUBJECTS AND METHOD: Descriptive study, including all paediatric residents of the CBAG, belonging to 13 hospitals (2 paediatric and 11 general), ending their first year of training. The OSCE included 10 stations. RESULTS: Eighty-five residents participated in the OSCE, and 88.2% (95% CI 79.7-93.5) passed the examination. There were no significant differences in the pass rate between residents from paediatric hospitals and from general hospitals (89.5 vs. 85.7%; OR=1.4; 95% CI 0.4-5.5; P=.8). CONCLUSIONS: In 2015, the OSCE was administered to all paediatric residents of the CBAG for the first time. This experience allowed identifying weaknesses in the education system, in order to develop strategies to overcome them.

Relación entre expectativas profesionales y adquisición de competencias en pediatría / Relation between professional expectations and skills acquisition Paediatric

La tendencia a la globalización en diferentes aspectos de la economía y de la sociedad, entre ellos los laborales y educativos, hace necesario que se vinculen más estrechamente las necesidades del mercado de trabajocon la enseñanza. La metodología del examen clínico objetivo estructurado (ECOE) cumple con los requisitos de una evaluación de competencias y además responde a las exigencias actuales de la educación médica superior. El presente trabajo tuvo como propósito valorar mediante el ECOE la adquisición de competencias en el área pediátrica del internado rotatorio de la Carrera de Medicina de la UNNE relacionándolas con las expectativas laborales futuras de los estudiantes. Si bien la mayoría de los cursantes obtuvieron buen nivel de aprobación en las instancias de evaluación tanto dinámicas como estáticas, se observaron puntajes más altos en quienes tenían inclinación a formarse como médicos pediatras, generalistas o de familia. En este grupo los porcentajes de reprobación fueron bajos, concluyendo que el proyecto laboral post-egreso influye positivamente en el interés por aprender, que queda reflejado en la adquisición de las competencias propias del área...

The trend towards globalization in different aspects of the economy and society, including employment andeducation, makes necessary to improve the relationship between work needings and teaching. The methodology of objective structured clinical examination (OSCE) meets the requirements of skills evaluation and also responds to the current demands of higher medical education. The purpose of this work was assessed by the OSCE skills acquisition in the pediatric area of the rotating internship in UNNE medical carreer, relating them with job prospects of students. Most students obtained good level of approval in both dynamic and static assessment, but higher scores were observed in those who expect to work as pediatricians, general or family phisicians. In this group there were lowfail rates, concluding that the post- graduation work project positively influences the interest in learning, which is reflected in the acquisition of the skills of the area.

Exame clínico objetivo estruturado (ECOE): uma experiência de ensino por meio de simulação do atendimento farmacêutico / Objective structured clinical examinations (OSCE): a teaching experience using simulation of pharmaceutical care / Examen clínico, objetivo estructurado (ECOE): una experiencia de enseñanza por medio simulación de la atención del farmacéutica

A simulação de atendimento farmacêutico tem por finalidade avaliar as competências clínicas dos acadêmicos. Constitui uma ferramenta pedagógica que possui três etapas: a) preparação do cenário e dos casos; b) simulação; e c) avaliação. Os casos simulados consistem de informações essenciais que são fornecidas espontaneamente ao acadêmico no início da simulação e outras complementares, que somente tornar-se-ão conhecidas se forem investigadas. Toda a simulação de atendimento é filmada, o que permite a análise da comunicação. O processo de avaliação é iniciado com a leitura do caso, a análise do vídeo e a aplicação do instrumento desenvolvido. O ECOE possibilita ao acadêmico uma oportunidade de melhorar as suas habilidades e atitudes na prestação do atendimento farmacêutico, além de aprofundar os conhecimentos a respeito das situações simuladas.

Simulation of pharmaceutical care aims to assess students' clinical skills. It comprises an educational tool that has three steps: (a) setting the stage and preparing the cases; (b) simulation; and (c) evaluation. The simulated cases consist of information that is provided spontaneously to students at the beginning of the simulation and other, complementary information that only becomes known if it is investigated. All of the simulated attendance is filmed, which enables analysis of the communication. The evaluation process starts with reading the case, analysis of the video and application of the tool that has been developed. This examination provides students with an opportunity to improve their skills and attitudes in relation to provision of pharmaceutical care, in addition to deepening their knowledge about the situations that were simulated.

La simulación de atención farmacéutica tiene por finalidad la de evaluar las capacidades clínicas de los académicos. Constituye en una herramienta pedagógica que posee tres etapas: a) preparación del lugar y de los casos, b) simulación; y c) evaluación. los casos simulados constan de informaciones esenciales proporcionadas espontáneamente al académico en el inicio de la simulación y otras complementarias que sólo se conocerán si son investigadas. Se filma toda la simulación de atención, lo que permite el análisis de la comunicación. El proceso de evaluación se inicia con la lectura del caso, el análisis del vídeo y la aplicación del instrumento desarrollado. El ECOE posibilita al académico una oportunidad de mejorar sus habilidades y actitudes en la prestación de la atención del farmacéutica, además de profundizar los conocimientos respecto a las situaciones simuladas.

Diseño para la Evaluación Clínica estructurada por objetivos en la asignatura Clínica I / A design for structured clinical assessment by aims in subject of Clinic I

La evaluación de las competencias clínicas en el Nuevo Programa de Formación de Médicos (NPFM) ha constituido un dilema desde los inicios de este programa. La Evaluación Clínica Estructurada por Objetivos (ECOE) viene a dar solución a esta problemática en este nuevo contexto educacional. Teniendo en cuenta todas las ventajas de este método se aplicó en el Policlínico Facultad José Maceo Grajales como examen práctico ordinario de la asignatura Clínica I. Para el diseño de esta evaluación se tuvieron en cuenta distintas fases (Planificación, el día previo al examen, el día del examen y el día después del examen). Se explica cómo se llevo a cabo cada fase de las anteriores.

The assessment of clinical competences in the New Program of Physician Training Program (NPPT) is dilemma from its onset. The Structural Clinical Assessment by OBJECTIVE (SCAA) solves this problem in this new educational context. Considering all advantages of this method, it was applied in José Maceo Grajales Faculty Polyclinic like a usual practical examination of Clinic I as subject. For design of this assessment we took into account different phases (planning, prior day, the present day, and the day after examination). We explain how each phase of the previous ones was carried out.

Diseño para la Evaluación Clínica estructurada por objetivos en la asignatura Clínica I / A design for structured clinical assessment by aims in subject of Clinic I

La evaluación de las competencias clínicas en el Nuevo Programa de Formación de Médicos (NPFM) ha constituido un dilema desde los inicios de este programa. La Evaluación Clínica Estructurada por Objetivos (ECOE) viene a dar solución a esta problemática en este nuevo contexto educacional. Teniendo en cuenta todas las ventajas de este método se aplicó en el Policlínico Facultad José Maceo Grajales como examen práctico ordinario de la asignatura Clínica I. Para el diseño de esta evaluación se tuvieron en cuenta distintas fases (Planificación, el día previo al examen, el día del examen y el día después del examen). Se explica cómo se llevo a cabo cada fase de las anteriores(AU)

The assessment of clinical competences in the New Program of Physician Training Program (NPPT) is dilemma from its onset. The Structural Clinical Assessment by OBJECTIVE (SCAA) solves this problem in this new educational context. Considering all advantages of this method, it was applied in José Maceo Grajales Faculty Polyclinic like a usual practical examination of Clinic I as subject. For design of this assessment we took into account different phases (planning, prior day, the present day, and the day after examination). We explain how each phase of the previous ones was carried out(AU)