Validação de escala de avaliação de profissionalismo traduzida e adaptada em cenário de simulação / Validation of a translated and adapted professionalism assessment scale in a virtual simulation scenario

Resumo: Introdução: O Professionalism Mini-Evaluation Exercise (P-MEX) é instrumento que avalia 21 habilidades de profissionalismo, distribuídas em quatro domínios. Objetivo: Este estudo teve como objetivos traduzir, adaptar e validar um instrumento de avaliação de profissionalismo médico. Método: Após a autorização do autor do P-MEX, realizaram-se a tradução do instrumento para a língua portuguesa, a análise de equivalência linguística e validade de conteúdo por especialistas em educação, e o exame de validade operacional em OSCE virtual entre estudantes do internato médico. Resultado: Houve elevada equivalência dos itens da versão em português do Brasil por especialistas em educação. O índice de validade de conteúdo da escala foi de 0,96. Seis professores validaram o P-MEX em ambiente de simulação para 27 estudantes do internato médico. Conclusão: A versão brasileira do P-MEX demonstrou ser adequada para avaliar o profissionalismo médico no contexto brasileiro, com boa validade operacional em cenário de simulação virtual.

Abstract: Introduction: "Professionalism Mini-Evaluation Exercise" (P-MEX) is an instrument that assesses 21 professionalism skills, distributed in four domains. Objective: To translate, adapt and analyze the validity of the medical professionalism evaluation exercise. Methods: After authorization from the author, the following tasks were performed: translation into Portuguese; linguistic equivalence and content validity analysis by education experts; operational validity analysis in virtual OSCE among medical clerkship students. Results: There was high equivalence of the items in the Brazilian Portuguese version by education specialists. The Scale Content Validity Index was 0.96. Six teachers validated the P-MEX in a simulation environment to 27 medical clerkship students. Conclusion: The Brazilian version of the P-MEX proved to be adequate to assess medical professionalism in the Brazilian context, and showed good operational validity in a virtual simulation scenario.

Enseñanza y evaluación en pediatría mediante la simulación: descripción de dos escenarios simulados / Teaching and evaluation in pediatrics using simulation: description of two simulated scenarios / Ensino e avaliação em pediatria utilizando simulação: descrição de dois cenários simulados

La educación basada en la simulación en áreas de la salud ha sido ampliamente utilizada en los últimos años, al punto de constituir \r\nuna forma de enseñanza y evaluación a la vanguardia de la tecnología, ya que permite el perfeccionamiento de habilidades, el \r\ndesarrollo de competencias y la evaluación objetiva. De esa manera, esta se ha convertido en una estrategia de innovación educa\r\n-\r\ntiva que permite afrontar algunos de los nuevos retos en la educación médica. Dentro de las estrategias de simulación se destacan \r\nla devolución constructiva inmediata y el examen clínico objetivo estructurado. En el presente trabajo se describen dos escenarios \r\nsimulados pediátricos diseñados por los autores: uno aborda el manejo inmediato del recién nacido y otro el reconocimiento de \r\nsignos de enfermedad respiratoria aguda en niños de dos meses a cinco años de edad, escenarios que pueden ser utilizados para \r\nla enseñanza y la evaluación tanto en programas de pregrado como de posgrado.

Teaching based on simulation in health areas has been widely \r\nused in the last years, constituting a form of teaching method \r\nand evaluation at the forefront of technology, which allows \r\nthe improvement of skills, acquisition of competences, and an \r\nobjective evaluation. In this way, it has converted to an educa\r\n-\r\ntional innovate strategy that allows to face some of the new \r\nchallenges of medical teaching. Among the strategies of simu\r\n-\r\nlation, the immediate constructive feedback and the objective \r\nstructured clinical examination was highlighted. In the present \r\nstudy two simulated pediatric scenarios developed by the \r\nauthors of this document are described: one of them is about \r\nthe immediate care of a newborn and the other about recog\r\n-\r\nnizing signs of acute respiratory pathology in children from two \r\nmonths to five years old; both of these scenarios can be used to \r\nteach and evaluate at a undergraduate and postgraduate level.

A educação baseada na simulação, em áreas da saúde, tem \r\nsido amplamente utilizada nos últimos anos, constituindo-se \r\nem uma forma de ensino e avaliação da vanguarda da tecno\r\n-\r\nlogia, uma vez que permite o aperfeiçoamento de habilidade, \r\naquisição de competências e avaliação objetiva. Deste modo, \r\nela se converteu em uma estratégia de inovação educativa, \r\nque permitiu enfrentar alguns dos novos desafios na educação \r\nmédica. Dentro das estratégias de simulação se destacam \r\no retorno construtivo imediato e o exame clínico objetivo \r\nestruturado. No presente trabalho são descritos os cenários \r\npediátricos simulados, elaborados pelos autores do presente \r\ndocumento: um deles é sobre o manuseio imediato do recém-\r\nnascido e outro sobre o reconhecimento de sinais de doença \r\nrespiratória aguda em crianças de dois meses a cinco anos \r\nde idade, cenários que podem ser utilizados para o ensino e \r\navaliação tanto em programas de graduação quanto de pós-\r\ngraduação.

Falso o verdadero: es esa la pregunta? / True or false: is that the question? / Falso ou verdadeiro, é essa a pergunta?

Objetivos: en los exámenes para estudiantes de medicina se emplean preguntas objetivas de la modalidad Falso o Verdadero (F/V), que solo tienen dos opciones de respuesta con alta probabilidad de ser contestadas correctamente por azar. El propósito de este trabajo fue demostrar que solicitar la argumentación de las respuestas disminuye el número de las correctas mejorando la capacidad de las preguntas para verificar los aprendizajes. Métodos: se revisaron 8.188 preguntas de F/V que requirieron sustentación de la respuesta, aplicadas en 28 evaluaciones de Patología de la carrera de Medicina de la Universidad de la Sabana durante cuatro semestres. Las respuestas se clasificaron en correctas e incorrectas y las sustentaciones, en correctas, parcialmente correctas o incorrectas. Se calculó el coeficiente de concordancia kappa entre las preguntas F/V y las preguntas F/V con sustentación, así como por período y por evaluación. Resultados: de un total de 8.188 preguntas, 6.112 (74,6%) fueron contestadas correctamente, 3.655 (44,6%) tuvieron sustentación correcta y 2.336 (28,5%) no fueron bien sustentadas, con un índice de concordancia global de 0,378 e índices bajos de concordancia por período. Conclusión: las preguntas de F/V pueden acompañarse de una sustentación que argumente la respuesta con el objetivo de reducir la probabilidad de responder simplemente por azar, desarrollar procesos cognitivos superiores y competencias comunicativas.

Objectives: Standard tests designed for medical students frequently include objective True/ False (T/F) questions, in which there are only two possible answers that can be successfully reached at random. The purpose of this work was to demonstrate that asking for support of the answers diminishes the number of randomly correct ones, so improving the ability of questions to verify learnings. Methods: 8.188 T/F questions whose answers had to be supported; they were applied in 28 written tests of Pathology, at the undergraduate medical program (La Sabana University, Chía, Colombia). Answers were classified as correct or incorrect, and their support, as correct, partially correct and incorrect. In order to analyze the data, the kappa agreement coefficient between T/F questions and T/F questions with support was calculated, as well as per term and per test. Results: Out of 8.188 T/F questions, 6.112 (74.6%) were correctly answered as true or false, 3.655 (44.6%) had a correct support, and 2.336 (28.5%) were not correctly supported, exhibiting a global agreement index of 0.378 and low agreement indexes per term. Conclusion: T/F questions could be accompanied by support of the answers in order to reduce the probability of randomly correct ones, to enhance the development of superior cognitive processes, and communicative essential competences.

Objetivos: nos exames para estudantes de medicina se empregam perguntas objetivas da modalidade Falso ou Verdadeiro (F/V), que só têm duas opções de resposta com alta probabilidade de ser contestadas corretamente por casualidade. O propósito deste trabalho foi demonstrar que solicitar a argumentação das respostas diminui o número das corretas melhorando a capacidade das perguntas para verificar as aprendizagens. Métodos: revisaram-se 8.188 perguntas de F/V que requereram sustentação da resposta, aplicadas em 28 avaliações de Patologia da carreira de Medicina da Universidade da Sabana durante quatro semestres. As respostas se classificaram em corretas e incorretas e as sustentações, em corretas, parcialmente corretas ou incorretas. Calculou-se o coeficiente de concordância kappa entre as perguntas F/V e as perguntas F/V com sustentação, bem como por período e por avaliação. Resultados: de um total de 8.188 perguntas, 6.112 (74,6%) foram respondidas corretamente, 3.655 (44,6%) tiveram sustentação correta e 2.336 (28,5%) não foram bem sustentadas, com um índice de concordância global de 0,378 e índices baixos de concordância por período. Conclusão: as perguntas de F/V podem acompanhar-se de uma sustentação que argumente a resposta com o objetivo de reduzir a probabilidade de responder simplesmente por casualidade, desenvolver processos cognitivos superiores e concorrências comunicativas.

Impacto de las facultades de medicina y de los estudiantes sobre los resultados en la prueba nacional de calidad de la educación superior (SABER PRO) / Impact of medical schools and students on the results of the national test on the quality of higher education (SABER PRO)

Introducción: Los resultados de las pruebas SABER PRO de medicina tienen un alto impacto en la comunidad académica a nivel de estudiante y de universidad, y son empleados como indicadores de fortalezas y debilidades de los procesos de formación. La amplia variabilidad de los resultados entre universidades y entre estudiantes dentro de las universidades hace necesario estudiar qué posibles variables están asociadas con el desempeño en estas pruebas. Objetivo: Analizarla relación entre las variables a nivel de las universidades y las variables a nivel de estudiante de medicina con el desempeño en las pruebas SABER PRO de estudiantes de medicina. Materiales y métodos: Se empleó la información de 4498 estudiantes de medicina evaluados en las pruebas SABER PRO 2009 y de las 40 facultades de medicina a las que pertenecían; mediante el uso de modelos jerárquicos de dos niveles se evaluó la asociación de las características de estudiantes y universidades con el puntaje obtenido en la prueba. Resultados: El puntaje promedio por universidades de la prueba SABER PRO 2009 para estudiantes de medicina fue 100,4, con un rango entre 84,3 y 110,8 puntos. La variabilidad de los puntajes en la prueba fue explicada en un 29% por las diferencias entre universidades. Conclusiones: Las universidades oficiales y las facultades de medicina que cuentan con hospitales universitarios propios tienen en promedio mejores desempeños. Sin embargo, la oferta de programas de especialización médica se asocia con menores puntajes.

Introduction: The results of the SABER PRO medical test have considerable impact on theaca-demic community. They are used as indicators of strengths and weaknesses of the education processes for both the student and the university. The wide variability of the results among different universities and students within the same university requires an analysis of the potential variables associated with the performance in these tests. Objective: To analyze the relationship of the inter-university variables and the inter-medical students variables against the performance on the SABER PRO tests. Materials and Methods: The information used was from 4498 medical students evaluated through the SABER PRO 2009 tests and of 40 schools of medicine the students belonged to. The association between the characteristics of the students and universities and the test scores obtained were evaluated using two-level hierarchical models. Results: The average score in the SABER PRO test per university for medical students was 100.4, with a range between 84.3 and 110.8 points. The variability of the test scores was accounted for in 29% of the cases by the inter-university differences. Conclusions: The public universities and the schools of medicine that have their own teaching hospital have better performance in average. However, the offer of medical specialization programs is associated with lower scores.