Como estamos avaliando competências? Projeto de intervenção nos instrumentos avaliativos de um programa de residência medicina intensiva / How are we assessing competencies? Experience report of an intervention project in the evaluation instruments of an intensive care medicine residency program

RESUMO

RESUMO Introdução: O ensino baseado em competências no âmbito das residências médicas tornou evidente o descompasso dos processos de avaliação tradicionais com os objetivos educacionais dos projetos pedagógicos alinhados às matrizes de competências de cada especialidade. A matriz de competência para o Programa de Residência em Medicina Intensiva (acesso direto em três anos) foi aprovada em 2021. O objetivo deste artigo é descrever o relato de experiência de um projeto de intervenção nos instrumentos de avaliação de desempenho dos residentes no Programa em Residência em Medicina Intensiva de um hospital público universitário em São Luís, no Maranhão. Relato de experiência Após a organização do grupo de estudo e de trabalho para a intervenção, houve a escolha do objeto "ferramentas de avaliação de competências" e a seleção do Programa de Residência de Medicina Intensiva. Inicialmente, foi aplicado um questionário a todos os médicos preceptores e residentes, com atuação no cenário da unidade de terapia intensiva (UTI), com o objetivo de aferir as percepções deles acerca do instrumento avaliativo vigente, seguindo a pergunta norteadora "A avaliação atual atende à concepção do programa traduzido pela matriz de competência da Comissão Nacional de Residência Médica?". Discussão Embora a maioria dos preceptores e residentes tenha considerado que os métodos de avaliação atendiam à concepção do programa, havia pontos frágeis em relação ao feedback e à avaliação de desempenho dos residentes. Como intervenção, propusemos adaptação da ferramenta existente, adequando-a aos desempenhos previstos na matriz de competências da especialidade com formalização do feedback e introdução de avaliação de desempenho em cenário real utilizando o Miniexercício Clínico Avaliativo (Mini-Cex). Conclusão: Os limites entre a avaliação e a aprendizagem são tênues. Com base em indicadores sobre a percepção de preceptores e residentes de fragilidades na avaliação utilizada de longa data, foi proposta uma intervenção de modificação dos instrumentos avaliativos com o intuito de adequar/melhorar a avaliação de competências.

ABSTRACT

ABSTRACT Introduction: Competency-based teaching in medical residencies has evidenced the mismatch between traditional assessment processes and the educational objectives of pedagogical projects aligned with the competency matrices of each specialty. The competency matrix for the Intensive Care Medicine Residency Program (3-year direct admission) was approved in 2021. The objective of this article is to describe an experience report of an intervention project in the performance assessment instruments of residents attending the Intensive Care Medicine Residency Program at a university hospital in São Luís-Maranhão. Experience Report After organizing the study and working group for the intervention, the object "skills assessment tools" was chosen and the Intensive Care Medicine Residency Program was selected. Initially, a questionnaire was applied to all preceptors and residents working in the intensive care unit (ICU) setting with the aim of evaluating their perceptions regarding the current assessment tool, following the guiding question does the current assessment meet the conception of the program translated by the competency matrix of the National Medical Residency Commission? Discussion: Although the majority of the preceptors and residents considered that the evaluation methods met the Program design, there were weaknesses in relation to feedback and evaluation of the residents' performance. As an intervention, we proposed adapting the existing tool, making it adequate to the performance predicted in the specialty competency matrix with formalization of feedback and introduction of performance assessment in a real scenario using the Mini Clinical Assessment Exercise (Mini-CEX). Conclusion: The boundaries between assessment and learning are blurred. Based on indicators on the perception of preceptors and residents of weaknesses in the assessment used for a long time, an intervention was proposed to modify the assessment instruments with the aim of adapting/improving the assessment of skills.