Avaliação em uma residência de radiologia: elaboração de um novo instrumento e experiência inicial / Assessment in a radiology residency: development of a new method and initial experience

RESUMO

Resumo Introdução: A educação médica baseada em competências tem despertado interesse nas últimas décadas. A avaliação do educando constitui um de seus pilares centrais, devendo ser contínua, fundamentada em critérios claros e eminentemente formativa, sempre provendo feedback. A sistematização dos métodos de avaliação envolve variáveis como confiabilidade, validade, aceitabilidade, impacto educacional e custo. Na radiologia, a literatura carece de instrumentos específicos de avaliação, especialmente em programas de residência médica no Brasil. Objetivo: Este estudo teve como objetivos elaborar e implementar um instrumento avaliativo com caráter formativo para o Programa de Residência Médica em Radiologia e Diagnóstico por Imagem (PRM-RDI) do Hospital Universitário Onofre Lopes da Universidade Federal do Rio Grande do Norte (Huol-UFRN), que englobe competências específicas e crie oportunidades para feedback nos cenários de prática. Método: Trata-se de um estudo de abordagem descritiva, exploratória e de intervenção, com três etapas. As duas primeiras consistiram em oficinas com médicos residentes e preceptores uma para conceituação e compreensão da avaliação por competências e de técnicas de feedback, e outra para construção coletiva de um instrumento avaliativo adequado à radiologia, definindo as competências mais importantes a serem avaliadas. Na terceira etapa, os pesquisadores acompanharam a aplicação inicial do instrumento pelos preceptores. Resultado: As duas oficinas tiveram participação de três pesquisadores, 16 preceptores e cinco residentes. O instrumento de avaliação resultante contém inicialmente um cabeçalho para preenchimento de dados do residente e do avaliador, do local e exame realizado. Há ainda sete competências que devem ser avaliadas em relação ao esperado para o nível do residente e uma escala para conceito geral da avaliação, seguida de campos para comentários do preceptor e do residente. O instrumento foi aplicado 33 vezes nos cenários de prática, num período de seis meses. Conclusão: A realização de oficinas de capacitação para os preceptores, com a introdução de uma nova cultura de avaliação, foi fundamental para a construção e experiência inicial na aplicação do instrumento no referido programa. O instrumento apresentou viabilidade, baixo custo e teve boa aceitabilidade entre preceptores e residentes, servindo como marco inicial na busca por uma avaliação sistematizada na residência médica na área de radiologia.

ABSTRACT

Abstract Introduction: There has been a growing interest in competency-based medical education over the past few decades. Student assessment is one of its central pillars, and should be continuous, based on clear and eminently formative criteria, and provide constant feedback. The systematization of assessment methods involves variables such as reliability, validity, acceptability, educational impact and cost. In Radiology, the literature lacks specific assessment instruments, especially in Medical Residency Programs in Brazil. Objective: Our aim was to develop and implement an assessment tool with a formative character for the Radiology program of the Onofre Lopes University Hospital of the Federal University of Rio Grande do Norte, which encompasses specific skills and creates opportunities for feedback in practice scenarios. Method: The study has a descriptive, exploratory and interventionist approach, divided into three stages. The first two consisted of workshops with residents and preceptors, one to conceptualize and understand competency assessment and feedback techniques, and the other to collectively build an assessment tool appropriate for Radiology, defining the most important competencies to be assessed. In the third stage, the researchers monitored how the instrument was initially applied by the preceptors. Result: Both workshops were attended by the three researchers, sixteen preceptors and five residents. The resulting assessment instrument contains a header for resident and evaluator data, location and examination performed. Next, seven competencies that should be assessed in relation to what is expected for the resident's level, and an overall scale of the evaluation, followed by fields for comments by the preceptor and the resident. The instrument was applied 33 times in practice scenarios, over a six-month period. Conclusion: The execution of training workshops for preceptors, with the introduction of a new culture of assessment, was fundamental for the construction and initial experience in the application of the assessment tool in that program. This tool was found to be feasible, low cost and had good acceptability among preceptors and residents, serving as a starting point in the search for a systematic assessment in the Radiology residency program.