Clinical skills assessment and feedback in pediatric residency / Avaliação de habilidades clínicas e feedback na residência médica em Pediatria

ABSTRACT

Abstract Introduction: A medical residency is the specialization par excellence in medical training and the program is responsible for ensuring that the recently graduated doctor reaches the established level of competence. A well-prepared assessment system with feedback is an effective tool to enhance the performance of future specialists and guarantee their qualification. Objective: To analyze the assessment system for pediatric residents at a university hospital, aiming to promote teaching training in assessment methods. Methodology: educational action research (research-teaching), conducted with teachers and preceptors in the pediatric residency of a university hospital. The stages consisted of a) the application of a questionnaire on participant profile and assessment methods used to evaluate the medical residents; b) intervention (workshop) on the assessment of clinical skills and feedback; c) immediate assessment after the workshop, by applying another questionnaire based on level 1 of the Kirkpatrick model. Simple statistical analysis was used for the objective data and the content analysis, according to recommendations by Malheiros (2011) and Bardin (2013), for the qualitative part. Result: Ten (48%) of the 21 participants declared not being formally trained in assessment and that they applied the more traditional methods learned from personal experience. Regarding the assessment methods, 81% (17/21) of the participants used more than one, aiming to obtain a more encompassing and reliable assessment. However, none of the teachers/preceptors used a systematized assessment of the clinical skills or provided feedback to the medical residents. After the workshop, with a focus on assessing performance in a simulated 'Objective Structured Clinical Examination' (OSCE) environment, all the participants were favorable to apply the OSCE in their teaching-learning practice with residents and undergraduate students, reaching Kirkpatrick level 3. Conclusion: The action research helped identify limitations in the assessment and feedback system of the pediatric resident physician. The methodology used revealed an aggregating effect and contributed to the development of the collaborative and integrative sense in the group. However, it was not enough to positively interfere with the pediatric medical residency assessment in the short term.

RESUMO

Resumo Introdução: A residência médica é a especialização por excelência na formação do médico, e cabe ao programa assegurar que o residente egresso atinja o nível almejado de competência. Um sistema avaliativo bem elaborado e com feedback é ferramenta efetiva para aprimorar o desempenho do futuro especialista e garantir a qualificação dele. Objetivo: Este estudo teve como objetivo analisar o sistema de avaliação do médico residente em pediatria de um hospital universitário, com o intuito de promover a formação docente em métodos avaliativos. Método: Trata-se de uma pesquisa-ação educacional (pesquisa-ensino) realizada com docentes e preceptores da residência médica em pediatria de um hospital universitário. As etapas consistiram em 1. aplicação de questionário sobre o perfil dos participantes e os métodos avaliativos utilizados com os residentes; 2. intervenção com a realização de um workshop sobre avaliação de habilidades clínicas e feedback; 3. avaliação imediata, após o workshop, com aplicação de outro questionário, elaborado com base no nível 1 do método Kirkpatrick. Utilizaram-se a análise estatística simples, para os dados objetivos, e a análise de conteúdo, segundo recomendações de Malheiros e Bardin, para a parte qualitativa. Resultado: Dos 21 participantes, dez (48%) informaram que não tinham capacitação formal em avaliação e que utilizavam métodos avaliativos mais tradicionais. Quanto aos métodos, 81% (17/21) dos participantes informaram que utilizavam mais de um, com finalidade somativa, para obter uma avaliação mais abrangente e fidedigna. No entanto, nenhum utilizava uma avaliação sistematizada de habilidades clínicas com fornecimento de feedback. Após o workshop com enfoque em avaliação de desempenho em ambiente simulado, em que se adotou o Objective Structured Clinical Examination (OSCE), os participantes utilizaram, com os internos, o método avaliativo do aprendizado na sua prática cotidiana, e, dessa forma, o treinamento atingiu o nível 3 de Kirkpatrick. Conclusão: A pesquisa-ação propiciou identificar limitações no sistema de avaliação e feedback do médico residente em pediatria. A metodologia utilizada revelou um efeito agregador e contribuiu para desenvolver o sentido colaborativo e integrativo no grupo. No entanto, não foi suficiente para interferir positivamente, em curto prazo, na avaliação da residência médica em pediatria.