Evaluation of Residency Admission Exams / Avaliação de Questões de Prova de Concursos de Residência Médica

ABSTRACT

ABSTRACT Introduction: Residency admission exams, although not intended to evaluate medical training, do so in an indirect way. The evaluation of the quality of the medical residency tests allows, among other things, to re-evaluate the training process itself and the skills expected of the candidates. Objective: To evaluate first phase exam tests of different medical residency programs in the largest Brazilian urban centers. Method: We evaluated 500 questions of residency admission exams in the states of São Paulo, Rio de Janeiro and Minas Gerais. The items were evaluated in terms of their origin, geographical location, area of knowledge, contextualization, context scenarios and complexity by Bloom's taxonomy. Results: Most of the questions presented contextualization (64.4%, n = 322), with predominant scenarios of high complexity and in hospital environment. The predominant taxonomic category was identified as recognition (41.60%, n = 208), the second most frequent was judgment, in 26% of the questions (n = 130), followed by synthesis (15%, n = 75), analysis (7.60%, n = 38), comprehension (6%, n = 30) and application (3.8%, n = 19). Considering the dichotomization between questions of theoretical and clinical reasoning, we found a balance between both (clinical reasoning 48.9%, n = 243; theoretical reasoning 51.4%, n = 257). The association of contextualization with clinical reasoning was high, with the relative risk of an item requiring clinical reasoning in the presence of contextualization of 26.31 (CI 11.06 - 62.59). Final considerations The scenario outlined by the present research demonstrates that the different selective processes for medical residency in Brazil differ greatly in relation to the selection profile, with hospital-centered focus, favoring scenarios of high complexity in a hospital environment. Although much has been done and discussed in order to promote changes in medical education in Brazil, the selection process for Medical Residency still fails to reflect the changes advocated since the end of the last century and consolidated in the public policies of the beginning of this century. If we consider that the selected professionals are likely to remain at that institution after the end of their undergraduate studies, then we can have some understanding of the feedback cycle that is created in the programs.

RESUMO

RESUMO Introdução: A prova de residência, apesar de não ter o objetivo de avaliar a formação médica, o faz indiretamente. A avaliação da qualidade das provas de residência médica permite, entre outras coisas, reavaliar o próprio processo de formação e as competências esperadas para os profissionais. Objetivo: Avaliar provas de primeira fase de diferentes programas de residência médica dos maiores centros urbanos brasileiros. Método: Foram avaliadas 500 questões de provas de residência dos estados de São Paulo, Rio de Janeiro e Minas Gerais. As questões foram avaliadas considerando sua origem, localização geográfica, área de conhecimento, contextualização, cenários do contexto e complexidade pela taxonomía de Bloom. Resultados: A maioria das questões apresentava contextualização (64,4%, n = 322), sendo os cenários predominantes de alta complexidade e em ambiente hospitalar. Identificou-se que a categoria taxonômica predominante foi o reconhecimento (41,60%, n = 208), sendo a segunda categoria mais frequente o julgamento em 26% das questões (n = 130), seguidas de síntese (15%, n = 75), análise (7,60%, n = 38), compreensão (6%, n = 30) e aplicação (3,8%, n = 19). Considerando a dicotomização entre questões de raciocínio teórico e clínico, encontramos uma situação de equilíbrio entre ambas (raciocínio clínico 48,9%, n = 243; raciocínio teórico 51,4%, n = 257). A associação de contextualização com raciocínio clínico foi alta, com risco relativo de uma questão solicitar raciocínio clínico na presença de contextualização de 26,31 (IC 11,06 - 62,59). Considerações finais O quadro delineado pela presente pesquisa demonstra que os diferentes processos seletivos para residência médica no Brasil diferem muito entre si quanto ao perfil de seleção, com provas de caráter hospitalocêntrico, privilegiando cenários de alta complexidade em ambiente hospitalar. Embora muito se tenha feito e falado no sentido de promover mudanças na educação médica do Brasil, o processo seletivo para residência médica ainda não reflete as mudanças preconizadas desde o fim do século passado e consolidadas nas políticas públicas do início deste século. Se pensarmos que estamos selecionando profissionais que muito provavelmente se fixarão naquela instituição após o fim de sua pós-graduação, podemos ter uma ideia do círculo de retroalimentação que se cria nos programas.