Análise de conteúdo de duas avaliações externas brasileiras de cursos de medicina: Enade e Revalida / Content analysis of two Brazilian external evaluations of medical programs: ENADE and REVALIDA

RESUMO

Resumo Introdução: O Enade é prova cognitiva que avalia o desempenho dos cursos de graduação por meio dos egressos. O Revalida é exame específico para egressos de cursos de Medicina do exterior. Apesar de possuírem atribuições diferentes, as duas avalições são direcionadas a públicos semelhantes, podendo ser consideradas análogas. Objetivo: Este estudo teve como objetivos identificar e comparar os conteúdos avaliados pelo Enade e Revalida. Métodos: Trata-se de estudo descritivo que comparou o conteúdo do Enade 2013 e 2016 e do Revalida 2015 e 2016, com base na Matriz de Correspondência Curricular do Revalida (MCCR). Na primeira etapa do estudo, dois médicos, professores de Medicina, analisaram de forma independente os itens das quatro avaliações e listaram os conteúdos abordados nos enunciados e nas alternativas. Posteriormente, consolidaram-se os resultados. A análise foi realizada por meio da distribuição de frequência de temas e áreas de concentração de acordo com o exame, da comparação entre as áreas de concentração e dos temas coincidentes em cada exame. Resultados: Das 46 áreas de concentração da MCCR, dez não foram abordadas no Enade 2013, seis no ENADE 2016 e duas no Revalida 2015. O Revalida 2016 abordou todas as áreas. Em relação aos 749 temas específicos da MCCR, as duas edições do Enade, em conjunto, abordaram 241 (32,2%) deles, enquanto as duas edições do Revalida abordaram 468 temas (62,5%). Na análise dos 241 temas abordados pelo Enade, 45 deles foram comuns às duas edições, enquanto, de um total de 468 temas, 247 foram abordados nas duas edições do Revalida. Quando se analisou a repetição de temas em cada edição dos exames, observou-se que cerca de 80,0% dos temas foram considerados apenas uma vez nas duas edições do Enade, em comparação com 50,0% nas edições do Revalida. Conclusão: Os resultados indicam que as edições 2013 e 2016 do Enade apresentam baixa abrangência de conteúdos em comparação com as edições 2015 e 2016 do Revalida, tendo como referência a MCCR. Identificaram-se também concentração da abordagem em grupos específicos de temas e repetição de um pequeno grupo de temas nas edições analisadas do Enade.

ABSTRACT

Abstract Introduction: Enade is a cognitive test that evaluates the performance of undergraduate programs through its students. Revalida is a specific exam for graduates from foreign medicine programs. Despite having different functions, the two tests assess the same target audience and can be considered analogous. Objective: The objective was to identify and compare the contents of ENADE and REVALIDA. Methods: a descriptive study that compared the contents of ENADE 2013 and 2016 and REVALIDA 2015 and 2016 with reference to the contents of the REVALIDA Curriculum Correspondence Matrix (RCCM). In the first stage of the study, two doctors, professors of Medicine, independently analyzed the items of the four tests and listed the contents covered in the statements and alternatives. The results were subsequently consolidated. The content analysis of the exams was carried out using frequency distribution of the concentration areas and the themes according to the test and comparison between the areas of concentration and themes that coincided in each test. Results: considering the 46 areas of concentration of the RCCM, 10 areas were not covered in ENADE 2013, six in Enade 2016 and two in Revalida 2015. Revalida 2016 covered all areas. Regarding the 749 specific themes of the RCCM, the two editions of Enade, together, addressed 241 (32.2%) of them, whereas the two editions of Revalida addressed 468 (62.5%) themes. Analysis of the topics covered showed that of the 241 of Enade, 45 were common to both editions, while 247 of a total of 468 were addressed in both editions of Revalida. When considering repetition of the same topic in each edition of each exam, it was found that around 80.0% of the topics were considered only once in the two editions of ENADE compared to 50.0% in the editions of Revalida. Conclusion: the results indicate that ENADE has a lower content validity than Revalida. There was also a concentration in specific groups of themes, and repetition of a small group of themes in the analyzed editions of ENADE, which also reduces the reliability of the exam.