Percepções e Sentimentos de Professores de Medicina frente à Avaliação dos Estudantes – um Processo Solitário / Medical Teachers’ Perceptions and Feelings about Student Assessment – a Lonely Process

Introdução O processo de avaliação formativa nas escolas médicas envolve o professor na observação direta do desempenho do estudante. Esta avaliação gera desconforto e angústia para alguns professores, na tentativa de serem justos e imparciais. Este trabalho tem por objetivos identificar as dificuldades na avaliação dos estudantes de Medicina, conhecer os sentimentos, conceitos e crenças dos professores frente ao processo e identificar os fatores que dificultam e facilitam esta avaliação. Método Foram conduzidos três Grupos Focais com professores do Departamento de Pediatria da Faculdade de Medicina da Universidade Federal de Minas Gerais estratificados por tempo de docência e classificados quanto a gênero, titulação e categoria funcional. As reuniões tiveram uma moderadora auxiliada pelo pesquisador, duraram entre 90 e 120 minutos e terminaram quando ocorreu a saturação do tema. Toda a discussão foi transcrita e rendeu 118 páginas, que foram submetidas à análise de conteúdo. Resultados O discurso foi categorizado em cinco grandes temas: dificuldade da avaliação de habilidade clínica e atitudes; relação professor-aluno; sentimentos vivenciados pelos docentes durante a avaliação; fatores facilitadores; necessidade de mudanças. Conclusões Os docentes sentem falta de objetivos bem definidos e instrumentos avaliativos específicos. Reconhecem a necessidade de melhores conhecimentos pedagógicos e considera a avaliação formativa uma situação solitária, com pouco respaldo da instituição. .

Introduction The student assessment process in medical schools involves the teacher’s direct observation of student performance. This evaluation causes distress and discomfort to some teachers in their attempt to be fair and impartial during feedback. This study aims to understand the feelings, concepts, and teachers’ beliefs regarding the process of subjective assessment of students and to identify the factors that both hinder and facilitate this evaluation. Method Three focus groups were formed with teachers from the Federal University of Minas Gerais School of Medicine, Department of Pediatrics, stratified by years of teaching and classified by gender, title, and functional category. The meetings had a moderator helped by the researcher, lasted between 90 and 120 minutes and finished when themes were exhausted. All discussions were transcribed, yielding 118 pages that were subjected to content analysis. Results Discourse was categorized into five major themes: the difficulty of assessing clinical skills and attitudes, the teacher/student relationship, feelings experienced by teachers during assessment, facilitating factors and need for change. Conclusions Teachers lack well-defined objectives and specific assessment tools. They recognize the need for better pedagogical knowledge and consider the act of evaluating an isolated task with very little support from the institution. .

Matriz de competências essenciais para a formação e avaliação de desempenho de estudantes de medicina / Essential competences for the training and evaluation of performance in undergraduate medical education

OBJETIVO: O artigo propõe uma matriz de competências essenciais para valorização e intencionalidade dos percursos acadêmicos e como referência de processos avaliativos dos estudantes. METODOLOGIA: O estudo apresenta delineamento quanti-qualitativo. Após revisão integrativa da literatura e pesquisa documental, foi elaborada e consolidada a versão inicial. O teste piloto com 12 professores, membros do Colegiado de Graduação do curso médico da UFMG, contribuiu para ajustes do documento. A validação da matriz foi orientada pela metodologia Delphi, com avaliação docente individual, por via eletrônica e utilização da ferramenta Googledocs. RESULTADOS: Houve consenso entre os 112 professores avaliadores para aprovação da matriz, composta por seis grandes domínios - profissionalismo; relacionamentos interpessoais e comunicação; atenção integral à saúde da pessoa; organização de sistemas de saúde e atenção em saúde pública; gestão do conhecimento; conhecimento médico -, 28 subdomínios e 204 descritores dos conhecimentos, habilidades e atitudes essenciais na formação do médico, durante sua graduação. CONCLUSÕES: Considera-se que a matriz contribuirá na qualificação da formação médica e na certificação das competências para o atendimento adequado às demandas de saúde, dentro de padrões de excelência técnica e responsabilidade social.

AIMS: This paper proposes the construction of a Matrix of Core Competencies, essential to the value and intent of academic record and as a reference for student evaluation processes. METHODOLOGY: The study relies on both quantitative and qualitative analysis. A review of the literature and documental analysis provided the basis for the first draft of the matrix. Evaluation and revision of the draft were done through a pilot test involving 12 professors, members of the Undergraduate Faculty of the UFMG School of Medicine. The matrix was validated using a Delphi method, including individual faculty evaluation, with the use of the Googledocs web-tool. RESULTS: There was full agreement among the 112 evaluators in the approval of the final matrix that addresses 6 main skill domains - professionalism; interpersonal skills and communication; comprehensive human health care; health systems and public health care organization; knowledge management; medical knowledge - 28 sub-domains and 204 descriptors of the subjects, skills and attitudes essential to undergraduate medical education. CONCLUSION: We believe the matrix will provide a valuable contribution toward enhancing medical education quality and setting the standards and skills required for medical care that is technically sound and fulfills its social responsibility.

Competências clínicas essenciais em pediatria: estão os estudantes aptos a executá-las? / Pediatric clínical competences: are the students able to do it?

INTRODUÇÃO: As competências necessárias à formação do estudante de Medicina correspondem à aquisição de conhecimentos, habilidade clínica e atitudes que devem ser adquiridas durante o curso e avaliadas pela instituição formadora. Este trabalho objetiva identificar as competências essenciais ao médico para atender crianças e adolescentes e avaliar se os estudantes ao final do curso conseguem executá-las com autonomia e segurança. MÉTODO: As respostas aos quesitos do Questionário de Competências Específicas em Medicina, de 64 professores de Pediatria, 30 médicos e 428 internos, foram comparadas pelo teste t-student. Os internos foram avaliados pelo Osce, e suas notas comparadas com suas respostas ao questionário. A prova escrita e a avaliação em serviço, também utilizadas, foram correlacionadas com o Osce pelo coeficiente de correlação de Pearson. RESULTADOS: O questionário demonstrou boa consistência interna. A comparação das respostas dos três grupos revelou diferenças estatisticamente significativas apenas nos itens relacionados aos procedimentos (p = 0,003). A comparação das respostas dos estudantes com suas notas no Osce mostrou diferenças significativas nos itens sobre aquisição de habilidade clínica. Os estudantes foram bem avaliados na prova escrita e na avaliação em serviço, havendo boa correlação entre elas e o Osce. CONCLUSÕES: Estudantes, professores e médicos apresentam expectativas semelhantes frente às competências essenciais à prática pediátrica. Resultados divergentes nas avaliações demonstram a necessidade de sua utilização conjunta na certificação do estudante.

INTRODUCTION: The skills necessary to the education of medical students involve knowledge acquisition, the development of clínical abilities and the incorporation of attitudes. These skills should be acquired throughout the course and assessed by the teaching institution. The aim of the present study was to identify essential skills needed for physicians for the treatment of children and adolescents and to determine whether students at the end of the medical course are able to perform their activities with autonomy and security. METHOD: The answers of 64 Pediatrics professors, 30 physicians and 428 interns were compared by the student's t-test. The interns were evaluated using the Osce and their scores were compared to their answers on the questionnaire. Two other assessment tools were used (written test and direct observation), which were compared to the Osce results using Pearson's correlation coefficient. RESULTS: The questionnaire demonstrated good internal consistency. A significant difference was detected in the participants' responses only on execution of procedures (p-value = 0.003). The comparison of students' scores on the questionnaire and those demonstrated on the performance assessment by the Osce revealed significant differences in clínical abilities. The students received good evaluations on the written test and through direct observation during service activities. Both evaluations demonstrated a positive albeit weak correlation with the Osce, as determined by Pearson's correlation coefficient. CONCLUSIONS: Students, professors and physicians have similar expectations regarding the specific skills needed for pediatric practice. Divergent student evaluations' results, demonstrate the need for the joint use of tools for the certification of the performance of students.

Beliefs about the use of baby walkers / Crenças sobre o uso do andador infantil

OBJECTIVES: To understand the opinion of the parents about the baby walker and compare the age of gait acquisition between infants that used a walker and those that did not. METHODS: In this quali-quantitative study, an interview involving a semi-structured questionnaire was carried out with 26 parents, 14 of whose infants used the equipment (BWG) and 12 of whose infants did not (NBWG) prior to gait acquisition. After extensive content analysis, categories for interpreting the results emerged. For data triangulation, the age of gait acquisition was documented by weekly telephone contact. Student's t-test was used for comparison between groups with a significance level of α=0.05. RESULTS: The following categories were identified in the parents' reports: a) information about the baby walker; b) doubt/decision to use it vs. certainty about not using it; c) beliefs about the use of a baby-walker; and d) benefits and harm from use. The age of independent gait acquisition did not differ between groups (p=0.837): BWG initiated gait at 376.17 (SD=32.62) days and NBWG did so at 378.75 (SD=27.99) days. CONCLUSIONS: The beliefs and feelings that permeate the decision to use a baby walker illustrate the different rationales adopted by parents about the role of this equipment in the child's development of gait and autonomy. The use of a baby walker did not influence the age of gait acquisition. The results broaden the understanding of choices that influence child-rearing practices prior to gait acquisition.

OBJETIVOS: Conhecer a opinião dos pais sobre o uso do andador infantil e comparar a idade de aquisição da marcha independente entre os lactentes que usaram e os que não usaram o andador. MÉTODOS: Neste estudo qualiquantitativo, realizou-se entrevista com questionário semiestruturado com 26 pais, 14 de lactentes que usaram (GUAI) e 12 dos que não usaram o equipamento (GNUAI) antes da aquisição da marcha. Empregou-se análise de conteúdo, a partir da qual, após extensa leitura, emergiram-se as categorias para interpretação dos resultados. Para triangulação dos dados, a idade de aquisição de marcha foi documentada por contato telefônico semanal e, para comparação entre grupos, usou-se o teste t de Student, nível de significância α=0,05. RESULTADOS: Foram identificadas, nos relatos dos pais, as categorias: a) informações sobre o andador infantil; b) dúvida/decisão em usar versus certeza de não usar; c) crenças sobre o uso do andador infantil e d) benefícios e malefícios do uso. A idade de aquisição da marcha independente não foi diferente entre os grupos (p=0,837): GUAI iniciou a marcha com 376,17 (DP=32,62) dias e GNUAI, com 378,75 (DP= 27,99) dias. CONCLUSÕES: As crenças e sentimentos que permeiam a decisão de usar o andador ilustram racionalidades distintas entre os pais sobre o significado desse equipamento para o desenvolvimento da marcha e ganho de autonomia da criança. O uso do andador infantil não influenciou a idade de aquisição da marcha. Os resultados ampliam o entendimento das escolhas que podem influenciar as práticas maternas no período pré-aquisição da marcha.

Avaliação de competência clínica em estudantes de medicina pelo Miniexercício Clínico Avaliativo (Miniex) / Evaluation of medical students' clinical skills using the Mini-Clinical Evaluation Exercise (mini-CEX)

A avaliação de competências clínicas constitui etapa essencial na formação do estudante de Medicina e deve ser feita pela observação direta do desempenho em situação real. Este trabalho objetiva determinar a confiabilidade e a consistência interna do Miniexercício Clínico Avaliativo (Miniex), instrumento de avaliação de competências clínicas que consiste na observação feita pelo professor em uma consulta focada, realizada pelo interno, no ambiente de trabalho. Ao final da consulta, o docente conversa com o estudante sobre suas falhas e acertos, configurando a avaliação formativa. Foram produzidos 12 vídeos que mostram o desempenho de estudantes em atendimento a pacientes na Enfermaria de Pediatria do Hospital das Clínicas da UFMG. Vinte quatro professores do Departamento de Pediatria com média de 25 anos de docência assistiram individualmente aos filmes, pontuando os itens da competência pelo Miniex. O Coeficiente de Correlação Intraclasse foi de 0,71 com IC de 95 por cento, e o Coeficiente Alfa de Cronbach, 0,84, indicando boa confiabilidade e consistência interna do Miniex. O escore de satisfação com o instrumento foi de 7,5 para os docentes e 8,3 para os internos numa escala de 9 pontos. Os achados recomendam prosseguir os estudos para avaliar os critérios de validade e exequibilidade do Miniex.

Evaluation of clinical skills is an essential stage in medical training and should be conducted through direct observation of students' performance in real situations. The current study aims to determine the reproducibility and internal consistency of the Mini-Clinical Evaluation Exercise (mini-CEX), a tool for evaluating clinical skills that consists of observation by a faculty member while the student conducts a focused history and physical examination in the actual clinical setting. At the end of the examination, the faculty member provides feedback on the student's performance, thus establishing the training evaluation. Twelve videos were produced that illustrate students' performance while treating patients in the Pediatrics Ward of the UFMG University Hospital. Twenty-four faculty members from the Department of Pediatrics, with an average of 25 years' teaching experiences, watched the films individually, scoring the various skills according to the Mini-CEX parameters. The intraclass correlation coefficient was 0.71, with a 95 percent confidence interval and Cronbach's alpha of 0.84, indicating good reproducibility and internal consistency for the Mini-CEX. The satisfaction score with the instrument was 7.5 for faculty and 8.3 for interns, on a 9-point scale. The findings highlight the importance of further research to evaluate the reproducibility and applicability of the Mini-CEX.

Efeito moderador do risco social na relação entre risco biológico e desempenho funcional infantil / The moderating effect of social risk in the relationship between biologic risk and child functional performance

OBJETIVOS: avaliar impacto da interação nascimento pré-termo e nível socioeconômico (NSE) da família no desempenho funcional e na independência em tarefas da rotina diária, em crianças de três anos de idade. MÉTODOS: estudo transversal com 40 crianças, alocadas em quatro grupos, conforme variáveis de risco biológico e de risco social alto e baixo. A habilidade e a independência das crianças foram avaliadas pelo teste funcional padronizado PEDI, nas áreas: auto-cuidado, mobilidade e função social. RESULTADOS: foram revelados fatores de interação significativos nas habilidades funcionais de mobilidade e na independência em função social. Contrastes mostraram diferenças significativas entre crianças pré-termo e a termo, de NSE baixo. Crianças nascidas pré-termo apresentaram escores inferiores nos dois aspectos de desempenho funcional. Não foram observadas diferenças significativas nos grupos de crianças de NSE alto, nas áreas avaliadas. CONCLUSÕES: o risco social (fator moderador) modificou a relação entre risco biológico e habilidades de mobilidade e independência em função social. A interação entre fatores biológicos e sociais, e não apenas a presença de único fator de risco, influencia o desempenho funcional aos três anos de idade. Os resultados ampliam ações terapêuticas para crianças expostas a fatores de risco biológico e social.