Competência clínica de alunos de Medicina em estágio clínico: comparação entre métodos de avaliação / Clinical competence of medical students during clinical clerkship: a comparison of evaluation methods

OBJETIVO: Comparar quatro métodos de avaliação com base nas notas obtidas por alunos do quarto ano de Medicina em estágio clínico. MÉTODO: Ao final do estágio clínico em Ginecologia e Obstetrícia, Clínica Médica e Pediatria, em unidades de atenção primária, 106 alunos do quarto ano foram avaliados com base em quatro métodos: Prova Teórica (Pt), Portfólio (Pf), Avaliação Estruturada do Atendimento Clínico (AE) e Conceito Global Itemizado (CGI), (escala 0-10). A análise estatística utilizou coeficiente alfa de Cronbach, teste de Wilcoxon para dados pareados, coeficiente de correlação de Pearson, análise de componentes principais e distância euclidiana. RESULTADOS: As medianas mais baixas foram de PT, e as mais altas, de AE. Houve diferença significativa nas distribuições das notas entre todos os pares de métodos (P < 0,001). A correlação mais forte e a maior concordância ocorreram entre as notas de AE e CGI. A análise de componentes principais contrastou as notas de Pt e Pf com as de AE e CGI. CONCLUSÃO: Cada método parece enfocar diferentes aspectos da competência clínica. AE e CGI parecem avaliar competências semelhantes, em oposição a Pf e Pt. Portanto, nenhum método deve ser utilizado isoladamente para avaliar os alunos em estágio clínico.

OBJECTIVE: The objective was to compare four evaluation methods based on the grades received by fourth-year medical students in their clinical clerkship. METHOD: At the completion of the clinical clerkship in Obstetrics and Gynecology, Internal Medicine, and Pediatrics in primary care clinics, 106 fourth-year students were evaluated based on four methods, on a scale from 1 to 10: multiple-choice questions (MCQs), portfolio (P), real-case structured clinical assessment (RC-SCA), and global itemized rating (GIR). Statistical analysis used Cronbach alpha, Wilcoxon paired test, Pearson correlation coefficient, principal components analysis, and Euclidian distance. RESULTS: The lowest median scores were for MCQs and the highest for RC-SCA. The distribution of scores for all pairs of methods showed significant differences (P < 0,001). Agreement was strongest and highest between RC-SCA and GIR. Principal components analysis contrasted MCQs and P scores with those for RC-SCA and GIR. CONCLUSION: The various methods focused on different aspects of the expected clinical skills. RC-SCA and GIR appear to evaluate different skills as compared to P and MCQs. Thus, no method should be used alone to evaluate medical students in clinical clerkships.

Conceito global: um método de avaliação de competência clínica / Global rating: a method for assessing clinical competence

Muito se tem feito para desenvolver métodos que avaliem de forma confiável a proficiência em habilidade clínica dos alunos de graduação médica. Há fortes evidências de que a avaliação global pode ser uma alternativa viável e confiável na avaliação de estudantes de graduação no ambiente clínico. Rotineiramente, a competência clínica tem sido avaliada pelos docentes por meio de um conceito subjetivo. Essa nota, dada por um especialista, não é objetiva e está sujeita a vieses. O uso de um instrumento bem delineado, com diversos itens pontuados numa escala, oferece a vantagem de especificar o que deve ser avaliado, auxiliando os avaliadores a distinguir os diferentes níveis do desempenho. Usando este método, os docentes podem expressar sua percepção global dos alunos, de forma mais objetiva, em relação a duas esferas distintas da competência: técnica (contendo itens como história clínica, exame físico, conhecimento médico, julgamento clínico, solução de problemas e hábitos no trabalho) e humanista (incluindo comunicação com pacientes e familiares, respeito, habilidades reflexivas, sensibilidade ao contexto e trabalho em equipe).

Considerable effort has focused on developing methods to reliably assess undergraduate medical students' proficiency in clinical skills. There is strong evidence that global rating can be a feasible and reliable alternative for rating undergraduate medical students in the clinical setting. Professors have routinely assessed clinical competence with a subjective rating. This score, given by a specialist, is not objective and is subject to biases. The use of a well-designed instrument with various items rated on a scale offers the advantage of specifying what should be assessed, thus helping professors distinguish between different levels of performance. Using this method, faculty can express their global perception of the students in a more objective way in relation to two distinct spheres of technical competence (containing items like patient history, physical examination, medical knowledge, clinical knowledge, problem-solving, and work habits) and humanist competence (including communication with patients and families, respect, reflective skills, sensitivity to context, and teamwork).

Os diferentes olhares na avaliação de alunos em estágio clínico supervisionado / The different perspectives in the assessment of learners during supervised clinical clerkship

OBJETIVO: Comparar notas do Conceito Global Itemizado (CGI) e da Avaliação Estruturada (AE), atribuídas por três especialidades - Ginecologia e Obstetrícia (GO), Clínica Médica (CM) e Pediatria (Ped) - a alunos em final de estágio clínico nas unidades básicas de saúde. MÉTODOS: Cento e seis alunos do 4º ano médico foram avaliados por um docente de cada especialidade, utilizando CGI contendo seis domínios de habilidades técnicas (CGIt) e sete domínios humanísticos (CGIh), em escala 0-10, e pela AE resultante de observação de atendimento. Para análise estatística, utilizaram-se coeficientes de Cronbach, testes de Friedman e pareados de Wilcoxon, coeficientes de correlação de Spearman e Pearson e distâncias Euclidianas (p< 0,05). RESULTADOS: Houve alta consistência interna do CGI nas especialidades (>0,92). As distribuições das notas concentraram-se no extremo superior da escala. As notas de Ped foram significativamente inferiores às de GO e CM (diferenças de medianas entre 0,50 e 0,67), com correlações baixas entre elas (-0,02

OBJECTIVE: To compare medical students' global itemized ratings (GIR) and real-case structured clinical assessment (RC-SCA), generated by faculty members from three different specialties (Gynecology-O&G, Internal Medicine-IM, Pediatrics-Ped). METHOD: 106 Y4 learners were assessed by one faculty member from each specialty, who filled in GIR, consisting of 6 technicaldomains (mean score GIRt) and 7 humanistic domains (mean score GIRh), on a 0-10 scale, and resultant RC-SCA, from direct attendance observation. Statistical analyses used Cronbach coefficient, Friedman and Wilcoxon paired tests, Pearson and Spearman correlation coefficients, Euclidean distances. Significance level=5 percent. RESULTS: High internal consistency was observed in the three GIR (> 0.92). Ratings were negatively skewed. Ped scores were significantly lower than O&G and IM (median differences between 0.50 and 0.67), with low correlations between them (-0.02

Conceito global para alunos de medicina em estagio clinico comparação entre auto-avaliação, avaliação de docentes e pares / Global rating for medical students in clinical clerkship comparison between self, faculty and peer assessment

Objetivo: Relacionar o Conceito Global Itemizado com o Conceito Geral dos alunos do 4º ano de Medicina, atribuídos por três tipos de avaliadores (docentes, colegas e próprio aluno) e compará-lo com os outros métodos de avaliação das competências esperadas no atendimento em unidade de atenção primária. Sujeitos e métodos: Foram estudadas as notas atribuídas a estudantes do 4º ano (n=106), por docentes (n=19), pelos próprios alunos e por colegas, ao final de um módulo de ensino que se desenvolve em 6 unidades básicas de saúde, sob supervisão de docentes e tutores de Ginecologia e Obstetrícia (GO), Clínica Médica (CM) e Pediatria (Ped). Os docentes forneceram uma nota (0 a 10) que resumia as competências do aluno no semestre, cuja média foi definida como Conceito Geral (CG). Depois de duas semanas, os mesmos docentes preencheram o formulário pré-testado do Conceito Global Itemizado (CGI) para os mesmos alunos, que continha 6 domínios de competências técnicas (CGIt) e 7 de competências humanísticas (CGIh). Os alunos preencheram formulários iguais (de CG e de CGI) para realizar sua auto-avaliação e apenas a parte das competências humanísticas (CGIh) para anonimamente avaliar 3-4 colegas que compunham o seu grupo. Por meio de um instrumento auto-respondido, também expressaram sua opinião sobre o exercício de se auto-avaliar e de avaliar seus colegas. As notas de CGI foram comparadas com notas provindas de outros métodos de avaliação: Provas Teóricas (Pt), Portfólio (Pf) e Avaliação Estruturada (AE). A análise estatística incluiu estatísticas descritivas, análise fatorial, coeficientes de Cronbach, testes de Friedman e de Wilcoxon para dados emparelhados, coeficientes de correlação de Pearson e de Spearman, modelos de análise de variância (ANOVA) e distâncias Euclidianas. Assumiu-se o nível de significância de 5%. Foi utilizado o programa SPSS Versão 10.0. O projeto foi aprovado pelo Comitê de Ética e Pesquisa da instituição...

Purpose: To correlate the Global Itemized Rating with the Global Overall Rating attributed to Y4 medical students by three types of assessors (faculty, peers and self), and to compare it with other assessment methods used to evaluate learners in clinical clerkship, at the primary level of care. Subjects and Methods: The focus of the present study were ratings attributed to Y4 medical students (n= 106) by faculty members (n= 19), by own students and peers, at the end of a teaching module conducted at 6 primary care centers, and supervised by faculties and tutors from Obstetric and Gynecology (O&G), Internal Medicine (IM) and Pediatrics (Ped). Faculties provided a summative global numeric rating, ranging from 0 to 10, which summarized student's competencies during the clerkship. Faculty global scores across disciplines were averaged and defined as a Global Overall Rating (GOR). Two weeks after securing GOR ratings for all students, the same faculty members assessed the same students using in a pre-tested Global Itemized Rating, named GIR, which encompassed thirteen domains: six referred to technical skills (GIRt), and seven to humanistic skills (GIRh). Students completed similar GOR and GIR forms for self-assessment, and the humanistic scoring components of the GIR form to anonymously assess three to five working-group peers. Students answered a questionnaire on their perceptions to the experience as self and peer raters. GIR ratings were compared with ratings from other assessment methods: Multiple-choice questions (MCQs), Portfolio (Pf) and Real-case structured clinical assessment (RC-SCA). Statistical analyses included descriptive statistics, factor analysis, Cronbach's alpha, Friedman test, Wilcoxon signed rank test, Pearson and Spearman correlation coeffients, ANOVA models and Euclidean distances. Statistical significance was set at P<0.05. Statistical analyses were performed using SPSS program, version 10.0. Ethical approval was obtained...

Conceito global para alunos de medicina em estagio clinico: comparação entre auto-avaliação, avaliação de docentes e pares / Global rating for medical students in clinical clerkship

Objetivo: Relacionar o Conceito Global Itemizado com o Conceito Geral dos alunos do 4º ano de Medicina, atribuídos por três tipos de avaliadores (docentes, colegas e próprio aluno) e compará-lo com os outros métodos de avaliação das competências esperadas no atendimento em unidade de atenção primária. Sujeitos e métodos: Foram estudadas as notas atribuídas a estudantes do 4º ano (n=106), por docentes (n=19), pelos próprios alunos e por colegas, ao final de um módulo de ensino que se desenvolve em 6 unidades básicas de saúde, sob supervisão de docentes e tutores de Ginecologia e Obstetrícia (GO), Clínica Médica (CM) e Pediatria (Ped). Os docentes forneceram uma nota (0 a 10) que resumia as competências do aluno no semestre, cuja média foi definida como Conceito Geral (CG). Depois de duas semanas, os mesmos docentes preencheram o formulário pré-testado do Conceito Global Itemizado (CGI) para os mesmos alunos, que continha 6 domínios de competências técnicas (CGIt) e 7 de competências humanísticas (CGIh). Os alunos preencheram formulários iguais (de CG e de CGI) para realizar sua auto-avaliação e apenas a parte das competências humanísticas (CGIh) para anonimamente avaliar 3-4 colegas que compunham o seu grupo. Por meio de um instrumento auto-respondido...

Purpose: To correlate the Global Itemized Rating with the Global Overall Rating attributed to Y4 medical students by three types of assessors (faculty, peers and self), and to compare it with other assessment methods used to evaluate learners in clinical clerkship, at the primary level of care. Subjects and Methods: The focus of the present study were ratings attributed to Y4 medical students (n= 106) by faculty members (n= 19), by own students and peers, at the end of a teaching module conducted at 6 primary care centers, and supervised by faculties and tutors from Obstetric and Gynecology (O&G), Internal Medicine (IM) and Pediatrics (Ped). Faculties provided a summative global numeric rating, ranging from 0 to 10, which summarized student's competencies during the clerkship. Faculty global scores across disciplines were averaged and defined as a Global Overall Rating (GOR). Two weeks after securing GOR ratings for all students, the same faculty...

Avaliando competência clínica: o método de avaliação estruturada observacional / Assessing clinical competence: structured observation

Apesar dos avanços tecnológicos, a história médica, o exame físico e a relação médico-paciente continuam as mais importantes ferramentas diagnósticas e terapêuticas. No entanto, deficiências em habilidades clínicas entre alunos têm sido relatadas. Competência clínica deve ser considerada não apenas a demonstração de comportamentos isolados, mas, sim, a habilidade integrada de pensar, sentir e agir na prática real, um determinado contexto. Por isso, ferramentas de observação direta são bastante úteis para avaliar o que os estudantes fazem ou deixam de fazer durante as consultas. O instrumento de avaliação estruturada parece ser adequado tanto para os avaliadores quanto para os avaliados, uma vez que pode ser usado como um guia de observação e também como uma ferramenta de feedback, ampliando as oportunidades de aprendizagem no cenário clínico. Para que esse instrumento seja aplicado de forma eficaz, justa e confiável, os avaliadores precisam ser adequadamente preparados.

Despite the technological advances, medical history, physical examination and patient-doctor relationship continue being the most important diagnostic and therapeutic tools. However, deficiencies in clinical skills among students have been related. Clinical competence is context-dependent; it is more than a demonstration of isolated behaviors, but an integrative ability to think, feel and act in real practice. Tools for direct observation are very helpful in evaluating what students are and are not able to do during clinical encounters. So, structured assessment seems to be a valuable instrument both for evaluators and students. It can be used as an observational guide and as a tool for feedback, and enhances the learning opportunities in clinical settings. To effectively apply this method, faculty should be provided with effective training to increase fairness and reliability of the assessment strategy.

Auto-avaliação e avaliação por pares: estratégias para o desenvolvimento profissional do médico / Self and peer assessment: strategies for the professional development of the physician

Muitos estudos recentes incluem a auto-avaliação e a avaliação feita por pares na nota final do aluno em estágio clínico. Por muito tempo as avaliações dos estudantes de Medicina têm sido feitas exclusivamente pelos professores de forma subjetiva. Entretanto, a avaliação dos pares tem sido apontada como um bom indicador do futuro desempenho profissional, sendo considerada consistente e confiável, fornecendo informações que não poderiam ser medidas pelos métodos tradicionais. De forma complementar, a auto-avaliação também contribui para o processo de aprendizagem contínua, pois auxilia os alunos a identificarem seus pontos fortes e fracos. Embora nenhum desses dois métodos de avaliação seja rotineiramente ensinado durante o curso, esse exercício é uma valiosa intervenção para o desenvolvimento e habilitação profissional do médico. Dessa forma, as escolas médicas deveriam ajudar os alunos a compreender os princípios básicos dessas estratégias educacionais, oferecendo treinamento adequado e apoio institucional, incluindo a confidencialidade das informações.

Many recent studies include self- and peer-assessment of medical students as a component in the final clerkship grades. For a long time the evaluation of the medical student depended exclusively on subjective faculty assessment. However, peer ratings have been pointed out as a good predictor of future professional performance. These ratings are consistent, reliable and provide information that is not measured by other traditional methods. Besides, self-assessment contributes to continued education and lifelong learning by helping students identify their own strengths and weaknesses. Although self- and peer-assessment are not routinely taught during the medical course this exercise represents a valuable intervention towards the professional development of the physician. Medical schools should therefore help students understand the basic principles of these educational strategies by offering appropriate training and institutional support including confidentialit y of information.

Feedback como estratégia de aprendizado no ensino médico / Feedback as a teaching/learning strategy in medical education

Fornecer feedback aos alunos é um importante aspecto da aprendizagem e um papel essencial dos docentes. No contexto da educação médica clínica, feedback se refere às informações que descrevem o desempenho dos alunos em determinada situação ou atividade. A habilidade de dar e receber feedback melhora os resultados da aprendizagem, uma vez que fornece a base para a aprendizagem autodirecionada e para a reflexão crítica, auxilia os alunos a corrigirem seus erros, reforça comportamentos desejáveis e mostra como o aluno pode melhorar. Apesar da evidente falta de feedback durante o curso médico, os alunos desejam e valorizam essa ferramenta construtiva, considerando-a um aspecto importante do ensino de qualidade. O feedback eficaz deve ser: assertivo, respeitoso, descritivo, oportuno e específico. Docentes e alunos deveriam ser preparados para dar e receber feedback. Coordenadores e diretores deveriam reconhecer o papel do feedback como uma importante estratégia de ensino- aprendizagem na graduação.

Give feedback to the students is an important aspect in the learning process and an essential role of the teachers. In the context of medical education, feedback refers to information describing the students' performance in a given situation or activity. The ability on giving and receiving feedback improves learning outcomes since it provides a basis for self-directed learning and critical thinking, helps the student correct errors, reinforces desirable attitudes and shows the student how he can improve. Despite the patent lack of feedback throughout the medical course, students greatly desire and value this constructive tool and consider it as an important aspect of qualit y teaching. Effective feedback should be assertive, delivered with respect, descriptive, timely and linked to specific observed behaviors. Both faculty and students should be offered proper training in order to enhance their ability to give and receive feedback. Program directors should value the role of feedback as an essential teaching/learning strategy for the undergraduate curriculum.