Assessment of individual competence: a sequential mixed model 1 / Avaliação da competência individual: um modelo sequencial misto

ABSTRACT

Aims: the assessment of individual competence in medical education is about finding a balance between having sufficient resources to make valid and reliable decisions and not using more resources than necessary. Sequential assessment, in which more resources are used for borderline performing candidates than for poorly or clearly satisfactorily performing candidates, can be used to achieve that balance. Although sequential assessment is commonly associated with larger groups of candidates to be assessed, in many practical settings numbers of candidates may be small. Objective: this article presents a single case design with a statistical model for the assessment of individual competence that can be used regardless of the number of candidates. Method: a worked example of a solution that can be used for an individual candidate, using simulated data in the zero-cost Open Source statistical program R version 4.0.5, is provided. Results: the aforementioned solution provides statistics that can be used to make pass/fail decisions at the level of the individual candidate as well as to make decisions regarding the length and timing of an exam (or parts thereof) for the individual candidate. Conclusion: the solution provided can help to reduce resources needed for assessment to a considerable extent while maximizing resources for borderline candidates. This facilitates both decision making and cost reduction in assessment.

RESUMO

Introdução: a avaliação da competência individual na educação médica consiste em encontrar um equilíbrio entre ter recursos suficientes para tomar decisões válidas e confiáveis e não usar mais recursos do que o necessário. A avaliação sequencial, na qual mais recursos são usados para candidatos limítrofes do que para candidatos com desempenho insatisfatório ou claramente satisfatório, pode ser usada para atingir esse equilíbrio. Embora a avaliação sequencial seja comumente associada a grupos maiores de candidatos a serem avaliados, em muitos ambientes práticos, o número de candidatos pode ser pequeno. Objetivo: este artigo apresenta um desenho de caso único com um modelo estatístico de avaliação de competência individual que pode ser utilizado independentemente do número de candidatos. Método: é fornecido um exemplo prático de uma solução que pode ser usada para um candidato individual, usando dados simulados no programa estatístico Open Source de custo zero R versão 4.0.5. Resultados: a solução mencionada fornece estatísticas que podem ser usadas para tomar decisões individuais de aprovação/reprovação para cada candidato, bem como para tomar decisões individualizadas sobre a duração e o tempo de um exame (ou partes dele) para um candidato. Conclusão: a solução fornecida pode ajudar a reduzir consideravelmente os recursos necessários para a avaliação, ao mesmo tempo que maximiza os recursos para os candidatos limítrofes. Isso facilita a tomada de decisões e a redução de custos na avaliação.