Teste de Progresso: ausência de alunos de Medicina é sugestiva de mau desempenho acadêmico / Progress Test: medical student absenteeism is suggestive of poor academic performance

Resumo: Introdução: Não se sabe se a ausência de estudantes de Medicina ao Teste de Progresso (TP) se dá de forma aleatória ou por alguma característica sistemática deles, o que poderia influenciar a representatividade dos resultados obtidos pelos participantes. Objetivo: Este estudo teve como objetivos comparar os índices de desempenho acadêmico, no curso de Medicina da UFSC, dos alunos presentes e ausentes ao TP em 2019; propor uma maneira de estimar, a partir desses índices, quais seriam as notas dos faltantes se tivessem participado do TP; e identificar fatores associados à ausência ao TP. Método: Foram comparadas as médias dos índices de desempenho acadêmico, globais e nas diferentes fases (semestres) dos grupos de alunos presentes e ausentes ao TP, utilizando teste t de Student para amostras independentes. Por meio de uma técnica de regressão linear, foram imputadas as prováveis notas no TP ao grupo de alunos ausentes. Resultado: As médias globais dos três indicadores acadêmicos foram significativamente menores nos alunos ausentes ao TP (p variando de < 0,03 a < 0,0001); em dez das 11 fases (semestres) analisadas do curso, os indicadores acadêmicos dos faltosos foram piores do que dos presentes. A imputação de notas no TP aos ausentes permitiu verificar que existe correlação (R = 0,62) entre a porcentagem destes e a diferença de notas entre os grupos que realizaram e os que faltaram ao TP. Entre os alunos do gênero masculino, 25,8% não fizeram o TP, enquanto no gênero feminino foram 16,6% (diferença com p < 0,01). Conclusão: A ausência de alunos ao TP não se dá de forma aleatória. Entre os faltosos, há uma tendência sistemática de existirem alunos com piores índices de desempenho acadêmico. O uso de imputação múltipla de dados evidencia uma correlação entre a porcentagem de faltosos e a diferença na média da nota no TP, desse grupo, comparada à média da nota dos participantes. A proporção de homens que faltaram ao TP foi significativamente maior do que a de mulheres.

Abstract: Introduction: It is not known whether the absence of medical students at the Progress Test (PT) is random event or if it due to some systematic characteristic of the students, which could influence the representativeness of the results obtained by the participants. Objectives: 1) to compare the academic performance indexes, in UFSC Medical School, of students who were present and absent from the PT in 2019; 2) to propose a way to estimate, based on these indexes, what the absentee's grades would be if they had participated in the PT; 3) to identify factors associated with absence from the PT. Method: The averages of academic performance indexes, overall and in the different phases (semesters) in the groups of students who were present and absent from the PT, were compared using Student's t test for independent samples. Using a linear regression technique, the probable PT scores were assigned to the group of absent students. Results: The global averages of the three academic indicators were significantly lower in students absent from the PT (p ranging from < 0.03 to < 0.0001); in 10 of the 11 analyzed course phases (semesters), the academic indicators of absentees were worse than those present at the test. The attribution of PT grades to the absentees allowed us to verify that there is a correlation (R=0.62) between the percentage of these students and the difference in grades between the groups that took and those that did not take the PT. Among male students, 25.8% did not attend the PT, while among female students the number of absentees was 16.6% (difference with p <0.01). Conclusions: The absence of students at the PT does not occur randomly. Among the absentees, there is a systematic tendency to have students with worse academic performance. The use of multiple imputation of data demonstrate a correlation between the percentage of absentees and the difference in the average of grades in the PT of this group, compared to the average of the participants' grades. The proportion of male students who missed the PT was significantly higher than that of female students.

Valores anômalos e dados faltantes em estudos clínicos e experimentais / Anomalous values and missing data in clinical and experimental studies

Durante a análise dos dados de uma pesquisa científica, é habitual deparar-se com valores anômalos ou dados faltantes. Valores anômalos podem ser resultado de erros de registro, de digitação, de aferição instrumental, ou configurarem verdadeiros outliers. Nesta revisão, são discutidos conceitos, exemplos e formas de identificar e de lidar com tais contingências. No caso de dados faltantes, discutem-se técnicas de imputação dos valores para evitar a exclusão do sujeito da pesquisa, caso não seja possível recuperar a informação das fichas de registro ou reabordar o participante

During analysis of scientific research data, it is customary to encounter anomalous values or missing data. Anomalous values can be the result of errors of recording, typing, measurement by instruments, or may be true outliers. This review discusses concepts, examples and methods for identifying and dealing with such contingencies. In the case of missing data, techniques for imputation of the values are discussed in, order to avoid exclusion of the research subject, if it is not possible to retrieve information from registration forms or to re-address the participant

Comparação de métodos de imputação única e múltipla usando como exemplo um modelo de risco para mortalidade cirúrgica / Comparison of simple and multiple imputation methods using a risk model for surgical mortality as example

INTRODUÇÃO: A perda de informações é um problema frequente em estudos realizados na área da Saúde. Na literatura essa perda é chamada de missing data ou dados faltantes. Através da imputação dos dados faltantes são criados conjuntos de dados artificialmente completos que podem ser analisados por técnicas estatísticas tradicionais. O objetivo desse artigo foi comparar, em um exemplo baseado em dados reais, a utilização de três técnicas de imputações diferentes. MÉTODO: Os dados utilizados referem-se a um estudo de desenvolvimento de modelo de risco cirúrgico, sendo que o tamanho da amostra foi de 450 pacientes. Os métodos de imputação empregados foram duas imputações únicas e uma imputação múltipla (IM), e a suposição sobre o mecanismo de não-resposta foi MAR (Missing at Random). RESULTADOS: A variável com dados faltantes foi a albumina sérica, com 27,1 por cento de perda. Os modelos obtidos pelas imputações únicas foram semelhantes entre si, mas diferentes dos obtidos com os dados imputados pela IM quanto à inclusão de variáveis nos modelos. CONCLUSÕES: Os resultados indicam que faz diferença levar em conta a relação da albumina com outras variáveis observadas, pois foram obtidos modelos diferentes nas imputações única e múltipla. A imputação única subestima a variabilidade, gerando intervalos de confiança mais estreitos. É importante se considerar o uso de métodos de imputação quando há dados faltantes, especialmente a IM que leva em conta a variabilidade entre imputações para as estimativas do modelo.

INTRODUCTION: It is common for studies in health to face problems with missing data. Through imputation, complete data sets are built artificially and can be analyzed by traditional statistical analysis. The objective of this paper is to compare three types of imputation based on real data. METHODS: The data used came from a study on the development of risk models for surgical mortality. The sample size was 450 patients. The imputation methods applied were: two single imputations and one multiple imputation and the assumption was MAR (Missing at Random). RESULTS: The variable with missing data was serum albumin with 27.1 percent of missing rate. The logistic models adjusted by simple imputation were similar, but differed from models obtained by multiple imputation in relation to the inclusion of variables. CONCLUSIONS: The results indicate that it is important to take into account the relationship of albumin to other variables observed, because different models were obtained in single and multiple imputations. Single imputation underestimates the variability generating narrower confidence intervals. It is important to consider the use of imputation methods when there is missing data, especially multiple imputation that takes into account the variability between imputations for estimates of the model.