Risco de queda relacionado a medicamentos em hospitais: abordagem de aprendizado de máquina / Riesgo de caída relacionado con medicamentos en hospitales: enfoque de aprendizaje de máquina / Drug-related fall risk in hospitals: a machine learning approach

Resumo Objetivo Comparar o desempenho de modelos de aprendizado de máquina com o Medication Fall Risk Score (MFRS) na previsão de risco de queda relacionado a medicamentos prescritos. Métodos Trata-se de um estudo caso-controle retrospectivo de pacientes adultos e idosos de um hospital terciário de Porto Alegre, RS, Brasil. Medicamentos prescritos e classes de medicamentos foram investigados. Os dados foram exportados para o software RStudio para análise estatística. As variáveis foram analisadas por meio dos algoritmos de Regressão Logística, Naive Bayes, Random Forest e Gradient Boosting. A validação do algoritmo foi realizada usando validação cruzada de 10 vezes. O índice de Youden foi a métrica selecionada para avaliar os modelos. O projeto foi aprovado pelo Comitê de Ética em Pesquisa. Resultados O modelo de aprendizado de máquina que apresentou melhor desempenho foi o desenvolvido pelo algoritmo Naive Bayes. O modelo construído a partir de um conjunto de dados de um hospital específico apresentou melhores resultados para a população estudada do que o MFRS, uma ferramenta generalizável. Conclusão Ferramentas de previsão de risco que dependem de aplicação e registro adequados por parte dos profissionais demandam tempo e atenção que poderiam ser alocados ao cuidado do paciente. Modelos de previsão construídos por meio de algoritmos de aprendizado de máquina podem ajudar a identificar riscos para melhorar o atendimento ao paciente.

Resumen Objetivo Comparar el desempeño de modelos de aprendizaje de máquina con Medication Fall Risk Score (MFRS) para la previsión del riesgo de caída relacionado con medicamentos prescriptos. Métodos Se trata de un estudio caso-control retrospectivo de pacientes adultos y adultos mayores de un hospital terciario de Porto Alegre, estado de Rio Grande do Sul, Brasil. Se investigaron los medicamentos prescriptos y las clases de medicamentos. Los datos fueron exportados al software RStudio para el análisis estadístico. Las variables se analizaron a través de los algoritmos de regresión logística Naive Bayes, Random Forest y Gradient Boosting. La validación del algoritmo se realizó usando validación cruzada de 10 veces. El índice de Youden fue la métrica seleccionada para evaluar los modelos. El proyecto fue aprobado por el Comité de Ética en Investigación. Resultados El modelo de aprendizaje de máquina que presentó el mejor desempeño fue el desarrollado por el algoritmo Naive Bayes. El modelo construido a partir de un conjunto de datos de un hospital específico presentó mejores resultados en la población estudiada que el MFRS, una herramienta generalizada. Conclusión Herramientas de previsión de riesgo que dependen de la aplicación y el registro adecuados por parte de los profesionales demandan tiempo y atención que podría ser destinado al cuidado del paciente. Modelos de previsión construidos mediante algoritmos de aprendizaje de máquina pueden ayudar a identificar riesgos para mejorar la atención al paciente.

Abstract Objective To compare the performance of machine-learning models with the Medication Fall Risk Score (MFRS) in predicting fall risk related to prescription medications. Methods This is a retrospective case-control study of adult and older adult patients in a tertiary hospital in Porto Alegre, RS, Brazil. Prescription drugs and drug classes were investigated. Data were exported to the RStudio software for statistical analysis. The variables were analyzed using Logistic Regression, Naive Bayes, Random Forest, and Gradient Boosting algorithms. Algorithm validation was performed using 10-fold cross validation. The Youden index was the metric selected to evaluate the models. The project was approved by the Research Ethics Committee. Results The machine-learning model showing the best performance was the one developed by the Naive Bayes algorithm. The model built from a data set of a specific hospital showed better results for the studied population than did MFRS, a generalizable tool. Conclusion Risk-prediction tools that depend on proper application and registration by professionals require time and attention that could be allocated to patient care. Prediction models built through machine-learning algorithms can help identify risks to improve patient care.

Semi-automated data collection from electronic health records in a stroke unit in Brazil / Coleta de dados semiautomáticos de registros eletrônicos de saúde na unidade de acidente vascular cerebral no Brasil

ABSTRACT Background: There is a high demand for stroke patient data in the public health systems of middle and low-income countries. Objective: To develop a stroke databank for integrating clinical or functional data and benchmarks from stroke patients. Methods: This was an observational, cross-sectional, prospective study. A tool was developed to collect all clinical data during hospitalizations due to stroke, using an electronic editor of structured forms that was integrated with electronic medical records. Validation of fields in the electronic editor was programmed using a structured query language (SQL). To store the results from SQL, a virtual table was created and programmed to update daily. To develop an interface between the data and user, the Embarcadero Delphi software and the DevExpress component were used to generate the information displayed on the screen. The data were extracted from the fields of the form and also from cross-referencing of other information from the computerized system, including patients who were admitted to the stroke unit. Results: The database was created and integrated with the hospital electronic system, thus allowing daily data collection. Quality indicators (benchmarks) were created in the database for the system to track and perform decision-making in conjunction with healthcare service managers, which resulted in improved processes and patient care after a stroke. An intelligent portal was created, in which the information referring to the patients was accessible. Conclusions: Based on semi-automated data collection, it was possible to create a dynamic and optimized Brazilian stroke databank.

RESUMO Antecedentes: Há alta demanda de dados de pacientes com acidente vascular cerebral (AVC) nos sistemas de saúde de países de baixa e média renda. Objetivo: Desenvolver um banco de dados de AVC para integrar dados clínicos ou funcionais e indicadores de qualidade de pacientes com AVC. Métodos: Estudo observacional, transversal e prospectivo. Foi desenvolvida uma ferramenta para coletar dados clínicos durante as internações por AVC por meio de um editor eletrônico de formulários estruturados integrado ao prontuário eletrônico. A validação dos campos no editor eletrônico foi programada em linguagem de consulta estruturada (SQL). Para armazenar os resultados da SQL, uma tabela virtual foi criada e programada para atualização diária. Para desenvolver interface entre os dados e o usuário, foram utilizados o software Embarcadero Delphi e o componente DevExpress para gerar informações apresentadas na tela. Os dados foram extraídos dos campos do formulário e também do cruzamento de outras informações do sistema informatizado, incluindo pacientes internados na unidade de AVC. Resultados: O banco de dados foi criado e integrado ao sistema eletrônico do hospital, permitindo coleta diária de dados. Indicadores de qualidade foram criados no banco de dados para que o sistema acompanhasse e realizasse a tomada de decisão com os gestores dos serviços de saúde, resultando em melhoria no processo e no atendimento ao paciente após AVC. Foi criado um portal inteligente, no qual eram registradas as informações referentes aos pacientes. Conclusões: Com a coleta de dados semiautomática, foi possível criar um banco de dados de AVC dinâmico e otimizado em unidade de AVC no Brasil.

Prediction of absenteeism in public schools teachers with machine learning / Predição de absenteísmo docente na rede pública com machine learning

ABSTRACT OBJECTIVE To predict the risk of absence from work due to morbidities of teachers working in early childhood education in the municipal public schools, using machine learning algorithms. METHODS This is a cross-sectional study using secondary, public and anonymous data from the Relação Anual de Informações Sociais, selecting early childhood education teachers who worked in the municipal public schools of the state of São Paulo between 2014 and 2018 (n = 174,294). Data on the average number of students per class and number of inhabitants in the municipality were also linked. The data were separated into training and testing, using records from 2014 to 2016 (n = 103,357) to train five predictive models, and data from 2017 to 2018 (n = 70,937) to test their performance in new data. The predictive performance of the algorithms was evaluated using the value of the area under the ROC curve (AUROC). RESULTS All five algorithms tested showed an area under the curve above 0.76. The algorithm with the best predictive performance (artificial neural networks) achieved 0.79 of area under the curve, with accuracy of 71.52%, sensitivity of 72.86%, specificity of 70.52%, and kappa of 0.427 in the test data. CONCLUSION It is possible to predict cases of sickness absence in teachers of public schools with machine learning using public data. The best algorithm showed a better result of the area under the curve when compared with the reference model (logistic regression). The algorithms can contribute to more assertive predictions in the public health and worker health areas, allowing to monitor and help prevent the absence of these workers due to morbidity.

RESUMO OBJETIVO Predizer o risco de ausência laboral decorrente de morbidades dos docentes que atuam na educação infantil na rede pública municipal, com o uso de algoritmos de machine learning. MÉTODOS Trata-se de um estudo transversal utilizando dados secundários, públicos e anônimos da Relação Anual de Informações Sociais, selecionando professores da educação infantil que atuaram na rede pública municipal do estado de São Paulo entre 2014 e 2018 (n = 174.294). Foram também vinculados dados da média de alunos por turma e número de habitantes no município. Os dados foram separados em treinamento e teste, utilizando os registros de 2014 a 2016 (n = 103.357) para treinar cinco modelos preditivos e os dados de 2017 a 2018 (n = 70.937) para testar seus desempenhos em dados novos. A performance preditiva dos algoritmos foi avaliada por meio do valor da área abaixo da curva ROC (AUROC). RESULTADOS Todos os cinco algoritmos testados apresentaram área abaixo da curva acima de 0,76. O algoritmo com melhor performance preditiva (redes neurais artificiais) obteve 0,79 de área abaixo da curva, com acurácia de 71,52%, sensibilidade de 72,86%, especificidade de 70,52% e kappa de 0,427 nos dados de teste. CONCLUSÃO É possível predizer casos de afastamentos por morbidade em docentes da rede pública com machine learning usando dados públicos. O melhor algoritmo apresentou melhor resultado da área abaixo da curva quando comparado ao modelo de referência (regressão logística). Os algoritmos podem contribuir para predições mais assertivas na área da saúde pública e da saúde do trabalhador, permitindo acompanhar e ajudar a prevenir afastamentos por morbidade desses trabalhadores.

Comparison of machine-learning algorithms to build a predictive model for detecting undiagnosed diabetes - ELSA-Brasil: accuracy study / Comparação de algoritmos de aprendizagem de máquina para construir um modelo preditivo para detecção de diabetes não diagnosticada - ELSA-Brasil: estudo de acurácia

ABSTRACT CONTEXT AND OBJECTIVE: Type 2 diabetes is a chronic disease associated with a wide range of serious health complications that have a major impact on overall health. The aims here were to develop and validate predictive models for detecting undiagnosed diabetes using data from the Longitudinal Study of Adult Health (ELSA-Brasil) and to compare the performance of different machine-learning algorithms in this task. DESIGN AND SETTING: Comparison of machine-learning algorithms to develop predictive models using data from ELSA-Brasil. METHODS: After selecting a subset of 27 candidate variables from the literature, models were built and validated in four sequential steps: (i) parameter tuning with tenfold cross-validation, repeated three times; (ii) automatic variable selection using forward selection, a wrapper strategy with four different machine-learning algorithms and tenfold cross-validation (repeated three times), to evaluate each subset of variables; (iii) error estimation of model parameters with tenfold cross-validation, repeated ten times; and (iv) generalization testing on an independent dataset. The models were created with the following machine-learning algorithms: logistic regression, artificial neural network, naïve Bayes, K-nearest neighbor and random forest. RESULTS: The best models were created using artificial neural networks and logistic regression. ­These achieved mean areas under the curve of, respectively, 75.24% and 74.98% in the error estimation step and 74.17% and 74.41% in the generalization testing step. CONCLUSION: Most of the predictive models produced similar results, and demonstrated the feasibility of identifying individuals with highest probability of having undiagnosed diabetes, through easily-obtained clinical data.

RESUMO CONTEXTO E OBJETIVO: Diabetes tipo 2 é uma doença crônica associada a graves complicações de saúde, causando grande impacto na saúde global. O objetivo foi desenvolver e validar modelos preditivos para detectar diabetes não diagnosticada utilizando dados do Estudo Longitudinal de Saúde do Adulto (ELSA-Brasil) e comparar o desempenho de diferentes algoritmos de aprendizagem de máquina. TIPO DE ESTUDO E LOCAL: Comparação de algoritmos de aprendizagem de máquina para o desenvolvimento de modelos preditivos utilizando dados do ELSA-Brasil. MÉTODOS: Após selecionar 27 variáveis candidatas a partir da literatura, modelos foram construídos e validados em 4 etapas sequenciais: (i) afinação de parâmetros com validação cruzada (10-fold cross-validation); (ii) seleção automática de variáveis utilizando seleção progressiva, estratégia "wrapper" com quatro algoritmos de aprendizagem de máquina distintos e validação cruzada para avaliar cada subconjunto de variáveis; (iii) estimação de erros dos parâmetros dos modelos com validação cruzada; e (iv) teste de generalização em um conjunto de dados independente. Os modelos foram criados com os seguintes algoritmos de aprendizagem de máquina: regressão logística, redes neurais artificiais, naïve Bayes, K vizinhos mais próximos e floresta aleatória. RESULTADOS: Os melhores modelos foram criados utilizando redes neurais artificiais e regressão logística alcançando, respectivamente, 75,24% e 74,98% de média de área sob a curva na etapa de estimação de erros e 74,17% e 74,41% na etapa de teste de generalização. CONCLUSÃO: A maioria dos modelos preditivos produziu resultados semelhantes e demonstrou a viabilidade de identificar aqueles com maior probabilidade de ter diabetes não diagnosticada com dados clínicos facilmente obtidos.

Análise de sentimentos aplicada à realidade da doação de sangue no Brasil usando dados do Twitter / Sentiment analysis of tweets: the reality of blood donation in Brazil

OBJECTIVE: Analyze the sentiments and opinions from Twitter users about blood donation in Brazil. We collected19 thousand tweets related to blood donation between January 1st and December 31st, 2015. From those, 1364tweets were randomly select to compose the training and the evaluation test set. METHODS: Four classifiers were applied: Multinomial Naïve Bayes, Bernoulli Naïve Bayes, Gaussian Naïve Bayes e Maximum Entropy. RESULTS: The tweets have been classified as positive, negative and neutral. The classifiers Multinomial Naïve Bayes e Maximum Entropy achieved better results. CONCLUSION: We have observed that the Multinomial Naïve Bayes classifier achieved the best performance in the overall set of messages.

OBJETIVO: Analisar os sentimentos e opiniões dos usuários do Twitter a respeito da doação de sangue no Brasil. Foram coletados mais de 19 mil tweets relacionados à doação de sangue, publicados entre 1º de janeiro de 2015 e 31de dezembro de 2015. Deste total de tweets, uma amostra de 1364 tweets foi selecionada para compor dois conjuntos de dados: um para treinar e outro para avaliar. MÉTODOS: Os 4 algoritmos de classificação adotados neste trabalho, sãoeles: Multinomial Naïve Bayes, Bernoulli Naïve Bayes, Gaussian Naïve Bayes e Maximum Entropy. RESULTADO: A classificaçãodos tweets em três possíveis classes (positiva, negativa e neutra) foi realizada. Os classificadores Multinomial Naïve Bayes e Maximum Entropy obtiveram os melhores resultados. CONCLUSÃO: Pudemos observar que o algoritmo Multinomial Naïve Bayes obteve o melhor desempenho na classificação do conjunto total de mensagens.