Treatment of individual predictors with neural network algorithms improves Global Registry of Acute Coronary Events score discrimination / El tratamiento con redes neuronales de las variables del Global Registry of Acute Coronary mejora la discriminación del score

ABSTRACT

Abstract Objective: The aim of this study was to develop, train, and test different neural network (NN) algorithm-based models to improve the Global Registry of Acute Coronary Events (GRACE) score performance to predict in-hospital mortality after an acute coronary syndrome. Methods: We analyzed a prospective database, including 40 admission variables of 1255 patients admitted with the acute coronary syndrome in a community hospital. Individual predictors included in GRACE score were used to train and test three NN algorithm-based models (guided models), namely one- and two-hidden layer multilayer perceptron and a radial basis function network. Three extra NNs were built using the 40 admission variables of the entire database (unguided models). Expected mortality according to GRACE score was calculated using the logistic regression equation. Results: In terms of receiver operating characteristic area and negative predictive value (NPV), almost all NN algorithms outperformed logistic regression. Only radial basis function models obtained a better accuracy level based on NPV improvement, at the expense of positive predictive value (PPV) reduction. The independent normalized importance of variables for the best unguided NN was creatinine 100%, Killip class 61%, ejection fraction 52%, age 44%, maximum creatine-kinase level 41%, glycemia 40%, left bundle branch block 35%, and weight 33%, among the top 8 predictors. Conclusions: Treatment of individual predictors of GRACE score with NN algorithms improved accuracy and discrimination power in all models with respect to the traditional logistic regression approach; nevertheless, PPV was only marginally enhanced. Unguided variable selection would be able to achieve better results in PPV terms.

RESUMEN

Resumen Objetivo: El objetivo fue desarrollar, entrenar y probar diferentes modelos basados en algoritmos de redes neuronales (RN) para mejorar el rendimiento del score del Registro Global de Eventos Coronarios Agudos (GRACE) para predecir la mortalidad hospitalaria después de un síndrome coronario agudo. Métodos: Analizamos una base de datos prospectiva que incluía 40 variables de ingreso de 1255 pacientes con síndrome coronario agudo en un hospital comunitario. Las variables incluidas en la puntuación GRACE se usaron para entrenar y probar tres algoritmos basados en RN (modelos guiados), a saber perceptrones multicapa de una y dos capas ocultas y una red de función de base radial. Se construyeron tres RN adicionales utilizando las 40 variables de admisión de toda la base de datos (modelos no guiados). La mortalidad esperada según el GRACE se calculó usando la ecuación de regresión logística. Resultados: En términos del área ROC y valor predictivo negativo (VPN), casi todos los algoritmos RN superaron la regresión logística. Solo los modelos de función de base radial obtuvieron un mejor nivel de precisión basado en la mejora del VPN, pero a expensas de la reducción del valor predictivo positivo (VPP). La importancia normalizada de las variables incluidas en la mejor RN no guiada fue creatinina 100%, clase Killip 61%, fracción de eyección 52%, edad 44%, nivel máximo de creatina quinasa 41%, glucemia 40%, bloqueo de rama izquierda 35%, y peso 33%, entre los 8 predictores principales. Conclusiones: El tratamiento de las variables del score GRACE mediante algoritmos de RN mejoró la precisión y la discriminación en todos los modelos con respecto al enfoque tradicional de regresión logística; sin embargo, el VPP solo mejoró marginalmente. La selección no guiada de variables podría mejorar los resultados en términos de PPV.