Validação de um Algoritmo de Inteligência Artificial para a Predição Diagnóstica de Doença Coronariana: Comparação com um Modelo Estatístico Tradicional / Validation of an Artificial Intelligence Algorithm for Diagnostic Prediction of Coronary Disease: Comparison with a Traditional Statistical Model

Resumo Fundamento: A análise prognóstica multivariada tem sido realizada tradicionalmente por modelos de regressão. No entanto, muitos algoritmos surgiram, capazes de traduzir uma infinidade de padrões em probabilidades. A acurácia dos modelos de inteligência artificial em comparação à de modelos estatísticos tradicionais não foi estabelecida na área médica. Objetivo: Testar a inteligência artificial como um algoritmo preciso na predição de doença coronariana no cenário de dor torácica aguda, e avaliar se seu desempenho é superior a do modelo estatístico tradicional. Métodos: Foi analisada uma amostra consecutiva de 962 pacientes admitidos com dor torácica. Dois modelos probabilísticos de doença coronariana foram construídos com os primeiros 2/3 dos pacientes: um algoritmo machine learning e um modelo logístico tradicional. O desempenho dessas duas estratégias preditivas foi avaliado no último terço de pacientes. O modelo final de regressão logística foi construído somente com variáveis significativas a um nível de significância de 5%. Resultados: A amostra de treinamento tinha idade média de 59 ± 15 anos, 58% do sexo masculino, e uma prevalência de doença coronariana de 52%. O modelo logístico foi composto de nove preditores independentes. O algoritmo machine learning foi composto por todos os candidatos a preditores. Na amostra teste, a área sob a curva ROC para predição de doença coronariana foi de 0,81 (IC95% = 0,77 - 0,86) para o algoritmo machine learning, similar à obtida no modelo logístico (0,82; IC95% = 0,77 - 0,87), p = 0,68. Conclusão: O presente estudo sugere que um modelo machine learning acurado não garante superioridade à um modelo estatístico tradicional

Abstract Background: Multivariate prognostic analysis has been traditionally performed by regression models. However, many algorithms capable of translating an infinity of patterns into probabilities have emerged. The comparative accuracy of artificial intelligence and traditional statistical models has not been established in the medical field. Objective: To test the artificial intelligence as an accurate algorithm for predicting coronary disease in the scenario of acute chest pain and evaluate whether its performance is superior to traditional statistical model. Methods: A consecutive sample of 962 patients admitted with chest pain was analyzed. Two probabilistic models of coronary disease were built using the first two-thirds of patients: a machine learning algorithm and a traditional logistic model. The performance of these two predictive strategies were evaluated in the remaining third of patients. The final logistic regression model had significant variables only, at the 5% significance level. Results: The training sample had an average age of 59 ± 15 years, 58% males, and a 52% prevalence of coronary disease. The logistic model was composed of nine independent predictors. The machine learning algorithm was composed of all candidates for predictors. In the test sample, the area under the ROC curve for prediction of coronary disease was 0.81 (95% CI = 0.77 - 0.86) for the machine learning algorithm, similar to that obtained in logistic model (0.82; 95% CI = 0.77 - 0.87), p = 0.68. Conclusion: The present study suggests that an accurate machine learning prediction tool did not prove to be superior to the statistical model of logistic regression.

Validation of an Artificial Intelligence Algorithm for Diagnostic Prediction of Coronary Disease: Comparison with a Traditional Statistical Model. / Validação de um Algoritmo de Inteligência Artificial para a Predição Diagnóstica de Doença Coronariana: Comparação com um Modelo Estatístico Tradicional.

BACKGROUND: Multivariate prognostic analysis has been traditionally performed by regression models. However, many algorithms capable of translating an infinity of patterns into probabilities have emerged. The comparative accuracy of artificial intelligence and traditional statistical models has not been established in the medical field. OBJECTIVE: To test the artificial intelligence as an accurate algorithm for predicting coronary disease in the scenario of acute chest pain and evaluate whether its performance is superior to traditional statistical model. METHODS: A consecutive sample of 962 patients admitted with chest pain was analyzed. Two probabilistic models of coronary disease were built using the first two-thirds of patients: a machine learning algorithm and a traditional logistic model. The performance of these two predictive strategies were evaluated in the remaining third of patients. The final logistic regression model had significant variables only, at the 5% significance level. RESULTS: The training sample had an average age of 59 ± 15 years, 58% males, and a 52% prevalence of coronary disease. The logistic model was composed of nine independent predictors. The machine learning algorithm was composed of all candidates for predictors. In the test sample, the area under the ROC curve for prediction of coronary disease was 0.81 (95% CI = 0.77 - 0.86) for the machine learning algorithm, similar to that obtained in logistic model (0.82; 95% CI = 0.77 - 0.87), p = 0.68. CONCLUSION: The present study suggests that an accurate machine learning prediction tool did not prove to be superior to the statistical model of logistic regression.

FUNDAMENTO: A análise prognóstica multivariada tem sido realizada tradicionalmente por modelos de regressão. No entanto, muitos algoritmos surgiram, capazes de traduzir uma infinidade de padrões em probabilidades. A acurácia dos modelos de inteligência artificial em comparação à de modelos estatísticos tradicionais não foi estabelecida na área médica. OBJETIVO: Testar a inteligência artificial como um algoritmo preciso na predição de doença coronariana no cenário de dor torácica aguda, e avaliar se seu desempenho é superior a do modelo estatístico tradicional. MÉTODOS: Foi analisada uma amostra consecutiva de 962 pacientes admitidos com dor torácica. Dois modelos probabilísticos de doença coronariana foram construídos com os primeiros 2/3 dos pacientes: um algoritmo machine learning e um modelo logístico tradicional. O desempenho dessas duas estratégias preditivas foi avaliado no último terço de pacientes. O modelo final de regressão logística foi construído somente com variáveis significativas a um nível de significância de 5%. RESULTADOS: A amostra de treinamento tinha idade média de 59 ± 15 anos, 58% do sexo masculino, e uma prevalência de doença coronariana de 52%. O modelo logístico foi composto de nove preditores independentes. O algoritmo machine learning foi composto por todos os candidatos a preditores. Na amostra teste, a área sob a curva ROC para predição de doença coronariana foi de 0,81 (IC95% = 0,77 ­ 0,86) para o algoritmo machine learning, similar à obtida no modelo logístico (0,82; IC95% = 0,77 ­ 0,87), p = 0,68. CONCLUSÃO: O presente estudo sugere que um modelo machine learning acurado não garante superioridade à um modelo estatístico tradicional.

Prognostic Contrast between Anatomical and Clinical Models Regarding Fatal and Non-Fatal Outcomes in Acute Coronary Syndromes. / Competência Prognóstica Distinta entre Modelo Clínico e Anatômico em Síndromes Coronarianas Agudas: Comparação por Tipo de Desfecho.

BACKGROUND: Recurrent ischemic events are mediated by atherosclerotic plaque instability, whereas death after an ischemic event results from gravity of insult and ability of the organism to adapt. The distinct nature of those types of events may respond for different prediction properties of clinical and anatomical information regarding type of outcome. OBJECTIVE: To identify prognostic properties of clinical and anatomical data in respect of fatal and non-fatal outcomes of patients hospitalized with acute coronary syndromes (ACS). METHODS: Patients consecutively admitted with ACS who underwent coronary angiography were recruited. The SYNTAX score was utilized as an anatomic model and the GRACE score as a clinical model. The predictive capacity of those scores was separately evaluated for prediction of non-fatal ischemic outcomes (infarction and refractory angina) and cardiovascular death during hospitalization. It was considered as significant a p-value <0,05. RESULTS: EAmong 365 people, cardiovascular death was observed in 4,4% and incidence of non-fatal ischemic outcomes in 11%. For cardiovascular death, SYNTAX and GRACE score presented similar C-statistic of 0,80 (95% IC: 0,70 - 0,92) and 0,89 (95% IC 0,81 - 0,96), respectively - p = 0,19. As for non-fatal ischemic outcomes, the SYNTAX score presented a moderate predictive value (C-statistic = 0,64; 95%IC 0,55 - 0,73), whereas the GRACE score did not presented association with this type of outcome (C-statistic = 0,50; 95%IC 0,40-0,61) - p = 0,027. CONCLUSION: Clinical and anatomic models similarly predict cardiovascular death in ACS. However, recurrence of coronary instability is better predicted by anatomic variables than clinical data. (Arq Bras Cardiol. 2020; [online].ahead print, PP.0-0).

FUNDAMENTO: Eventos isquêmicos recorrentes decorrem de instabilidade de placa aterosclerótica, enquanto morte após um evento isquêmico decorre da gravidade do insulto. A natureza diversa desses tipos de eventos pode fazer com que dados clínicos e anatômicos tenham diferentes capacidades prognósticas a depender do tipo de desfecho. OBJETIVO: Identificar as predileções prognósticas de dados clínicos e dados anatômicos em relação a desfechos coronários fatais e não fatais durante hospitalização de pacientes com síndromes coronarianas agudas (SCA). MÉTODOS: Pacientes consecutivamente admitidos por SCA que realizaram coronariografia foram recrutados. O escore SYNTAX foi utilizado como modelo anatômico e o escore GRACE como modelo clínico. A capacidade preditora desses escores foi comparada quando à predição de desfechos isquêmicos não fatais (infarto ou angina refratária) e de morte cardiovascular durante hospitalização. Significância estatística foi definida por p < 0,05. RESULTADOS: Entre 365 indivíduos, 4,4% foi a incidência de óbito hospitalar e 11% de desfechos isquêmicos não fatais. Para morte cardiovascular, ambos os escores ­ SYNTAX e GRACE ­ apresentaram capacidade discriminatória, com estatísticas-C similares: 0,80 (95%IC: 0,70­0,92) e 0,89 (95%IC 0,81­0,96), respectivamente ­ p=0,19. Quantos aos desfechos isquêmicos não fatais, o escore SYNTAX apresentou valor preditor (estatística-C = 0,64; 95%IC 0,55­0,73), porém o escore GRACE não mostrou associação com esse tipo de desfecho (estatística-C = 0,50; 95%IC: 0,40­0,61) ­ p=0,027. CONCLUSÃO: Os modelos clínico e anatômico predizem satisfatoriamente morte cardiovascular em SCA, enquanto a recorrência de instabilidade coronária é melhor prevista por características anatômicas do que por dados clínicos. (Arq Bras Cardiol. 2020; 115(2):219-225).

Competência Prognóstica Distinta entre Modelo Clínico e Anatômico em Síndromes Coronarianas Agudas: Comparação por Tipo de Desfecho / Prognostic Contrast between Anatomical and Clinical Models Regarding Fatal and Non-Fatal Outcomes in Acute Coronary Syndromes

Resumo Fundamento Eventos isquêmicos recorrentes decorrem de instabilidade de placa aterosclerótica, enquanto morte após um evento isquêmico decorre da gravidade do insulto. A natureza diversa desses tipos de eventos pode fazer com que dados clínicos e anatômicos tenham diferentes capacidades prognósticas a depender do tipo de desfecho. Objetivo Identificar as predileções prognósticas de dados clínicos e dados anatômicos em relação a desfechos coronários fatais e não fatais durante hospitalização de pacientes com síndromes coronarianas agudas (SCA). Métodos Pacientes consecutivamente admitidos por SCA que realizaram coronariografia foram recrutados. O escore SYNTAX foi utilizado como modelo anatômico e o escore GRACE como modelo clínico. A capacidade preditora desses escores foi comparada quando à predição de desfechos isquêmicos não fatais (infarto ou angina refratária) e de morte cardiovascular durante hospitalização. Significância estatística foi definida por p < 0,05. Resultados Entre 365 indivíduos, 4,4% foi a incidência de óbito hospitalar e 11% de desfechos isquêmicos não fatais. Para morte cardiovascular, ambos os escores — SYNTAX e GRACE — apresentaram capacidade discriminatória, com estatísticas-C similares: 0,80 (95%IC: 0,70-0,92) e 0,89 (95%IC 0,81-0,96), respectivamente — p=0,19. Quantos aos desfechos isquêmicos não fatais, o escore SYNTAX apresentou valor preditor (estatística-C = 0,64; 95%IC 0,55-0,73), porém o escore GRACE não mostrou associação com esse tipo de desfecho (estatística-C = 0,50; 95%IC: 0,40-0,61) — p=0,027. Conclusão Os modelos clínico e anatômico predizem satisfatoriamente morte cardiovascular em SCA, enquanto a recorrência de instabilidade coronária é melhor prevista por características anatômicas do que por dados clínicos. (Arq Bras Cardiol. 2020; 115(2):219-225)

Abstract Background Recurrent ischemic events are mediated by atherosclerotic plaque instability, whereas death after an ischemic event results from gravity of insult and ability of the organism to adapt. The distinct nature of those types of events may respond for different prediction properties of clinical and anatomical information regarding type of outcome. Objective To identify prognostic properties of clinical and anatomical data in respect of fatal and non-fatal outcomes of patients hospitalized with acute coronary syndromes (ACS). Methods Patients consecutively admitted with ACS who underwent coronary angiography were recruited. The SYNTAX score was utilized as an anatomic model and the GRACE score as a clinical model. The predictive capacity of those scores was separately evaluated for prediction of non-fatal ischemic outcomes (infarction and refractory angina) and cardiovascular death during hospitalization. It was considered as significant a p-value <0,05. Results EAmong 365 people, cardiovascular death was observed in 4,4% and incidence of non-fatal ischemic outcomes in 11%. For cardiovascular death, SYNTAX and GRACE score presented similar C-statistic of 0,80 (95% IC: 0,70 - 0,92) and 0,89 (95% IC 0,81 - 0,96), respectively - p = 0,19. As for non-fatal ischemic outcomes, the SYNTAX score presented a moderate predictive value (C-statistic = 0,64; 95%IC 0,55 - 0,73), whereas the GRACE score did not presented association with this type of outcome (C-statistic = 0,50; 95%IC 0,40-0,61) - p = 0,027. Conclusion Clinical and anatomic models similarly predict cardiovascular death in ACS. However, recurrence of coronary instability is better predicted by anatomic variables than clinical data. (Arq Bras Cardiol. 2020; [online].ahead print, PP.0-0)

Prognostic Value of NT-proBNP versus Killip Classification in Patients with Acute Coronary Syndromes / Valor Prognóstico do NT-proBNP versus Classificação de Killip em Pacientes com Síndromes Coronarianas Agudas

Abstract Background: Plasma levels of brain natriuretic peptides have better diagnostic accuracy compared to clinical-radiologic judgment for acute heart failure. In acute coronary syndromes (ACS), the prognostic value of acute heart failure is incorporated into predictive models through Killip classification. It is not established whether NT-proBNP could increment prognostic prediction. Objective: To evaluate whether NT-proBNP, as a measure of left ventricular dysfunction, improves the in-hospital prognostic value of the GRACE score in ACS. Methods: Patients admitted due to acute chest pain, with electrocardiogram and/or troponin criteria for ACS were included in the study. The plasma level of NT-proBNP was measured at hospital admission and the primary endpoint was defined as cardiovascular death during hospitalization. P-value < 0.05 was considered as significant. Results: Among 352 patients studied, cardiovascular mortality was 4.8%. The predictive value of NT-proBNP for cardiovascular death was shown by a C-statistic of 0.78 (95% CI = 0.65-0.90). After adjustment for the GRACE model subtracted by Killip variable, NT-proBNP remained independently associated with cardiovascular death (p = 0.015). However, discrimination by the GRACE-BNP logistic model (C-statistics = 0.83; 95%CI = 0.69-0.97) was not superior to the traditional GRACE Score with Killip (C-statistic = 0.82; 95%CI = 0.68-0.97). The GRACE-BNP model did not provide improvement in the classification of patients to high risk by the GRACE Score (net reclassification index = - 0.15; p = 0.14). Conclusion: Despite the statistical association with cardiovascular death, there was no evidence that NT-proBNP increments the prognostic value of GRACE score in ACS.

Resumo Fundamento: Os níveis plasmáticos de peptídeos natriuréticos cerebrais têm melhor precisão diagnóstica em comparação com a avaliação clínico-radiológica para insuficiência cardíaca aguda. Nas síndromes coronárias agudas (SCA), o valor prognóstico da insuficiência cardíaca aguda é incorporado nos modelos preditivos através da classificação de Killip. Não está estabelecido se o NT-proBNP poderia aumentar a previsão prognóstica. Objetivo: Avaliar se o NT-proBNP, como medida da disfunção ventricular esquerda, melhora o valor prognóstico intra-hospitalar do escore GRACE na SCA. Métodos: Foram incluídos no estudo pacientes admitidos por dor torácica aguda, com eletrocardiograma e/ou critérios de troponina para SCA. O nível plasmático de NT-proBNP foi medido no momento da admissão hospitalar e o desfecho primário foi definido como morte cardiovascular durante a hospitalização. Foi considerado significativo o valor de p < 0,05. Resultados: A mortalidade cardiovascular entre os 352 pacientes estudados foi de 4,8%. O valor preditivo do NT-proBNP para morte cardiovascular foi mostrado por uma estatística C de 0,78 (IC 95% = 0,65-0,90). Após o ajuste para o modelo GRACE subtraído pela variável Killip, o NT-proBNP permaneceu independentemente associado à morte cardiovascular (p = 0,015). No entanto, a discriminação pelo modelo logístico GRACE-BNP (estatística C = 0,83; IC 95% = 0,69-0,97) não foi superior ao escore GRACE tradicional com Killip (estatística C = 0,82; IC 95% = 0,68-0,97). O modelo GRACE-BNP não proporcionou melhora na classificação dos pacientes de alto risco pelo Escore GRACE (índice líquido de reclassificação = - 0,15; p = 0,14). Conclusão: Apesar da associação estatística com a morte cardiovascular, não houve evidências de que o NT-proBNP aumente o valor prognóstico do escore GRACE na SCA.

Prognostic Value of NT-proBNP versus Killip Classification in Patients with Acute Coronary Syndromes.

BACKGROUND: Plasma levels of brain natriuretic peptides have better diagnostic accuracy compared to clinical-radiologic judgment for acute heart failure. In acute coronary syndromes (ACS), the prognostic value of acute heart failure is incorporated into predictive models through Killip classification. It is not established whether NT-proBNP could increment prognostic prediction. OBJECTIVE: To evaluate whether NT-proBNP, as a measure of left ventricular dysfunction, improves the in-hospital prognostic value of the GRACE score in ACS. METHODS: Patients admitted due to acute chest pain, with electrocardiogram and/or troponin criteria for ACS were included in the study. The plasma level of NT-proBNP was measured at hospital admission and the primary endpoint was defined as cardiovascular death during hospitalization. P-value < 0.05 was considered as significant. RESULTS: Among 352 patients studied, cardiovascular mortality was 4.8%. The predictive value of NT-proBNP for cardiovascular death was shown by a C-statistic of 0.78 (95% CI = 0.65-0.90). After adjustment for the GRACE model subtracted by Killip variable, NT-proBNP remained independently associated with cardiovascular death (p = 0.015). However, discrimination by the GRACE-BNP logistic model (C-statistics = 0.83; 95%CI = 0.69-0.97) was not superior to the traditional GRACE Score with Killip (C-statistic = 0.82; 95%CI = 0.68-0.97). The GRACE-BNP model did not provide improvement in the classification of patients to high risk by the GRACE Score (net reclassification index = - 0.15; p = 0.14). CONCLUSION: Despite the statistical association with cardiovascular death, there was no evidence that NT-proBNP increments the prognostic value of GRACE score in ACS.

Inconsistency prevents the valuable synergism of explanatory and pragmatic trails.

OBJECTIVE: To assess review articles on pragmatic trials in order to describe how authors define the aim of this type of study, how comprehensive methodological topics are covered, and which topics are most valued by authors. METHODS: Review articles were selected from Medline Database, based on the expression "pragmatic trial" in the titles. Five trained medical students evaluated the articles, based on a list of 15 self-explanatory methodological topics. Each article was evaluated regarding topics covered. Baseline statements on the aim of pragmatic trials were derived. RESULTS: Among 22 articles identified, there was general agreement that the aim of a pragmatic trial is to evaluate if the intervention works under real-world conditions. The mean number of methodological topics addressed by each article was 7.6 ± 3.1. Only one article covered all 15 topics, three articles (14%) responded to at least 75% of topics and 13 articles (59%) mentioned at least 50% of the topics. The relative frequency each of the 15 topics was cited by articles had a mean of 50% ± 25%. No topic was addressed by all articles, only three (20%) were addressed by more than 75% of articles. CONCLUSIONS: There is agreement on the different aims of explanatory and pragmatic trials. But there is a large variation on methodological topics used to define a pragmatic trial, which led to inconsistency in defining the typical methodology of a pragmatic trial.