Avaliação de validade de um sistema computacional na identificação de estudos duplicados / Evaluación de la validez de un sistema computacional en la identificación de estudios duplicados / Validity assessment of a computational system in the identification of duplicate studies

RESUMO

Resumo Objetivo Avaliar o desempenho do sistema web "Apoio à Revisão Sistemática" quanto à identificação de referências bibliográficas duplicadas, em comparação a outros programas. Métodos Trata-se de uma pesquisa metodológica que avalia o processo automático de identificação de duplicatas do sistema "Apoio à Revisão Sistemática" (versão 1.0), em comparação ao EndNote X9® e Rayyan® , considerando checagem manual como referência. Foi utilizado um conjunto de estudos relacionados a três temas sobre fibrose cística recuperados das bases de dados Pubmed, Embase e Web of Science. Para avaliação de desempenho, utilizaram-se a sensibilidade, especificidade, acurácia e área sob a curva ROC para cada software, em comparação à referência. Resultados As buscas nas bases de dados resultaram em 1332 estudos, sendo 273 (20,5%) verdadeiros duplicados. Em comparação aos dados de referência, o programa "Apoio à Revisão Sistemática" identificou maior proporção de duplicatas verdadeiras do que os demais. Os valores de sensibilidade, especificidade e acurácia do sistema "Apoio à Revisão Sistemática" apresentaram-se acima de 98%. Conclusão e implicações para a prática O sistema "Apoio à Revisão Sistemática" possui alta sensibilidade, especificidade e acurácia para identificação de estudos duplicados, otimizando o tempo e o trabalho dos revisores da área da saúde.

RESUMEN

Resumen Objetivo Evaluar el desempeño del sistema web "Apoyo a la Revisión Sistemática" en cuanto a la identificación de referencias duplicadas en comparación a otros programas. Métodos Se trata de una investigación metodológica que evalúa el proceso automático de desduplicación del sistema web "Apoyo a la Revisión Sistemática" (versión 1.0), en comparación al EndNote X9® y Rayyan®, considerando la verificación manual como referencia. Fue utilizado, como ejemplo, un conjunto de estudios relacionados a tres temas sobre fibrosis quística recuperados de las bases de datos Pubmed, Embase y Web of Science. Se analizó la sensibilidad, especificidad, precisión y el área sobre la curva ROC de los programas. Resultados Las búsquedas en las bases de datos dieron como resultado 1332 estudios, siendo 273 (20,5%) verdaderos duplicados. En comparación a los datos de referencia, el programa "Apoyo a la Revisión Sistemática" identificó mayor proporción de duplicados verdaderos que los demás. Los valores de sensibilidad, especificidad y precisión del sistema "Apoyo a la Revisión Sistemática" fueron superiores a 98%. Conclusión e implicaciones para la práctica El sistema "Apoyo a la Revisión Sistemática" posee alta sensibilidad, especificidad y precisión para identificación de estudios duplicados obtenidos a partir de búsquedas en bases de datos en el área de salud, optimizando el trabajo de investigadores. Palabras clave Exactitud de los Datos; Bases de Datos Bibliográficas; Revisión Sistemática; Sensibilidad y Especificidad; Software.

ABSTRACT

Abstract Objective To evaluate the performance of the Systematic Review Support web-based system for the identification of duplicate records compared with similar software tools. Methods A methodological study was conducted assessing the automated process of de-duplication performed by the Systematic Review Support web-based system (version 1.0) versus the EndNote X9® and Rayyan® systems, adopting hand-checking as the benchmark reference for comparisons. A set of studies on three topics related to cystic fibrosis retrieved from the Pubmed, Embase and Web of Science electronic databases was used for testing purposes. The sensitivity, specificity, accuracy and area under the ROC curve of the software systems were compared to the benchmark values for performance evaluation. Results The database searches retrieved 1332 studies, of which 273 (20.5%) were true duplicates. The Systematic Review Support tool identified a larger proportion of true duplicates than the other systems tested. The sensitivity, specificity and accuracy of the Systematic Review Support tool exceeded 98%. Conclusion and implications for practice The Systematic Review Support system provided a high level of sensitivity, specificity and accuracy in identifying duplicate studies, optimizing time and effort by reviewers in the health field.