Avaliação de validade de um sistema computacional na identificação de estudos duplicados / Evaluación de la validez de un sistema computacional en la identificación de estudios duplicados / Validity assessment of a computational system in the identification of duplicate studies

Resumo Objetivo Avaliar o desempenho do sistema web "Apoio à Revisão Sistemática" quanto à identificação de referências bibliográficas duplicadas, em comparação a outros programas. Métodos Trata-se de uma pesquisa metodológica que avalia o processo automático de identificação de duplicatas do sistema "Apoio à Revisão Sistemática" (versão 1.0), em comparação ao EndNote X9® e Rayyan® , considerando checagem manual como referência. Foi utilizado um conjunto de estudos relacionados a três temas sobre fibrose cística recuperados das bases de dados Pubmed, Embase e Web of Science. Para avaliação de desempenho, utilizaram-se a sensibilidade, especificidade, acurácia e área sob a curva ROC para cada software, em comparação à referência. Resultados As buscas nas bases de dados resultaram em 1332 estudos, sendo 273 (20,5%) verdadeiros duplicados. Em comparação aos dados de referência, o programa "Apoio à Revisão Sistemática" identificou maior proporção de duplicatas verdadeiras do que os demais. Os valores de sensibilidade, especificidade e acurácia do sistema "Apoio à Revisão Sistemática" apresentaram-se acima de 98%. Conclusão e implicações para a prática O sistema "Apoio à Revisão Sistemática" possui alta sensibilidade, especificidade e acurácia para identificação de estudos duplicados, otimizando o tempo e o trabalho dos revisores da área da saúde.

Resumen Objetivo Evaluar el desempeño del sistema web "Apoyo a la Revisión Sistemática" en cuanto a la identificación de referencias duplicadas en comparación a otros programas. Métodos Se trata de una investigación metodológica que evalúa el proceso automático de desduplicación del sistema web "Apoyo a la Revisión Sistemática" (versión 1.0), en comparación al EndNote X9® y Rayyan®, considerando la verificación manual como referencia. Fue utilizado, como ejemplo, un conjunto de estudios relacionados a tres temas sobre fibrosis quística recuperados de las bases de datos Pubmed, Embase y Web of Science. Se analizó la sensibilidad, especificidad, precisión y el área sobre la curva ROC de los programas. Resultados Las búsquedas en las bases de datos dieron como resultado 1332 estudios, siendo 273 (20,5%) verdaderos duplicados. En comparación a los datos de referencia, el programa "Apoyo a la Revisión Sistemática" identificó mayor proporción de duplicados verdaderos que los demás. Los valores de sensibilidad, especificidad y precisión del sistema "Apoyo a la Revisión Sistemática" fueron superiores a 98%. Conclusión e implicaciones para la práctica El sistema "Apoyo a la Revisión Sistemática" posee alta sensibilidad, especificidad y precisión para identificación de estudios duplicados obtenidos a partir de búsquedas en bases de datos en el área de salud, optimizando el trabajo de investigadores. Palabras clave Exactitud de los Datos; Bases de Datos Bibliográficas; Revisión Sistemática; Sensibilidad y Especificidad; Software.

Abstract Objective To evaluate the performance of the Systematic Review Support web-based system for the identification of duplicate records compared with similar software tools. Methods A methodological study was conducted assessing the automated process of de-duplication performed by the Systematic Review Support web-based system (version 1.0) versus the EndNote X9® and Rayyan® systems, adopting hand-checking as the benchmark reference for comparisons. A set of studies on three topics related to cystic fibrosis retrieved from the Pubmed, Embase and Web of Science electronic databases was used for testing purposes. The sensitivity, specificity, accuracy and area under the ROC curve of the software systems were compared to the benchmark values for performance evaluation. Results The database searches retrieved 1332 studies, of which 273 (20.5%) were true duplicates. The Systematic Review Support tool identified a larger proportion of true duplicates than the other systems tested. The sensitivity, specificity and accuracy of the Systematic Review Support tool exceeded 98%. Conclusion and implications for practice The Systematic Review Support system provided a high level of sensitivity, specificity and accuracy in identifying duplicate studies, optimizing time and effort by reviewers in the health field.

Systematic Review Support software system: web-based solution for managing duplicates and screening eligible studies / Sistema "Apoio à Revisão Sistemática": solução web para gerenciamento de duplicatas e seleção de artigos elegíveis

ABSTRACT Objective: To describe the main functions of the "Systematic Review Support" web-based system for removing duplicate articles and aiding eligibility analysis during the process of conducting systematic review studies. Methods: The system was developed based on the incremental build model using the Agile methodology. The software is proprietary source code and was published on a proprietary platform. The architecture of the production environment allows the infrastructure used to increase or decrease according to demand. The system functions are presented with insertion of screenshots of the interfaces of the version for personal computers during the simulation of a systematic review. Results: After importing the files containing the abstracts retrieved from the Pubmed, Embase, and Web of Science databases, the system identifies and removes duplicates for later reading and analysis of title and abstract, a stage which can be performed by one or more reviewers independently. After unblinding of reviewers, the decisions on the eligibility of the studies are compared automatically to help the researchers reach a consensus on any disagreements. Results can be filtered and a PDF produced containing the eligible studies. Conclusion: Version 1.0 of the system is available on the web (sysrev.azurewebsites.net) to assist researchers in the initial stages of systematic reviews.

RESUMO Objetivo: Descrever as principais funcionalidades do sistema "Apoio à Revisão Sistemática" na identificação e exclusão de artigos duplicados e no auxílio na análise de elegibilidade durante a condução de estudo de revisão sistemática. Métodos: O sistema foi desenvolvido com base em um modelo de processo incremental, utilizando-se metodologia Ágil. É de código fechado e foi publicado em plataforma proprietária. O ambiente de produção onde o sistema foi implantado possui arquitetura que permite que a infraestrutura utilizada aumente ou diminua conforme a demanda. As funcionalidades foram apresentadas com inserção de imagens das interfaces da versão para computadores, simulando uma revisão sistemática. Resultados: Após a importação dos resumos recuperados nas bases de dados PubMed, Embase e Web of Science, o sistema permite a identificação e eliminação de duplicatas para posterior leitura e análise de título e resumo, etapa que pode ser realizada por mais de um revisor de maneira independente. Após a quebra do cegamento entre os revisores, as respostas sobre a elegibilidade dos estudos podem ser comparadas automaticamente para facilitar a resolução de divergências pelos pesquisadores. É possível filtrar os resultados e gerar um arquivo PDF com os estudos elegíveis. Conclusão: A versão 1.0 do sistema "Apoio à Revisão Sistemática" encontra-se disponível na web (sysrev.azurewebsites.net) para auxiliar pesquisadores nas etapas iniciais de um estudo de revisão sistemática.