Diseño de una escala para evaluar calidad metodológica de estudios de pruebas diagnósticas: estudio piloto / Construction of a scale to assess methodological quality of diagnostic tests articles

ABSTRACT

Introduction: Despite the methodological quality (MQ) of scientific publications is a multidimensional concept difficult to understand, their evaluation is essential at the time of making decisions that support our clinical practice. However, in the field of diagnostic tests (DT), which is in a steady and rapid development, there are no valid and reliable instruments to assess MQ. Aim: To report the results of the generation of items and domains of a scale to determine MQ in studies of DT and to determine interobserver reliability of this scale. Material and Methods: Construction of a scale to assess MQ of DT articles and pilot study to determine interobserver reliability. Designed scale was applied to 20 DT studies randomly selected. Interobserver reliability of the scale and each of the domains that compose it was determined by applying intraclass correlation coefficient. Results: The created scale has 9 items grouped into three domains. The ICC observed was 1.0 for the domain 1, 0.90 for the domain 2 and 0.86 for the domain 3. The overall ICC was 0.96. Conclusion: A scale to determine MQ in DT studies was created and it interobserver reliability was determined with a significant level of agreement between observers.

RESUMEN

Introducción: A pesar que la calidad metodológica (CM) de las publicaciones científicas es un concepto multidimensional de difícil comprensión, su evaluación es fundamental para la toma de decisiones que apoyen nuestra práctica clínica. No obstante ello, en el ámbito de las pruebas diagnósticas (PD), que se encuentra en constante y rápido desarrollo, no existen instrumentos válidos y confiables que permitan evaluar CM. Objetivo: Reportar los resultados del proceso de generación de ítems y dominios de una escala para determinar CM en estudios de PD; y determinar la confiabilidad interobservador de esta escala. Material y Método: Construcción de una escala de CM de estudios de PD y estudio de confiabilidad interobservador. Se aplicó la escala diseñada a 20 artículos de PD seleccionados en forma aleatoria. Se determinó confiabilidad interobservador de la escala en general y de cada uno de los dominios que la componen mediante aplicación del coeficiente de correlación intraclase. Resultados: La escala generada quedó compuesta por 9 ítems agrupados en tres dominios. El CCI observado para el dominio uno fue de 1,0; para el dominio dos de 0,90; y para el dominio tres de 0,86. El CCI general de la escala fue de 0,96. Conclusión: Se generó una escala para medir CM en estudios de PD y se determinó confiabilidad interobservador de ella y los dominios que la componen. Se observó un nivel de acuerdo significativo entre los evaluadores.