Development of the Metareview Assessment of Reporting Quality (MARQ) Checklist / Desarrollo de la Lista de verificación de la Evaluación de los informes de calidad de las Metarevisiones (MARQ)

ABSTRACT

Background. Systematic reviews and metaanalysis often come to conflicting conclusions on key issues and have a number of potentially important methodological limitations. A metareview represents one approach to a descriptive investigation of such issues in review literatures; this involves a systematic review of previously published reviews. Metareviews report on the areas that systematic reviews and metaanalyses have covered, investigating the methodological quality of such reviews, comparing methods for reporting results with recommended standards in the field of systematic reviewing and highlighting areas which could benefit from further research. Objective.The present report was aimed at critically examining the reporting quality of available medical metareviews and encouraging the use of such innovative approach to develop an instrument for assessing metareviews' methodological quality. Methods. PsycINFO, MEDLINE, EMBASE, and CINAHL were searched for previous medical metareviews as of February 11th, 2012. References regarding identified reports and annotated bibliographies were used to supplement the search. Results. Four metareviews meeting the inclusion criteria were identified and descriptively analysed. The first set of standardised metareview reporting guidelines' checklist (metareview assessment of reporting quality MARQ), using quality checklists developed for primary studies and reviews as models, was introduced to enable transparent and consistent reporting of metareview methodology. An average of 15 (SD = 3) MARQ criteria were met when applied to the four metareviews identified during the systematic search. This indicated a moderate level of reporting quality which should be improved in subsequent applications of the methodology by using the standardised checklist. A high level of interrater agreement was found (κ = 0.93). Conclusion. The standardised set of guidelines outlined in this report should assist future researchers in conducting more transparent and methodologically rigorous metareviews.

RESUMEN

Antecedentes. Las revisiones sistemáticas y metaanálisis a menudo llegan a conclusiones contradictorias sobre cuestiones fundamentales y tienen una serie de limitaciones metodológicas potencialmente importantes. Una metarevisión representa una aproximación a una investigación descriptiva de estos temas en la literatura de revisión, lo que implica una revisión sistemática de las revisiones publicadas anteriormente. Las metarevisiones informan sobre las áreas que las revisiones sistemáticas y metaanálisis han cubierto, investigando la calidad metodológica de dichos estudios, y comparando los métodos para informar resultados con las normas recomendadas en el campo de las revisiones sistemáticas y poner de relieve áreas que se podrían beneficiar de futuras investigaciones. Objetivo. Examinar críticamente la calidad de la información disponible de las metarevisiones médicas y fomentar el uso de tal enfoque innovador para desarrollar un instrumento que evalúe la calidad metodológica de las metarevisiones. Métodos. En las bases de datos PsycINFO, MEDLINE, EMBASE, y CINAHL se buscaron metarevisiones médicas hasta el 11 de febrero de 2012. Para complementar la búsqueda fueron usadas referencias relativas a los informes identificados y las bibliografías anotadas. Resultados. Cuatro metarevisiones cumplieron los criterios de inclusión las cuales fueron identificadas y analizadas de forma descriptiva. El primer conjunto de directrices de la lista de verificación estandarizados metareview (Lista de verificación de la Evaluación de los informes de calidad de las Metarevisiones (MARQ)), uso listas de control de calidad desarrollados por los estudios primarios y revisiones como modelos, se introdujo para permitir un registro transparente y coherente de la metodología de las metarevisiones. Un promedio de 15 (SD=3) MARQ criterios se cumplieron cuando se aplicaron a las cuatro metarevisiones identificadas durante la búsqueda sistemática. Esto indica un nivel moderado de calidad de los informes que deben ser mejorados en las aplicaciones posteriores de la metodología utilizando la lista de verificación estandarizada. Se encontró un alto nivel de acuerdo interevaluadores (κ=0,93). Conclusión. El conjunto estandarizado de directrices que se describen en este informe debería ayudar a los futuros investigadores la realización de metarevisiones más transparentes y rigurosas metodológicamente.