Construção de uma escala para avaliar a qualidade metodológica de revisões sistemáticas / Construction of a scale to assess the methodological quality of systematic reviews

RESUMO

Resumo O objetivo deste estudo foi descrever o processo de construção e de validação de uma metodologia para avaliação da qualidade de escalas de revisões sistemáticas. A partir da ampliação do escopo e de acréscimos de novos itens ao instrumento Assessment of Multiple Systematic Reviews (AMSTAR), buscaram-se evidências de validade e confiabilidade da nova metodologia. Em um primeiro momento, a escala original foi traduzida, adaptada, ampliada e avaliada por um painel de cinco especialistas. Em seguida, foi utilizada para avaliar uma amostra aleatória de cinco revisões sistemáticas por três juízes sem treinamento formal na escala. Por fim, a escala consolidada foi avaliada em uma nova rodada por 2 juízes. O painel de especialistas entrou em consenso em relação à validade das alterações propostas. Em relação à escala consolidada, a concordância média entre os juízes por itens e no escore total foi considerada satisfatória. A partir dos processos de adaptação e validação realizados, a metodologia em sua versão final foi composta por 14 itens que conjuntamente indicam a qualidade metodológica de revisões sistemáticas de campos do conhecimento diversos.

ABSTRACT

Abstract The aim of this study was to describe the process of creation and validation of methodology to assess the methodological quality of systematic reviews. From the expansion of the scope and addition of new items to the Assessment of Multiple Systematic Reviews (AMSTAR) instrument evidence of validity and reliability of the new methodology was sought. Firstly, the original scale was translated, adapted, expanded and evaluated by a panel of five experts. Then it was tested by evaluating a random sample of five systematic reviews by three judges with no formal training in the scale. Finally, the consolidated scale was assessed in a new panel by two judges. The panel of experts reached a consensus regarding the validity of the proposed changes. With respect to the scale total and per item score, the average agreement between judges was considered satisfactory in the consolidated scale. From the processes of adaptation and validation performed, the methodology in its final version consisted of 14 items that taken together indicate the methodological quality of systematic reviews from different areas of knowledge.