Concordância entre avaliadores na seleção de artigos em revisões sistemáticas / Agreement among raters in the selection of articles in a systematic review

RESUMO

O objetivo do estudo é apresentar aspectos metodológicos relativos à concordância entre avaliadores, na seleção inicial de artigos em estudo de revisão sistemática com ou sem metanálise. Foram utilizados como exemplo dados da fase inicial do estudo "Suplementação de vitamina A em lactantes: revisão sistemática". Estes constituem o resultado da leitura, realizada por dois avaliadores, de resumos de artigos selecionados, criteriosamente, em bases bibliográficas eletrônicas. Para cada resumo, foram respondidas as questões: "O estudo envolve mulheres no pós-parto?"; "Trata-se de um estudo com suplementação de vitamina A?"; "O estudo é ensaio clínico?"; seguidas da decisão (inclusão/exclusão) do trabalho. Os dados foram inseridos em planilha Excel, com dupla digitação e uso de procedimento de validação. Utilizou-se o índice de concordância kappa para os aspectos: população, intervenção, tipo de estudo e decisão. Foram identificados 2.553 trabalhos. Os índices de concordância kappa foram, quanto à adequação da população de estudo: k=0,46; do tipo de intervenção: k=0,59; do tipo de estudo: k=0,59 e, sobre a decisão pela inclusão/exclusão: k=0,44. Com base nas concordâncias razoável (tipo de estudo e intervenção) e pobre (população de estudo) observadas entre avaliadores, enfatiza-se a necessidade da leitura inicial dos trabalhos por pelo menos dois avaliadores. As reuniões para consenso realizadas nos casos discordantes foram úteis para resolver diferenças de interpretação entre os avaliadores, possibilitando nova leitura e maior reflexão, e colaboraram, portanto, para diminuir as chances de exclusão de um artigo que, na verdade, deveria ser incluído, com conseqüente maior controle sobre possível vício de seleção.

ABSTRACT

The objective of this study is to present the methodological aspects of inter-rater agreement in the initial selection of studies for a systematic review with or without meta-analysis. As an example, we used data from the initial phase of the study called "Vitamin A supplementation for breastfeeding mothers: systematic review". The data are the result of a reading carried out by two raters of article abstracts selected judiciously among electronic bibliography databases. For each study we posed the questions: "Does the study involve post-partum females?"; "Is it a vitamin A supplementation study?"; "Is it a clinical trial?", followed by a decision (inclusion/exclusion) concerning the study. The data were keyed twice into an Excel spreadsheet and a validation procedure was followed. The kappa agreement rate was applied to the following aspects: population, intervention, study type, and decision. We identified 2,553 studies. The kappa agreement rates were: k=0.46 for suitability of the population studied; k= 0.59 for intervention type; k=0.59 for study type; and k=0.44 for the inclusion/exclusion decision. Given the fair (intervention and study type) and slight (population studied) agreement between raters, we emphasize the need for the studies to be read initially by at least two raters. The consensus meetings carried out in the presence of disagreement were useful to solve differences of interpretation between raters, provided new understanding and deeper reflection, contributed to reduce the chance of non-inclusion of necessary studies, and thus enhanced control over a possible selection bias.