Meta-evaluation of baseline studies of the Brazilian Family Health Strategy Expansion Project: a participatory and formative approach / Meta-avaliação dos estudos da linha de base do Projeto de Expansão da Estratégia Saúde da Família no Brasil: uma abordagem formativa e participativa

ABSTRACT

A participatory, formative meta-evaluation of baseline studies in Brazil is presented. International standards recommended by associations of evaluators were used, along with "specificity" criteria built up using the terms of reference for proposals for the selection of studies. The methodological approach combined a "peer review" of baseline study reports, with a participatory (self) assessment for "primary" evaluators, the average of which provided the final score. Results revealed a classification of "good" and "very good" for the set of standards. The differences between the attribution of scores further highlight the importance of taking into account multiple points of view. Given the lack of pre-existing standards for the reports, the absence of standards and the incipient nature of evaluation focusing on utility, this meta-evaluation does not adequately reflect the quality or potential utility of the baseline studies, however, it will certainly contribute to overcoming these limitations and improving future impact studies of the Brazilian Family Health Strategy Expansion Project (PROESF).

RESUMO

O trabalho apresenta os resultados da meta-avaliação formativa e participativa dos estudos de linha de base no Brasil. Utilizaram-se padrões internacionais preconizados pelas associações de avaliadores e critérios de especificidade construídos usando o termo de referência para seleção de propostas de estudo. A abordagem metodológica associou "revisão de pares" dos relatórios municipais dos estudos de linha de base, com um processo de participação e (auto) qualificação pelos avaliadores "primários", cuja média gerou a classificação final. Os resultados mostram uma classificação entre "bom" e "muito bom" para o conjunto dos parâmetros. As diferenças na atribuição de escores reforçam a importância de se garantirem múltiplos pontos de vista. Considerando a falta de padronização prévia dos relatórios, inexistência de padrões e incipiência das práticas avaliativas com foco na utilidade, provavelmente esta meta-avaliação não refletiu adequadamente a qualidade e uso potencial dos estudos, mas certamente contribuirá para aprimorar os estudos futuro de impacto do Projeto de Expansão da Estratégia Saúde da Família (PROESF).