Evaluation of quality indicators for management of the National School Feeding Program in Brazil: a systematic review / Avaliação de indicadores de qualidade da gestão do Programa Nacional de Alimentação Escolar no Brasil: uma revisão sistemática

ABSTRACT

Abstract This article aims to identify studies that developed quality indicator for the management of the National School Feeding Program (PNAE, in Brazilian context) and to critically appraise the properties of their instruments. Systematic review using Scopus, Lilacs, Pubmed and Web of Science for data collection. The search was limited to studies between 2009 and 2019. The search strategy included search terms related to school feeding, program evaluation, and indicator. The indicators were evaluated using the Appraisal of Indicators through Research and Evaluation instrument. The search identified 1,355 studies, of which 14 were potentially relevant records and 10 met the inclusion criteria. Most studies used a literature review with consensus techniques in the development of the instrument and a frame work format to evaluate the PNAE. None of them presented evidence of validity of the instrument. The highest level was achieved on the domain 'Purpose, relevance and organizational context', followed by 'Stakeholder involvement', 'Additional evidence, formulation and usage', and 'Scientific evidence'. This review found gaps in the methodology of studies that had developed quality indicators for the management of PNAE. Future development of these instruments should include validity evidence.

RESUMO

Resumo O objetivo deste artigo é identificar estudos que desenvolveram indicador de qualidade para gestão do Programa Nacional de Alimentação Escolar (PNAE), e avaliar criticamente as propriedades de seus instrumentos. Revisão sistemática utilizando Scopus, Lilacs, Pubmed e Web of Science para coleta de dados. A busca foi limitada aos estudos realizados entre 2009 e 2019. A estratégia de pesquisa incluiu termos relacionados à alimentação escolar, avaliação de programas e indicador. Os indicadores foram avaliados pelo instrumento Avaliação de Indicadores por Pesquisa e Avaliação. A pesquisa identificou 1.355 estudos, dos quais 14 eram registros potencialmente relevantes e dez preencheram os critérios de inclusão. A maioria dos estudos utilizou uma revisão de literatura com técnicas de consenso no desenvolvimento do instrumento e um formato de matriz para avaliar o PNAE. Nenhum estudo apresentou evidência de validade do instrumento. As melhores pontuações foram obtidas nos domínios "Finalidade, relevância e contexto organizacional", seguido de "Envolvimento das partes interessadas", "Evidência, formulação e uso adicionais" e "Evidência científica". Esta revisão encontrou lacunas na metodologia de estudos que desenvolveram indicadores de qualidade da gestão do PNAE. O desenvolvimento futuro desses instrumentos deve incluir evidências de validade.