Evaluation of quality indicators for management of the National School Feeding Program in Brazil: a systematic review / Avaliação de indicadores de qualidade da gestão do Programa Nacional de Alimentação Escolar no Brasil: uma revisão sistemática

Abstract This article aims to identify studies that developed quality indicator for the management of the National School Feeding Program (PNAE, in Brazilian context) and to critically appraise the properties of their instruments. Systematic review using Scopus, Lilacs, Pubmed and Web of Science for data collection. The search was limited to studies between 2009 and 2019. The search strategy included search terms related to school feeding, program evaluation, and indicator. The indicators were evaluated using the Appraisal of Indicators through Research and Evaluation instrument. The search identified 1,355 studies, of which 14 were potentially relevant records and 10 met the inclusion criteria. Most studies used a literature review with consensus techniques in the development of the instrument and a frame work format to evaluate the PNAE. None of them presented evidence of validity of the instrument. The highest level was achieved on the domain 'Purpose, relevance and organizational context', followed by 'Stakeholder involvement', 'Additional evidence, formulation and usage', and 'Scientific evidence'. This review found gaps in the methodology of studies that had developed quality indicators for the management of PNAE. Future development of these instruments should include validity evidence.

Resumo O objetivo deste artigo é identificar estudos que desenvolveram indicador de qualidade para gestão do Programa Nacional de Alimentação Escolar (PNAE), e avaliar criticamente as propriedades de seus instrumentos. Revisão sistemática utilizando Scopus, Lilacs, Pubmed e Web of Science para coleta de dados. A busca foi limitada aos estudos realizados entre 2009 e 2019. A estratégia de pesquisa incluiu termos relacionados à alimentação escolar, avaliação de programas e indicador. Os indicadores foram avaliados pelo instrumento Avaliação de Indicadores por Pesquisa e Avaliação. A pesquisa identificou 1.355 estudos, dos quais 14 eram registros potencialmente relevantes e dez preencheram os critérios de inclusão. A maioria dos estudos utilizou uma revisão de literatura com técnicas de consenso no desenvolvimento do instrumento e um formato de matriz para avaliar o PNAE. Nenhum estudo apresentou evidência de validade do instrumento. As melhores pontuações foram obtidas nos domínios "Finalidade, relevância e contexto organizacional", seguido de "Envolvimento das partes interessadas", "Evidência, formulação e uso adicionais" e "Evidência científica". Esta revisão encontrou lacunas na metodologia de estudos que desenvolveram indicadores de qualidade da gestão do PNAE. O desenvolvimento futuro desses instrumentos deve incluir evidências de validade.

Two validity evidences of the ESQUADA and Brazilians' dietary quality levels / Duas evidências de validade da ESQUADA e níveis de qualidade da dieta dos brasileiros

ABSTRACT OBJECTIVE Assess two validity evidences of the diet quality scale (ESQUADA) for the selection of items with better discrimination of the Brazilians' diet quality and propose a description in score levels. METHODS Brazilian adolescents and adults residing in the country (n = 2,059) answered an online questionnaire with 52 items, shared on social networks and email lists between March and April 2018. Statistical tests were applied to analyze the validity and reliability of the instrument's evidence. Factor analysis was applied to study the dimensionality of the questionnaire items. Item response theory was applied to identify the discrimination and location of items on the continuum, construct the scale and assess the differential item functioning in terms of sex and age. RESULTS Among the 52 items of the questionnaire, 25 had greater measurement accuracy, with adequate adjustment and reliability. The item on the habit of eating ultra-processed foods at home showed the best discrimination of diet quality. No item showed differential functioning regarding sex and age. In the construction of the ESQUADA, five diet quality levels were identified: very poor, poor, good, very good and excellent. It was observed that while breakfast cereals and/or cereal bars are more frequently consumed by individuals with "very poor" diet quality; nuts and/or walnuts are most often consumed by those individuals with "excellent" diet quality. CONCLUSION The ESQUADA consists of 25 precise items with no differential functioning to assess the quality of Brazilians' diet. The construction of the ESQUADA made it possible to recognize food consumption and dietary practices characteristic of each level of diet quality.

RESUMO OBJETIVO Avaliar duas evidências de validade da escala de qualidade da dieta (ESQUADA) para seleção dos itens com melhor discriminação da qualidade da dieta dos brasileiros e propor uma descrição em níveis de escore. MÉTODOS Adolescentes e adultos brasileiros e residentes no país (n = 2.059), responderam a um questionário on-line com 52 itens, compartilhado em redes sociais e listas de correio eletrônico entre março e abril de 2018. Foram aplicados testes estatísticos para análise de evidências de validade e confiabilidade do instrumento. A análise fatorial foi aplicada para estudo da dimensionalidade dos itens do questionário. A teoria de resposta ao item foi aplicada para identificar a discriminação e localização dos itens no continuum , construir a escala e avaliar o comportamento diferencial dos itens quanto ao sexo e idade. RESULTADOS Dentre os 52 itens do questionário, 25 apresentaram maior precisão de medida, com ajuste e confiabilidade adequados. O item sobre o costume de comer alimentos ultraprocessados em casa apresentou a melhor discriminação da qualidade da dieta. Nenhum item apresentou comportamento diferencial quanto a sexo e idade. Na construção da ESQUADA foram identificados cinco níveis de qualidade da dieta: "muito ruim", "ruim", "boa", "muito boa" e "excelente". Observou-se que enquanto cereais matinais e/ou barrinhas de cereais são consumidos com maior frequência por indivíduos com qualidade da dieta "muito ruim"; castanhas e/ou nozes são consumidos mais frequentemente por aqueles indivíduos com qualidade da dieta "excelente". CONCLUSÕES A ESQUADA é composta por 25 itens precisos e sem comportamento diferencial para avaliar a qualidade da dieta dos brasileiros. A construção da ESQUADA possibilitou reconhecer consumo e práticas alimentares característicos de cada nível de qualidade da dieta.