Avaliação de programas sociais: comparando estratégias de análise de dados / Social programs evaluation: a comparison of data analysis strategies

RESUMO

Este artigo apresenta uma discussão sobre questões metodológicas em relação à avaliação de programas sociais, tomando como exemplo o caso do Plano Nacional de Qualificação do Trabalhador - PLANFOR. O delineamento da pesquisa foi de um estudo quase-experimental, com três grupos dois experimentais e um controle. A pesquisa foi realizada durante os anos de 2001 a 2004, com coleta de dados antes e depois do programa, englobando 360 instituições, sendo uma por município, cobrindo todas as regiões brasileiras. Para a coleta de dados, utilizou-se um instrumento com indicadores quantitativos (sociais e econômicos). Foram comparadas quatro estratégias de análise de dados análise de variância (ANOVA) de mensurações repetidas (pré e pós-teste), ANOVA com escores de ganho, ANOVA com categorização dos sujeitos no pré-teste (blocking) e análise de covariância (ANCOVA). Foram ainda consideradas interpretações alternativas para os efeitos encontrados. Por fim, discutiu-se a adequação de tais estratégias para a avaliação de programas sociais.

ABSTRACT

This article presents a discussion about methodological questions related to social programs evaluation, taking as an example the case of the National Worker Qualification Plan - PLANFOR. The present study used a quasi-experimental design containing three groups two experimental groups and one control group. The research was realized from 2001 to 2004, with data collection before and after the program, and comprising 360 organizations, one per city, from all Brazilian regions. For data collection, it was used an instrument with quantitative indicators (social and economic). Four data analysis strategies were compared analysis of variance (ANOVA) of repeated measurement (pre- and post-test scores), ANOVA with gain scores, ANOVA after subjects' categorization on their pre-test (blocking), and analysis of covariance (ANCOVA). Alternative explanations of the observed effects were considered. Finally, the suitability of these strategies to the evaluation of social programs was discussed.