Avaliação do programa de uso da imunoglobulina palivizumabe no Estado de São Paulo, Brasil / Assessment of the program for use of the monoclonal antibody palivizumab in São Paulo State, Brazil / Evaluación del programa de uso de la inmunoglobulina palivizumab en el Estado de São Paulo, Brasil

O objetivo deste estudo foi avaliar o programa de uso da imunoglobulina palivizumabe no Estado de São Paulo, Brasil. Adotou-se o referencial de avaliação proposto por Donabedian, e os dados foram discutidos com base nas recomendações da Portaria que regulamenta o uso da palivizumabe em rede nacional e no Manual de Normas e Procedimentos para Vacinação. Foram incluídos os 16 locais de aplicação do estado, bem como 693 crianças/mães inscritas no programa em 2014 (85,1% da população elegível). Para avaliação da estrutura e processo foram criados escores que permitiram classificar os locais de aplicação em adequado, parcialmente adequado e inadequado, quando havia até 10%, de 11-20% e superior a 20% de desconformidades, respectivamente. Para a avaliação de resultado, buscou-se associação entre falha na tomada da palivizumabe e a necessidade de hospitalização por doença/sintomatologia respiratória, baseando-se em odds ratio pontual e intervalar, com intervalo de 95% de confiança e valor de p crítico < 0,05. Dos 11 postos de aplicação que tiveram estrutura classificada como adequada, apenas dois apresentaram processo adequado, quatro apresentaram processo inadequado e cinco parcialmente adequados. O risco de hospitalização em UTI por doença/sintomatologia respiratória aumentou em média 30% a cada falha (p = 0,003; OR = 1,30; IC95%: 1,09-1,55). Conclui-se que ter estrutura do programa de uso da imunoglobulina no Estado de São Paulo favorável não resultou, necessariamente, em processo adequado. Em geral, a situação da estrutura foi melhor do que a de processo. Mostrou-se relevante a aplicação de todas as doses da imunoglobulina para a prevenção de internação por doença/sintomatologia respiratória.

This study aimed to assess the program for use of the monoclonal antibody palivizumab in São Paulo State, Brazil. The evaluation adopted the frame of reference proposed by Donabedian, and the data were discussed on the basis of the guidelines from the Ruling on the use of palivizumab in the national network and in the Manual on Standards and Procedures for Vaccination. Sixteen application services in the state were included, with 693 children/mothers enrolled in the program in 2014 (85.1% of the eligible population). For the structure and process evaluation, scores were created that allowed classifying the application services as adequate, partially adequate, and inadequate (non-compliance rates were ≤ 10%, 11-20%, and > 20%, respectively). Results were evaluated according to the association between failure to administer palivizumab and need for hospitalization due to respiratory disease/symptoms, based on the point and interval odds ratios, with 95% confidence interval and critical p-value < 0.05. Of the 11 application services whose structure was classified as adequate, only two showed adequate process, four showed inadequate process, and five partially adequate process. Risk of ICU admission due to respiratory disease/symptoms increased on average by 30% for each failure (p = 0.003; OR = 1.30; 95%CI: 1.09-1.55). In conclusion, having a favorable structure for the program for use of palivizumab in São Paulo State did not necessarily result in an adequate process. In general, the situation with the structure was better than the process. All doses of the monoclonal antibody need to be administered in order to prevent hospitalization from respiratory disease/symptoms.

El objetivo de este estudio fue evaluar el programa de uso de la inmunoglobulina palivizumab en el Estado de São Paulo, Brasil. Se adoptó el sistema referencial de evaluación propuesto por Donabedian, donde los datos se discutieron en base a las recomendaciones del decreto que regula el uso del palivizumab en la red nacional y en el Manual de Normas y Procedimientos para la Vacunación. Se incluyeron 16 espacios de aplicación en el estado, así como a 693 niños/madres inscritas en el programa en 2014 (85,1% de la población elegible). Para la evaluación de la estructura y proceso se crearon marcadores que permitieron clasificar los lugares de aplicación como: adecuado, parcialmente adecuado e inadecuado, cuando había hasta un 10%, de 11-20% y superior al 20% de discordancias, respectivamente. Para la evaluación del resultado, se buscó la asociación entre el fallo en la toma del palivizumab y la necesidad de hospitalización por enfermedad/sintomatología respiratoria, basándose en la razón de probabilidades puntual y con intervalos, con un intervalo del 95% de confianza y valor de p crítico < 0,05. De los 11 puestos de aplicación que contaron con una estructura clasificada como adecuada, solamente dos presentaron un proceso adecuado, cuatro presentaron proceso inadecuado y cinco parcialmente adecuados. El riesgo de hospitalización en la UTI por enfermedad/sintomatología respiratoria aumentó de media un 30% con cada fallo (p = 0,003; OR = 1,30; IC95%: 1,09-1,55). Se concluye que contar con una estructura del programa de uso de la inmunoglobulina en el Estado de São Paulo no resultó favorable, necesariamente, en un proceso adecuado. En general, la situación de la estructura fue mejor que la del proceso. Se mostró relevante la aplicación de todas las dosis de inmunoglobulina para la prevención del internamiento por enfermedad/sintomatología respiratoria.

Parâmetros e paradigmas em meta-avaliação: uma revisão exploratória e reflexiva / Parameters and paradigms for meta-evaluation: an exploratory and reflective review

A avaliação da avaliação não é um simples jogo de palavras ou uma indagação sobre quem avalia a avaliação. Muito mais do que isso, trata-se de avaliar os diversos componentes de um processo avaliativo e os próprios avaliadores. No presente artigo, pretendemos abordar algumas possibilidades da meta-avaliação no campo da avaliação de programas e serviços: fomentar a interação entre a produção teórica e prática no campo; auxiliar no balizamento de métodos e estratégias em uma área marcada por interesses políticos e pela profusão de possibilidades metodológicas; e fomento do rigor ético e científico das práticas avaliativas. Concluiremos esta resenha exploratória da literatura discutindo algumas questões históricas e políticas envolvendo a avaliação e a meta-avaliação de programas e serviços, apresentando críticas às pretensões universalistas e igualitárias presentes em alguns posicionamentos.

The evaluation of an evaluation is not a mere play on words or simply an investigation into the person who evaluates the evaluation. It is far more than that. It is about how to evaluate the diverse components of the evaluation process and the evaluators per se. In this paper, we discuss some promising possibilities for meta-evaluation in the field of evaluation of programs and services. These include fostering interaction between theoretical and practical production in fieldwork and supporting the definition of methods and strategies in a sector imbued with political interests and a profusion of methodological possibilities, and promoting ethical and scientific rigor in the evaluation practices. We conclude this exploratory and reflective review by raising some historical and political questions related to evaluation and meta-evaluation of programs and services and by criticizing the universalist and egalitarian pretensions contained in some evaluation approaches.