Confiabilidade da autoavaliação das práticas de segurança do paciente instituída pelo Sistema Nacional de Vigilância Sanitária: um estudo piloto / Reliability of self-assessment of patient safety practices established by the National Health Surveillance System: a pilot study

RESUMO

Introdução: A Autoavaliação das Práticas de Segurança do Paciente é uma iniciativa do Sistema Nacional de Vigilância Sanitária para a identificação e monitoramento de riscos em serviços de saúde brasileiros mediante autoinspeção. Anualmente, os serviços participantes podem ser classificados em alta adesão às práticas seguras com base em 21 indicadores. Embora essa iniciativa seja promissora, é preciso avaliar a confiabilidade dos indicadores simples e do indicador composto de alta adesão. Objetivo: Analisar a confiabilidade dos indicadores da Autoavaliação das Práticas de Segurança do Paciente em hospitais do Rio Grande do Norte. Método: O delineamento foi um estudo piloto observacional transversal com análise da concordância entre informações oriundas da autoavaliação e da inspeção presencial, que é considerado o padrão ouro. A amostra foi aleatória com 10 participantes dentre os 27 hospitais com leitos de UTI do estado do Rio Grande do Norte que responderam a Autoavaliação em 2019. Após coletar os dados da autoavaliação (brutos e revisados pela vigilância sanitária), uma equipe de vigilância sanitária realizou uma inspeção presencial independente nos hospitais para averiguar a conformidade in loco. A confiabilidade dos 21 indicadores simples e do indicador composto de alta adesão foi analisada com índice de concordância geral (ICG), coeficiente Kappa, coeficiente de correlação intraclasse (CCI), gráficos de Bland e Altman e teste quiquadrado. Resultados: apesar do ICG dos critérios individualmente não ter apresentado percentual acima de 90%, este foi significativo para a maioria dos critérios. E o ICG do indicador composto concordou na comparação da autoavaliação revista pela VISA e inspeção presencial. Assim como o CCI de foi de 0,89 e 0,80 (IC 95%) em ambas as comparações. Os valores de Kappa foram bem divergentes, oscilando de -0,32 até 1,00, para os indicadores simples, mas o indicador composto apresentou relativa confiabilidade. Os critérios com menor confiabilidades são os relacionados aos protocolos assistenciais. O gráfico Bland e Altman mostrou adequada concordância entre os pares de medições da Autoavaliação revista pela VISA e inspeção presencial (p>0.05). Conclusões: Este estudo piloto fornece um método potencialmente útil para mensurar periodicamente a confiabilidade das autoavaliações de práticas de segurança do paciente. Foram identificados indicadores que precisam de revisão de sua descrição e esclarecimentos, para aumentar sua confiabilidade. Embora tenham sido detectados problemas em alguns indicadores simples, o indicador composto de alta adesão foi confiável tanto em relação aos dados brutos enviados pelos hospitais como àqueles revisados pela vigilância sanitária e inspeção presencial (AU).

ABSTRACT

Introduction: The Self-Assessment of Patient Safety Practices is an initiative of the National Health Surveillance System for the identification and monitoring of risks in Brazilian health services through self-inspection. Annually, participating services can be classified as highly compliant with safe practices based on 21 indicators. Although this initiative is promising, it is necessary to assess the reliability of the simple indicators and the high adherence composite indicator. Objective: To analyze self-assessment indicators of Patient Safety Practices in hospitals in Rio Grande do Norte. Method: The design was a cross-sectional observational pilot study with analysis of the agreement between information from self-assessment and face-to-face inspection, which is considered the gold standard. The sample was random with 10 participants from the 27 ICUbed hospitals in the state of Rio Grande do Norte who responded to the Self-Assessment in 2019. After collecting self-assessment data (raw and revised by health surveillance), a health surveillance team performed an independent face-to-face inspection at hospitals to verify onsite compliance. The reliability of the 21 simple indicators and the high adherence composite indicator was analyzed with general agreement index, Kappa coefficient, intraclass correlation coefficient, Bland and Altman plots, and chi-square test. Results: although the ICG of the criteria individually did not present a percentage above 90%, this was significant for most criteria. And the composite indicator ICG agreed to compare the revised self-assessment by VISA and face-to-face inspection. Likewise, the ICC of 0.89 and 0.80 (95% CI) in both comparisons. Kappa values were quite divergent, ranging from -0.32 to 1.00, for simple indicators, but the composite indicator showed relative reliability. The criteria with the least reliability are those related to assistance protocols. The Bland and Altman graph showed adequate agreement between the pairs of measurements from the Self-Assessment revised by VISA and face-to-face inspection (p> 0.05). Conclusions: This pilot study provides a potentially useful method for periodically measuring the reliability of patient safety practice self-assessments. Indicators that need a review of their description and clarification have been identified to increase their reliability. Although problems were detected in some simple indicators, the high adherence composite indicator was reliable both in terms of raw data sent by hospitals and those reviewed by health surveillance and face-to-face inspection (AU).