Reliability analysis of the Manchester Triage System: inter-observer and intra-observer agreement / Análise da confiabilidade do Sistema de Triagem de Manchester: concordância interna e entre observadores / Análisis de la confiabilidad del Sistema de Triaje de Manchester: concordancia interna y entre observadores

ABSTRACT

ABSTRACT Objective: To analyze the reliability of the Manchester Triage System to determine the priority of patients in emergency services. Method: This is a reliability study with a sample of 361 nurses. The data were collected in three stages and the questionnaires were applied using the electronic software. The agreement was measured by the evaluation of clinical cases. The outcomes evaluated were agreement with the gold standard and intra-observer in the indication of the flowchart, discriminator, and level of risk. Data were submitted to univariate and bivariate analyses. The agreement was measured by the Kappa index. Results: The external and internal reliability of the protocol ranged from moderate to substantial (Kappa 0.55-0.78). The time of professional experience as a nurse, in emergency services and in the classification of risk were associated with external and internal reliability. The correct choice of the discriminator influenced the correct indication of the risk level (R² = 0.77, p <0.0001) more than the correct choice of the flowchart (R² = 0.16, p <0.0001). Conclusion: The reliability of the Manchester Triage System ranged from moderate to substantial and it was influenced by the clinical experience of the nurse. The protocol is safe for defining clinical priorities using different classification flowcharts.

RESUMO

RESUMO Objetivo: analisar a confiabilidade do Sistema de Triagem de Manchester para determinar o grau de prioridade de pacientes em serviços de urgência. Método: trata-se de estudo de confiabilidade com amostra de 361 enfermeiros. Os dados foram coletados em três etapas e os questionários aplicados utilizando software eletrônico. A concordância foi mensurada pela avaliação de casos clínicos. Os desfechos avaliados foram concordância com o padrão ouro e intraobservadores na indicação do fluxograma, discriminador e nível de risco. Os dados foram submetidos a análises uni e bivariadas. A concordância foi mensurada pelo cálculo do índice Kappa. Resultados: a confiabilidade externa e interna do protocolo variou de moderada a substancial (Kappa0,55-0,78). Tempo de experiência profissional como enfermeiro, em serviços de urgência e emergência e na classificação de risco, foi associado à confiabilidade externa e interna. A escolha certa do discriminador influenciou mais a correta indicação do nível de risco (R²=0,77; p<0,0001) do que a escolha correta do fluxograma (R²=0,16; p<0,0001). Conclusão: a confiabilidade do Sistema de Triagem de Manchester variou de moderada a substancial e foi influenciada pela experiência clínica do enfermeiro. O protocolo é seguro para definição das prioridades clínicas utilizando diferentes fluxogramas de classificação.

RESUMEN

RESUMEN Objetivo: Analizar la confiabilidad del Sistema de Triaje de Manchester para determinar el grado de prioridad de pacientes en servicios de urgencia. Método: Se trata de un estudio de confiabilidad con muestra de 361 enfermeros. Los datos fueron recogidos en tres etapas y los cuestionarios aplicados utilizando software electrónico. La concordancia fue medida por la evaluación de casos clínicos. Los resultados evaluados fueron concordancia con el estándar oro e intra-observadores en la indicación del diagrama de flujo, discriminador y nivel de riesgo. Los datos fueron sometidos a análisis uni y bivariados. La concordancia fue medida por el cálculo del índice Kappa. Resultados: La confiabilidad externa e interna del protocolo varió de moderada a sustancial (Kappa0,55-0,78). Tiempo de experiencia profesional como enfermero, en servicios de urgencia y emergencia y en la clasificación de riesgo fueron asociados a la confiabilidad externa e interna. La elección cierta del discriminador influyó más la correcta indicación del nivel de riesgo (R²=0,77; p<0,0001) de que la elección correcta del diagrama de flujo (R²=0,16; p<0,0001). Conclusión: La confiabilidad del Sistema de Triaje de Manchester varió de moderada a sustancial y fue influida por la experiencia clínica del enfermero. El protocolo es seguro para definición de las prioridades clínicas utilizando diferentes diagramas de flujo de clasificación.