ABSTRACT
Resumo Objetivo Avaliar a concordância entre avaliadores na aplicação do instrumento Nursing Activities Score (NAS) em um Centro de Terapia Intensiva (CTI) adulto. Métodos Trata-se de um estudo metodológico, realizado em um CTI de um hospital público e universitário do sul do Brasil. Os pesquisadores foram capacitados para a utilização do NAS, e, após, uma enfermeira considerada padrão de referência (PR), dois assistentes de pesquisa (AP1 e AP2) e os enfermeiros assistenciais (ENF) aplicaram o instrumento de modo independente, considerando os mesmos pacientes. Testou-se a concordância por meio do coeficiente de correlação intraclasse (CCI) para o valor final do NAS e do coeficiente kappa para a análise dos 23 itens que compõem o NAS. Resultados Na média final do NAS, obteve-se forte concordância entre a PR e o AP1 (CCI=0,92; IC95%: 0,89-0,95) e concordância substancial entre a PR e o AP2 (CCI=0,78; IC95%: 0,64-0,87) e a PR e os ENF (CCI=0,75; IC95%: 0,62-0,84). A concordância dos itens que compõe o NAS foi considerada como perfeita ou quase perfeita em 14 dos 23 itens pontuados pelas duplas de avaliadores formadas pela PR com o AP1 e AP2, e em dois dos 23 itens pontuados pela dupla formada pela PR com os ENF. A concordância foi considerada pobre ou relativa, com ao menos uma dupla de avaliadores, em sete dos 23 itens. Conclusão Apesar da boa concordância tanto na média geral quanto na maior parte dos itens do NAS, observou-se divergências especialmente nos itens de maior subjetividade do instrumento.
Resumen Objetivo Evaluar la concordancia entre evaluadores en la aplicación del instrumento Nursing Activities Score (NAS) en una Unidad de Cuidados Intensivos (UCI) adulta. Métodos Se trata de un estudio metodológico, realizado en una UCI de un hospital público universitario del sur de Brasil. Los investigadores fueron capacitados para la utilización del NAS. Después, una enfermera considerada modelo de referencia (PR), dos asistentes de investigación (AP1 y AP2) y los enfermeros asistenciales (ENF) aplicaron el instrumento de modo independiente, considerando los mismos pacientes. Se probó la concordancia por medio del coeficiente de correlación intraclase (CCI) del valor final del NAS y del coeficiente kappa para el análisis de los 23 ítems que componen el NAS. Resultados En el promedio final de NAS, se obtuvo una fuerte concordancia entre la PR y el AP1 (CCI=0,92; IC95 %: 0,89-0,95) y concordancia substancial entre la PR y el AP2 (CCI=0,78; IC95 %: 0,64-0,87) y la PR y los ENF (CCI=0,75; IC95 %: 0,62-0,84). La concordancia de los ítems que componen el NAS fue considerada perfecta o casi perfecta en 14 de los 23 ítems marcados por los pares de evaluadores formados por la PR con el AP1 y el AP2, y en dos de los 23 ítems marcados por el par formado por la PR con los ENF. La concordancia fue considerada pobre o relativa, con al menos un par de evaluadores, en siete de los tres ítems. Conclusión A pesar de la buena concordancia, tanto en el promedio general como en la mayor parte de los ítems del NAS, se observaron divergencias, especialmente en los ítems de más subjetividad del instrumento.
Abstract Objective To assess the agreement among evaluators in the Nursing Activities Score (NAS) application in an adult Intensive Care Unit (ICU). Methods This is a methodological study, carried out in an ICU of a public and university hospital in southern Brazil. The researchers were trained to use the NAS, and after that, a researcher considered a reference standard (RR), two research assistants (RA1 and RA2) and nursing assistants (NUR) applied the instrument independently, considering the same patients. Agreement was tested using the intraclass correlation coefficient (ICC) for the final value of NAS, and kappa coefficient, for analysis of the NAS 23 items. Results In the final mean of NAS, there was a strong agreement among RR and RA1 (ICC=0.92; 95%CI: 0.89-0.95) and substantial agreement among RR and RA2 (ICC=0.78; 95%CI: 0.64-0.87) and RR and NUR (ICC=0.75; 95%CI: 0.62-0.84). Agreement regarding NAS items was considered perfect or almost perfect in 14 of the 23 items scored by the pairs of evaluators formed by RR with RA1 and RA2, and in two of the 23 items scored by the pair formed by RR with NUR. Agreement was considered poor or relative, with at least one pair of raters, in seven of the 23 items. Conclusion Despite the good agreement both in the general mean and in most of the NAS items, divergences were observed, especially in the items of greater subjectivity of the instrument.