RESUMO
BACKGROUND: Surgeons' non-technical skills are important for patient safety. The Non-Technical Skills for Surgeons assessment tool was developed in the UK and recently adapted to the US surgical context (NOTSS-US). The aim of this study was to evaluate the reliability and distribution of non-technical skill ratings given by attending (consultant) surgeons who underwent brief online training. METHODS: Attending surgeons across six specialties at a large US academic medical centre underwent a 10-min online training, then rated 60-s standardized videos of simulated operations. Intraclass correlation coefficient (ICC), and mean(s.d.) values for NOTSS-US ratings were determined for each non-technical skill category (score range 1-5, where 1 indicates poor, 3 average and 5 excellent) and for total NOTSS-US score (range 4-20; sum of 4 category scores). Outcomes were adjusted for rater characteristics including sex, specialty and clinical experience. RESULTS: A total of 8889 ratings were submitted by 81 surgeon raters on 30 simulated intraoperative videos. The mean(s.d.) total NOTSS-US score for all videos was 9·5(4·8) of 20. The within-video ICC for total NOTSS-US score was 0·64 (95 per cent c.i. 0·57 to 0·70). For individual non-technical skill categories, the ICC was highest for social skills (communication/teamwork: 0·63, 95 per cent c.i. 0·56 to 0·71; leadership: 0·64, 0·55 to 0·72) and lowest for cognitive skills (situation awareness: 0·54, 0·45 to 0·62; decision-making: 0·50, 0·41 to 0·59). Women gave higher total NOTSS-US scores than men (adjusted mean difference 0·93, 95 per cent c.i. 0·44 to 1·43; P = 0·001). CONCLUSION: After brief online training, the inter-rater reliability of the NOTSS-US assessment tool achieved moderate strength among trained surgeons rating simulated intraoperative videos.
ANTECEDENTES: Las habilidades no técnicas de los cirujanos (Non-Technical Skills for Surgeons, NOTSS) son importantes para la seguridad del paciente. La herramienta de evaluación de habilidades no técnicas para cirujanos se desarrolló en el Reino Unido y se adaptó recientemente al contexto quirúrgico de los Estados Unidos (NOTSS-US.). El objetivo de este estudio fue evaluar la fiabilidad y distribución de las calificaciones de habilidades no técnicas obtenidas por cirujanos adjuntos de cirugía (consultores) que recibieron una breve formación online. MÉTODOS: Cirujanos adjuntos de 6 especialidades en un gran centro universitario de Estados Unidos recibieron una formación online de 10 minutos de duración y seguidamente puntuaron vídeos estandarizados de operaciones simuladas de 60 minutos de duración. Se calcularon el coeficiente de correlación intraclase (intraclass correlation coefficient, ICC), la media y la desviación estándar (standard deviation, SD) para la puntuación de cada categoría de habilidad no técnica del NOTSS-US (rango 1-5, siendo 1 = pobre, 3 = promedio, 5 = excelente) y para la puntuación global de NOTSS-US (rango 4-20, suma de las puntuaciones de las cuatro categorías). Los resultados se ajustaron de acuerdo con las características del evaluador, incluyendo sexo, especialidad, experiencia clínica. RESULTADOS: En 30 videos intraoperatorios simulados, 81 cirujanos evaluadores proporcionaron 8.889 puntaciones. La puntuación media global de NOTSS-US para todos los vídeos fue de 9,5 sobre 20 (SD 4,8). El ICC de los vídeos para la puntuación global de NOTSS-US fue 0,64 (i.c. del 95% 0,57-0,70). Para las categorías individuales de habilidades no técnicas, el ICC más alto fue para las habilidades sociales (comunicación / trabajo en equipo: 0,63, (i.c. del 95% 0,56-0,71); liderazgo, 0,64 (i.c. del 95% 0,55-0,72)) y el más bajo para las habilidades cognitivas (conciencia de la situación 0,54 (i.c. del 95% 0,45-0,62); toma de decisiones 0,50 (i.c. del 95% 0,41-0,59)). Las evaluadoras femeninas presentaron puntuaciones globales de NOTSS-US más altas que los evaluadores masculinos (diferencia 0,93, i.c. del 95% 0,44-1,43; P = 0,001)). CONCLUSIÓN: Después de una breve formación online, la fiabilidad de la herramienta de evaluación NOTSS-US mostró una correlación moderada entre los cirujanos que puntuaron vídeos de simulaciones de intervenciones quirúrgicas.
