Confiabilidad de una escala de valoración de resúmenes para congresos / Reliability of a scale for evaluation of abstracts for conferences

RESUMEN

Introducción: En 2013, desarrollamos una escala, para evaluar resúmenes de congresos de la Sociedad de Cirujanos de Chile (SOCICH). Objetivo: Determinar consistencia interna y confiabilidad interobservador de una escala para evaluar resúmenes de congresos. Material y Método: Estudio de confiabilidad. Doce cirujanos fueron capacitados de forma virtual durante 8 horas, para aplicar la escala. Una vez finalizado el entrenamiento, se les envió un cuestionario para evaluar contenidos de la capacitación, y varios resúmenescasos para ser evaluados con la escala antes señalada. Se aplicó estadística descriptiva, luego se estimó el grado de acuerdo entre observadores para cada ítem de la escala. Posteriormente, se evaluó el coeficiente de correlación (CCI), utilizando un modelo de dos factores mixtos en el que los efectos de los evaluadores son aleatorios y los ítems fijos; utilizando una definición de acuerdo absoluto. Además, se evaluó la consistencia interna de los ítems utilizando alfa de Cronbach, considerando intérvalos de confianza del 95% (IC 95%). Resultados: Luego de analizar las mediciones de los 9 ítems por los 12 observadores, se verificó que el CCI fue de 0,871; con un IC 95% de 0,700; 0,965. El valor de la consistencia interna fue de 0,7 considerando los 9 ítems, no se recomienda eliminar ningún ítem. Conclusión: La escala tiene buena confiabilidad interobservador y los ítems son consistentes entre sí; por lo que puede ser considerada como un instrumento confiable para la valoración de resúmenes de congresos.

ABSTRACT

Background: In 2013, we developed a scale to evaluate the abstracts of the congresses of the Society of Surgeons of Chile (SOCICH). Objective: To determine internal consistency and interobserver reliability of a scale to evaluate conference abstracts. Material and Methods: Reliability study. Twelve surgeons were trained virtually for 8 hours, to apply the scale. Once the training was finished, they were sent a questionnaire to evaluate the contents of the training, and several summaries-cases to be evaluated with the aforementioned scale. Descriptive statistics were applied, then the degree of agreement between observers was estimated for each item of the scale. Subsequently, intraclass correlation coefficient (ICC) was evaluated, using a mixed two-factor model where the effects of the evaluators are random and the items are fixed, using a definition of absolute agreement. In addition, the internal consistency of the items was evaluated using Cronbach's alpha, considering 95% confidence intervals (95% CI). Results: After analyzing the measurements of the 9 items by the 12 observers, it was verified that the ICC was 0.871; with a 95% CI of 0.700; 0.965. The internal consistency value was 0.7 considering the 9 items, it is not recommended to delete any item. Conclusions: The scale has good internal consistency and interobserver reliability. Therefore, it can be considered as reliable instrument to be used in the evaluation of abstracts for congresses.