Qué podemos aprender de la revisión de los trabajos libres enviados al XLI congreso venezolano de cardiología? / What can we learn from the rewiew of the abstracts submitted to the XLI venezuelan congress of cardiology?

RESUMEN

Se estudió el proceso de revisión de 118 resúmenes de trabajos recibidos para el XLI Congreso Venezolano de Cardiología. Fueron evaluados independientemente por tres pares de revisores, quienes desconocían los autores y la institución de origen, usando 15 criterios ("ítem"). Expresaron su opinión sobre la aplicabilidad de cada ítem mediante una escala de Likert: totalmente en desacuerdo (TD), en desacuerdo (D), de acuerdo (A) y totalmente de acuerdo (TA). Fueron cuantificadas de 1 a 4 respectivamente, generando un puntaje por criterio, el cual fue multiplicado por un factor de proporcionalidad que asignó pesos diferentes a cada ítem. La suma de los puntajes de ítem (PIs) produjo un puntaje total (PTN) que fue normalizado como % del puntaje máximo posible. Se estudió la variabilidad entre los revisores mediante análisis de correlación / regresión (C / R) y cálculo de índice Kappa. PTN promedio (236 evaluaciones) fue 63,71 + 17% (D. S.) (mínimo 25% y máximo 92,3%). Un 20% con puntajes < 50%, y 11% obtuvieron PTN > 80%. Los resúmenes fueron clasificados en grupos I a IV mediante el promedio de los PTN asignados por los dos revisores. C / R mostró R = 0,35 y R2 = 0,12, m = 0,44 y b = 37% para todos los pares. El análisis por pares mostró valores más satisfactorios para algunos (par 2 y 3) que para otros (par 5 y 6) y 0,15 (par 1 - 4). Los resultados sugieren que el proceso de revisión de los ítem y consensuado su interpretación por los revisores.

ABSTRACT

A study was carried out of the review process applied to 118 abstracts received by the XLI Venezuelan Congress of Cardiology. Abstracts were assessed independently by pairs of reviewers, blinded as to authors and institutions of origin, using 15 criteria ("items"). Reviews expressed their option about the applicability of each item by means of a Likert scale: Total Disagreement (TD), Disagreement (D), Agreement (A) and Total Agreement (TA). Responses were graded to 1-4, generating a criterion score, which was multiplied by a Proportionality Factor (PF) to assign a weight to each criterion. The sum of item Scores generated a Total Score (NTS) which was normalized as percentage of the maximum possible score. Variability among reviewers was assessed by a correlation/regression analysis (C/R) and by calculating the Kappa index. Mean NTS for all 118 abstracts (236 assessments) was 63.71 + 17% (SD) (min. 25% and max. 92.3%). For 20% of abstracts the NTS < 50% whereas only 11% obtained a NTS > 80%. Abstracts were classified into Groups I to IV on the basis of the mean NTS assigned by two reviewers. C / R yielded R = 0.35 and R2 = 0.12, m = 0.44 and b = 37% for all pairs. Reviews pairs assigned more satisfactory results for some (Pairs 2 - 3) That for others (Pair 5 - 6). The mean Kappa for all pairs was 0.13, ranging from 0.008 (pair 5 - 6) to 0.15 (pair 1 - 4). Our results suggest that the reviews process can be improved by modifying the text of items and by building consensus on its interpretation by reviewers.