Qualidade de conteúdo, o grande desafio para os editores científicos / Calidad del contenido, el gran desafío para los editores científicos / Quality of content, the great challenge for scientific editors

Discutem-se alguns problemas que atualmente afetam a qualidade do conteúdo das revistas científicas e ressalta-se o papel dos editores como responsáveis pela definição tanto da direção (o que se fará) como da profundidade (até que ponto se avançará) das pesquisas. Propõe-se que a relação ótima entre ambas se alcança a partir de um equilíbrio entre as três logias: terminologia, epistemologia e metodologia. Sob esta fundamentação, apresenta-se uma taxonomia para avaliação e análise de projetos de pesquisa, artigos e pareceres científicos. Conclui-se com propostas de ação específicas para todos os atores envolvidos na geração e difusão do conhecimento (autores, revisores, agências de fomento, instituições que publicam revistas e editores científicos), orientadas a melhorar a qualidade do conteúdo das publicações.

El artículo discute algunos de los problemas que actualmente afectan a la calidad del contenido de las revistas científicas y se resalta el rol de los editores como los responsables de definir tanto la dirección (lo qué se hará) como la profundidad (cuánto se llevará a cabo) de la investigación en una determinada área. Se propone que la relación óptima entre dirección y profundidad se logra a partir de un equilibrio entre las tres logías: la terminología, la epistemología y la metodología. Partiendo de esta premisa, el artículo presenta una taxonomía para el análisis de proyectos de investigación, artículos y dictámenes científicos. Se concluye con propuestas de acción específicas dirigidas a todos los actores involucrados en la generación y difusión del conocimiento (autores, dictaminadores, organismos de financiación, instituciones que publican revistas y editores científicos), orientadas a mejorar la calidad del contenido de las publicaciones.

The article discusses some of the problems that currently affect the quality of content of journals and highlights the role of editors as those responsible for defining both the direction (what will be done) and depth (how far it will go) of research in a certain area. The optimal relationship between direction and depth is proposed to be achieved through a balance among the three logies: terminology, epistemology and methodology. Based on this premise, the article presents a taxonomy for the analysis of research projects, scientific papers and referee reports, and suggests specific actions aimed at improving the content quality of journals, targeted at all those involved in the generation and dissemination of knowledge (authors, reviewers, funding agencies, publishers, and, last but not least, scientific editors).

Qué podemos aprender de la revisión de los trabajos libres enviados al XLI congreso venezolano de cardiología? / What can we learn from the rewiew of the abstracts submitted to the XLI venezuelan congress of cardiology?

Se estudió el proceso de revisión de 118 resúmenes de trabajos recibidos para el XLI Congreso Venezolano de Cardiología. Fueron evaluados independientemente por tres pares de revisores, quienes desconocían los autores y la institución de origen, usando 15 criterios ("ítem"). Expresaron su opinión sobre la aplicabilidad de cada ítem mediante una escala de Likert: totalmente en desacuerdo (TD), en desacuerdo (D), de acuerdo (A) y totalmente de acuerdo (TA). Fueron cuantificadas de 1 a 4 respectivamente, generando un puntaje por criterio, el cual fue multiplicado por un factor de proporcionalidad que asignó pesos diferentes a cada ítem. La suma de los puntajes de ítem (PIs) produjo un puntaje total (PTN) que fue normalizado como % del puntaje máximo posible. Se estudió la variabilidad entre los revisores mediante análisis de correlación / regresión (C / R) y cálculo de índice Kappa. PTN promedio (236 evaluaciones) fue 63,71 + 17% (D. S.) (mínimo 25% y máximo 92,3%). Un 20% con puntajes < 50%, y 11% obtuvieron PTN > 80%. Los resúmenes fueron clasificados en grupos I a IV mediante el promedio de los PTN asignados por los dos revisores. C / R mostró R = 0,35 y R2 = 0,12, m = 0,44 y b = 37% para todos los pares. El análisis por pares mostró valores más satisfactorios para algunos (par 2 y 3) que para otros (par 5 y 6) y 0,15 (par 1 - 4). Los resultados sugieren que el proceso de revisión de los ítem y consensuado su interpretación por los revisores.

A study was carried out of the review process applied to 118 abstracts received by the XLI Venezuelan Congress of Cardiology. Abstracts were assessed independently by pairs of reviewers, blinded as to authors and institutions of origin, using 15 criteria ("items"). Reviews expressed their option about the applicability of each item by means of a Likert scale: Total Disagreement (TD), Disagreement (D), Agreement (A) and Total Agreement (TA). Responses were graded to 1-4, generating a criterion score, which was multiplied by a Proportionality Factor (PF) to assign a weight to each criterion. The sum of item Scores generated a Total Score (NTS) which was normalized as percentage of the maximum possible score. Variability among reviewers was assessed by a correlation/regression analysis (C/R) and by calculating the Kappa index. Mean NTS for all 118 abstracts (236 assessments) was 63.71 + 17% (SD) (min. 25% and max. 92.3%). For 20% of abstracts the NTS < 50% whereas only 11% obtained a NTS > 80%. Abstracts were classified into Groups I to IV on the basis of the mean NTS assigned by two reviewers. C / R yielded R = 0.35 and R2 = 0.12, m = 0.44 and b = 37% for all pairs. Reviews pairs assigned more satisfactory results for some (Pairs 2 - 3) That for others (Pair 5 - 6). The mean Kappa for all pairs was 0.13, ranging from 0.008 (pair 5 - 6) to 0.15 (pair 1 - 4). Our results suggest that the reviews process can be improved by modifying the text of items and by building consensus on its interpretation by reviewers.