Percepciones de expertos sobre características y habilidades que deben considerarse en la revisión de manuscritos / Experts perceptions on characteristics and skills that must be taken into account in the review of manuscripts

Introducción: El experto es figura clave en la evaluación de manuscritos científicos. Objetivo: Valorar las percepciones de expertos de revistas biomédicas cubanas en relación con características y habilidades que deben considerarse en la revisión de manuscritos. Métodos: Investigación descriptiva (septiembre 2013-diciembre 2014) realizada como parte del proyecto de culminación del curso para editores impartido por la Editorial Ciencias Médicas. El grupo analizado estuvo constituido por 57 árbitros. Para su selección se tuvo en cuenta el criterio del director de la revista. La recogida de información se realizó a través de un cuestionario que exploró variables sociodemográficas y relacionadas con el proceso de evaluación. Los datos se ingresaron en una base de datos creada al efecto con el programa SPSS versión 15.0 en español. Resultados: Las características identificadas con mayor porcentaje de respuestas e importancia indispensable fueron: actitud ética y responsable: 45 árbitros (82 por ciento) y actualizado en el tema a evaluar 42 expertos (76 por ciento). Las habilidades, con iguales condiciones fueron, detectar errores graves de forma y contenido: 42 expertos (76 por ciento) y ser éticos en sus críticas 38 expertos (69 por ciento). Otras particularidades profesionales, como ser objetivos en el dictamen y detectar errores metodológicos que afectan la calidad del texto, respectivamente, alcanzaron porcentajes menores. Conclusiones: Los expertos reconocen aspectos fundamentales para la evaluación de los manuscritos, lo que podría influir en el resultado positivo de su labor siempre que lo asuman y apliquen en su práctica, con énfasis en aquellas características profesionales que tuvieron menores porcentajes de reconocimiento(AU)

Introduction: Experts are a key factor in the assessment of scientific manuscripts. Objective: To assess the perception of Cuban biomedical journal's experts in relation with the characteristics and skills that must be taken into account in the review of manuscripts. Methods: Descriptive research (September 2013-December 2014) carried out as part of the final project in the Course for Editors given by the Medical Sciences Publishing House (Editorial de Ciencias Médicas). The assessed group was formed by 57 referees. It was taken into account the opinion of the journal´s directors for their selection. Data collection was carried out by a questionnaire that explored socio-demographic variables related with the assessment process. Data were submitted in a database created with SPSS program, version 15.0 in Spanish. Results: The characteristics identified with a higher percentage of answers and essential importance were: ethical and responsible attitude: 45 referees (82 percent); and there were updated in the assessed topic 42 experts (76 percent). The skills with the same conditions were: to detect serious mistakes of form and content: 42 experts (76 percent) and to be ethical in their critics: 38 experts (69 percent). Other professional particularities as being objective in the report and to detect methodological mistakes that affect the quality of the text had lower percentages. Conclusions: Experts can recognize essential aspects for the assessment of manuscripts, which can influence in the positive result of their work as far as they assume it and use it practically emphasizing in those professional characteristics that had lower percentages of acknowledgement(AU)

Una revisión crítica del proceso de "peer review" / A critical review of the "peer review" process

Las revistas biomédicas tienen como objetivo fundamental publicar artículos de la máxima calidad científica y conseguir una amplia difusión de sus contenidos. Las revistas científicas compiten para publicar los mejores trabajos de investigación que se generan en su disciplina. Para ello deben realizar una valoración rigurosa de todos los trabajos que reciben para identificar y seleccionar sólo los mejores. El proceso de "peer-review", o revisión por pares, se ha considerado clásicamente como una parte fundamental del proceso científico. Consiste en la valoración crítica de los artículos científicos por expertos externos e independientes. Este proceso es fundamental para la mejora de los artículos y para guiar a los editores en su decisión final. Aunque el proceso está bien consolidado entre la comunidad científica y editorial internacional, siempre ha sido cuestionado. A lo largo del tiempo se han implementado múltiples estrategias para mejorar su calidad y para optimizar sus resultados pero el sistema sigue teniendo limitaciones. Paradójicamente, existe poca evidencia científica de que el proceso de "peer review", universalmente aceptado para validar la ciencia, sea realmente efectivo. Por eso su calidad debe supervisarse muy estrechamente para intentar conseguir la excelencia, ya que de ella depende la credibilidad del proceso científico. En esta revisión analizaremos críticamente el proceso de "peer review" y explicaremos por qué, a pesar de sus limitaciones, sigue considerándose como el "estándar de oro" en la valoración de manuscritos científicos por parte de las revistas biomédicas.

The main objective of biomedical journals is to publish high-quality scientific studies and to ensure a widespread dissemination of their contents. Journals compete for the best science generated in their respective disciplines and, therefore, they critically scrutinize the scientific quality of all submitted papers in order to identify and select only those that merit publication. The "peer review" system represents the cornerstone of the scientific process. It provides a critical appraisal, by external independent experts, of the studies under consideration. The system is intended to improve the quality of the submitted papers but also to help the Editors in their decision-making process. The process has been widely embraced by the scientific and editorial international community but it is not free from caveats. In fact, although several strategies have been implemented to improve its quality and the results obtained, limitations still persist. Accordingly, its quality should be closely monitored to ensure excellence. Surprisingly, although the "peer review" process is universally accepted to validate the science, limited scientific information exists on its real value. In this review we will critically analyze the "peer review" process and we will advance some ideas that may help to understand why, in spite of its limitations, it remains the "gold standard" for the selection of scientific manuscripts by biomedical journals.

Processo de revisão pelos pares: por que são rejeitados os manuscritos submetidos a um periódico científico? / ¿Evaluación de pares: por qué el rechazo de los manuscritos sometidos a un períodico científico? / Peer review process: when the manuscripts are undergo a scientific journal, because they are rejected?

Quando os pesquisadores enviam os resultados de suas investigações para publicação, têm sua produção intelectual avaliada pelos membros da comunidade científica. O processo, denominado sistema de arbitragem, de avaliação de originais, de avaliação pelos pares, referee system ou peer review, consiste no uso de árbitros para assessorar a avaliação dos manuscritos submetidos para publicação. Quando submetido a um processo de análise, as possibilidades de publicação do manuscrito são três: aprovado; aceito, sujeito a correções ou rejeitado, e pode apresentar um caráter pedagógico ou punitivo. Este estudo analisa 191 pareceres referentes a manuscritos enviados a um periódico no período, de 1997 até 2007, com a finalidade de conhecer os motivos que levaram os avaliadores à sua rejeição para publicação.

When the researchers sent the results of their research for publication, has his intellectual production assessed by members of the scientific community. This process, called peer review, consist in the use of referees to assist in the evaluation of manuscripts submitted for publication. When the manuscript is submitted to a review process, the chances of publication are three: approved, accepted subject to correction, or rejected. This process can provide a teaching or a punitive character. This study examines 191 opinions for manuscripts submitted to a journal from 1997 until 2007 with the purpose of knowing the reasons which led the evaluators to its rejection for publication.

Cuando los investigadores envian los resultados de su investigación para publicación, es evaluado su producción intelectual por los miembros de la comunidad científica. El proceso, llamado el sistema de arbitraje, evaluación de los originales, revisión inter pares, referee system ou peer review, es el uso de los árbitros para ayudar en la evaluación de los manuscritos presentados para su publicación. Cuando se sometan a un proceso de análisis, la respuesta puede ser tres: aprobado, aceptado o rechazado objeto de correcciones y puede hacer un tipo de enseñanza o de carácter punitivo. Este estudio examina las opiniones de 191 manuscritos presentados a una revista desde 1997 hasta 2007 con la finalidad de conocer las razones que han conducido a los evaluadores su rechazo para su publicación.

Etica de la autoría en publicaciones biomédicas / Ethical practices in authorship of medical papers

En las últimas décadas, han aparecido en forma creciente las publicaciones con autores múlticples en distintas revistas científicas. El aumento de las mismas en combinación con la presión académica por publicar han precipitado el uso de distintas prácticas anti-éticas en la autoría de investigaciones biomédicas. Estas incluyen la dilución de la responsbilidad de los autores, las autorías "huésped", "por presión" y "fantasma", y la desnaturalización del crédito como autor en "notas al pie". La comunidad biomédica en sus niveles universitario, societario y académico debería asumir en forma inequívoca la responsabilidad sobre la implementación de códigos de buenas prácticas en publicaciones científicas.

How do peer reviewers of journal articles perform? Evaluating the reviewers with a sham paper.

Peer review process is widely used to assess the quality of scientific research and select papers for publication in biomedical journals. The method lacks standardization and objectivity. To standardize the peer review process, evaluation and rating of the performance of individual peer reviewers using a sham paper is suggested. The present study of 7 reviewers revealed ratings ranging from 0.34 (SD 0.33) to 0.45 (SD 0.5), widely differing from the set standard (ideal 0). This indicates less than optimal performance by the peer reviewers. Feedback to the peer reviewers might help in improving the standards.