ABSTRACT
El informe de arbitraje en los procesos de revisión por pares de artículos de investigación es un género clave para explicar cómo se construye colectivamente el conocimiento científico. En estos informes los evaluadores emiten, junto con una serie de comentarios, una recomendación de publicación. El análisis de la calidad del proceso de evaluación por pares se ha realizado a partir de indicadores, como las tasas de rechazo o el grado de acuerdo entre los evaluadores. Sin embargo, aún queda pendiente una evaluación cualitativa del proceso. El objetivo de este trabajo fue describir la proporción, según su polaridad (positiva, negativa y neutra), de los comentarios de 56 informes de evaluación de la Revista Onomázein y determinar si esa proporción era consistente con la recomendación de los evaluadores (Aceptado, Aceptado con enmiendas mayores o menores, y Rechazado). Del análisis de 1.472 comentarios se determinó que, independientemente de la decisión, la mayor proporción corresponde a comentarios negativos. Asimismo, podemos afirmar que los procesos analizados presentan un alto grado de consistencia. Mientras más favorable es la recomendación de los árbitros mayor es la proporción de comentarios positivos emitidos y, correspondientemente, menor es la proporción de comentarios negativos.
Peer review reports on scientific articles means a key genre to explain how scientific knowledge is collectively constructed. In these reports, reviewers write a recommendation for publication along with a series of comments. The quality analysis of the peer review process has been commonly conducted based on indicators, such as rejection rates and the agreement level among evaluators. However, a more qualitative investigation on the process still remains outstanding. This work aims at describing the polarity (positive, negative and neutral) of comments corresponding to 56 peer review reports belonging to the journal Onomázein and determining whether this proportion is consistent with the reviewers recommendation, i.e. Accepted, Accepted with major revisions, Accepted with minor revisions and Rejected). After the analysis of 1.472 comments, it was possible to determine that the highest proportion of comments is negative, independent of the decision. The analyzed processes also showed a high level of consistency. The more favorable the recommendation, the higher the proportion of positive comments, and, consequently, the less the proportion of negative comments.
O informe de arbitragem nos processos de revisão por pares de artigos de pesquisa é um gênero chave para explicar como se constrói coletivamente o conhecimento científico. Nestes informes os avaliadores emitem, junto com uma série de comentários, uma recomendação de publicação. A análise da qualidade do processo de avaliação por pares foi realizada a partir de indicadores, como as taxas de recusa ou o grau de acordo entre os avaliadores. No entanto, ainda resta pendente uma avaliação qualitativa do processo. O objetivo deste trabalho foi descrever a proporção, segundo a sua polaridade (positiva, negativa e neutra), dos comentários de 56 informes de avaliação da Revista Onomázein e determinar se essa proporção era consistente com a recomendação dos avaliadores (Aceito, Aceito com emendas maiores ou menores, e Recusado). Da análise de 1.472 comentários se determinou que, independentemente da decisão, a maior proporção corresponde a comentários negativos. Assim mesmo, podemos afirmar que os processos analisados apresentam um alto grau de consistência. Quanto mais favorável for a recomendação dos árbitros maior será a proporção de comentários positivos emitidos e, correspondentemente, menor é a proporção de comentários negativos.
Subject(s)
Humans , Periodicals as Topic , Peer Review, Research/ethicsABSTRACT
Com este texto visamos contribuir para o debate sobre a avaliação da produção e divulgação de pesquisas que se baseiam em metodologias qualitativas no campo da saúde coletiva. Procuramos relacionar as lacunas teóricas e metodológicas a indícios valorativos que atravessam os processos de pesquisa e avaliação de artigos publicados. Na ausência de explicitação dos valores que conduziram às escolhas imbricadas nas pesquisas, alguns periódicos recomendam recursos de avaliação que privilegiam procedimentos formais e técnicos. A avaliação é complementada com guias de confecção de artigos, dentre os quais os check-lists, que fornecem os itens valorizados. Estes fatores contribuem para reducionismos teórico-metodológicos e reforçam a crença na existência de um único método. Por fim, renovamos o apelo à imaginação e à diversidade de concepções sobre o que pretendemos conhecer...
This paper aims to contribute towards assessing production and dissemination of research based on qualitative methodologies within the field of public health. We sought to correlate the theoretical and methodological gaps with indicative values that traverse the processes of research and evaluation of published articles. In the absence of explicit statement of the values that lead to the choices intrinsic to research, some journals have recommended assessment resources that focus on formal technical procedures. Such assessments are complemented by guidelines for article compilation, including checklists of the items that are valued. These factors contribute towards theoretical and methodological reductionism and reinforce the idea that a single method exists. Lastly, we renew the appeal for imagination and diversity among the conceptions of matters that we desire to learn about...
Con este texto nuestro objetivo es contribuir para el debate sobre la evaluación de la producción y de la divulgación de investigaciones basadas en metodologías cualitativas en salud colectiva. Buscamos relacionar las brechas teóricas y metodológicas con indicios de valoración que están presentes en los procesos de investigación y evaluación de artículos publicados. En la ausencia de explicación de los valores que llevaron a las opciones mostradas en las investigaciones, algunos periódicos recomiendan recursos de valoración que privilegian procedimientos formales y técnicos. La valoración se complementa con guías de elaboración de artículos, entre los cuales las check-lists, que proporcionan los ítems evaluados. Estos factores contribuyen para reduccionismos teórico-metodológicos y refuerzan la creencia en la existencia de un único método. Finalmente, renovamos la llamada a la imaginación y a la diversidad de concepciones sobre lo que pretendemos conocer...
Subject(s)
Humans , Health Research Evaluation , Peer Review , Public Health , Qualitative ResearchABSTRACT
La revisión de manuscritos científicos por pares evaluadores pretende evaluar la originalidad, calidad y pertinencia de datos asociados a una investigación. Con algunas variaciones, este sistema se ha institucionalizado, ha sido parte central en la validación de publicaciones científicas y es aceptado por la mayoría de científicos como la mejor opción de evaluación entre las disponibles. En este artículo se describen brevemente las fortalezas y debilidades de este sistema de evaluación y se reflexiona sobre algunas alternativas para su mejoramiento, lo cual es valioso para revistas de habla española.
Peer review of scientific manuscripts aims to evaluate the originality, quality, and relevance of research data. Although with some variations, this system has been institutionalized, is still a central part in the validation of scientific publications, and is accepted by most scientists as the best evaluation option available. The article briefly describes this evaluation systems strengths and weaknesses, and reflects on alternatives for its improvement, some of which may prove to be useful for journals published in Spanish.
A revisão de manuscritos científicos por pares avaliadores pretende examinar a originalidade, qualidade e pertinência de dados associados a uma pesquisa. Com algumas variações, este sistema se institucionalizou e é parte central na validação de publicações científicas e é aceito pela maioria dos cientistas como a melhor opção de avaliação entre as disponíveis. Neste artigo, descrevem-se brevemente as fortalezas e debilidades desse sistema de avaliação e se reflete sobre algumas alternativas para seu melhoramento, o que é valioso para revistas de língua espanhola.
Subject(s)
Peer Review , Publication Bias , Publications for Science Diffusion , Scientific and Technical Publications , Systems for Evaluation of PublicationsABSTRACT
Todos hemos sometido algún artículo científico a revisión con la idea de que sea publicado en cierta revista. Frecuentemente, los autores experimentan muchas barreras para alcanzar el éxito (lograr la publicación) cuando someten artículos a revisión. Estas barreras dependen de la escritura del artículo en sí mismo, de los sesgos de los pares revisores, de la forma en que se escribe la carta de presentación (cover letter), y de la manera en la cual se implementa una estrategia para abordar y responder a las observaciones (erradas o no) que emiten los pares revisores y el editor de la revista. El propósito de este artículo vivencial es el de brindar consejos útiles a autores que investigan en el área de la ingeniería clínica, sobre cómo publicar artículos que aborden temas en el área de la salud en revistas de alto impacto en el área del operations research & management sciences.
All of us have at some point submitted a scientific paper for review with the idea of being published in a given journal. Often, the authors experience many barriers to success (achieving publication) when they submit articles for publication. These barriers depend on the quality of the writing itself, on the biases of the peer reviewers, the way you write your cover letter, and the way in which you address and respond to the observations (erroneous or not) emitted by peer reviewers and the editor of the journal. The purpose of this paper is to provide useful pieces of advice on how to publish articles that tackle issues in the health area in high impact journals in the area of Operations Research & Management Sciences.