Ten-year growth in the scientific production of Brazilian Psychiatry: the impact of the new evaluation policies / Dez anos de crescimento da produção científica da Psiquiatria brasileira: o impacto das novas políticas de avaliação

ABSTRACT

OBJECTIVE: Developed by the Ministry of Education, the Qualis evaluation criteria have strongly impacted the scientific production of Post-Graduation Programs. A new set of more stringent criteria has been proposed for Qualis. Our aim was to evaluate the impact of the new Qualis criteria on the scientific production of Post-Graduation Programs in psychiatry over the last 10 years. METHOD:We extracted data from annual reports published between 1998 and 2008, and compared performance measured in terms of the old Qualis rating criteria and the new set of criteria. RESULTS: There was a 25 percent increase in the number of Information Science Institute-indexed articles in the second five-year period, which rose from 1,213 to 1,518. While, according to the old Qualis criteria, 84 percent of the Information Science Institute production would have been classified as highly-rated (IF > 1), only 17 percent of the papers were classified as highly-rated (A1) according to the new Qualis rating criteria. Most papers (65 percent) were assigned to intermediate categories (B1 and B2) with an IF < 2.29. DISCUSSION:All psychiatric Post-Graduation Programs have increased their production, but by favoring quality over quantity, the new rules have proved to be more useful for discriminating among the scientific production.

RESUMO

OBJETIVO: Nosso objetivo foi analisar o impacto dos novos critérios de avaliação de publicações científicas (Qualis) sobre a produção científica de Psiquiatria ao longo dos últimos 10 anos. Os critérios de avaliação do Ministério da Educação têm refletido em forte impacto na produção científica dos Programas de Pós-Graduação. MÉTODO: Extraímos dados dos relatórios anuais publicados entre 1998 e 2008 e comparamos os desempenhos medidos em termos dos antigos critérios de avaliação Qualis e dos novos conjuntos de critérios. RESULTADOS: Houve um aumento de 25 por cento no número de artigos indexados no Information Science Institute no segundo período de cinco anos, que passou de 1.213 para 1.518. Embora, de acordo com os critérios de anteriores do Qualis, 84 por cento da produção Information Science Institute tenha sido classificada como de alta qualificação (IF > 1), apenas 17 por cento dos trabalhos foram classificados como de alta qualificação (A1), de acordo com os novos critérios de avaliação Qualis. A maioria dos trabalhos (65 por cento) foi atribuída a categorias intermediárias (B1 e B2), com IF < 2,29. DISCUSSÃOTodos os Programas de Pós-Graduação de psiquiatria aumentaram sua produção, porém, favorecendo a qualidade ao invés da quantidade, as novas regras provaram ser de mais utilidade para discriminar a produção científica.