Development of metrics for protocols and other technical products / Desenvolvimento de métricas para protocolos e outras produções técnicas

ABSTRACT

Objective: To develop a proposal for metrics for protocols and other technical products to be applied in assessing the Postgraduate Programs of Medicine III - Capes. Methods: The 2013 area documents of all the 48 Capes areas were read. From the analysis of the criteria used by the areas at the 2013's Triennal Assessment, a proposal for metrics for protocols and other technical products was developed to be applied in assessing the Postgraduate Programs of Medicine III. This proposal was based on the criteria of Biological Sciences I and Interdisciplinary areas. Results: Only seven areas have described a scoring system for technical products. The products considered and the scoring varied widely. Due to the wide range of different technical products which could be considered relevant, and that would not be punctuated if they were not previously specified, it was developed, for the Medicine III, a proposal for metrics in which five specific criteria to be analyzed: Demand, Relevance/Impact, Scope, Complexity and Adherence to the Program. Based on these criteria, each product can receive 10 to 100 points. Conclusion: This proposal can be applied to the item Intellectual Production of the evaluation form, in subsection "Technical production, patents and other relevant production". The program will be scored as Very Good when it reaches mean ≥150 points/permanent professor/quadrennium; Good, mean between 100 and 149 points; Regular, mean between 60 and 99 points; Weak mean between 30 and 59 points; Insufficient, up to 29 points/permanent professor/quadrennium.

RESUMO

Objetivo: Desenvolver proposta de métricas para protocolos e outras produções técnicas a serem aplicadas na avaliação dos Programas de Pós-Graduação da Área Medicina III da Capes. Métodos: Foram lidos os documentos de área de 2013 de todas as 48 Áreas da Capes. A partir da análise dos critérios utilizados por elas na avaliação trienal 2013, foi desenvolvida uma proposta de métricas para protocolos e outras produções técnicas. Esta proposta foi baseada nos critérios adotados pelas Áreas Ciências Biológicas I e Interdisciplinar. Resultados: Apenas sete áreas descreveram sistema de pontuação para produtos técnicos, e as produções consideradas e a pontuação variaram amplamente. Dada à imensa gama de produções técnicas diferentes que podem ser consideradas relevantes, e que não seriam contempladas em sistema de pontuação caso fossem especificadas, foi desenvolvida para a Medicina III uma proposta de métricas em que são analisados cinco critérios específicos para cada produção: Demanda, Relevância/Impacto, Abrangência, Complexidade e Aderência ao Programa. Com base nestes critérios, cada produção pode receber de 10 a 100 pontos. Conclusão: Esta proposta poderá ser aplicada ao item Produção Intelectual da Ficha de Avaliação, subitem "Produção técnica, patentes e outras produções consideradas relevantes". Será considerado Muito Bom o Programa que obtiver média ≥150 pontos/docente permanente/quadriênio; Bom, média entre 100 e 149 pontos; Regular, média entre 60 e 99 pontos; Fraco, média entre 30 e 59 pontos; e Deficiente média ≤29 pontos/docente permanente/quadriênio.