Development and content validation of an instrument for evaluating competencies in Pediatric Surgery Residency / Desenvolvimento e validação de conteúdo de instrumento para avaliação das competências na residência em cirurgia pediátrica

ABSTRACT

Abstract Introduction: a specific instrument is needed to monitor the development of competencies in pediatric surgery during the residency. Objective: to develop an instrument in conformity with the "Milestone Project", using the competencies determined by the Brazilian Association of Pediatric Surgery, for use in the Pediatric Surgery Residency in Brazil. Method: the research was developed in three stages the development of the initial instrument, qualification with a focal group of experts, and instrument evaluation by Brazilian pediatric surgeons in order to validate and quantify the instrument's acceptance. Result: The initial instrument was created with 4 competencies and 13 sub-competencies, each with 5 levels of assessment. Four experts performed the initial qualification, which resulted in 44 adaptations, and the instrument was finalized with 4 competencies subdivided into 10 sub-competencies, each with 5 levels of assessment. Subsequently, the instrument was evaluated by the Brazilian Pediatric Surgery Group and the Brazilian Pediatric Urology Group. There were 40 expert responses, with a total of 2394 positive responses from the 50 assessment items. The instrument had a general acceptance of 91.2%, being considered applicable (96.7%), reproducible (93.3), relevant to the covered topics (96%), technically (93.6%) and theoretically appropriate (93.3%), reliable (85.5%), and dependable (79.8%). Conclusion: an instrument was developed to assist in the assessment of competencies developed during residency in pediatric surgery in conformity with the Milestone Project. This instrument has been validated by experts and considered applicable, reproducible, relevant, technically and theoretically adequate, reliable and dependable.

RESUMO

Resumo Introdução: Uma adequada formação na residência em cirurgia pediátrica deve avaliar e acompanhar constantemente o desenvolvimento de competências e, para isso, necessita de um instrumento específico como ferramenta de avaliação. Objetivo: Este estudo tem como objetivo apresentar um instrumento de avaliação nos moldes do "Milestone Project" com base nas competências determinadas pela Associação Brasileira de Cirurgia Pediátrica, para uso nos programas de residência médica em cirurgia pediátrica no Brasil. Método: Adotaram-se as seguintes etapas desenvolvimento do instrumento, qualificação de um grupo de especialistas e avaliação do instrumento por cirurgiões pediatras brasileiros, a fim de validar e quantificar a aceitação do instrumento quanto à fidedignidade, confiabilidade, aplicabilidade, reprodutibilidade, relevância dos temas abordados e adequação dos pontos de vista técnico e teórico. Resultados: O instrumento inicial possuía quatro competências gerais e 13 subcompetências específicas, com cinco níveis de avaliação. Quatro experts realizaram a qualificação que gerou 44 adaptações, finalizando o instrumento com quatro competências gerais subdividias em dez subcompetências, com cinco níveis avaliativos. Sequentemente, o instrumento foi avaliado pelo Grupo Brasileiro de Cirurgia Pediátrica e pelo Grupo Brasileiro de Urologia Pediátrica. Houve 40 respostas de especialistas, 2.394 respostas positivas dos 50 itens. O instrumento teve aceitação de 91,2% e foi considerado aplicável (96,7%), reprodutível (93,3), relevante (96%), tecnicamente adequado (93,6%), teoricamente adequado (93,3%), confiável (85,5%) e fidedigno (79,8%). Conclusão: Esse instrumento nos moldes do "Milestone Project" foi validado por cirurgiões pediatras e considerado aplicável, reprodutível, relevante, adequado, sob os pontos de vista técnico e teórico, confiável e fidedigno.