ABSTRACT
Abstract: The evaluation of knowledge is an important step in the teachers' work, because it is fundamental that the evaluation results be valid and reliable. Several faculty development programs have been undertaken to improve teachers' skills on item writing. Few studies, however, have explored the benefits of providing feedback to multiple-choice item writers. Progress Testing is a longitudinal assessment of students' knowledge gain. Their results are useful for generating feedback to students, teachers and medical school managers. The aim of this report is to present a successful experience of faculty development on high-quality item writing for Progress Testing through feedback about the fate of the items written by faculty members. Annually, faculties from medical schools participating in a consortium for the application of the Progress Test are asked to formulate new items to compose the test version. However, the fate of the items is not known by their authors, that is, they do not know if the items are incorporated into the test, if the items have good quality, what is the students' performance in each of the items, and what is the psychometric function of the items. In 2017, one of the schools participating in the consortium offered its item authors a feedback regarding the flaws in item writing, modification of items by the review committee and students' performance, as well as psychometric function in each item. The percentage of flawed item (items without enough quality to be selected for the test) was more than 30%. There was an inverse relation between the number of flawed item and the number of items included in the final exam, when analyzing the different content areas of the test (that is, Internal Medicine, Surgery, Pediatrics, Obstetrics and Gynecology, Public Health, and Basic Sciences). In the following year, we observed a decrease in the number of flawed item (less than 10%) and an increase in the number of eligible items to be selected for the Progress Testing. Therefore, giving feedback to item writers seems to be a good strategy for developing the faculty's ability on writing good quality items.
Resumo: A avaliação de conhecimentos é uma etapa importante do trabalho docente, pois é preciso que os resultados das avaliações sejam válidos e confiáveis. Diversos programas de desenvolvimento docente têm sido realizados para melhorar a habilidade em elaborar questões objetivas pelos professores. Poucos estudos, no entanto, exploraram os benefícios de fornecer feedback aos autores de itens de múltipla escolha. O Teste de Progresso é uma avaliação longitudinal do ganho de conhecimentos dos estudantes cujos resultados são úteis para gerar feedback aos próprios estudantes, aos professores e aos gestores das escolas médicas. O objetivo deste relato é apresentar uma experiência exitosa em gerar desenvolvimento docente na habilidade de elaborar itens de qualidade para o Teste de Progresso por meio do feedback a respeito da qualidade e do destino destes. Anualmente, os professores das escolas médicas participantes de um consórcio para aplicação do Teste de Progresso são solicitados a formular novos itens para compor a versão do teste. Porém, o destino dos itens não é conhecido por seus autores, ou seja, eles não sabem se as questões são incorporadas à prova, se elas têm boa qualidade, qual o desempenho dos estudantes em cada questão e qual o funcionamento psicométrico delas. Em 2017, uma das escolas participantes do consórcio ofereceu aos seus autores de questões uma devolutiva sobre as falhas na redação, a modificação dos itens pelo comitê revisor, o desempenho dos estudantes nas questões e o funcionamento psicométrico em cada item. A porcentagem de itens falhos, ou seja, de qualidade não satisfatória para a inclusão no teste, era superior a 30%. Houve uma relação inversa entre a quantidade de itens falhos e o número de itens incluídos na prova final, numa análise por área de conhecimento da prova (ou seja, clínica, cirurgia, pediatria, ginecologia e obstetrícia, saúde pública e ciências básicas). No ano seguinte, observamos uma diminuição no número de falhas de itens (menor que 10%) e um aumento no número de questões elegíveis a serem selecionadas para o exame de Teste de Progresso. Portanto, oferecer feedback para os redatores de questões parece ser uma boa estratégia para desenvolver a habilidade docente em elaborar itens objetivos de boa qualidade.
ABSTRACT
Public contest is one of the best ways for health professionals to enter the Family Health Strategy (FHS) and other public health services. The objective of this study was to verify the profile of Dentistry public examinations in the southeast region, as well as to analyze the coherence between the proposal of FHS and the content on the professionals selection for this position. The examinations were retrieved by means of research of the sites: PCI Concursos and Folha Dirigida and sites of companies of greater representativeness in the competitive bidding in the states of the southeast region. From the entire southeastern region, 266 competitive examinations were obtained for the position of dental surgeon, from 2001 to 2017. For the data analysis,, three categories were created: QG, for the questions that included the general questions present in the tests; QT, individual technical questions that balance the requirements related to specific knowledge; and QC, corresponding to the questions related to collective character. In all the tests analyzed, the specific knowledge (QC and QT) had a higher prevalence among the contents charged. Among the areas that involved the individual technical questions, the subjects of Surgery, Dentistry, Stomatology and Pathology were the ones with the highest prevalence. Through the results, it can be seen that the public examinations for dental surgeons who want to work in the FHS in the states of the southeast region, most of them deal with knowledge of clinical dentistry specialties. (AU)
O concurso público é uma das melhores formas de inserção dos profissionais de saúde na Estratégia Saúde da Família (ESF) e em outros serviços de saúde pública. O objetivo deste estudo foi verificar o perfil de provas de concursos públicos de Odontologia da região sudeste, bem como analisar a coerência entre a proposta da ESF e o conteúdo da seleção de profissionais para este cargo. Os exames foram recuperados por meio de pesquisa em dois sites bastante acessados que disponibilizam provas de concurso público no Brasil: PCI Concursos e Folha Dirigida e em sites de empresas de maior representatividade nas licitações de concurso nos estados da região sudeste. De toda a região foram obtidas 266 provas de concursos para o cargo de cirurgião dentista, no período de 2001 a 2017. Para análise dos dados foram criadas três categorias: QG, para os quesitos que englobaram as questões gerais presentes nas provas; QT, questões técnicas individuais que equivalem aos quesitos relacionados aos conhecimentos específicos; e QC, correpondendo aos quesitos relacionados ao caráter coletivo. Em todas as provas analisadas, os conhecimentos específicos (QC e QT) tiveram maior prevalência entre os conteúdos cobrados. Dentre as áreas que envolveram os quesitos técnicos individuais, as disciplinas de Cirurgia, Dentística, Estomatologia e Patologia foram as de maior prevalência. Através dos resultados, percebe-se que os concursos públicos para os cirurgiões dentistas que querem atuar na ESF nos estados da região sudeste, abordam em sua maioria conhecimentos de especialidades clínicas da Odontologia. (AU)