RESUMEN
Resumo: Introdução: O Teste de Progresso (TP) constitui modalidade estabelecida e bem-sucedida de avaliação de conhecimentos do estudante das profissões da saúde, principalmente os de Medicina, com potencial de contribuir substancialmente para as finalidades formativa e informativa (controle de qualidade e indicação de melhoria nos processos de ensino e aprendizagem). Adicionalmente, o TP apresenta características adequadas à sua inclusão em sistemas institucionais de avaliação que privilegiem a finalidade formativa, como a avaliação programática (AP), mas que cumprem também a somativa. Nas escolas que vêm definindo ações visando à introdução da AP em seus cursos de graduação, é necessária a reflexão sobre as fortalezas e limitações da utilização do TP no sistema de avaliação. Desenvolvimento: A partir das considerações de um grupo de trabalho representativo de toda a instituição, incumbido de propor meios de introdução da AP em um novo currículo para o curso de Medicina, contando com assessoria internacional com experiência tanto no TP como na AP, elaborou-se reflexão sobre esse tema, baseada na experiência dos autores e em dados da literatura. Propõe-se que, dentro da perspectiva longitudinal da AP, o TP constitua um dos pilares na avaliação de conhecimentos. O TP pode servir de base para acompanhamento do estudante, no contexto da sua turma (coorte), e seus resultados devem ser discutidos com o mentor que o acompanha e lhe dá suporte. O TP deve ter também papel central na gestão, como fonte de informações para eventual revisão e qualificação do currículo e das suas atividades de ensino e aprendizagem. É previsível que a utilização do TP na AP traga diferentes desafios e barreiras, que serão mais facilmente superados se houver na instituição experiências já consolidadas de aplicação de exames institucionais e de desenvolvimento docente para a elaboração de questões objetivas de boa qualidade. Conclusão: A efetividade do TP dentro do sistema institucional de AP vai depender de medidas que visem aumentar a sua efetividade na avaliação e que estimulem a participação ativa do estudante, refletindo sobre seu desempenho no TP, com o apoio do seu mentor, de modo a se engajar em ações que fomentem a autorregulação da aprendizagem.
Abstract: Introduction: The Progress Test (PT) is a well-established and mostly successful modality of student knowledge assessment in the health professions, mainly those in the medical area, with the potential to contribute substantially to the formative and informative purposes (quality control and indication of improvement in the teaching-learning processes). Additionally, the PT has characteristics that are adequate for its inclusion in institutional evaluation systems that facilitate the formative purpose, such as programmatic assessment (PA), but that also meet the summative purpose. In schools that have defined actions aimed at introducing PA in their undergraduate courses, it is necessary to reflect on the strengths and limitations of using PT in the evaluation system. Development: based on the considerations of a working group representative of the entire institution, tasked with proposing means of introducing PA in a new curriculum for the medical course, with international advice with experience in both PT and PA, we generated a reflection on this topic, based on the authors' experience and data from the literature. It is proposed that, within the longitudinal perspective of the PA, the PT constitutes one of the pillars in the assessment of knowledge. The PT can be used as a basis for monitoring the students, in the context of their class (cohort), and its results should be discussed with the mentors who accompanies and supports them. The PT must also play a central role in management, as a source of information for eventual review and qualification of the curriculum and its teaching-learning activities. It is predictable that the use of the PT in PA will bring different challenges and barriers, which will be more easily overcome if the institution has already consolidated experiences in the application of institutional exams and in faculty development for the production of good quality objective questions. Conclusion: the effectiveness of the PT within the institutional PA system will depend on measures aimed at increasing its effectiveness in the assessment and that encourage the student's active participation, reflecting on their performance in the PT, with the support of their mentor, aiming to engage in actions that encourage learning self-regulation.
RESUMEN
Resumo: Introdução: A avaliação do estudante é componente essencial de todo programa educacional. O aprendizado das ciências básicas é fundamental para dar sentido ao que se aprende na fase clínica da formação de um profissional em saúde. Entretanto, a maioria dos treinamentos de elaboradores de testes de múltipla escolha (TME) é voltada à formulação de questões clínicas e não inclui abordagem específica para questões das ciências básicas. Relato de experiência: Foi realizada uma oficina para a capacitação docente na elaboração de TME de aplicação dos conhecimentos de ciências básicas, visando à elaboração de uma prova a ser aplicada no final do ciclo básico de seis cursos da saúde. O material instrucional foi elaborado pelos autores, que ofereceram uma oficina no formato on-line. Um diferencial dessa capacitação foi a aplicação de modelos de elaboração de enunciados com contextos definidos, utilizando momentos de preparo assíncronos e encontro síncrono. Após a oficina, aplicaram-se questionários sobre a satisfação e aprendizagem dos participantes. A maioria avaliou a oficina como boa ou muito boa e referiu aumento da percepção de capacidade para elaborar TME, e, ao final, somente 7% se sentiram pouco preparados para elaborar um TME seguindo as boas práticas. Houve melhora na qualidade dos TME elaborados, tendo como referencial os índices de dificuldade e discriminação. Discussão: Existem evidências do valor do desenvolvimento do corpo docente na melhoria da qualidade das questões produzidas. O formato de oficina proposto foi bem avaliado pelos participantes e contribuiu para a qualidade das questões de provas aplicadas ao final do ciclo básico. Conclusão: Estratégias como a descrita qualificam as avaliações dentro da escola e contribuem para a organização de provas externas.
Abstract: Introduction: Student assessment is an essential component of all educational programs. Basic science learning is essential for making clinical knowledge meaningful to healthcare students. However, most item writer training is focused on the formulation of clinical questions and does not include a specific approach to basic science questions. Experience Report: Workshops on item writing for knowledge application on basic sciences were carried out with the aim of planning a test to be applied at the end of the basic cycle of six health courses. The instructional material was prepared by the authors, who offered online workshops. A differential of this training was the application of models of item lead-in elaboration with defined contexts, using moments of asynchronous preparation and synchronous encounter. After each workshop, surveys were applied to assess participants' satisfaction and learning. Most participants rated the workshop as good or very good and reported an increase in their perceived ability to prepare single best answer multiple-choice questions. At the end, only 7% reported they were not prepared to write an item following good practices. There was an improvement in the quality of the items prepared, using the difficulty and discrimination indexes as a reference. Discussion: There is evidence of the value of faculty development in improving the quality of the questions produced. The proposed workshop format was well evaluated by the participants and contributed to the quality of tests applied to students at the end of the basic science cycle. Conclusion: Strategies such this qualify assessments within the school and contribute to the organization of external exams.