Construção de diretriz teórico metodológica para o processo de avaliação progressiva no ensino de graduação / Construction of theoretical methodological guideline for the progressive evaluation process in undergraduate education

RESUMO

Introdução: A multiplicidade de metodologias de ensino e a necessidade de aprimoramento dos resultados da formação dos estudantes impõem, às Instituições de Ensino Superior, a busca de um plano de avaliação dos graduandos, do curso e da instituição, contemplando novos e diferentes métodos avaliativos nas matrizes e projetos pedagógicos. Dentre a diversidade de modelos e técnicas de avaliação disponiveis nas metodologias ativas de ensino, optamos por estudar a Prova de Progressão, que é um tipo de avaliação de desempenho individual do estudante, destinada a medir o conhecimento cognitivo relativo ao conteúdo teórico do ensino didático pedagógico do curso, de forma longitudinal e progressiva; fornece, também, informações importantes para avaliação do curso e da instituição. Acreditando neste tipo de avaliação e buscando apoiar a disseminação e utilização dessa ferramenta avaliativa, este estudo traçou como Objetivos: Geral Propor diretriz para o processo de avaliação progressiva; para tanto, os objetivos especificos foram avaliar a Prova de Progressão aplicada no Curso de Graduação em Enfermagem; conhecer o desempenho dos estudantes nas provas de progressão e verificar a existência de relações entre as variáveis relativas à prova e às do desempenho dos estudantes. Método: Estudo de natureza quantitativa com desenho exploratório e descritivo, desenvolvido no Curso de Bacharelado em Enfermagem da Pontifícia Universidade Católica de São Paulo, Constituiu-se material de análise, as 462 provas de progressão realizadas no período de 2012 a 2106. As 320 questões. das provas foram categorizadas em temas conforme o conteúdo teórico do curriculo do curso. Foi empregada estatistica descritiva para conhecer a adesão e o desempenho do estudante e, estatística inferencial para verificar a existência de relações entre as variáveis. Resultados: Dentre os principais resultados, destacamos que as 320 questões analisadas apresentaram 88 diferentes temas, 42,04% destes temas foram abordados em apenas uma prova. O desempenho dos estudantes, de maneira geral, demonstrou aquisição de conhecimento longitudinal de 39,13% nas primeiras provas para 54,12% nas últimas. Na comparação entre as séries do curso e desempenho na prova, houve diferença significante entre as séries que realizaram as provas em 2012, 3>1° (p=0,033; n=0,108); em 2015, 2º e 4">1° (p=0,001; n2=0,166) e na prova de 2016, 2, 3 e 4º>1° (p<0.001; n=0,305), como é esperado. Conclusões: A prova de progressão mostrou-se uma ferramenta capaz e viável para avaliação de conhecimento dos estudantes e para avaliação curricular e institucional. Com os achados deste estudo, com fundamentação teórica e com revisão de pesquisas, foi construida uma proposta de diretriz avaliativa para prova de progressão, que, dentre outras, recomenda a elaboração de matriz temática para a construção de questões; análise estatística dos resultados das avaliações e realização de feedbacks, envolvendo estudantes, docentes e gestores institucionais. É indispensável, no entanto, o aprofundamento desta investigação para aumentar o poder de generalização dos dados, bem como a aplicação da diretriz construida para testar sua aplicabilidade. Este estudo adensa o conhecimento sobre a prova de progressão, pouco empreendida e pesquisada na enfermagem nacional e internacional, demonstrando os elementos constitutivos, teóricos e metodológicos para construção, aplicação e avaliação da prova de progressão, passíveis de reprodução em diferentes realidades.

ABSTRACT

Introduction: The multiplicity of teaching methodologies and the need to improve the results of student training impose on higher education institutions the search for an evaluation plan for undergraduates, course and institution, contemplating new and different evaluative methods in the matrices and pedagogical projects. Among the diversity of models and evaluation techniques available in active teaching methodologies, we chose to study the Progress Test, which is a type of individual student performance evaluation, designed to measure cognitive knowledge relative to the theoretical content of pedagogical didactic teaching of the course, in a longitudinal and progressive manner, also providing important information for course and institution evaluation. Believing in this type of evaluation and seeking to support the dissemination and use of this evaluation tool, this study outlined as General Objectives: To propose guidelines for the progressive evaluation process; therefore, the specific objectives were to evaluate the Progress Test applied in the Nursing Baccalaureate Course; to know the performance of the students in the progress tests and to verify the existence of relations between the variables related to the test and those of the students' performance. Method. This is a quantitative study with an exploratory and descriptive design developed at the Nursing Baccalaureate Course of the Pontificia Universidade Católica de São Paulo. Analysis material consisted of the 462 progress tests carried out between 2012 and 2106. The 320 test questions were categorized into topics according to the theoretical content of the course curriculum. Descriptive statistics were used to know student adherence and performance, and inferential statistics to verify the existence of relationships between variables. Results: Among the main results, we highlight that the 320 questions analyzed presented 88 different themes, 42.04% of these themes were addressed in only one test. The performance of the students, in general, demonstrated acquisition of longitudinal knowledge from 39.13% in the first tests to 54.12% in the latter. In the comparison between the year of the course and performance in the test, there was a significant difference between the groups that carried out the tests in 2012, 3a> 1a (p = 0.033; n= 0,108); (p=0.001; n²=0.166) and in the 2016, 2a, 3a and 4a> 1a test (p <0.001; n² = 0.305), as expected. Conclusions: The progress test proved to be a viable tool for students' knowledge assessment and for curricular and institutional evaluation. With the findings of this study, with a theoretical basis and with a review of researches, a proposal was prepared for an evaluation guideline for proof of progress, which, among others, recommends the elaboration of a thematic matrix for the construction of questions; statistical analysis of the results of evaluations and feedback, involving students, teachers and institutional managers. It is essential, however, to deepen this research to increase the power of generalization of data, as well as the application of the guideline built to test its applicability. This study adds to the knowledge about the progress test, which was little undertaken and researched in national and international nursing courses, demonstrating the constitutive, theoretical and methodological elements for the construction, application and evaluation of the progress test, which can be replicated in different realities.