Onze anos de Teste de Progresso na Unicamp: um estudo sobre a validade do teste / Eleven years of Progress Testing at Unicamp: a test validity study

Resumo: Introdução: O curso de Medicina da Universidade Estadual de Campinas (Unicamp) vem pondo à prova o aquisição cumulativa cognitiva de seus alunos por meio do Teste de Progresso (TP) há mais de uma década, de modo a possibilitar a análise da utilidade do exame como estratégia de apoio a decisões pedagógicas e apontar principais ameaças à validade dele. Objetivo: Este estudo teve como objetivos oferecer a análise de validade do TP e explicitar as oportunidades de utilização do teste especialmente para a determinação de padrões de suficiência cognitiva para a progressão no curso e ao final deste, e a identificação de estudantes em risco. Método: Trata-se de estudo observacional retrospectivo de uma série histórica de sucessivos testes escritos realizados para analisar o acúmulo cognitivo no período de 2006 a 2016, totalizando 11 anos e seis turmas consecutivas. Em cada momento de medida (aplicação do teste), o estudo utilizou um modelo misto, em que a exposição (realização do teste) e o desfecho (escore do teste) foram avaliados no mesmo ponto de tempo, o que caracteriza um estudo transversal (cross-sectional) cujos resultados sucessivos originarão as curvas de crescimento cognitivo Resultado: Observou-se um acúmulo cognitivo em torno de 6 pontos percentuais a cada nova testagem. Os estudantes ao completarem o sexto ano obtiveram um acerto de cerca de 65,7% (± 9,1). A cada testagem, determinou-se um "efeito piso" para identificar alunos com rendimento abaixo da média, que em geral se situou em cerca de 1,5 DP abaixo da média da respectiva turma. Conclusão: O TP-Unicamp oferece dados confiáveis para apoiar importantes decisões pedagógicas, tais como identificação de alunos em risco acadêmico por baixa performance, critérios para progressão e desempenho cognitivo ao final do curso. Como confiabilidade sofre influência da amostragem, e o aumento do número de itens de cada teste e o aumento da frequência de testagem podem ser estratégias a serem tomadas para superar essas limitações.

Abstract: Introduction: The Medical School of the State University of Campinas (UNICAMP) has been testing the cumulative cognitive acquisition among its students through the Progress Test (PT) for over a decade, making it possible to analyze the utility of the test as a strategy to support pedagogical decisions and to point out the main threats to its validity. Objective: To provide an analysis of the validity of the PT, explaining opportunities for its use, especially in determining standards of cognitive sufficiency for progression, standards of cognitive sufficiency at the end of the course, and identification of students at risk. Method: Retrospective observational study of historical series of successive written tests performed to analyze cognitive accumulation, covering a period from 2006 to 2016, totaling 11 years and 6 consecutive classes. At each instance of measurement (test application), the study uses a mixed model where exposure (test performance) and outcome (test score) are evaluated at the same time point, characterizing a cross-sectional study, the successive results of which will generate the cognitive growth curves. Result: A cognitive accumulation of around 6 percentage points was observed with each new test. Students, upon completing the 6th year, scored around 65.7% (± 9.1). A "floor effect" was determined for each test to identify students with below-average performance, which in general was about 1.5 SD below the average of the respective class. Conclusion: TP-Unicamp offers reliable data to support important pedagogical decisions, such as the identification of students at academic risk for low performance, criteria for progression and cognitive performance at the end of the course. As reliability is influenced by sampling, increasing the number of items in each test and increasing the frequency of tests could represent strategies to overcome potential limitations.

Formação básica e profissional do psicólogo: análise do desempenho dos estudantes no ENADE-2006 / Psychologist´s basic and professional education: analysis of students´ performance in the 2006

São analisados resultados obtidos pelos estudantes ingressantes e concluintes que realizaram o ENADE-2006-Psicologia quanto a dados Socioeconômicos, de História Escolar e Componentes Específicos do conhecimento psicológico. Identificou-se que os estudantes são, em sua maioria, provenientes do ensino privado e apresentam diferenças de desempenho quando comparados aos provenientes do público. Os dados socioeconômicos também são analisados em comparação com escores obtidos no Exame e são tecidas considerações sobre os resultados em termos de conhecimentos gerais e específicos. São observadas as orientações das Diretrizes Curriculares Nacionais para os cursos de graduação em Psicologia, em comparação com os escores obtidos em aspectos específicos da prova. Observa-se que a maioria dos alunos é do sexo feminino, os desempenhos são melhores no ensino público, diurno. Uma das constatações é a necessidade de maior investimento na formação quanto aos conteúdos referentes a Investigações e Medidas, bem como em Fundamentos Históricos e Epistemológicos.

We analyze the results obtained by first year and graduating students who took the 2006 ENADE Exam in Psychology. We study the outcome relating to Socio-Economic data, School history and Specific Components of psychological knowledge. It is possible to conclude that the students who took the test come mostly from the private education and show differences in performance when compared to those who attended in public. The socio-economic data are analyzed in comparison with the scores obtained in the examination in terms of specific and general knowledge. The orientation of the National Curriculum Guidelines for undergraduate courses in Psychology was compared with the scores obtained in specific aspects of the exam. Most students are female, the performances are better in public education, during the day. We point out for the need for greater investment in training relating to the contents for Investigations and Measures, historical and epistemological basics in Psychology.

Formação básica e profissional do psicólogo: uma análise do desempenho das IES no ENADE-2006 / Basic Training and professional psychologist: an analysis of high education in ENADE-2006

O objetivo do artigo é analisar a formação em psicologia oferecida pelas Instituições de Ensino Superior brasileiras, por meio do desempenho no Exame Nacional de Desempenho Educacional 2006, que compara grupos de ingressantes e de concluintes. São analisados os indicadores do desempenho geral e os relativos aos componentes específicos da prova do ENADE de 2006 explorando-se, sobretudo, a sua variabilidade considerando-se o tipo e a natureza da instituição formadora. Exploram-se também as inter-relações entre a formação na graduação e a pós-graduação, destacando haver forte associação entre a qualidade do desempenho no ENADE e a presença de programa de pós-graduação na IES. Os resultados gerais indicam que as IES públicas (federais e estaduais) apresentam desempenho superior em relação às instituições públicas municipais e particulares. São analisadas as implicações desses resultados para a formação em psicologia no Brasil.

Were analyzed undergraduate psychology programs offered by higher education institutions in Brazil, through performance on the National Educational Performance Test (ENADE) of 2006, which compares groups of incoming freshmen and graduating seniors. Indicators of overall performance and data on specific components of the 2006 ENADE test are analyzed, probing especially into their variability considering the type and nature of the educational institution. The interrelationships between undergraduate and graduate education are also studied, noting there is a strong association between quality of performance on the ENADE test and the presence of a postgraduate program at the higher education institution. General results indicate that public (federal and state) present superior performance in relation to municipal and private institutions. The implications of these findings for psychology degree programs in Brazil are analyzed.

Avaliação das relações entre ensino e aprendizado de imunologia: diagnóstico para mudança / Assessment of the relationship between teaching and learning immunology: diagnosis for change

As diretrizes curriculares nacionais (DCN) em suas orientações para o ensino superior indicam as principais habilidades e competências necessárias ao desempenho profissional efetivo. A prática atual de ensino de imunologia é focada apenas no ensino dos conteúdos e não tem contribuído para o aprendizado significativo e mudança conceitual pelos estudantes...O plano didático criado e implementado foi efetivo visto que os estudantes: identificaram a importância da reflexão e do método científico no aprendizado de disciplina científica, manifestando-se positivamente quanto ao alcance de suas expectativas e ao aproveitamento dos recursos didáticos para o aprendizado. E por fim, o desenvolvimento docente é importante para a concretização acertada de um plano didático teoricamente fundamentado.