Relationships between Bloom's taxonomy, judges' estimation of item difficulty and psychometric properties of items from a progress test: a prospective observational study

ABSTRACT BACKGROUND: Progress tests are longitudinal assessments of students' knowledge based on successive tests. Calibration of the test difficulty is challenging, especially because of the tendency of item-writers to overestimate students' performance. The relationships between the levels of Bloom's taxonomy, the ability of test judges to predict the difficulty of test items and the real psychometric properties of test items have been insufficiently studied. OBJECTIVE: To investigate the psychometric properties of items according to their classification in Bloom's taxonomy and judges' estimates, through an adaptation of the Angoff method. DESIGN AND SETTING: Prospective observational study using secondary data from students' performance in a progress test applied to ten medical schools, mainly in the state of São Paulo, Brazil. METHODS: We compared the expected and real difficulty of items used in a progress test. The items were classified according to Bloom's taxonomy. Psychometric properties were assessed based on their taxonomy and fields of knowledge. RESULTS: There was a 54% match between the panel of experts' expectations and the real difficulty of items. Items that were expected to be easy had mean difficulty that was significantly lower than that of items that were expected to be medium (P < 0.05) or difficult (P < 0.01). Items with high-level taxonomy had higher discrimination indices than low-level items (P = 0.026). We did not find any significant differences between the fields in terms of difficulty and discrimination. CONCLUSIONS: Our study demonstrated that items with high-level taxonomy performed better in discrimination indices and that a panel of experts may develop coherent reasoning regarding the difficulty of items.

Cumulative assessment: does it improve students' knowledge acquisition and retention? / Avaliação cumulativa: melhora a aquisição e a retenção do conhecimento pelos estudantes?

AIMS: Cumulative assessment has been used as a tool to steer students' study behavior, since it increases students' self-study time while spreading their study time more evenly throughout the span of the course. However, little is known about the impact of cumulative assessment on students' knowledge growth. Therefore, our study compared the growth of knowledge of students who attended a course with cumulative assessment with those with end-of-course assessment. We hypothesized that students in the cumulative assessment condition would have a higher increase in knowledge compared to students in the end-of-course assessment condition. METHODS: This is a follow-up study of a previous randomized experiment that compared students' performance between students who attended a course with cumulative assessment with those with end-of-course assessment. We gathered data of the first four subsequent Dutch interuniversity progress test after the experiment from 62 students. Of those, 37 students were in the end-of-course assessment condition and 25 were in the cumulative assessment condition. The questions were classified as part of the teaching block or not. To analyze students' knowledge growth, we conducted a General Linear Model. RESULTS: Our results demonstrated that there was a significant increase in students' knowledge of the four subsequent progress tests. Additionally, our general linear model showed no difference between both groups, indicating that cumulative assessment and end-of-course assessment produced similar outcomes when comparing students' knowledge growth. CONCLUSIONS: So far, little evidence has supported the use of cumulative assessment as a tool for increasing students' knowledge growth. The lack of finding a positive effect of cumulative assessment on knowledge retention may be explained by the repetitive character of our (spiral) curriculum.

OBJETIVOS: A avaliação cumulativa tem sido usada como uma ferramenta para orientar o comportamento de estudo dos alunos, uma vez que aumenta o tempo de auto aprendizado, ao mesmo tempo que distribui o tempo de estudo de forma mais uniforme ao longo do curso. No entanto, pouco se sabe sobre o impacto da avaliação cumulativa na evolução do conhecimento dos estudantes. Portanto, nosso estudo comparou o aumento do conhecimento entre estudantes que participaram de um curso com avaliação cumulativa, e aqueles que tiveram avaliação de fim de curso. Nossa hipótese é que os estudantes na condição de avaliação cumulativa teriam um aumento maior no conhecimento em comparação com os estudantes na condição de avaliação do final do curso. MÉTODOS: Este é um estudo de acompanhamento de um experimento randomizado anterior, que comparou o desempenho entre estudantes que participaram de um curso com avaliação cumulativa e aqueles com avaliação de fim de curso. Nós reunimos dados dos primeiros quatro Testes do Progresso interuniversitários holandeses subsequentes ao experimento, em 62 estudantes. Destes, 37 estavam na condição de avaliação de final de curso e 25 estavam na condição de avaliação cumulativa. As questões foram classificadas como parte do bloco de ensino ou não. Para analisar o crescimento do conhecimento dos estudantes, conduzimos um Modelo Linear Geral. RESULTADOS: Nossos resultados demonstraram que houve um aumento significativo no conhecimento dos estudantes nos quatro Testes do Progresso subsequentes. Além disso, nosso modelo linear geral não mostrou diferença entre os dois grupos, indicando que a avaliação cumulativa e a avaliação no final do curso produziram resultados semelhantes ao comparar o crescimento do conhecimento dos alunos. CONCLUSÕES: Até agora, pouca evidência apoiou o uso da avaliação cumulativa como uma ferramenta para aumentar o crescimento do conhecimento dos alunos. A falha em encontrar um efeito positivo da avaliação cumulativa na retenção de conhecimento pode ser explicada pelo caráter repetitivo do nosso currículo (em espiral).

Avaliação de progresso de conhecimentos sobre saúde coletiva em acadêmicos de medicina / Evaluation of the progress of medical students' knowledge on Public Health

O Teste de Progresso trata-se de avaliação cognitiva, composto por questões de múltipla escolha, sendo utilizado com a finalidade de verificar o contexto de aprendizado ao longo do curso de medicina. Trata-se de uma pesquisa transversal, exploratória e descritiva de abordagem quantitativa, por meio da aplicação de um teste composto de 20 questões de múltipla escolha sobre Saúde Coletiva. O estudo apresentou um aumento gradual nos valores das notas médias com o avanço dos períodos de estudo, representado por um acréscimo de 24% na nota final em relação à inicial, porém a partir do quinto período não houve um crescimento estatisticamente significativo. Estes resultados refletem uma inserção da Saúde Coletiva nos primeiros anos do curso, revelando uma fragmentação do ensino. O Teste de Progresso mostrou-se útil como método de avaliação do desenvolvimento institucional e acadêmico (AU).

The Progress Test is a cognitive evaluation comprising multiple-choice questions, and is used to check the context of learning during medical school. This is a cross-sectional, exploratory, and descriptive study of quantitative approach, through the application of a test consisting of 20 multiple-choice questions about Collective Health. The study showed a gradual increase in the average grades with the advancement of the study periods, represented by an increase of 24% in the final grade in relation to the initial one, but from the fifth period on there was no statistically significant growth. These results reflect in the insertion of Collective Health in the first years of the course, revealing a fragmentation of education. The Progress Test was useful as a method of evaluating institutional and academic development (AU).

Avaliação do crescimento cognitivo do estudante de medicina: aplicação do teste de equalização no teste de progresso / Assessment of the cognitive growth of the medicine student: applying the equalization test to the progress test

O desenvolvimento cognitivo é avaliado, geralmente, por meio de testes objetivos, e o Teste de Progresso (TPMed) é um dos métodos que as escolas médicas utilizam. A comparação dos resultados é possível com a equalização dos testes. Este trabalho avaliou o desenvolvimento cognitivo dos estudantes de Medicina de uma universidade estadual através da análise dos TPMed no período de 2004 a 2007, que foram equalizados para estimar o progresso dos estudantes durante o curso. A metodologia foi pesquisa-ação e aplicaram-se os métodos para equiparação dos testes, Teoria Clássica dos Testes (TCT) e Teoria de Resposta ao Item (TRI), seguidos pelo método linear por meio do teste de ancoragem para grupos não equivalentes. Observou-se uma média de acerto de 36,9 por cento e 64,4 por cento na primeira e sexta séries, respectivamente. A análise dos resultados baseou-se na psicometria e realizou-se a equiparação dos testes pela TCT, pela impossibilidade de aplicar a TRI. O alfa de Cronbach mostrou alta consistência interna dos testes, e os índices de dificuldade e discriminação dos itens mostraram boa evolução do nível das questões. O crescimento cognitivo dos estudantes de Medicina foi evidente em todos os TPMed.

Cognitive development is usually assessed by applying objective tests, and the Progress Test (TP-MEd) is one of method used by medical schools. The results can be compared through test equalization. This study assessed the cognitive growth of medicine students at a state university by analysing the TPMed tests in the period of 2004 to 2007, using equalization to estimate student progress during the course. The methodology used was action research. Moreover, Classical Test Theory (CTT) and Item Response Theory (IRT) were applied as test equalization methods and, non-equivalent group with anchor test design. It was found 36.9 percent and 64.4 percent score in the first and sixth series, respectively. The results were based on psychometric analysis and CTT test equalization was applied, due to IRT being impossible to apply. Cronbach's alpha demonstrated displayed high internal consistency of the tests and the indices of difficulty and item discrimination showed good level of the question. Cognitive growth of medical students was evident in all TPMeds.

Avaliação de quatro aplicações do teste do progresso do curso de graduação de odontologia da Universidade Cidade de São Paulo / Evaluation of four applications of progress testing in dentistry graduation course at University of the City of São Paulo

O Teste do Progresso é uma estratégia para avaliação do ganho de conhecimento longitudinal. Foi implementado no curso de Odontologia da Universidade da Cidade de São Paulo (UNICID), com metodologia tradicional de ensino, com os objetivos de avaliar se o ganho de conhecimento dos alunos durante a graduação é contínuo, se existe perda de conhecimento das disciplinas do curso básico ao longo da graduação, e se houve retenção dos conhecimentos na disciplina de Saúde Coletiva. O teste foi aplicado duas vezes por ano, em 2007 e 2008. As provas foram compostas por 85 questões de múltipla escolha, enviadas pelos responsáveis por cada disciplina do curso. O escore médio foi calculado para cada teste por ano letivo e comparado utilizando-se ANOVA, com teste post hoc de Bonferroni. Os resultados sugerem um aumento progressivo do ganho de conhecimento, do primeiro ao quarto ano, em todos os testes (P de tendência <0,0001). A pontuação percentual média no 4° ano variou de 52% a 59%. Não houve perda no ganho cognitivo nas disciplinas básicas ao longo do curso, alcançando percentual médio de 38% a 51% para os alunos do último ano em todos os testes. A média do escore percentual para Saúde Coletiva aumentou de 36% no primeiro ano para 48% no quarto ano. Nossos resultados sugerem um ganho cognitivo progressivo do primeiro ao quarto ano em todos os testes. O Teste do Progresso parece ser uma boa ferramenta de avaliação longitudinal para verificar o ganho de conhecimento em cursos de Odontologia.

Progress Testing is a strategy for evaluation of knowledge gain in a longitudinal way. It was implemented at the Dentistry course of University of the City of São Paulo (UNICID), which uses traditional methodology, with the objectives of evaluating if the knowledge gain of students is continuous, if there is loss of knowledge from basic disciplines along the graduation course and if there was a retention of knowledge in public health issues. The test was applied 2 times in the years of 2007 and 2008. The tests consisted in 85 multiple choices questions, sent by the professors in charge of each discipline. Mean percentual score was calculated for each test and graduation year and compared using A NOVA, with a post hoc Bonferroni evaluation test. The results suggest a progressive gain in knowledge from 1st to 4th year, in all tests (P trend <0,0001). The average percent score at 4th year varied from 52% to 59%. There was no loss of cognitive gain at basic disciplines along the course, ranging from 38% to 51% for the students in the last year in all tests. Average percent score for public health subjects raised from 36% in 1st year up to 48% on 4th year. Our results suggest a progressive cognitive gain from first to last (fourth) year in all tests. Progress Testing seems to be a good tool for longitudinal evaluation to verify the knowledge gain in Dentistry graduation courses.