Psychometric assessment of the Instructional Materials Motivation Survey (IMMS) instrument in a remote learning environment / Avaliação psicométrica do instrumento Instructional Materials Motivation Survey (IMMS) em ambiente remoto de aprendizagem

Abstract: Introduction: Motivation contributes greatly to learning, being a predictor of student performance. Thus, instruments that assess motivation after exposure to different teaching strategies and materials can contribute to the analysis and decision on its effectiveness. In this sense, the Instructional Materials Motivation Survey (IMMS) instrument measures students' motivation after instructional activities. Objective: This study aimed to evaluate the evidence of validity of the IMMS, previously translated and cross-culturally adapted to Brazilian Portuguese. Method: Cross-sectional study used to evaluate the psychometric properties of the IMMS questionnaire, applied to 211 students from the first, third and fourth semesters of the medical course at José do Rosário Vellano University (Unifenas - Campus Belo Horizonte). The principal component analysis (PCA) with Varimax rotation and Cronbach's alpha coefficient were used to assess the validity and reliability of the instrument. Results: The PCA reduced the instrument's items from 36 to 25 items, distributed in four dimensions. The saturation of the items in the dimensions ranged from 0.529 to 0.790 and the total explained variance was 63.12%. The reliability of the modified IMMS (IMMS-BRV), measured by Cronbach's alpha, ranged from 0.76 (Attention dimension) to 0.93 (Interest dimension). Conclusion: The IMMS application in the remote education scenario, through asynchronous video lectures of human anatomy, resulted in an alternative instrument (IMMS-BRV), with fewer items (more parsimonious) and good internal consistency, demonstrating preliminary evidence of its validity and reliability adequacy.

Resumo: Introdução: A motivação contribui sobremaneira para a aprendizagem, sendo um fator preditor da performance do estudante. Assim, instrumentos que avaliam a motivação, após exposição a diferentes estratégias e materiais de ensino, podem contribuir para a análise de sua efetividade e decisão sobre esta. Nesse sentido, o instrumento Instructional Materials Motivation Survey (IMMS) mede a motivação dos estudantes após atividades instrucionais. Objetivo: Esta pesquisa teve como objetivo avaliar as evidências de validade do IMMS, previamente traduzido e adaptado transculturalmente para o português brasileiro. Método: Trata-se de um estudo transversal de avaliação das propriedades psicométricas do questionário IMMS, aplicado a 211 estudantes do primeiro, terceiro e quarto períodos do curso de Medicina da Universidade José do Rosário Vellano (Unifenas - câmpus de Belo Horizonte). Adotaram-se a análise de componentes principais (ACP) com rotação Varimax e o coeficiente alfa de Cronbach para avaliação da validade e da confiabilidade do instrumento. Resultado: A ACP reduziu os itens do instrumento de 36 para 25, distribuídos em quatro dimensões. A saturação dos itens nas dimensões variou de 0,529 a 0,790, e a variância total explicada foi de 63,12%. A confiabilidade do IMMS modificado (IMMS-BRV), medida pelo alfa de Cronbach, variou de 0,76 (dimensão atenção) a 0,93 (dimensão interesse). Conclusão: A aplicação do IMMS no cenário de ensino remoto, por meio de videoaulas assíncronas de anatomia humana, resultou em instrumento alternativo (IMMS-BRV), modificado com menor número de itens (mais parcimonioso) e boa consistência interna, demonstrando evidências preliminares de adequação de sua validade e confiabilidade.

Tradução e Adaptação Transcultural do Instructional Materials Motivation Survey (IMMS) para o Português do Brasil / Translation and Transcultural Adaptation of the Instructional Materials Motivation Survey (IMMS) to Brazilian Portuguese

Resumo: Introdução: No cenário educacional, diversas metodologias de ensino-aprendizagem vêm sendo utilizadas como ferramentas instrucionais, com o objetivo de aumentar a motivação dos estudantes e favorecer a aprendizagem significativa. Por sua vez, instrumentos que avaliem a motivação, após exposição a diferentes estratégias e materiais de ensino, podem contribuir para análise e decisão sobre sua efetividade. Nesse sentido, o questionário Instructional Materials Motivation Survey (IMMS) avalia a motivação, após atividades instrucionais, por meio de quatro domínios: atenção, relevância, confiança e satisfação. Assim, esta pesquisa teve como objetivo realizar a tradução e adaptação transcultural do IMMS para o português brasileiro. Método: A tradução e adaptação transcultural foram realizadas em seis etapas: tradução do questionário original, síntese das traduções, retrotradução, revisão pelo comitê de especialistas, teste da versão pré-final, confecção da versão final e auditoria pelo comitê externo. As traduções foram realizadas por duas professoras de inglês, de língua nativa brasileira. As retrotraduções foram realizadas por dois professores de inglês, de língua nativa inglesa. O comitê de especialistas foi formado por um professor de medicina e educação médica, dois professores de medicina, uma pedagoga, um estatístico e um professor de inglês. A versão brasileira final do IMMS foi testada, após aula invertida, tendo como objetivo avaliar a consistência interna do instrumento. Considerou-se como aceitável valor de alfa de Cronbach ≥ 0,70. Resultados: No processo de tradução e adaptação transcultural, foram atingidas todas as equivalências: semântica, idiomática, cultural e conceitual. Na avaliação da consistência interna, dos 52 estudantes submetidos à aula invertida, 48 (92,3%) responderam à versão brasileira do IMMS. O instrumento apresentou consistência interna de 0,718, avaliada por meio do teste alfa de Cronbach. Conclusões: A versão final do instrumento IMMS, após processo de tradução e adaptação transcultural, manteve todas as suas 36 sentenças e as instruções do instrumento original, e apresenta boa consistência interna, de acordo com o teste alfa de Cronbach. A possibilidade de avaliação da motivação, no contexto educacional, por instrumento amplamente validado, traz consigo ganhos tanto no campo da prática quanto da pesquisa pedagógica. Seu emprego no Brasil possibilitará novas validações em cenários educacionais nacionais e contextos diversos.

Abstract: Introduction: Several educational methodologies have been used as instructional tools, with the objective of increasing student motivation and promoting meaningful learning. In turn, instruments designed to assess a student's motivation after being exposed to different teaching strategies and materials can play an important role in reviewing the effectiveness of such methods. In this sense, the Instructional Materials Motivation Survey (IMMS) evaluates student motivation after instructional activities, through four domains: attention, relevance, confidence and satisfaction. This research aimed to perform the translation and cross-cultural adaptation of the IMMS into Brazilian Portuguese. Method: The cross-cultural translation and adaptation was performed in six stages: translation of the original questionnaire; synthesis of translations; back-translation; review by the Committee of Experts; testing of the pre-final version, preparation of the final version and review by the External Committee. The translations were performed by two English teachers, native Brazilian. The back-translations were performed by two English teachers, native English language. The expert committee was formed by a professor of medicine and medical education, two medical professors, a pedagogue, a statistician and an English teacher. The final Brazilian version of the IMMS was tested following a flipped classroom activity aimed at evaluating the internal consistency of the instrument. A Cronbach alpha value of ≥ 0.70 was considered acceptable. Results: In the process of translation and cross-cultural adaptation, all equivalences were achieved: semantic, idiomatic, cultural and conceptual. In the evaluation of internal consistency, of the 52 students submitted to the flipped classroom, 48 (92.3%) correctly answered the Brazilian version of the IMMS. The instrument presented an internal consistency of 0.718, evaluated using the Cronbach alpha test. Conclusions: The final version of the IMMS instrument, after cross-cultural translation and adaptation, maintained all its 36 sentences and the 3 instructions of the original instrument and presented good internal consistency according to the Cronbach alpha test. The possibility of evaluating motivation in the educational context by means of a broadly validated instrument, brings with it gains both in the field of practice and pedagogical research. Use of the IMMS in Brazil will support new validations in national educational settings and diverse contexts.