RESUMO
Abstract The aim of this study was to describe the process of psychometric analysis of the Teacher Observation of Classroom Adaptation- Revised Scale (TOCA-R) for its use in Brazilian schools and to evaluate its validity and reliability. To evaluate the "Elos Program", which is the Brazilian culturally adapted version of the North American Program "Good Behavior Game", the TOCA-R was used. The researchers adapted the instrument in 2014, consisting of 33 items in a three-point ordinal response scale. A longitudinal quasi-experimental design with a single group was used. Participants were children aged 6 to 10 years evaluated by their teachers, before (n = 1448) and after (n = 673) the implementation of the Elos Program in 2014. The study involved initially four schools, 68 classes and their respective teachers. The analytical procedures were exploratory factorial analysis, confirmatory factorial analysis, longitudinal invariance analysis and reliability analysis by precision coefficients. The results of the exploratory factorial analysis showed an acceptable adjustment of five factors with 25 items, with a total explained variance of 60% and mean residual error of 0.02. The confirmatory factorial analysis expressed a satisfactory fit of the model (χ2 = 961, df = 265, RMSEA = .078, 95% IC [.07, .08], and CFI = 0.9). A configurational, metric and scalar invariance of latent structure was identified, which, together with the amplitude of variation of the precision coefficients between the instrument dimensions (α = .78, .92; ω = .76, .92), demonstrate evidence of validity and reliability for using the TOCA-R in evaluating the Elos Program in Brazilian schools.
Resumen El objetivo de este estudio fue realizar el análisis psicométrico de la escala Teacher Observation of Classroom Adaptation-Revised (TOCA-R) para su uso en escuelas brasileñas, y evaluar su validez y confiabilidad. Esta escala ha sido utilizada para evaluar el "Programa Elos", que es la versión brasileña culturalmente adaptada del programa norteamericano "Good Behavior Game". El instrumento fue adaptado por los investigadores en 2014 y está compuesto por 33 ítems con una escala de respuesta ordinal de tres puntos. En este estudio, se utilizó un diseño longitudinal cuasiexperimental de grupo único con los niños de 6 a 10 años, evaluados por sus maestros antes (n = 1448) y después (n = 673) de la implementación del Programa Elos en 2014. Se incluyeron cuatro ciudades brasileñas, 19 escuelas, 68 cursos y sus respectivos maestros, y los procedimientos analíticos fueron el análisis factorial exploratorio, el análisis factorial confirmatorio, el análisis de invariancia longitudinal y el análisis de confiabilidad por coeficientes de precisión. Los resultados del análisis factorial exploratorio mostraron un ajuste aceptable de cinco factores con 25 ítems, con una varianza total explicada del 60 % y un error residual medio de 0.02; el análisis factorial confirmatorio mostró un ajuste satisfactorio del modelo (χ2 = 961, df = 265, RMSEA = .078, IC 95 % = .07-.08, y CFI = 0.9); y se identificó la invariancia configuracional, métrica y escalar de la estructura latente, la cual, junto con la amplitud de variación de los coeficientes de precisión entre las dimensiones del instrumento (α = .78, .92; ω = .76, .92), da cuenta de evidencias de validez y confiabilidad que permiten utilizar la escala en la evaluación del Programa Elos en las escuelas brasileñas.
RESUMO
Personal investment theory presents a hierarchical and multidimensional model of motivational goals that influence important academic outcomes. The aim of this study was to examine the cross-cultural validity of this model in the Philippine setting using both within- and between-network approaches to construct validation. Filipino high school (N = 823) students participated in the study. Their mean age was 14.28 (SD = 0.97). Confirmatory factor analysis supported the construct validity of the model. The eight types of first order goals (task, effort, competition, social power, social affiliation, social concern, praise, and token goals) formed four second-order goals (mastery, performance, social, and extrinsic), which in turn formed a third- order factor called global motivation. It was found that mastery, performance, and extrinsic were positively related to academic achievement. Social and extrinsic goals were positively related to affect to school. In general, the results supported the cross-cultural validity of the hierarchical and multidimensional model of student motivation in a non-Western context. This study highlights the importance of testing the validity of Western-oriented theories of achievement motivation before they are applied in non-Western settings.
La teoría de investigación personal presenta un modelo jerárquico y multidimensional de los objetivos motivacionales que influencian los resultados académicos importantes. El objetivo de este estudio fue examinar la validez intercultural de este modelo en el contexto Filipino usando una aproximación de tanto dentro y entre redes para la validación de constructo. Estudiantes de secundaria filipinos (N = 823) participaron en el estudio. La edad media fue 14.28 (DE = 0.97). El análisis factorial confirmatorio soportó la validez de constructo del modelo. Los ocho tipos de objetivos de primer orden (tarea, esfuerzo, competición, poder social, afiliación social, preocupación social, alabanza y objetivos simbólicos) formaron cuatro objetivos de segundo orden (dominio, desempeño, social y extrínseco), que a su vez formaron un factor de tercer orden denominado motivación global. Se encontró que los objetivos de dominio, desempeño y extrínseco estaban positivamente relacionados con afecto hacia la escuela. En general, los resultados apoyan la validez intercultural del modelo jerárquico y multidimensional de la motivación de los estudiantes en un contexto no-occidental. Este estudio resalta la importancia de evaluar la validez de teorías de orientación occidental acerca de la motivación de logro antes de que sean aplicadas en contextos no occidentales.