Psychometric properties of a Brazilian adaptation of the Teacher Observation of Classroom Adaptation-Revised Scale for Children's Behavior / Propiedades psicométricas de la adaptación de la escala Teacher Observation of Classroom Adaptation-Revised (TOCA-R) para evaluar el comportamiento infantil en Brasil

ABSTRACT

Abstract The aim of this study was to describe the process of psychometric analysis of the Teacher Observation of Classroom Adaptation- Revised Scale (TOCA-R) for its use in Brazilian schools and to evaluate its validity and reliability. To evaluate the "Elos Program", which is the Brazilian culturally adapted version of the North American Program "Good Behavior Game", the TOCA-R was used. The researchers adapted the instrument in 2014, consisting of 33 items in a three-point ordinal response scale. A longitudinal quasi-experimental design with a single group was used. Participants were children aged 6 to 10 years evaluated by their teachers, before (n = 1448) and after (n = 673) the implementation of the Elos Program in 2014. The study involved initially four schools, 68 classes and their respective teachers. The analytical procedures were exploratory factorial analysis, confirmatory factorial analysis, longitudinal invariance analysis and reliability analysis by precision coefficients. The results of the exploratory factorial analysis showed an acceptable adjustment of five factors with 25 items, with a total explained variance of 60% and mean residual error of 0.02. The confirmatory factorial analysis expressed a satisfactory fit of the model (χ2 = 961, df = 265, RMSEA = .078, 95% IC [.07, .08], and CFI = 0.9). A configurational, metric and scalar invariance of latent structure was identified, which, together with the amplitude of variation of the precision coefficients between the instrument dimensions (α = .78, .92; ω = .76, .92), demonstrate evidence of validity and reliability for using the TOCA-R in evaluating the Elos Program in Brazilian schools.

RESUMEN

Resumen El objetivo de este estudio fue realizar el análisis psicométrico de la escala Teacher Observation of Classroom Adaptation-Revised (TOCA-R) para su uso en escuelas brasileñas, y evaluar su validez y confiabilidad. Esta escala ha sido utilizada para evaluar el "Programa Elos", que es la versión brasileña culturalmente adaptada del programa norteamericano "Good Behavior Game". El instrumento fue adaptado por los investigadores en 2014 y está compuesto por 33 ítems con una escala de respuesta ordinal de tres puntos. En este estudio, se utilizó un diseño longitudinal cuasiexperimental de grupo único con los niños de 6 a 10 años, evaluados por sus maestros antes (n = 1448) y después (n = 673) de la implementación del Programa Elos en 2014. Se incluyeron cuatro ciudades brasileñas, 19 escuelas, 68 cursos y sus respectivos maestros, y los procedimientos analíticos fueron el análisis factorial exploratorio, el análisis factorial confirmatorio, el análisis de invariancia longitudinal y el análisis de confiabilidad por coeficientes de precisión. Los resultados del análisis factorial exploratorio mostraron un ajuste aceptable de cinco factores con 25 ítems, con una varianza total explicada del 60 % y un error residual medio de 0.02; el análisis factorial confirmatorio mostró un ajuste satisfactorio del modelo (χ2 = 961, df = 265, RMSEA = .078, IC 95 % = .07-.08, y CFI = 0.9); y se identificó la invariancia configuracional, métrica y escalar de la estructura latente, la cual, junto con la amplitud de variación de los coeficientes de precisión entre las dimensiones del instrumento (α = .78, .92; ω = .76, .92), da cuenta de evidencias de validez y confiabilidad que permiten utilizar la escala en la evaluación del Programa Elos en las escuelas brasileñas.