Testing the invariance of the metacognitive monitoring test / Investigando a invariância do teste de monitoramento metacognitivo / Investigando la invarianza de la prueba de monitoreo metacognitivo

Metacognition is predominantly measured by the self-report and think-aloud methods. This is problematic since they produce considerable both respondent and confirmatory biases, which implies damage to the measurement. The Metacognitive Monitoring Test (MMT) was created to evaluate metacognition through performance and eliminate the aforementioned biases. There is evidence of MMT convergent, divergent, structural, predictive and incremental validity. This article expands the validity studies about the MMT by analyzing the configural, metric and scalar invariance of MMT across sex, nationality, and educational level variables. The sample is composed of Brazilian and Honduran subjects, as well as 6st to 12st grades and higher education students. Results indicate configural, metric and scalar invariance for the sex variable, as well as configural invariance and metric and scalar partial invariance for nationality and educational level. It is concluded that the MMT allows comparing means of the latent variable measured in the analyzed groups. (AU)

Há uma hegemonia dos métodos de autorrelato e thinkaloud para avaliar metacognição. Isso é problemático, pois eles geram substanciais vieses do respondente e confirmatório, trazendo prejuízo à medida. O Teste de Monitoramento Metacognitivo (TMC) foi criado para avaliar a metacognição mediante o desempenho e eliminar os vieses supramencionados. Há evidências de validade convergente, divergente, estrutural, preditiva e incremental do TMC. Este artigo amplia os estudos de validade e analisa a invariância configural, métrica e escalar do TMC, em relação ao sexo, nacionalidade, e nível educacional. A amostra do estudo é composta por brasileiros e hondurenhos, e estudantes da 6ª à 12ª séries da educação básicae ensino superior. Os resultados indicam invariância configural, métrica e escalar para a variável sexo, assim como invariância configural e invariância parcial métrica e escalar para nacionalidade e nível educacional. Conclui-se que o TMC permite comparar médias da variável latente mensurada nos grupos analisados. (AU)

Hay un predominio de métodos de auto-reporte e think aloud para evaluar la metacognición. Esto es problemático, ya que dichos métodos producen un considerable sesgo de respuesta y confirmación, lo que implica un perjuicio en la medición. La Prueba de Monitoreo Metacognitivo (PMM) fue diseñada para evaluar la metacognición por medio del desempeño y eliminar los sesgos mencionados anteriormente. Hay evidencia de validez convergente, divergente, estructural, predictiva e incremental de la PMM. Este artículo amplía los estudios de validez sobre la PMM, analizando la invarianza configural, métrica y escalar de la PMM con respecto a las variables sexo, nacionalidad y nivel educativo. La muestra del estudio está formada por brasileños y hondureños, y estudiantes de 6º a 12º grado de educación básica y educación superior. Los resultados indican invarianza configural, métrica y escalar para la variable sexo así como invarianza configural e invarianza parcial escalar y métrica para nacionalidad y nivel educativo. Se concluye que la PMM permite comparar medias de la variable latente medida en los grupos analizados. (AU)

Measuring students learning approaches through achievement: structural validity of SLAT-Thinking / Medindo Abordagens de Aprendizagem pelo Desempenho: Validade Estrutural do TAP-Pensamento / Midiendo los Enfoques de Aprendizaje mediante el Desempeño: Validez Estructural del TAP-Pensamiento

The field of learning approach studies measures its constructs exclusively using self-report instruments. Recently created, SLAT-Thinking is the first test to measure performance approaches in a task that requires the respondent to identify the author's thinking in a given text. This paper presents the first evidence on the structural validity of SLAT-Thinking. A sample of 622 higher education students was randomly divided into training sample and test sample. Two models were tested in the training sample through confirmatory factor analysis of items, resulting in a final model. This model presented configural, metric, and scalar invariance when comparing the training and test sample. The results indicate that SLAT-Thinking reliably measures three levels of learning approaches: superficial, intermediate-deep, deep. The measurement of levels generates information not previously identified by the area, bringing conceptual implications for the construct.

O campo de estudos em abordagens de aprendizagem mensura exclusivamente seus construtos usando instrumentos de autorrelato. Criado recentemente, o TAP-Pensamento é o primeiro teste a mensurar abordagens via o desempenho em uma tarefa que demanda ao respondente identificar o pensamento do autor em determinado texto. O presente artigo apresenta as primeiras evidências sobre a validade estrutural do TAP-Pensamento. Uma amostra de 622 estudantes do ensino superior foi dividida aleatoriamente em amostra-treino e amostra-teste. Dois modelos foram testados na amostra-treino, via análise fatorial confirmatória de itens, resultando em um modelo final. Este modelo apresentou invariância configural, métrica, e escalar, ao se comparar a amostra treino e teste. Os resultados indicam que o TAP-Pensamento mensura de forma confiável três níveis de abordagens de aprendizagem: superficial, intermediária-profunda, profunda. A mensuração de níveis gera informações anteriormente não identificadas pela área, trazendo implicações conceituais para o construto.

El campo de estudios sobre los enfoques de aprendizaje mide sus constructos exclusivamente utilizando instrumentos de autorreporte. Recientemente creado, el TAP-Pensamiento es el primer test que mide los enfoques a través del desempeño de una tarea que demanda que la persona identifique el pensamiento del autor en un texto determinado. Este artículo presenta las primeras evidencias sobre la validez estructural del TAP-Pensamiento. Una muestra de 622 estudiantes de educación superior fue dividida aleatoriamente en muestra-entrenamiento y muestra-prueba. Dos modelos fueron testados en la muestra de entrenamiento a través del análisis factorial confirmatorio de ítems, lo que resultó en un modelo final. Este modelo presentó invarianza configural, métrica y escalar al comparar las muestras de entrenamiento y prueba. Los resultados indican que el TAP-Pensamiento mide de manera confiable tres niveles de enfoques de aprendizaje: superficial, intermedio-profundo y profundo. La medición por niveles genera información no identificada previamente por el área, trayendo implicaciones conceptuales para el constructo.

Factorial Structure Validation of the Movement Assessment Battery for Children in School-Age Children Between 8 and 10 Years Old / Validação da Estrutura Fatorial do Movement Assessment Battery for Children em Escolares de 8 a 10 Anos / Validación de la Estructura Factorial del Movement Assessment Battery for Children en Escolares de 8 a 10 Años

Abstract: The adaptation of instruments to other cultural contexts is a complex task that requires careful planning to maintain the content and psychometric properties. One of the most used motor assessment tools in the world is the Movement Assessment Battery for Children 2ed. In this study, we evaluated the factorial organization of the MABC-2 for the age group 8-10 years from the perspective of classical and modern psychometric theory. For this purpose, a group of 350 school children in the city of Manaus (AM, Brazil) was evaluated. The factorial structure of the MABC-2 and a new factorial structure with four factors were tested. For data analysis, descriptive and inferential statistics were used. Factor analysis confirmed the original three-factor model. Based on these results, good evidences of validity were produced, based on the internal structure of the MABC-2 proposed by the original authors, confirming its ability to identify disorders in the development of coordination.

Resumo A adaptação de instrumentos para outros contextos culturais é uma tarefa complexa, que exige rigor quanto à manutenção do conteúdo e das características psicométricas. Um dos instrumentos de avaliação motora mais utilizados no mundo trata-se do Movement Assessment Battery for Children 2ed. Neste estudo avaliou-se a partir da perspectiva da teoria da psicométrica clássica e moderna, a organização fatorial do MABC-2 para a faixa etária de 8 a 10 anos. Para isso foram avaliados 350 escolares da cidade de Manaus (AM, Brazil) Foram testadas a estrutura fatorial original do MABC-2 composta por três fatores e ainda uma nova estrutura fatorial do MABC-2 (4 fatores). Para análise dos dados foi utilizada a estatística descritiva e inferencial. A análise fatorial confirmou o modelo original de três fatores. Com base nestes resultados foi possível identificar boas evidências de validade baseada na estrutura interna do MABC-2 proposto pelos autores originais confirmando a sua capacidade de identificar desordens no desenvolvimento da coordenação.

Resumen: La adaptación de instrumentos para otros contextos culturales es una tarea compleja que requiere rigor para mantener el contenido y las características psicométricas. Una de las herramientas de evaluación motora más utilizada en el mundo es el Movement Assessment Battery for Children 2ed. En este estudio se evaluó, desde el punto de vista de la teoría de la psicométrica clásica y moderna, la organización factor del MABC-2 para el grupo de edad de 8-10 años. Para eso, fueron evaluados 350 estudiantes de la ciudad de Manaus (AM, Brazil). La estructura factorial original del MABC-2 con tres factores y también nueva estructura factorial del MABC-2(4 factores) se pusieron a prueba. Para el análisis de datos se utilizó la estadística descriptiva e inferencial. El análisis factorial confirmó el modelo original de tres factores. Con base en estos resultados se pudo identificar buenas evidencias de validez basada en la estructura interna del MABC-2 propuesta por los autores originales, que confirman su capacidad para identificar trastornos en el desarrollo de la coordinación.