Propriedades psicométricas do conjunto de testes da habilidade visuo espacial / Psychometric proprieties of visual-spatial ability tests kit

Este artigo analisa as propriedades psicométricas de um conjunto de testes elaborados para mensurar a habilidade visuo espacial (Gv), quanto a sua estrutura fatorial, unidimensionalidade, validade convergente e discriminante. Fizeram parte da pesquisa 558 participantes que cursavam ou concluíram o ensino médio. Utilizou-se o Teste de Visualização (Vz), Teste de Flexibilidade de Fechamento (CF), Teste de Memória Visual (MV), Teste de Fluência Figural (FF), Teste de Fluência Ideacional 1 (FI1) e Teste de Fluência Ideacional 2 (FI2). Foram usados procedimentos de análise fatorial exploratória, análise fatorial confirmatória e o ajuste ao modelo Rasch. Os índices de ajuste dos modelos aos dados estão adequados às recomendações da literatura. Os testes possuem uma estrutura fatorial de dois níveis, porém unidimensional. Convergem para mensurar a habilidade visuo espacial (Gv) e divergem na mensuração da fluência, utilizada neste estudo como habilidade contrastant.

This article analyses the psychometrical properties of a test kit developed to measure visual-spatial ability in terms of its factorial structure, unidimensionality, convergent validity and divergent validity. A sample of 558 students that were either attending High School or had just concluded it participated of this research. The Visualization Test (Vz), Flexibility of Closure Test (CF), Visual Memory Test (MV), Figural Fluency Test (FF), Ideational Fluency Test 1 (FI1) and Ideational Fluency Test 2 (FI2) were used. The data analysis used the exploratory factorial analysis, the confirmatory factorial analysis and the fit to the Rasch model procedures. The model fit indexes are in accordance with the cutoff values suggested by the literature. The tests showed a two-level factorial structure, although it can be taken as an unidimensional structure. The tests converge to measure the visual-spatial ability and diverge to measure the fluency ability which was used in this study as contrast ability.

Qualidades psicométricas do conjunto de testes de inteligência fluida / Psychometrical proprieties analysis of fluid intelligence tests kit

Este artigo analisa as qualidades psicométricas do Conjunto de Testes de Inteligência Fluida, em termos de sua estrutura fatorial, unidimensionalidade, validade convergente e discriminante. Fizeram parte da pesquisa 558 participantes que cursavam ou concluíram o ensino médio. Foram utilizados procedimentos de análise fatorial exploratória e confirmatória para identificação da estrutura fatorial de cada teste, assim como para análise da validade convergente e validade discriminante. O modelo Rasch foi utilizado para análise da unidimensionalidade de cada teste. Os resultados apontaram que os testes possuem uma estrutura fatorial complexa, embora ela possa ser considerada uma estrutura unidimensional. Os índices de ajuste dos modelos fatoriais foram adequados aos dados, e os testes apresentaram boa distribuição quanto à dificuldade dos itens. Quanto à validade convergente e validade discriminante, os testes convergem para mensurar a Inteligência Fluida e divergem na mensuração de uma habilidade cognitiva contrastante, a Fluência, utilizada neste estudo como uma habilidade contrastante.

The article analyses psychometrical proprieties of the Fluid Intelligence Tests Kit, by means of its factorial structure, unidimensionality, convergent validity and divergent validity. The sample was formed by 558 students that were either attending High School or had just concluded it. Exploratory and confirmatory factorial analyses were used to identify the factorial structure of the tests and to analyze their convergent and divergent validities. The Rasch model was used to analyze the unidimensionality of each test. The results showed that the tests have a complex factorial structure although it can be take as an unidimensional structure. The factorial model fit was good and tests showed good item difficulties distribution. As for the convergent and divergent validity, the tests converge to measure the Fluid Intelligence and diverge to measure a diverse cognitive ability, the Fluency ability, used here as a contrast ability.

Limite da validade de um instrumento de avaliação docente / Validity limits of a faculty staff evaluation instrument

Este trabalho descreve e discute as qualidades psicométricas do instrumento de avaliação docente de uma instituição de ensino superior. As médias dos escores atribuídos pelos estudantes aos professores da instituição foram analisadas pelas seguintes técnicas estatísticas: análise fatorial exploratória, método dos eixos principais e análise paralela por permutação. Os resultados indicam que um único fator explica 78,8 por cento da variância comum dos itens, e que o coeficiente alfa de Cronbach é 0,98. Os resultados indicam um único fator explicando 78,8 por cento da variância comum dos itens. O coeficiente alfa de Cronbach encontrado foi 0,98. Tais resultados indicaram um instrumento confiável e unidimensional que acessa a avaliação socialmente compartilhada pelos estudantes concernente ao seu grau de satisfação em relação ao trabalho docente. Como uma das implicações, destacamos a necessidade de elaboração de um instrumento de avaliação docente mais adequado, capaz de identificar uma ampla variedade de ações e comportamentos docentes dando ênfase na percepção delas pelos estudantes e não na avaliação dos docentes.

The present work describes and discusses the psychometric qualities of a faculty staff evaluation instrument used on an higher education institution. The score averages attributed by students to their lecturers were subject to three statistical techniques: exploratory factorial analysis, principal axis factoring and parallel permutations analysis. Results indicate that a single factor explains 78.8 percent of common item variance and Cronbachïs alpha coefficient is 0,98. Such results indicate that the faculty staff evaluation instrument is reliable. The instrument is one dimensional and capable of revealing socially shared students' levels of satisfaction regarding the work of faculty members. As an implication, we highlight the necessity of elaborating a more adequate instrument, capable of identifying a large variety of actions and teaching behaviors, with emphasis on the studentsï perceptions of such aspects instead of teachersïevaluation.

Qualidades psicométricas de um conjunto de 45 testes cognitivos / Psychometric proprieties of a set of 45 cognitive tests

O presente texto relata a análise das qualidades psicométricas de um conjunto de 45 testes cognitivos, avaliando a função dos mesmos como marcadores de fatores cognitivos. Os testes foram traduzidos e adaptados a partir de uma seleção entre os testes do Kit of Factor-Referenced Cognitive Tests do Educational Testing Service. Eles foram aplicados a uma amostra de 160 estudantes do terceiro ano de uma escola brasileira de ensino médio da rede federal de ensino. Foram empregados a análise fatorial exploratória, o método dos eixos principais e a análise paralela por permutação, com critérios rigorosos para a identificação de testes marcadores. Seis tipos de escalas foram identificados: escalas muito boas, escalas adequadas, escalas quase adequadas, escalas fracas, escalas com uma discrepância e escalas inadequadas. Alguns testes e escalas analisados apresentaram características de marcadores. Por outro lado, todos os testes e escalas podem ser considerados adequados, diante dos critérios psicométricos usuais.

This paper reports the analysis of the test's psychometrical qualities from a set of 45 cognitive tests. The tests had been translated and adapted to Brazilian Portuguese from a selection of the tests of the Kit of Factor-Referenced Cognitive Tests of Educational Testing Service. The tests were applied in a sample of 160 students of the third year of one federal high school. Exploratory Factor Analysis, Principal Axis Factoring and Permutation Parallel Analysis were used in the study of reliability of the extracted factors. Markers tests were identified using rigorous criteria. Six scales were identified using the rigorous criteria of markers tests: very good scales, satisfactory scales, acceptable scales, weak scales, discrepant scales and inadequate scales. The results indicated that some tests and some of the generated scales could be regarded as marker tests of cognitive factors. All tests and scales can be considered adjusted by the usual psychometric criterion.

Validação do modelo de inteligência de Carrol em uma amostra brasileira / Validation of Carrol intelligence model in one brazilian sample

Identificar empiricamente padrões de conduta é um desafio com importantes implicações para o campo teórico-investigativo e das intervenções psicológicas. Apesar da psicometria ter identificado a presença de três níveis de habilidades cognitivas, poucos estudos na literatura mundial têm realizado o empreendimento de identificar esses níveis, incorporando uma variedade de testes de diferentes domínios cognitivos. O presente estudo relata uma pesquisa que analisa, em uma amostra brasileira, o Modelo dos Três Estratos elaborado por Carroll. Foram traduzidos, adaptados e aplicados 45 testes do Kit of Factor-Referenced Cognitive Tests do Educational Testing Service em 160 estudantes do terceiro ano de uma escola de ensino médio da rede federal de ensino. Utilizou-se a análise fatorial exploratória, o método dos eixos principais, procedimentos de retenção de fatores, rotação oblíqua e ortogonalização de fatores de Schmid-Leiman. Os três níveis de habilidades foram identificados.

To identify cognitive behavior standards empirically is a challenge with important implications for the field theoretician-investigative and psychological interventions. Although the psycchometrics have identified the presence of three levels of cognitive abilities, few studies in worldwide literature have carried through the enterprise to identify these levels, incorporating a variety of tests related with large cognitive domain. The present study presents a research that analyzes the Carroll Three Stratum Model, in a Brazilian sample. Forty-five tests of Factor Referenced-Cognitive Tests Kit had been translated, adapted and applied in 160 third year students of a federal high school. It was used exploratory factorial analysis, the principal axis factoring, the parallel analysis for permutation, and the oblique rotation. The three levels of abilities had been identified.