Measurement scales of reactions to the assessment of graduate programs: evidences of factorial validity / Instrumentos de mensuração de reações à avaliação da pós-graduação: evidências de validade fatorial / Instrumentos de medida de reacciones a la evaluación del postgrado: evidencias de validación factorial

The propose was to seek validity evidences of scales based on the model of reactions of higher education professors about the evaluation of graduate programs conducted by the Brazilian Federal Agency for Support and Evaluation of Graduate Education (Capes). The scales of satisfaction, justice perception, utility perception, and accuracy perception were applied on 814 higher education professors, being 50.36% males, with a mean age of 47.66 years (SD = 9.34). Exploratory analysis indicated reliability of the four scales (alphas ranged from .69 to .97 and omegas are from .70). These and other psychometric indicators of the scales indicate that the measures are reliable, and the reaction model was confirmed by the strong correlation between the scales. (AU)

O objetivo deste estudo foi buscar evidências de validade de escalas elaboradas a partir do modelo de reações dos docentes de ensino superior acerca da avaliação da pós-graduação conduzida pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes). Foram aplicadas as escalas de satisfação, percepção de justiça, percepção de utilidade e percepção de precisão a 814 docentes de ensino superior, sendo 50,36% do sexo masculino, com média de idade de 47,66 anos (DP = 9,34). As análises exploratórias indicaram confiabilidade para as quatro escalas (alfas entre 0,69 e 0,97 e ômegas a partir de 0,70). Estes e outros indicadores psicométricos das escalas apontam que as medidas são consideradas confiáveis e o modelo de reação se confirma apresentando alta correlação entre as escalas. (AU)

El objetivo de este estudio fue buscar evidencias de validad de escalas elaboradas a partir del modelo de reacciones de los profesores acerca de la evaluación del postgrado efectuada por la Coordinación de Perfeccionamiento de Personal de Nivel Superior (Capes). Las escalas de satisfacción, percepción de justicia, percepción de utilidad y percepción de precisión fueron aplicadas a 814 docentes de enseñanza superior, siendo el 50,36% del sexo masculino, con promedio de edad de 47,66 años (DT = 9,34). Los análisis exploratorios señalaron fiabilidad de las cuatro escalas (alfas variaron entre 0,69 y 0,97 y omegas a partir de 0,70). Estos y demás indicadores psicométricos de las escalas apuntan que las medidas se consideran fiables y el modelo de reacción se confirma presentando una alta correlación entre las escalas. (AU)

Evidências de validade de instrumentos de reações no ensino superior à distância / Validity evidences of instruments of reaction in distance higher education / Evidencias de validez de instrumentos de reacciones en enseñanza superior a distancia

Com a crescente implantação de cursos superiores oferecidos via internet, os estudos na área de avaliação de ações educacionais a distância assumem grande relevância, ao propor instrumentos de medida para atestar a eficácia e a qualidade de cursos desta natureza. Nesse sentido, objetivou-se verificar as evidências de validade de dois instrumentos de medida: Reação aos Procedimentos Instrucionais e Reação ao Desempenho do Tutor. Alunos de graduação de uma universidade particular no interior paulista, que realizavam cursos a distância ou disciplinas híbridas, responderam a questionários que avaliaram o nível de satisfação com os procedimentos instrucionais adotados e a atuação profissional do tutor. Foram realizadas Análises Fatoriais Exploratórias e de consistência interna. Os escores analisados apontam para as evidências de validade estrutural em ambas escalas, que apresentam estruturas empíricas unifatoriais: 1) "Procedimentos Instrucionais em EAD" (17 itens, α=0,96 e cargas fatoriais entre 0,60 e 0,86); e 2) "Desempenho do Tutor" (27 itens, α=0,98 e cargas fatoriais entre 0,67 e 0,88). As estruturas de fator único já foram encontradas em estudos existentes com as medidas, que devem ser aplicadas em contextos e amostras diferentes, em futuras pesquisas. (AU)

Increasing implantation of higher education courses offered by Internet put the assessment studies on distance learning, that propose measuring instruments to attest the effectiveness and quality of these courses, at a relevant level. This study aimed to verify the validity evidences of two instruments: Satisfaction to the Instructional Procedures and Satisfaction to the Tutor's Performance. Undergraduated students from a private university in the State of Sao Paulo, who attended distance learning courses or blended disciplines, answered questionnaires that evaluated their satisfaction with the instructional procedures and tutors' professional performance. Exploratory Factor Analyzes and internal consistency were performed. The analyzed scores indicate for evidences of structural validity of both scales, which present one-factor empirical structures: 1) "Instructional Procedures in Distance Learning" (17 items, α=0.96 and factor loadings between 0.60 and 0.86), and 2) "Tutor's Performance" (27 items, α=0.98 and factor loadings between 0.67 and 0.88). Others studies with the scales found the one-factor structures as well. Future research should use them in different contexts and samples. (AU)

Los estudios que proponen instrumentos para verificar la eficacia y la calidad de carreras universitarias ofrecidas a distancia (Internet), son de gran importancia. En este sentido, el objetivo de esta investigación fue verificar la fiabilidad y consistencia interna de dos instrumentos: Reacción a los Procedimientos de Enseñanza y Reacción a la Calidad del Tutor. Los estudiantes de grado de una universidad privada de Sao Paulo, que realizaron cursos de grado o disciplinas online contestaron cuestionarios que evaluaban su satisfacción con los procedimientos adoptados y las actividades profesionales del tutor. Se realizaron Análisis Factoriales Exploratorios y de consistencia interna. Las puntuaciones analizadas indican evidencias de validez estructural de ambas escalas, que tienen estructuras empíricas de un solo factor: 1) "Procedimientos en Enseñanza Virtual" (17 ítems, α = 0,96 y cargas de los factores entre 0,60 y 0,86), y 2) "Desempeño del Tutor" (27 ítems, α = 0,98 y cargas factoriales entre 0,67 y 0,88). Las estructuras de factor único ya fueron encontradas en estudios existentes con las medidas, que deben ser aplicadas en contextos y muestras diferentes, en futuras investigaciones. (AU)

Evidências de validade de instrumentos de reações no ensino superior à distância / Validity evidences of instruments of reaction in distance higher education / Evidencias de validez de instrumentos de reacciones en enseñanza superior a distancia

Com a crescente implantação de cursos superiores oferecidos via internet, os estudos na área de avaliação de ações educacionais a distância assumem grande relevância, ao propor instrumentos de medida para atestar a eficácia e a qualidade de cursos desta natureza. Nesse sentido, objetivou-se verificar as evidências de validade de dois instrumentos de medida: Reação aos Procedimentos Instrucionais e Reação ao Desempenho do Tutor. Alunos de graduação de uma universidade particular no interior paulista, que realizavam cursos a distância ou disciplinas híbridas, responderam a questionários que avaliaram o nível de satisfação com os procedimentos instrucionais adotados e a atuação profissional do tutor. Foram realizadas Análises Fatoriais Exploratórias e de consistência interna. Os escores analisados apontam para as evidências de validade estrutural em ambas escalas, que apresentam estruturas empíricas unifatoriais: 1) "Procedimentos Instrucionais em EAD" (17 itens, α=0,96 e cargas fatoriais entre 0,60 e 0,86); e 2) "Desempenho do Tutor" (27 itens, α=0,98 e cargas fatoriais entre 0,67 e 0,88). As estruturas de fator único já foram encontradas em estudos existentes com as medidas, que devem ser aplicadas em contextos e amostras diferentes, em futuras pesquisas.

Increasing implantation of higher education courses offered by Internet put the assessment studies on distance learning, that propose measuring instruments to attest the effectiveness and quality of these courses, at a relevant level. This study aimed to verify the validity evidences of two instruments: Satisfaction to the Instructional Procedures and Satisfaction to the Tutor's Performance. Undergraduated students from a private university in the State of Sao Paulo, who attended distance learning courses or blended disciplines, answered questionnaires that evaluated their satisfaction with the instructional procedures and tutors' professional performance. Exploratory Factor Analyzes and internal consistency were performed. The analyzed scores indicate for evidences of structural validity of both scales, which present one-factor empirical structures: 1) "Instructional Procedures in Distance Learning" (17 items, α=0.96 and factor loadings between 0.60 and 0.86), and 2) "Tutor's Performance" (27 items, α=0.98 and factor loadings between 0.67 and 0.88). Others studies with the scales found the one-factor structures as well. Future research should use them in different contexts and samples.

Los estudios que proponen instrumentos para verificar la eficacia y la calidad de carreras universitarias ofrecidas a distancia (Internet), son de gran importancia. En este sentido, el objetivo de esta investigación fue verificar la fiabilidad y consistencia interna de dos instrumentos: Reacción a los Procedimientos de Enseñanza y Reacción a la Calidad del Tutor. Los estudiantes de grado de una universidad privada de Sao Paulo, que realizaron cursos de grado o disciplinas online contestaron cuestionarios que evaluaban su satisfacción con los procedimientos adoptados y las actividades profesionales del tutor. Se realizaron Análisis Factoriales Exploratorios y de consistencia interna. Las puntuaciones analizadas indican evidencias de validez estructural de ambas escalas, que tienen estructuras empíricas de un solo factor: 1) "Procedimientos en Enseñanza Virtual" (17 ítems, α = 0,96 y cargas de los factores entre 0,60 y 0,86), y 2) "Desempeño del Tutor" (27 ítems, α = 0,98 y cargas factoriales entre 0,67 y 0,88). Las estructuras de factor único ya fueron encontradas en estudios existentes con las medidas, que deben ser aplicadas en contextos y muestras diferentes, en futuras investigaciones.

Conteudos e metodologias de ensino de avaliacao psicologica: um estudo com professores / Contenidos y metodos de ensenanza de evaluacion psicologica: un estudio con maestros / Contents and methods of psychological assessment teaching: a study involving professors

O presente estudo teve como objetivo verificar os conteúdos ministrados e as metodologias de ensino utilizadas por professores de graduação em Psicologia, especificamente nas disciplinas relacionadas à avaliação psicológica. O instrumento utilizado foi um questionário com duas seções, a primeira com o objetivo de caracterizar os participantes, e a segunda abordando as disciplinas ministradas. Participaram do estudo 22 professores. Dos respondentes, 72,7% eram do sexo feminino, 77,3% eram docentes de avaliação psicológica e 45,5% se formaram em universidades públicas. Para a questão aberta, sobre as disciplinas ministradas, foram estabelecidas categorias de análise e análise de juízes. Pôde-se constatar que, quanto ao conteúdo ministrado, as técnicas são ensinadas pela maior parte dos respondentes, ao lado dos fundamentos teóricos dos testes. Em contrapartida, o histórico da avaliação e os princípios da elaboração de documentos psicológicos foram os menos contemplados.(AU)

Este estudio tuvo como objetivo verificar el contenido y la metodología de enseñanza utilizada por profesores de grado en psicología, específicamente en las disciplinas relacionadas con evaluación psicológica. El instrumento utilizado fue un cuestionario con dos partes, la primera con objeto de caracterizar a los participantes y la segunda tratando de las asignaturas enseñadas. Participaron del estudio 22 profesores. De los respondientes, el 72,7% era mujer, 77,3% era profesor de evaluación psicológica y 45,5% era capacitado en universidades públicas. Para la pregunta abierta sobre las materias enseñadas, fueron establecidas categorías de análisis y de análisis de los jueces. Se encontró que, respecto al contenido ministrado, las técnicas son enseñadas por la mayoría de los encuestados, junto con los fundamentos teóricos de las pruebas. En contrapartida, la historia de la evaluación psicológica y los principios de la preparación de documentos fueron los menos enseñados.(AU)

The aim in this study was to verify the contents taught and teaching methods used by undergraduate Psychology teachers, specifically in the subjects related to psychological assessment. A two-part questionnaire was used: the first part served to characterize the participants, and the second the subjects taught. Twenty-two teachers participated. Among the respondents, 72.7% were female, 77.3% were psychological assessment teachers and 45.5% had graduated from public universities. For the open question, about the subjects taught, analysis and expert analysis categories were established. About the subjects taught, most respondents teach the techniques and theoretical foundations of tests. In contrast, the history of assessment and the elaboration principles of psychological documents were the topics taught least.(AU)

Contents and Methods of Psychological Assessment Teaching: a Study Involving Professors / Conteúdos e Metodologias de Ensino de Avaliação Psicológica: um Estudo com Professores / Contenidos y Métodos de Enseñanza de Evaluación Psicológica: un Estudio con Maestros

The aim in this study was to verify the contents taught and teaching methods used by undergraduate Psychology teachers, specifically in the subjects related to psychological assessment. A two-part questionnaire was used: the first part served to characterize the participants, and the second the subjects taught. Twenty-two teachers participated. Among the respondents, 72.7% were female, 77.3% were psychological assessment teachers and 45.5% had graduated from public universities. For the open question, about the subjects taught, analysis and expert analysis categories were established. About the subjects taught, most respondents teach the techniques and theoretical foundations of tests. In contrast, the history of assessment and the elaboration principles of psychological documents were the topics taught least.

O presente estudo teve como objetivo verificar os conteúdos ministrados e as metodologias de ensino utilizadas por professores de graduação em Psicologia, especificamente nas disciplinas relacionadas à avaliação psicológica. O instrumento utilizado foi um questionário com duas seções, a primeira com o objetivo de caracterizar os participantes, e a segunda abordando as disciplinas ministradas. Participaram do estudo 22 professores. Dos respondentes, 72,7% eram do sexo feminino, 77,3% eram docentes de avaliação psicológica e 45,5% se formaram em universidades públicas. Para a questão aberta, sobre as disciplinas ministradas, foram estabelecidas categorias de análise e análise de juízes. Pôde-se constatar que, quanto ao conteúdo ministrado, as técnicas são ensinadas pela maior parte dos respondentes, ao lado dos fundamentos teóricos dos testes. Em contrapartida, o histórico da avaliação e os princípios da elaboração de documentos psicológicos foram os menos contemplados.

Este estudio tuvo como objetivo verificar el contenido y la metodología de enseñanza utilizada por profesores de grado en psicología, específicamente en las disciplinas relacionadas con evaluación psicológica. El instrumento utilizado fue un cuestionario con dos partes, la primera con objeto de caracterizar a los participantes y la segunda tratando de las asignaturas enseñadas. Participaron del estudio 22 profesores. De los respondientes, el 72,7% era mujer, 77,3% era profesor de evaluación psicológica y 45,5% era capacitado en universidades públicas. Para la pregunta abierta sobre las materias enseñadas, fueron establecidas categorías de análisis y de análisis de los jueces. Se encontró que, respecto al contenido ministrado, las técnicas son enseñadas por la mayoría de los encuestados, junto con los fundamentos teóricos de las pruebas. En contrapartida, la historia de la evaluación psicológica y los principios de la preparación de documentos fueron los menos enseñados.

Construção e validação de uma escala de transferência de treinamento / Construction and validatio of a training transfer scale / Construcción y validación de una escala de transferencia de entrenamiento

O artigo objetiva descrever o processo de construção e validação de um instrumento de transferência de treinamento. A coleta de dados foi realizada ao final do curso-alvo por meio de questionário digitalizado. Os itens do instrumento estão associados a uma escala que mede a frequência com que os participantes utilizaram os comportamentos descritos nos objetivos instrucionais após o término do curso em seu ambiente de trabalho. Foram realizadas análises de componentes principais, fatoriais e de consistência interna. A estrutura unifatorial obtida apresentou 24 itens (α=0,96). A estrutura bidimensional obtida é composta pelos fatores planejamento estratégico do negócio (17 itens, α=0,94) e planejamento financeiro do negócio (7 itens, α=0,95). Os resultados indicam que a escala é estatisticamente válida e confiável.(AU)

The goal of the article is to describe the process of construction and validation of a training transfer instrument. The data was collected at the end of the course by a digitalized questionnaire. The items of the questionnaire were associated to a scale that measures the frequency that the participants utilized to describe behaviors in the instructional objectives after finishing the course in their place of work. Analyses of principal components, factors and internal consistency have been made. The unifactorial structure obtained had 24 questions (α=0,96). The bifactorial structure obtained was composed by factors such as strategic business planning (17 questions, α=0,94) and finance business planning (7 questions, α=0,95). The results indicate that the scale is statistically valid and reliable.(AU)

El artículo objetiva describir el proceso de construcción y validación de un instrumento de transferencia de entrenamiento. La colecta de datos fue realizada al final del curso objetivo por medio de cuestionario digitalizado. Los ítems del instrumento están asociados a una escala que mide la frecuencia con que los participantes utilizaron los comportamientos descritos en los objetivos de instrucciones tras el término del curso en su ambiente de trabajo. Fueron realizados análisis de componentes principales, factoriales y de consistencia interna. La estructura unifactorial obtenida presentó 24 ítems (α=0,96). La estructura bidimensional obtenida es compuesta por los factores planificación estratégica del negocio (17 ítems, α=0,94) y planificación financiera del negocio (7 ítems, α=0,95). Los resultados indican que la escala es estadísticamente válida y confiable.(AU)

Construção e validação de uma escala de transferência de treinamento / Construction and validatio of a training transfer scale / Construcción y validación de una escala de transferencia de entrenamiento

O artigo objetiva descrever o processo de construção e validação de um instrumento de transferência de treinamento. A coleta de dados foi realizada ao final do curso-alvo por meio de questionário digitalizado. Os itens do instrumento estão associados a uma escala que mede a frequência com que os participantes utilizaram os comportamentos descritos nos objetivos instrucionais após o término do curso em seu ambiente de trabalho. Foram realizadas análises de componentes principais, fatoriais e de consistência interna. A estrutura unifatorial obtida apresentou 24 itens (α=0,96). A estrutura bidimensional obtida é composta pelos fatores planejamento estratégico do negócio (17 itens, α=0,94) e planejamento financeiro do negócio (7 itens, α=0,95). Os resultados indicam que a escala é estatisticamente válida e confiável....(AU)

The goal of the article is to describe the process of construction and validation of a training transfer instrument. The data was collected at the end of the course by a digitalized questionnaire. The items of the questionnaire were associated to a scale that measures the frequency that the participants utilized to describe behaviors in the instructional objectives after finishing the course in their place of work. Analyses of principal components, factors and internal consistency have been made. The unifactorial structure obtained had 24 questions (α=0,96). The bifactorial structure obtained was composed by factors such as strategic business planning (17 questions, α=0,94) and finance business planning (7 questions, α=0,95). The results indicate that the scale is statistically valid and reliable....(AU)

El artículo objetiva describir el proceso de construcción y validación de un instrumento de transferencia de entrenamiento. La colecta de datos fue realizada al final del curso objetivo por medio de cuestionario digitalizado. Los ítems del instrumento están asociados a una escala que mide la frecuencia con que los participantes utilizaron los comportamientos descritos en los objetivos de instrucciones tras el término del curso en su ambiente de trabajo. Fueron realizados análisis de componentes principales, factoriales y de consistencia interna. La estructura unifactorial obtenida presentó 24 ítems (α=0,96). La estructura bidimensional obtenida es compuesta por los factores planificación estratégica del negocio (17 ítems, α=0,94) y planificación financiera del negocio (7 ítems, α=0,95). Los resultados indican que la escala es estadísticamente válida y confiable....(AU)