Measurement scales of reactions to the assessment of graduate programs: evidences of factorial validity / Instrumentos de mensuração de reações à avaliação da pós-graduação: evidências de validade fatorial / Instrumentos de medida de reacciones a la evaluación del postgrado: evidencias de validación factorial

The propose was to seek validity evidences of scales based on the model of reactions of higher education professors about the evaluation of graduate programs conducted by the Brazilian Federal Agency for Support and Evaluation of Graduate Education (Capes). The scales of satisfaction, justice perception, utility perception, and accuracy perception were applied on 814 higher education professors, being 50.36% males, with a mean age of 47.66 years (SD = 9.34). Exploratory analysis indicated reliability of the four scales (alphas ranged from .69 to .97 and omegas are from .70). These and other psychometric indicators of the scales indicate that the measures are reliable, and the reaction model was confirmed by the strong correlation between the scales. (AU)

O objetivo deste estudo foi buscar evidências de validade de escalas elaboradas a partir do modelo de reações dos docentes de ensino superior acerca da avaliação da pós-graduação conduzida pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes). Foram aplicadas as escalas de satisfação, percepção de justiça, percepção de utilidade e percepção de precisão a 814 docentes de ensino superior, sendo 50,36% do sexo masculino, com média de idade de 47,66 anos (DP = 9,34). As análises exploratórias indicaram confiabilidade para as quatro escalas (alfas entre 0,69 e 0,97 e ômegas a partir de 0,70). Estes e outros indicadores psicométricos das escalas apontam que as medidas são consideradas confiáveis e o modelo de reação se confirma apresentando alta correlação entre as escalas. (AU)

El objetivo de este estudio fue buscar evidencias de validad de escalas elaboradas a partir del modelo de reacciones de los profesores acerca de la evaluación del postgrado efectuada por la Coordinación de Perfeccionamiento de Personal de Nivel Superior (Capes). Las escalas de satisfacción, percepción de justicia, percepción de utilidad y percepción de precisión fueron aplicadas a 814 docentes de enseñanza superior, siendo el 50,36% del sexo masculino, con promedio de edad de 47,66 años (DT = 9,34). Los análisis exploratorios señalaron fiabilidad de las cuatro escalas (alfas variaron entre 0,69 y 0,97 y omegas a partir de 0,70). Estos y demás indicadores psicométricos de las escalas apuntan que las medidas se consideran fiables y el modelo de reacción se confirma presentando una alta correlación entre las escalas. (AU)

Desenvolvimento e avaliação de curso on-line sobre suporte avançado de vida em parada cardiorrespiratória para enfermeiro / Development and evaluation of an on-line course on advanced life support in cardiorespiratory arrest for nurses

Introdução: O desenvolvimento e a aplicação das Tecnologias de Informação e Comunicação associadas à internet exercem mudanças no processo de ensino aprendizagem e podem contribuir para a educação permanente em enfermagem, favorecendo a capacitação de enfermeiros, para reconhecer imediatamente a situação de parada cardiorrespiratória (PCR) de adultos e sistematizar as intervenções de suporte avançado de vida (SAV), a fim de que colaborem para o sucesso da reanimação cardiopulmonar e maior sobrevida dos pacientes. Objetivos: Desenvolver e avaliar a qualidade do curso on-line para enfermeiros sobre suporte avançado de vida nos casos de parada cardiorrespiratória em adultos. Método: Pesquisa metodológica aplicada, na modalidade de produção tecnológica de natureza quantitativa, exploratória e descritiva. Para o desenvolvimento do curso on-line, utilizou-se o modelo de Design Instrucional Contextualizado (DIC). A seleção dos participantes foi aleatória, intencional e não probabilística. Participaram do estudo dezesseis enfermeiros especialistas na área de urgência e emergência adultos e/ou de educação on-line. A coleta de dados ocorreu no período de novembro a dezembro de 2016. A avaliação do curso on-line foi baseada em critérios validados de Avaliação da Qualidade de Objetos de Aprendizagem. Resultados: O curso on-line foi implementado no ambiente virtual de aprendizagem (AVA) Moodle®, em nove unidades de aprendizagem e obtiveram índices de alta e boa qualidade em quinze (75%) critérios referentes à pertinência, contextualização, qualidade da informação, navegação, referências, portabilidade, correção de conteúdo, clareza das informações, facilidade de aprendizagem na interação e de localização das informações, interatividade, eficiência de utilização, utilização de recursos audiovisuais, ergonomia e estética. Foram avaliados cinco (25%) critérios como qualidade mediana relacionados à facilidade de retorno, uso de marcas especiais, gestão de erros, múltiplas janelas, ajuda aos usuários. Conclusões: os resultados mostraram que os referenciais teórico-metodológicos e pedagógicos adotados possibilitaram o desenvolvimento do curso on-line sobre SAV em PCR de adultos conferindo-lhe viabilidade de integrar tecnologias e estratégias educacionais inovadoras na implementação de capacitação e atualização de enfermeiros nas situações de emergência utilizando AVA.

Introduction: The development and application of Information and Communication Technologies associated to internet bring evidence-based changes in the processes of teaching and learning and may contribute for permanent education in nursing, promoting the training and the qualification of nurses on recognition of situations of cardiorespiratory arrest (CPR) in adults and on the systematization of advanced life-support interventions, in order to collaborate for the success of cardiopulmonary resuscitation and longer survival of adult patients. Objectives: Develop and evaluate the quality of the on-line course on advanced life support in adult cardiorespiratory arrest for nurses. Method: Applied methodological research, in the form of technological production based on quantitative, exploratory and descriptive research. For the development of the on-line course the Contextualized Instrumental Design (DIC) model was used. The selection of participants was random, intentional and non-probabilistic. Sixteen nurses specialists in the area of urgency and emergency to adult and/or on-line education participated in the study. Data collection has taken place from November to December 2016. The evaluation of the on-line course was based on assessed criteria of Learning Object Quality Assessment. Results: The on-line course was implemented in the Moodle® virtual learning environment in nine learning units and obtained high quality indexes in fifteen (75%) criteria regarding pertinence, contextualization, information quality, navigation, references, portability, content correction, technical information, ease of learning in interaction and location of information, interactivity, efficiency of use, use of audiovisual resources, ergonomics and aesthetics. Five (25%) criteria were evaluated a median quality related to ease of return, use of special brands, error management, multiple windows, and user assistance were also evaluated. Conclusions: The results showed that the theoretical, methodological and pedagogical frameworks adopted allowed the development of the on-line course on life-support interventions in adult CPR focused on adult learning, making it possible to integrate innovative educational technologies in the implementation of training and professional updating for nurses in the emergency situations using virtual learning environment.

Evidências de validade de instrumentos de reações no ensino superior à distância / Validity evidences of instruments of reaction in distance higher education / Evidencias de validez de instrumentos de reacciones en enseñanza superior a distancia

Com a crescente implantação de cursos superiores oferecidos via internet, os estudos na área de avaliação de ações educacionais a distância assumem grande relevância, ao propor instrumentos de medida para atestar a eficácia e a qualidade de cursos desta natureza. Nesse sentido, objetivou-se verificar as evidências de validade de dois instrumentos de medida: Reação aos Procedimentos Instrucionais e Reação ao Desempenho do Tutor. Alunos de graduação de uma universidade particular no interior paulista, que realizavam cursos a distância ou disciplinas híbridas, responderam a questionários que avaliaram o nível de satisfação com os procedimentos instrucionais adotados e a atuação profissional do tutor. Foram realizadas Análises Fatoriais Exploratórias e de consistência interna. Os escores analisados apontam para as evidências de validade estrutural em ambas escalas, que apresentam estruturas empíricas unifatoriais: 1) "Procedimentos Instrucionais em EAD" (17 itens, α=0,96 e cargas fatoriais entre 0,60 e 0,86); e 2) "Desempenho do Tutor" (27 itens, α=0,98 e cargas fatoriais entre 0,67 e 0,88). As estruturas de fator único já foram encontradas em estudos existentes com as medidas, que devem ser aplicadas em contextos e amostras diferentes, em futuras pesquisas.

Increasing implantation of higher education courses offered by Internet put the assessment studies on distance learning, that propose measuring instruments to attest the effectiveness and quality of these courses, at a relevant level. This study aimed to verify the validity evidences of two instruments: Satisfaction to the Instructional Procedures and Satisfaction to the Tutor's Performance. Undergraduated students from a private university in the State of Sao Paulo, who attended distance learning courses or blended disciplines, answered questionnaires that evaluated their satisfaction with the instructional procedures and tutors' professional performance. Exploratory Factor Analyzes and internal consistency were performed. The analyzed scores indicate for evidences of structural validity of both scales, which present one-factor empirical structures: 1) "Instructional Procedures in Distance Learning" (17 items, α=0.96 and factor loadings between 0.60 and 0.86), and 2) "Tutor's Performance" (27 items, α=0.98 and factor loadings between 0.67 and 0.88). Others studies with the scales found the one-factor structures as well. Future research should use them in different contexts and samples.

Los estudios que proponen instrumentos para verificar la eficacia y la calidad de carreras universitarias ofrecidas a distancia (Internet), son de gran importancia. En este sentido, el objetivo de esta investigación fue verificar la fiabilidad y consistencia interna de dos instrumentos: Reacción a los Procedimientos de Enseñanza y Reacción a la Calidad del Tutor. Los estudiantes de grado de una universidad privada de Sao Paulo, que realizaron cursos de grado o disciplinas online contestaron cuestionarios que evaluaban su satisfacción con los procedimientos adoptados y las actividades profesionales del tutor. Se realizaron Análisis Factoriales Exploratorios y de consistencia interna. Las puntuaciones analizadas indican evidencias de validez estructural de ambas escalas, que tienen estructuras empíricas de un solo factor: 1) "Procedimientos en Enseñanza Virtual" (17 ítems, α = 0,96 y cargas de los factores entre 0,60 y 0,86), y 2) "Desempeño del Tutor" (27 ítems, α = 0,98 y cargas factoriales entre 0,67 y 0,88). Las estructuras de factor único ya fueron encontradas en estudios existentes con las medidas, que deben ser aplicadas en contextos y muestras diferentes, en futuras investigaciones.

Contents and Methods of Psychological Assessment Teaching: a Study Involving Professors / Conteúdos e Metodologias de Ensino de Avaliação Psicológica: um Estudo com Professores / Contenidos y Métodos de Enseñanza de Evaluación Psicológica: un Estudio con Maestros

The aim in this study was to verify the contents taught and teaching methods used by undergraduate Psychology teachers, specifically in the subjects related to psychological assessment. A two-part questionnaire was used: the first part served to characterize the participants, and the second the subjects taught. Twenty-two teachers participated. Among the respondents, 72.7% were female, 77.3% were psychological assessment teachers and 45.5% had graduated from public universities. For the open question, about the subjects taught, analysis and expert analysis categories were established. About the subjects taught, most respondents teach the techniques and theoretical foundations of tests. In contrast, the history of assessment and the elaboration principles of psychological documents were the topics taught least.

O presente estudo teve como objetivo verificar os conteúdos ministrados e as metodologias de ensino utilizadas por professores de graduação em Psicologia, especificamente nas disciplinas relacionadas à avaliação psicológica. O instrumento utilizado foi um questionário com duas seções, a primeira com o objetivo de caracterizar os participantes, e a segunda abordando as disciplinas ministradas. Participaram do estudo 22 professores. Dos respondentes, 72,7% eram do sexo feminino, 77,3% eram docentes de avaliação psicológica e 45,5% se formaram em universidades públicas. Para a questão aberta, sobre as disciplinas ministradas, foram estabelecidas categorias de análise e análise de juízes. Pôde-se constatar que, quanto ao conteúdo ministrado, as técnicas são ensinadas pela maior parte dos respondentes, ao lado dos fundamentos teóricos dos testes. Em contrapartida, o histórico da avaliação e os princípios da elaboração de documentos psicológicos foram os menos contemplados.

Este estudio tuvo como objetivo verificar el contenido y la metodología de enseñanza utilizada por profesores de grado en psicología, específicamente en las disciplinas relacionadas con evaluación psicológica. El instrumento utilizado fue un cuestionario con dos partes, la primera con objeto de caracterizar a los participantes y la segunda tratando de las asignaturas enseñadas. Participaron del estudio 22 profesores. De los respondientes, el 72,7% era mujer, 77,3% era profesor de evaluación psicológica y 45,5% era capacitado en universidades públicas. Para la pregunta abierta sobre las materias enseñadas, fueron establecidas categorías de análisis y de análisis de los jueces. Se encontró que, respecto al contenido ministrado, las técnicas son enseñadas por la mayoría de los encuestados, junto con los fundamentos teóricos de las pruebas. En contrapartida, la historia de la evaluación psicológica y los principios de la preparación de documentos fueron los menos enseñados.

Construção e validação de uma escala de transferência de treinamento / Construction and validatio of a training transfer scale / Construcción y validación de una escala de transferencia de entrenamiento

O artigo objetiva descrever o processo de construção e validação de um instrumento de transferência de treinamento. A coleta de dados foi realizada ao final do curso-alvo por meio de questionário digitalizado. Os itens do instrumento estão associados a uma escala que mede a frequência com que os participantes utilizaram os comportamentos descritos nos objetivos instrucionais após o término do curso em seu ambiente de trabalho. Foram realizadas análises de componentes principais, fatoriais e de consistência interna. A estrutura unifatorial obtida apresentou 24 itens (α=0,96). A estrutura bidimensional obtida é composta pelos fatores planejamento estratégico do negócio (17 itens, α=0,94) e planejamento financeiro do negócio (7 itens, α=0,95). Os resultados indicam que a escala é estatisticamente válida e confiável....(AU)

The goal of the article is to describe the process of construction and validation of a training transfer instrument. The data was collected at the end of the course by a digitalized questionnaire. The items of the questionnaire were associated to a scale that measures the frequency that the participants utilized to describe behaviors in the instructional objectives after finishing the course in their place of work. Analyses of principal components, factors and internal consistency have been made. The unifactorial structure obtained had 24 questions (α=0,96). The bifactorial structure obtained was composed by factors such as strategic business planning (17 questions, α=0,94) and finance business planning (7 questions, α=0,95). The results indicate that the scale is statistically valid and reliable....(AU)

El artículo objetiva describir el proceso de construcción y validación de un instrumento de transferencia de entrenamiento. La colecta de datos fue realizada al final del curso objetivo por medio de cuestionario digitalizado. Los ítems del instrumento están asociados a una escala que mide la frecuencia con que los participantes utilizaron los comportamientos descritos en los objetivos de instrucciones tras el término del curso en su ambiente de trabajo. Fueron realizados análisis de componentes principales, factoriales y de consistencia interna. La estructura unifactorial obtenida presentó 24 ítems (α=0,96). La estructura bidimensional obtenida es compuesta por los factores planificación estratégica del negocio (17 ítems, α=0,94) y planificación financiera del negocio (7 ítems, α=0,95). Los resultados indican que la escala es estadísticamente válida y confiable....(AU)

Avaliação de programa: a experiência da UFSCar no curso de Medicina / Program evaluation: the experience at the UFSCar School of Medicine

Relata-se a experiência do Grupo de Avaliação de Programa, instituído pelo curso de Medicina da UFSCar por este considerar a avaliação uma atividade permanente e constituinte do processo de ensino-aprendizagem. O grupo tem por finalidade acompanhar o processo de implementação do curso, tornando visíveis avanços e dificuldades, visando à promoção de ações para melhorar processos, produtos e resultados do currículo. Assim, a avaliação constitui um poderoso instrumento de gestão acadêmica. Neste caso, a avaliação de programa é composta prioritariamente pela avaliação sistemática e sistematizada das unidades educacionais e do desempenho de professores e preceptores do curso. Todos os instrumentos aplicados aos estudantes, professores e preceptores são analisados pelo grupo, que produz relatórios de avaliação e, em alguns casos, pesquisas de avaliação que se ancoram na triangulação de métodos.

This article reports on the experience by the Program Evaluation Group established by the UFSCar School of Medicine, where evaluation is considered an on-going process and an integral part of the teaching-learning process. The group aims to monitor the course implementation process, highlighting the gains and difficulties, in order to implement measures to improve the curriculum's processes, products, and results. Evaluation thus becomes a powerful academic management tool. In this case, the program evaluation consists mainly of systematic and systematized evaluation of the academic departments and the course faculty and preceptors' performance. All the instruments applied to students, faculty, and preceptors are analyzed by the group, which produces evaluation reports and in some cases evaluation studies based on methodological triangulation, recommending linkage between multiple perspectives, information sources, and methods.

Reação aos procedimentos instrucionais de um curso via internet: validação de uma escala / Reaction to the educational processes of an internet-based course: validation of a scale

Pesquisas em avaliação de treinamentos a distância ainda são incipientes. O artigo pretende contribuir com a área ao validar estatisticamente o instrumento Reação aos Procedimentos Instrucionais. O curso-alvo foi oferecido pelo Serviço Brasileiro de Apoio às Micro e Pequenas Empresas para alunos de todo o país. A coleta de dados foi realizada ao final do curso por meio de questionário digitalizado que mede a satisfação dos participantes quanto aos procedimentos instrucionais ofertados no curso. Foram realizadas análises de componentes principais e fatoriais e de consistência interna (Alfa de Cronbach). A escala apresentou estrutura bifatorial: Procedimentos Tradicionais, com 12 itens, α=0,91, e cargas fatoriais variando de 0,53 a 0,79; Recursos da Web, três itens, índice de confiabilidade α=0,76, com cargas fatoriais 0,40, 0,76 e 0,88. Os resultados indicam que a escala apresentou evidências de validade de construto.

Research into the evaluation of distance training is still in the early stages. This article intends to contribute to this area by validating statistically the tool Reaction to Educational Processes. The course being evaluated was offered by the Serviço Brasileiro de Apoio às Micro e Pequenas Empresas to students across Brazil. The data collection was conducted at the end of the course by means of a questionnaire that measures the satisfaction of the participants with regard to the educational processes offered in the course. Analyses were carried out of the main, factorial components and Internal Consistency (Cronbach's Alpha Coefficient). Following statistical validation, the questionnaire demonstrated two factors: Traditional Processes, 12 questions, α=0.91, factor loads ranging from 0.53 to 0.79; Web Resources, 3 questions, confidence level α=0.76, and factor loads 0.40, 0.76 and 0.88. The results indicated that the scale presented evidence of construct validity.

Avaliação de aprendizagem em disciplinas de curso técnico a distância / Learning evaluation of technical distance course

Este artigo relata a avaliação de um curso a distância e a análise do relacionamento entre estratégias de aprendizagem, características demográficas, reação ao curso e aprendizagem. Participaram da pesquisa cerca de 2.368 estudantes, que responderam questionários através do ambiente virtual do curso, ao final de cada disciplina. Os participantes possuíam, em média, 19,4 anos de idade (DP = 5,24), residiam na região Centro-Oeste (87,8 por cento) e pertenciam ao sexo masculino (77,1 por cento). Foram testados três modelos de regressão múltipla padrão com aprendizagem como variável critério, medida em termos das notas dos estudantes em atividades avaliativas realizadas ao longo e ao final de cada disciplina. Os resultados mostraram que idade, localização da escola, auto-avaliação de aprendizagem, reações aos procedimentos instrucionais e aos resultados do curso explicaram uma pequena, mas estatisticamente significativa porção da variabilidade das médias finais de aprendizagem.

The present paper aims to report results from an analysis of the relationship among course reaction, learning strategies, demographic characteristic and learning in a distance course context. Approximately 2,368 students constituted the sample of this research. At the end of each lecture, all of them responded to questionnaires hosted at school virtual environment. The students that participated in this study were 19.4 years old (SD = 5.24), were located in the center-west region (87.8 percent) and were males (77.1 percent). Three multiple regression analyses were made with learning as the criteria variable. Learning was measured as student's average in evaluation exercises and tests taken during the course and at the end of it. The results showed that age, school location, learning self-evaluation, instructional design reactions and course results reactions explained a small but statistically significant portion of the variability of learning. At the end of this paper, contributions and limitations of this research are discussed.

Efeitos da mudança curricular: características do aprendiz e desfechos da aprendizagem

Resumo: Um estudo comparativo foi realizado envolvendo a grande maioria dos estudantes de currículo em desativação e de novo currículo em implantação, no curso de Medicina da Universidade de Brasília. Foram comparadas as características motivacionais dos alunados e os desfechos da aprendizagem no pré-clínico. Três diferenças significantes foram observadas: estudantes do currículo em desativação apresentavam maior nível de autoconfiança, enquanto a motivação para aprender era maior nos alunos do novo currículo; ademais, os escores da significação percebida do aprendizado (durante o pré-clínico) eram mais elevados no alunado do novo currículo. Não houve diferenças significante de rendimento acadêmico (média geral) entre os dois grupos na iniciação clínica, nem nas preferências por carreira dos estudantes. Os achados indicam que a reestruturação curricular no pré-clínico não afetou o nível de conhecimento aplicado, embora as percepções iniciais da significação do aprendizado tenham sido mais positivas entre os alunos do novo currículo. Essas percepções são influenciadas por várias características motivacionais individuais.

Summary: An evaluation study was undertaken to compare data of students in two medical curriculum tracks at the Universily of Brasilia. Pre-clinical motivacional characterislics and learning outcomes were compared. Some significant differences were observed: students in the standing curriculum showed higher level of self confidence while motivation to learn was higher among students in the new curriculum. Also, the scores of perceived meaningfulness of learning were higher in the new curriculum. There were no significant differences between student groups in grade point averages of clinical clerkships or in career preferences. The finings suggest that the change in curriculum structure has not affected students applied knowledge as they started the clinical phase, although they showed more positive perceptions of their pre-clinical experience. Such perceptions were influenced by many motivational characteristics.