Evaluation of learning, reaction and impact of corporate training at work / Avaliação de aprendizagem, reação e impacto de treinamentos corporativos no trabalho

Abstract This research aimed to evaluate individual level reaction, learning using situational tests and impact of three trainings conducted at a regulatory agency, analyzing: individuals' previous experiences in trainings; customers' sociodemographic variables; support to transfer; and relationships between the variables. The survey comprised 211 respondents, five instruments for data collection, and descriptive and non-parametric statistics for data analysis. The results indicated that: there is no significant correlation between learning and impact self-assessment; there is a significant correlation between reaction assessment and impact self-assessment; and the participants' psychosocial support assessment was significantly related to their impact self-assessments. The main contributions and limitations of the study are discussed.

Resumo Esta pesquisa teve como objetivo avaliar a reação, a aprendizagem por meio de testes situacionais e o impacto no nível do indivíduo de três treinamentos realizados em uma Agência Reguladora, analisando a experiência dos indivíduos na temática dos treinamentos, as variáveis sociodemográficas, o suporte à transferência e as relações entre as variáveis. A pesquisa contou com 211 respondentes, cinco instrumentos para coleta de dados e estatísticas descritivas e não-paramétricas para análise dos dados. Os resultados indicaram que não há correlação significativa entre aprendizagem e autoavaliação de impacto; há correlação significativa entre reação e autoavaliação de impacto; a avaliação de suporte psicossocial pelos participantes esteve significativamente relacionada com a autoavaliação de impacto. São discutidas as principais contribuições e limitações do estudo.

Avaliação qualitativa de treinamento / Qualitative training evaluation / Evaluación cualitativa del entrenamiento

A presente pesquisa teve como objetivo avaliar qualitativamente os efeitos de três treinamentos, identificando fatores facilitadores e fatores dificultadores da aprendizagem no contexto estudado, de acordo com as percepções de instrutores e participantes. Foram utilizados dois instrumentos para coleta de dados: um roteiro de entrevista semiestruturada e um roteiro semiestruturado para grupo focal, aplicados respectivamente em instrutores e egressos dos treinamentos. Os dados foram analisados por meio de análise de conteúdo (Bardin, 2011). A análise das transcrições das entrevistas resultou em oito categorias de conteúdo e, dos grupos focais, em cinco categorias de conteúdo. O desenho instrucional, o ambiente e as características dos instrutores foram apontados pelos egressos dos treinamentos como facilitadores de aprendizagem. Os dificultadores estavam relacionados a características individuais, do ambiente e ao suporte organizacional. Esses resultados sugerem a realização de mais pesquisas qualitativas, para aprofundar a compreensão sobre o relacionamento entre variáveis em avaliação de treinamento.

This research aimed to qualitatively evaluate the effects of three training activities, identifying enabling and disabling factors for learning in the context in question, according to instructor and participant perceptions. Two instruments for data collection were used: a semi-structured interview script and a semi-structured script for focus groups, applied respectively to training instructors and graduates. Data were analyzed using content analysis (Bardin, 2011). The interview transcripts analysis resulted in eight content categories and, from the focus groups, five content categories. Training graduates indicated instructional design, environment, and instructor characteristics as learning enablers. Disabling factors for learning were related to individual and environmental characteristics, and organizational support. These results suggest that additional qualitative surveys be conducted to deepen the understanding about the relationships between variables in training evaluation.

La presente investigación tuvo como objetivo evaluar cualitativamente los efectos de tres entrenamientos, identificando factores facilitadores y dificultadores del aprendizaje en el contexto estudiado, según las percepciones de instructores y participantes. Se utilizaron dos instrumentos para la recopilación de datos: uno para guiar la entrevista y otro para guiar al grupo focal, aplicados respectivamente en instructores y egresados de los entrenamientos. Los datos fueron verificados por medio de análisis de contenido (Bardin, 2011). El análisis de las transcripciones de las entrevistas resultó en ocho categorías de contenido, y el de los grupos focales, en cinco. El diseño instruccional, el ambiente y las características de los instructores fueron apuntados por los egresados como facilitadores de aprendizaje. Los dificultadores estaban relacionados con las características individuales, el ambiente y el soporte organizacional. Estos resultados sugieren la realización de más investigaciones cualitativas para profundizar la comprensión sobre la relación entre variables en evaluación de entrenamiento.