Learning and transfer of training: a quasi-experiment with longitudinal design / Aprendizagem e transferência de treinamento: um quase-experimento com desenho longitudinal / Aprendizaje y transferencia de entrenamiento: un casi-experimento con diseño longitudinal

This paper aimed to evaluate learning in three trainings held at a Brazilian federal public organization. It is a longitudinal quasiexperiment with three waves, pre-test (before training ­ T1), post-test 1 (right after the end of the training ­ T2) and post-test 2 (around three months after the training - T3). Learning was assessed with situational tests, so results are based on performance rather than self-assessment. Results show that the experimental group obtained better scores in post-test 1 than it did in the pre-test and better scores than the control group did in post-test 2. There were no difference in the results obtained by the control group, comparing pre and post-test, and that there was no difference in tests according to previous experience and demographic data. Results indicate that learning occurred as a consequence of training and was not explained by other factors of the organizational environment or individuals. (AU)

Esse artigo teve como objetivo mensurar a aprendizagem em três seções de treinamento realizadas em uma organização pública federal brasileira. Trata-se de um quase experimento longitudinal, com três ondas, sendo o pré-teste (antes do treinamento), o pós-teste 1 (imediatamente após o término do treinamento) e o pós-teste 2 (após três meses do término do treinamento). A aprendizagem foi medida usando-se testes situacionais, garantindo que os resultados são baseados em desempenho e não auto relato. Os resultados indicam que o grupo experimental obteve melhores notas no pós-teste 1 do que no pré-teste e melhores notas no pós-teste 2 quando comparado ao pós-teste 1. Não foram encontradas diferenças no grupo controle entre o pré e pós teste, nem diferenças nos resultados dos testes devidas à experiência prévia ou a dados demográficos, indicando que a aprendizagem ocorreu como consequência do treinamento e não de explicações alternativas. (AU)

Este artículo tuvo como objetivo medir el aprendizaje en tres capacitaciones de entrenamiento realizadas en una organización pública federal brasileña. Se trata de un casi-experimento longitudinal con tres momentos: el pre-test (antes del entrenamiento), el post-test 1 (inmediatamente después del término del entrenamiento) y el post-test 2 (después de tres meses del término del entrenamiento). El aprendizaje fue medido usando tests situacionales, garantizando que los resultados se basan en el desempeño y no en el autoinforme. Los resultados indican que el grupo experimental obtuvo mejores notas en el post-test 1 que en el pretest y mejores notas en el post-test 2 comparado con el post- test 1. No se encontraron diferencias en el grupo control entre el pre y post test, ni diferencias en los resultados de los tests debido a experiencia previa o a datos demográficos, indicando que el aprendizaje ocurrió como consecuencia del entrenamiento y no de explicaciones alternativas. (AU)

Evaluation of learning, reaction and impact of corporate training at work / Avaliação de aprendizagem, reação e impacto de treinamentos corporativos no trabalho

Abstract This research aimed to evaluate individual level reaction, learning using situational tests and impact of three trainings conducted at a regulatory agency, analyzing: individuals' previous experiences in trainings; customers' sociodemographic variables; support to transfer; and relationships between the variables. The survey comprised 211 respondents, five instruments for data collection, and descriptive and non-parametric statistics for data analysis. The results indicated that: there is no significant correlation between learning and impact self-assessment; there is a significant correlation between reaction assessment and impact self-assessment; and the participants' psychosocial support assessment was significantly related to their impact self-assessments. The main contributions and limitations of the study are discussed.

Resumo Esta pesquisa teve como objetivo avaliar a reação, a aprendizagem por meio de testes situacionais e o impacto no nível do indivíduo de três treinamentos realizados em uma Agência Reguladora, analisando a experiência dos indivíduos na temática dos treinamentos, as variáveis sociodemográficas, o suporte à transferência e as relações entre as variáveis. A pesquisa contou com 211 respondentes, cinco instrumentos para coleta de dados e estatísticas descritivas e não-paramétricas para análise dos dados. Os resultados indicaram que não há correlação significativa entre aprendizagem e autoavaliação de impacto; há correlação significativa entre reação e autoavaliação de impacto; a avaliação de suporte psicossocial pelos participantes esteve significativamente relacionada com a autoavaliação de impacto. São discutidas as principais contribuições e limitações do estudo.

Methodological delimitations of the brazilian research on effects of training / Delimitações metodológicas de pesquisas brasileiras sobre os efeitos de treinamento / Delimitaciones metodológicas de investigaciones brasileñas sobre los efectos del entrenamiento

Individuals and organizations develop strategies that facilitate or promote training in order to meet the demands imposed by technological progress and socio-political changes. However, there are methodological problems concerning the effects of such strategies which must be considered. Gaps persist on how to overcome those issues. To address this need, this study presents a review of Brazilian production in the training research area, focusing on the impact on work. Among 85 Brazilian articles, 24 research reports with this focus were identified, and were analyzed according to the standards used in international reviews. Results indicated several tendencies, such as a higher use of amplitude than of depth measures, and simultaneous data gathering of predictive and outcome variables. Some methodological issues were suggested for progress in this area, such as research studies with experimental designs and the multilevel approach.

Indivíduos e organizações desenvolvem estratégias que facilitam ou promovem o treinamento, visando atender as demandas impostas pelo progresso tecnológico e mudanças sociopolíticas. Contudo, há questões metodológicas relacionadas aos efeitos de tais estratégias que devem ser consideradas. Persistem lacunas em como superar essas questões. Para atender a essa necessidade, este artigo apresenta uma revisão da produção brasileira em estudos na área de treinamento, focando em impacto no trabalho. Entre 85 artigos brasileiros, 24 relatos de pesquisa com esse foco foram identificados, os quais foram analisados de acordo com os padrões usados na literatura internacional. Os resultados indicaram algumas tendências, como um maior uso de medida em amplitude do que em profundidade e obtenção simultânea de dados relativos às variáveis preditivas e critério. Para o avanço nessa área, algumas questões metodológicas foram sugeridas, como pesquisas com delineamentos experimentais e a abordagem multinível.

Individuos y organizaciones desarrollan estrategias que facilitan o promueven el entrenamiento, para satisfacer las demandas impuestas por los avances tecnológicos y cambios socio-políticos. Hay, sim embargo, cuestiones metodológicas relacionadas con los efectos de tales estrategias que se deben tener en cuenta. Persisten lagunas sobre cómo superar esas cuestiones. Con vistas a atender a esta necesidad, el presente estudio presenta una revisión de la producción brasileña en estudios en el área de entrenamiento, centrándose en los efectos del impacto en el trabajo. Fueron identificados 24 relatos de investigación con este enfoque, entre 85 artículos brasileños analizados, los cuales se estudiaron según criterios de revisión internacional. Los resultados indicaron algunas tendencias, tales como un mayor uso de medidas de amplitud que de profundidad y obtención simultánea de datos relativas a las variables predictivas y de criterio. Para el avance en esa área, algunas cuestiones metodológicas fueron sugeridas, tales como investigaciones con delineamientos experimentales y con enfoque multinivel.

Avaliação qualitativa de treinamento / Qualitative training evaluation / Evaluación cualitativa del entrenamiento

A presente pesquisa teve como objetivo avaliar qualitativamente os efeitos de três treinamentos, identificando fatores facilitadores e fatores dificultadores da aprendizagem no contexto estudado, de acordo com as percepções de instrutores e participantes. Foram utilizados dois instrumentos para coleta de dados: um roteiro de entrevista semiestruturada e um roteiro semiestruturado para grupo focal, aplicados respectivamente em instrutores e egressos dos treinamentos. Os dados foram analisados por meio de análise de conteúdo (Bardin, 2011). A análise das transcrições das entrevistas resultou em oito categorias de conteúdo e, dos grupos focais, em cinco categorias de conteúdo. O desenho instrucional, o ambiente e as características dos instrutores foram apontados pelos egressos dos treinamentos como facilitadores de aprendizagem. Os dificultadores estavam relacionados a características individuais, do ambiente e ao suporte organizacional. Esses resultados sugerem a realização de mais pesquisas qualitativas, para aprofundar a compreensão sobre o relacionamento entre variáveis em avaliação de treinamento.

This research aimed to qualitatively evaluate the effects of three training activities, identifying enabling and disabling factors for learning in the context in question, according to instructor and participant perceptions. Two instruments for data collection were used: a semi-structured interview script and a semi-structured script for focus groups, applied respectively to training instructors and graduates. Data were analyzed using content analysis (Bardin, 2011). The interview transcripts analysis resulted in eight content categories and, from the focus groups, five content categories. Training graduates indicated instructional design, environment, and instructor characteristics as learning enablers. Disabling factors for learning were related to individual and environmental characteristics, and organizational support. These results suggest that additional qualitative surveys be conducted to deepen the understanding about the relationships between variables in training evaluation.

La presente investigación tuvo como objetivo evaluar cualitativamente los efectos de tres entrenamientos, identificando factores facilitadores y dificultadores del aprendizaje en el contexto estudiado, según las percepciones de instructores y participantes. Se utilizaron dos instrumentos para la recopilación de datos: uno para guiar la entrevista y otro para guiar al grupo focal, aplicados respectivamente en instructores y egresados de los entrenamientos. Los datos fueron verificados por medio de análisis de contenido (Bardin, 2011). El análisis de las transcripciones de las entrevistas resultó en ocho categorías de contenido, y el de los grupos focales, en cinco. El diseño instruccional, el ambiente y las características de los instructores fueron apuntados por los egresados como facilitadores de aprendizaje. Los dificultadores estaban relacionados con las características individuales, el ambiente y el soporte organizacional. Estos resultados sugieren la realización de más investigaciones cualitativas para profundizar la comprensión sobre la relación entre variables en evaluación de entrenamiento.

Avaliação da capacitação de profissionais de saúde na área de reabilitação auditiva via teleducação: ênfase em crianças de zero a três anos de idade / Assessment of a distance learning course on auditory rehabilitation: emphasis on children from birth up to three years old

O ritmo da evolução do conhecimento e tecnologias aplicadas na área reabilitação das deficiências auditivas torna necessária a constante atualização profissional. O ensino à distância (EaD) caracteriza uma importante estratégia para a educação permanente em saúde. O Curso de Especialização à Distância Habilitação e Reabilitação Auditiva em Crianças (CEDHRAC) teve como objetivo a capacitação de fonoaudiólogos e otorrinolaringologistas atuantes nos serviços de reabilitação auditiva que compõe a rede de cuidados à pessoa com deficiência. O presente este estudo teve como objetivo avaliar o CEDHRAC no que tange à reação dos estudantes frente ao curso e estratégias de aprendizagem utilizadas pelos mesmos, assim como o suporte recebido para transferência do treinamento no ambiente de trabalho e o impacto do curso no trabalho. Além disto foram verificadas as relações entre estes diferentes níveis de avaliação. Para responder a estes objetivos são apresentados dois manuscritos. Manuscrito 01: Estudo longitudinal, quali-quantitativo. Dos 105 alunos regularmente matriculados no CEDHRAC, 90 preencheram instrumentos de avaliação de reação aos diferentes núcleos temáticos quanto aos aspectos de conteúdos e atividades, tutores, professores, comunicação visual nos materiais didáticos, e habilidades técnicas e de navegação, além do instrumento de autoavaliação (assiduidade, pontualidade, autonomia, envolvimento, colaboração e desempenho geral). As respostas foram dadas em uma escala Likert de 5 pontos, sendo que pontuações maiores estavam associadas a melhores resultados. A análise temática dos comentários dos participantes também foi realizada. A taxa de evasão do curso foi de 9,5%. Em ambos questionários as pontuações médias obtidas estavam próximas de cinco e foram significativamente maiores (p=0,00) do que o ponto médio da escala, demonstrando que a a percepção do aluno frente ao próprio desempenho e quanto aos atributos do CEDHRAC foram positivas. A análise qualitativa confirmou tais achados e também os complementou, na medida em que foram apontadas algumas necessidades de melhorias, em particular na carga horária, construção de materiais didáticos e usabilidade do ambiente virtual de aprendizagem. Manuscrito 02: Estudo quantitativo. Foram avaliados 116 indivíduos, sendo 85 alunos do CEDHRAC e 31 gestores dos serviços onde o participante tinha vínculo empregatício. Imediatamente ao término do curso foram avaliados os componentes: reação ao curso, suporte à transferência de treinamento e estratégias de aprendizagem. A escala de reação ao curso é composta por 24 itens que se agrupam em dois fatores: REARES (reações aos resultados, aplicabilidade e expectativas de suporte) e REAPRO (reação à programação e ao apoio). A escala de suporte à transferência de treinamento composta de 22 afirmativas, contendo as dimensões do suporte psicossocial (fatores situacionais de apoio e as consequências associadas ao uso das novas habilidades) e o suporte material à transferência de treinamento. A escala estratégias de aprendizagem composta por 28 itens divididos em sete fatores: controle da emoção, busca de ajuda interpessoal, repetição e organização, controle da motivação, elaboração, busca de ajuda ao material didático, monitoramento da compreensão. Seis meses após o término do CEDHRAC o questionário com 12 itens relacionado ao impacto do treinamento no trabalho foi preenchido por egressos (autoavaliação) e gestores (heteroavaliação). As respostas foram dadas em uma escala Likert de cinco (reação, transferência e impacto) ou 10 pontos (estratégias de aprendizagem), com pontuações maiores associadas a resultados mais favoráveis. A reação dos egressos foi positiva em todos os aspectos avaliados, porém, com pontuação menor quanto ao suporte no trabalho. No suporte à transferência de treinamento a frequência dos fatores situacionais de apoio foi maior do que a das consequências associadas ao uso de novas habilidades (ANOVA, F=6,79; p=0,00; Teste de Tukey, p=0,001). Observaram-se altas pontuações quanto ao impacto do curso no trabalho, não havendo diferença significativa entre a auto e heteroavaliação (t=-0,039670; p=0,968). Verificou-se correlação (Pearson) fraca a moderada, significativa, entre os resultados de reação, suporte à transferência de treinamento e impacto. Diferentes estratégias de aprendizagem foram utilizadas pelos estudantes sendo que as estratégias de "elaboração" e "monitoramento da compreensão", foram utilizadas com maior e menor frequência, respectivamente (ANOVA, F=42,89; p=0,00; Teste de Tukey, p=0,000). Em conclusão, os participantes indicaram satisfação com o curso. O CEDHRAC possibilitou o aprimoramento profissional e reflexões sobre a prática profissional, impelindo o egresso à realização de mudanças no trabalho. Essas avaliações também forneceram aos desenvolvedores do curso informações para melhoria do treinamento e sobre alguns obstáculos que impediam a aplicação das novas habilidades adquiridas no ambiente de trabalho.(AU)

The pace of evolution of knowledge and technologies applied for the rehabilitation of hearing impairments request continuing professional education. Distance learning features an important strategy for health permanent education. The online course on Auditory Rehabilitation in Children (ARC) aimed to capacitate audiologists and ENT physicians working in public hearing healthcare services. The aim of this study was to evaluate the ARC regarding students' reaction towards the course and learning strategies used by them, as well as workplace support for training transfer and the impact of the course in workplace. In addition, the relationship between these different evaluation levels were verified. To meet these objectives two manuscripts are presented. Manuscript 01: Longitudinal qualitative and quantitative. From 105 ARC's students, 90 filled the assessments instruments available in each of the course's module concerning reaction to content and activities, tutors, teachers, didactic materials and navigation in the virtual learning system (VLS) as well as the self-assessment of performance (assiduity, punctuality, autonomy, involvement, collaboration and overall performance). The participants answers were given in a 5-point Likert scale, with higher scores associated with better results. The thematic analysis of participants' comments was also made. The course's dropout rate was 9.5%. In both instruments the average scores were close to five points and were significantly higher (p=0.00) than the scale´s midpoint, demonstrating students' perception of self-performance and ARC's attributes were positive. The qualitative analysis confirmed and complemented those findings, as they identified some need for improvement in workload, didactic materials and usability of the VLS. Manuscript 02: Quantitative study. Participated in the study 116 individuals - 85 ARC's students and 31 managers at the services where students were employed. Reaction to ARC's course, support for training transfer at work and learning strategies used, were assessed at course completion. The reaction scale consists of 24 items grouped into two factors: REARES (results reactions, applicability and support expectations) and REAPRO (reaction to programming and support). The training transfer support scale is comprised of 22 items divided in dimensions of psychosocial support (situational factors support and consequences associated with new skills use) and material support for training transfer. The learning strategies scale consists of 28 items divided into seven factors: control of emotion, interpersonal help, repetition and organization, control of motivation, elaboration, courseware help, comprehension monitoring. Impact of training on workplace questionnaire, consisting of 12 statements, was administered six month after course completion, to former ARC's students (self-assessment) and managers (assessment of others). Responses were given on 5-points (reaction, transfer and impact) or 10-points (learning strategies) Likert scale, with higher scores associated with more favorable results. Students' reaction to ARC were positive for all aspects evaluated, however lower scores were given to workplace support. Situational factors support was higher than consequences associated with new skills (ANOVA, F=6.79, p=0.00. Tukey Test p=0,001). Impact of ARC inn workplace was considered high and no difference was found between self and others assessments (t=-0.039670; p=0.968). Weak to moderate significant correlation (Pearson) were found between reaction, training transfer support and training impact. Different learning strategies were used by the students, with "elaboration" and "comprehension monitoring" being more and less used, respectively (ANOVA, F=42.89, p=0.00; Tukey test, p=0.000). In conclusion, participants indicated satisfaction with the course. The ARC enabled the professional development and reflection about professional practice, impelling changes at the workplace. These assessments also provided course developers with information for the course improvement as well as regarding some obstacles that prevented the application of acquired skills in the students' workplace.(AU)

Avaliação da efetividade de um curso a distância, via intranet: o caso do Banco do Brasil / Effectiveness evaluation of distance learning, via intranet: the case of Bank of Brazil

A presente pesquisa objetiva testar um modelo de avaliação de um treinamento a distância, mediado por intranet,em ambiente corporativo, e foi realizada em duas etapas. A primeira visa construir e verificar evidências de validade do instrumento de Impacto do Treinamento no Trabalho em Profundidade. A Etapa 2 identifica variáveis preditoras de Impacto do Treinamento no Trabalho, em profundidade e amplitude. O curso avaliado foi o Crédito Pessoa Física, oferecido pelo Banco do Brasil para seus funcionários. Foram aplicados quatro questionários - Estratégias de Aprendizagem, Suporte à Aplicação do Treinamento, Impacto do Treinamento no Trabalho (profundidade e amplitude) - em 541 funcionários. Foram realizadas análises de componentes principais, fatoriais e de consistência interna, bem como de regressão múltipla padrão e stepwise. Os resultados indicaram que a escala contém 14 itens (α = 0,96, cargas fatoriais entre 0,55 e 0,91) e que o participante que percebeu maior suporte à aplicação do treinamento e utilizou com mais frequência as estratégias de aprendizagem foi também aquele que relatou maior ocorrência de impacto do treinamento no trabalho, em profundidade e amplitude. Contudo, o perfil dos respondentes precisa ser comparado com o perfil da população treinada, visando à avaliação dos limites e possibilidades de generalização dos achados. (AU)

The aim of this research was to test an evaluation model of distance learning training mediated by intranet, in a corporate environment, which was accomplished in two steps. The first was to construct and check the evidence of validity of the instrument "Work Training Impact in Depth." The second identified predictors of Work Training Impact in depth and breadth. The course "Individual Credit," offered by Bank of Brazil for its employees, was evaluated. Four questionnaires - Learning Strategies, Support for Implementation of Training, Work Training Impact (depth and breadth) - were sent to 541 employees. Principal component analysis, factor analysis, and internal consistency analysis were run, as well as standard and stepwise multiple regression. The results indicate that the scale contains 14 items (α = 0.96, factor loadings between 0.55 and 0.91) and that the participant who perceived greater support for the implementation of training, and used learning strategies more frequently, also reported a higher incidence of Work Training Impact, in depth and breadth. However, the profile of respondents should be compared with the trained population profile in order to evaluate the limits and possibilities of generalization of the findings. (AU)

Modelos lógicos em avaliação de sistemas instrucionais: dois estudos de caso / Logical models for Instructional systems evaluation: two case studies

O objetivo deste artigo é discutir os principais desafios e benefícios associados à adoção de modelos lógicos em avaliação de sistemas instrucionais. Análises da produção de conhecimentos nesta área mostraram lacunas na investigação de relacionamentos entre efeitos de programas no nível dos egressos e impactos indiretos desses programas instrucionais sobre a organização. Essas lacunas nas pesquisas estimularam a adoção de estratégias metodológicas que facilitassem a compreensão da realidade dos programas. Os modelos lógicos são ferramentas eficazes na avaliação de programas sociais e governamentais. Este artigo apresenta, a título de demonstração empírica, dois casos de aplicação bem-sucedida da abordagem de modelos lógicos em avaliação de sistemas instrucionais. O primeiro apresenta a avaliação de um treinamento corporativo e o segundo, a avaliação de um mestrado profissional. Nesses estudos foram realizadas diversas etapas de pesquisa qualitativa, a partir das quais foram confeccionados modelos lógicos e figuras, que resumem a teoria do programa, tal como concebida pelos stakeholders, participantes da pesquisa. As pesquisas são descritas brevemente, de modo a ilustrar a aplicação de modelos lógicos nos dois contextos estudados. Ao final, são discutidos benefícios e limitações dessa abordagem na avaliação de sistemas instrucionais. (AU)

The aim of this article is to discuss the main challenges and benefits associated with the adoption of logical models to evaluate instructional systems. Analyses of the production of knowledge in this area have shown gaps in the investigation of relationships between program effects for egresses as well as the indirect impacts of these instructional programs on the organization. These gaps in the research have stimulated the adoption of methodological strategies to improve the understanding of the reality of such programs. Logical models are effective tools for the evaluation of social and governmental programs. This article presents, by way of empirical demonstration, two cases in which logical models were successfully used for instructional systems evaluation. The first presents the evaluation of a corporate training course and the second the evaluation of a professional master's. Several qualitative research steps were conducted in these studies and from them logical models were created. These models summarize the theory of the program, as conceived by the stakeholders, who were also participants in the study. The studies are described briefly, to illustrate the application of the logical models in these two contexts. Finally, the benefits and limitations of this approach for the evaluation of instructional systems are discussed. (AU)

Modelos lógicos em avaliação de sistemas instrucionais: dois estudos de caso / Logical models for Instructional systems evaluation: two case studies

O objetivo deste artigo é discutir os principais desafios e benefícios associados à adoção de modelos lógicos em avaliação de sistemas instrucionais. Análises da produção de conhecimentos nesta área mostraram lacunas na investigação de relacionamentos entre efeitos de programas no nível dos egressos e impactos indiretos desses programas instrucionais sobre a organização. Essas lacunas nas pesquisas estimularam a adoção de estratégias metodológicas que facilitassem a compreensão da realidade dos programas. Os modelos lógicos são ferramentas eficazes na avaliação de programas sociais e governamentais. Este artigo apresenta, a título de demonstração empírica, dois casos de aplicação bem-sucedida da abordagem de modelos lógicos em avaliação de sistemas instrucionais. O primeiro apresenta a avaliação de um treinamento corporativo e o segundo, a avaliação de um mestrado profissional. Nesses estudos foram realizadas diversas etapas de pesquisa qualitativa, a partir das quais foram confeccionados modelos lógicos e figuras, que resumem a teoria do programa, tal como concebida pelos stakeholders, participantes da pesquisa. As pesquisas são descritas brevemente, de modo a ilustrar a aplicação de modelos lógicos nos dois contextos estudados. Ao final, são discutidos benefícios e limitações dessa abordagem na avaliação de sistemas instrucionais.

The aim of this article is to discuss the main challenges and benefits associated with the adoption of logical models to evaluate instructional systems. Analyses of the production of knowledge in this area have shown gaps in the investigation of relationships between program effects for egresses as well as the indirect impacts of these instructional programs on the organization. These gaps in the research have stimulated the adoption of methodological strategies to improve the understanding of the reality of such programs. Logical models are effective tools for the evaluation of social and governmental programs. This article presents, by way of empirical demonstration, two cases in which logical models were successfully used for instructional systems evaluation. The first presents the evaluation of a corporate training course and the second the evaluation of a professional master's. Several qualitative research steps were conducted in these studies and from them logical models were created. These models summarize the theory of the program, as conceived by the stakeholders, who were also participants in the study. The studies are described briefly, to illustrate the application of the logical models in these two contexts. Finally, the benefits and limitations of this approach for the evaluation of instructional systems are discussed.

Avaliação da efetividade de um curso a distância, via intranet: o caso do Banco do Brasil / Effectiveness evaluation of distance learning, via intranet: the case of Bank of Brazil

A presente pesquisa objetiva testar um modelo de avaliação de um treinamento a distância, mediado por intranet,em ambiente corporativo, e foi realizada em duas etapas. A primeira visa construir e verificar evidências de validade do instrumento de Impacto do Treinamento no Trabalho em Profundidade. A Etapa 2 identifica variáveis preditoras de Impacto do Treinamento no Trabalho, em profundidade e amplitude. O curso avaliado foi o Crédito Pessoa Física, oferecido pelo Banco do Brasil para seus funcionários. Foram aplicados quatro questionários - Estratégias de Aprendizagem, Suporte à Aplicação do Treinamento, Impacto do Treinamento no Trabalho (profundidade e amplitude) - em 541 funcionários. Foram realizadas análises de componentes principais, fatoriais e de consistência interna, bem como de regressão múltipla padrão e stepwise. Os resultados indicaram que a escala contém 14 itens (α = 0,96, cargas fatoriais entre 0,55 e 0,91) e que o participante que percebeu maior suporte à aplicação do treinamento e utilizou com mais frequência as estratégias de aprendizagem foi também aquele que relatou maior ocorrência de impacto do treinamento no trabalho, em profundidade e amplitude. Contudo, o perfil dos respondentes precisa ser comparado com o perfil da população treinada, visando à avaliação dos limites e possibilidades de generalização dos achados.

The aim of this research was to test an evaluation model of distance learning training mediated by intranet, in a corporate environment, which was accomplished in two steps. The first was to construct and check the evidence of validity of the instrument "Work Training Impact in Depth." The second identified predictors of Work Training Impact in depth and breadth. The course "Individual Credit," offered by Bank of Brazil for its employees, was evaluated. Four questionnaires - Learning Strategies, Support for Implementation of Training, Work Training Impact (depth and breadth) - were sent to 541 employees. Principal component analysis, factor analysis, and internal consistency analysis were run, as well as standard and stepwise multiple regression. The results indicate that the scale contains 14 items (α = 0.96, factor loadings between 0.55 and 0.91) and that the participant who perceived greater support for the implementation of training, and used learning strategies more frequently, also reported a higher incidence of Work Training Impact, in depth and breadth. However, the profile of respondents should be compared with the trained population profile in order to evaluate the limits and possibilities of generalization of the findings.

Avaliação de um programa de treinamento corporativo: Em busca da mudança organizacional / Evaluation of a corporate training program: In search of organizational change / Evaluación de un programa de entrenamiento corporativo: En busca del cambio organizativo

Este estudo de caso analisou os resultados de um programa de treinamento em gestão pública para funcionários do Banco do Brasil. Foram realizados grupos focais, entrevistas semiestruturadas e análise de dados secundários para a obtenção de evidências após a realização do treinamento, que teve a duração de dois anos. O modelo MAIS de Borges-Andrade foi considerado o mais adequado para avaliar o treinamento. O programa atingiu os resultados esperados pela Diretoria de Governo do banco, mas muitos deles são encontrados no contexto de outras ações organizacionais e não podem ser considerados como decorrentes exclusivamente do treinamento ministrado. Destaca-se a necessidade de alinhar objetivos, resultados e avaliação de cada treinamento, contribuindo para uma melhor gestão das iniciativas de TD&E da organização.(AU)

This case study analyzed the results of a training program in public administration for employees of the Bank of Brazil. We conducted focus groups, semi-structured interviews and secondary data analysis to obtain evidence after completion of training, which lasted two years. The Borges-Andrade model MAIS was considered the most suitable to evaluate the training investigated. The program achieved the results expected by the bank, but many of those results were achieved with the context of other organizational actions and so can not be considered as arising solely from the training provided. The need exhites for aligning goals, outcomes and evaluation of each training, thus contributing to better management of training, development and education initiatives of organizations.(AU)

Este estudio de caso analizó los resultados de un programa de entrenamiento en gestión pública para funcionarios del Banco do Brasil. Se realizaron grupos específicos, entrevistas semiestructuradas y análisis de datos secundarios para la obtención de evidencias después de la realización del entrenamiento, que tuvo una duración de dos años. El modelo MAIS de Borges-Andrade fue considerado el más adecuado para evaluar el entrenamiento. El programa logró los resultados esperados por la Dirección de Gobierno del banco, pero muchos de ellos son encontrados en el contexto de otras acciones organizativas y no pueden ser considerados como resultado exclusivamente del entrenamiento suministrado. Se destaca la necesidad de unificar objetivos, resultados y evaluación de cada entrenamiento, contribuyendo a una mejor gestión de las iniciativas de TD&E de la organización.(AU)

Avaliação de um programa de treinamento corporativo: Em busca da mudança organizacional / Evaluation of a corporate training program: In search of organizational change / Evaluación de un programa de entrenamiento corporativo: En busca del cambio organizativo

Este estudo de caso analisou os resultados de um programa de treinamento em gestão pública para funcionários do Banco do Brasil. Foram realizados grupos focais, entrevistas semiestruturadas e análise de dados secundários para a obtenção de evidências após a realização do treinamento, que teve a duração de dois anos. O modelo MAIS de Borges-Andrade foi considerado o mais adequado para avaliar o treinamento. O programa atingiu os resultados esperados pela Diretoria de Governo do banco, mas muitos deles são encontrados no contexto de outras ações organizacionais e não podem ser considerados como decorrentes exclusivamente do treinamento ministrado. Destaca-se a necessidade de alinhar objetivos, resultados e avaliação de cada treinamento, contribuindo para uma melhor gestão das iniciativas de TD&E da organização.

This case study analyzed the results of a training program in public administration for employees of the Bank of Brazil. We conducted focus groups, semi-structured interviews and secondary data analysis to obtain evidence after completion of training, which lasted two years. The Borges-Andrade model MAIS was considered the most suitable to evaluate the training investigated. The program achieved the results expected by the bank, but many of those results were achieved with the context of other organizational actions and so can not be considered as arising solely from the training provided. The need exhites for aligning goals, outcomes and evaluation of each training, thus contributing to better management of training, development and education initiatives of organizations.

Este estudio de caso analizó los resultados de un programa de entrenamiento en gestión pública para funcionarios del Banco do Brasil. Se realizaron grupos específicos, entrevistas semiestructuradas y análisis de datos secundarios para la obtención de evidencias después de la realización del entrenamiento, que tuvo una duración de dos años. El modelo MAIS de Borges-Andrade fue considerado el más adecuado para evaluar el entrenamiento. El programa logró los resultados esperados por la Dirección de Gobierno del banco, pero muchos de ellos son encontrados en el contexto de otras acciones organizativas y no pueden ser considerados como resultado exclusivamente del entrenamiento suministrado. Se destaca la necesidad de unificar objetivos, resultados y evaluación de cada entrenamiento, contribuyendo a una mejor gestión de las iniciativas de TD&E de la organización.

A expectativa em relação ao treinamento influencia o impacto das ações de capacitação? / Expectation on the training influences the impact of these actions? Expectations and impact of training activities

O aumento da importância da área de treinamento e desenvolvimento para as organizações vem alimentando o interesse em investigar o impacto das ações de capacitação. Este estudo teve como principal objetivo identificar se características individuais influenciam o desempenho no trabalho das tarefas treinadas. A pesquisa, de natureza quantitativa, foi realizada em uma autarquia federal, com aplicação de questionários com escalas previamente validadas, em três momentos: antes do evento de capacitação (medição das expectativas em relação ao treinamento - 472 questionários); imediatamente após o curso (avaliação da reação - 485 questionários); e quatro meses após o término do curso (avaliação do impacto do treinamento - 296 questionários). Os principais resultados apontam índices elevados para as expectativas em relação ao treinamento, sendo mais altos entre mulheres, pessoas com escolaridade mais baixa e ocupantes do cargo de assistente. Também foi alta a percepção do impacto do treinamento no trabalho, sobretudo entre os treinandos com escolaridade mais baixa, aqueles que participaram de treinamentos de natureza cognitiva, aqueles que tinham expectativas de melhoria além da performance e reações mais positivas. São discutidas implicações teóricas e práticas dos resultados encontrados e é apresentada sugestão de agenda de pesquisa.

The importance of the development and training practices to the organizations is fuelling the interest in investigating the impact training actions. The main objective of this study is to identify if individual characteristics influence the performance of trained tasks at work. The research, of quantitative nature, was held in a federal autarchy with questionnaires application, with scales previously validated and in three phases: before the beginning of the training event (measure of expectancies related to the training - 472 questionnaires); immediately after the course (evaluation of the reaction - 485 questionnaires); and four months after the end of the course (evaluation of the impact of training - 296 questionnaires). The main results point to high ratings of expectations related to training, being higher among women, people with lower education and people who occupy assistant positions. The perception of impact of training at work was also high, in particular, among the trainees with lower education, who participated in training with cognitive nature, those who had improvement over performance expectancy and more positive reaction. The practical implications of the results are discussed and it is presented a suggested agenda to future researches.

Transferência de treinamento e impacto do treinamento no trabalho: análise crítica da literatura / Training transfer and work training impact: critical literature analysis

As organizações atualmente investem grandes quantias em ações formais de treinamento, desenvolvimento e educação de pessoas (TD&E) com a intenção de que um grande número de funcionários e profissionais transfira positivamente os conhecimentos aprendidos para o ambiente de trabalho. Torna-se necessário, portanto, entender como ocorrem os processos de transferência de aprendizagem para diferentes ambientes corporativos e profissionais. Com base na literatura nacional e estrangeira de Psicologia Organizacional e de TD&E dos últimos 20 anos, o presente artigo pretende contribuir com a área de avaliação de sistemas instrucionais corporativos e abertos, ao apresentar uma análise crítica da literatura sobre Transferência de Treinamento e Impacto do Treinamento no Trabalho, discutindo conceitos, definições e medidas e apresentando resultados de pesquisas. Discute-se a qualidade dos instrumentos de medida existentes, bem como o relacionamento entre variáveis de interesse em TD&E. As considerações finais da análise destacam a importância de investigar as características da clientela e dos treinamentos, as reações e aprendizagem dos treinandos e as condições necessárias à expressão das competências no ambiente de trabalho do egresso, seja ele corporativo ou aberto(AU)

Organizations invest huge amounts in training, development, and education of people (TD&E), with the intention that a large number of workers and professionals positively transfer their learned knowledge into practice in the workplace. Thus it is necessary to understand the learning transfer processes in different professional and corporate environments. Based on the foreign and national literature of Organizational Psychology and TD&E from the past 20 years, this paper aims to contribute to the field of instructional systems evaluation, to provide a critical literature analysis of Training Transfer and Work Training Impact, discussing concepts, definitions, and measures, and presenting research results. It discusses the quality of existing instruments and the relationship between variables of interest in TD&E. The conclusions of the analysis suggest the importance of investigating client and training characteristics, trainee learning and reactions, and the necessary conditions for the expression of skills in the work environment of egress, whether corporate or open(AU)

Transferência de treinamento e impacto do treinamento no trabalho: análise crítica da literatura: [revisão] / Training transfer and work training impact: critical literature analysis: [review]

As organizações atualmente investem grandes quantias em ações formais de treinamento, desenvolvimento e educação de pessoas (TD&E) com a intenção de que um grande número de funcionários e profissionais transfira positivamente os conhecimentos aprendidos para o ambiente de trabalho. Torna-se necessário, portanto, entender como ocorrem os processos de transferência de aprendizagem para diferentes ambientes corporativos e profissionais. Com base na literatura nacional e estrangeira de Psicologia Organizacional e de TD&E dos últimos 20 anos, o presente artigo pretende contribuir com a área de avaliação de sistemas instrucionais corporativos e abertos, ao apresentar uma análise crítica da literatura sobre Transferência de Treinamento e Impacto do Treinamento no Trabalho, discutindo conceitos, definições e medidas e apresentando resultados de pesquisas. Discute-se a qualidade dos instrumentos de medida existentes, bem como o relacionamento entre variáveis de interesse em TD&E. As considerações finais da análise destacam a importância de investigar as características da clientela e dos treinamentos, as reações e aprendizagem dos treinandos e as condições necessárias à expressão das competências no ambiente de trabalho do egresso, seja ele corporativo ou aberto.

Organizations invest huge amounts in training, development, and education of people (TD&E), with the intention that a large number of workers and professionals positively transfer their learned knowledge into practice in the workplace. Thus it is necessary to understand the learning transfer processes in different professional and corporate environments. Based on the foreign and national literature of Organizational Psychology and TD&E from the past 20 years, this paper aims to contribute to the field of instructional systems evaluation, to provide a critical literature analysis of Training Transfer and Work Training Impact, discussing concepts, definitions, and measures, and presenting research results. It discusses the quality of existing instruments and the relationship between variables of interest in TD&E. The conclusions of the analysis suggest the importance of investigating client and training characteristics, trainee learning and reactions, and the necessary conditions for the expression of skills in the work environment of egress, whether corporate or open.

Construção e validação de um instrumento para avaliar auto-eficácia em situações de treinamento, desenvolvimento e educação de pessoas / Development and validation of an instrument to assess self-efficacy in personnel training, development and education situations

Pesquisas desenvolvidas nas últimas décadas indicam a relevância de características individuais, como auto-eficácia, na explicação de efeitos de programas educacionais. Inúmeras medidas específicas de auto-eficácia foram elaboradas e validadas neste ínterim. Entretanto, estas escalas confundem-se com medidas que avaliam os efeitos de ações educacionais sobre o desempenho dos indivíduos. São raros os estudos que desenvolveram escalas gerais de auto-eficácia. O presente estudo relata o desenvolvimento de uma escala de auto-eficácia geral. O instrumento, composto por 15 itens, foi submetido à validação teórica e à validação empírica. Neste último processo, 1845 treinandos participaram da pesquisa, de forma que suas respostas foram submetidas a análises fatoriais exploratórias. Os resultados indicaram a validade, a precisão e a confiabilidade do instrumento de auto-eficácia desenvolvido.(AU)

Researches done in the last decades suggest the importance of individual characteristics, such as self-efficacy, to explain the effects of training programs. Several specific measures of self-efficacy were developed and validated. These scales are confounded with impact measures that evaluate post-training individual performance. Studies concerning the development of self-efficacy generic measures are still rare. This study reports the development of a self-efficacy generic scale. The instrument, made up of 15 items, was submitted to a theoretical validation as well as to an empirical validation. In this last validation process, 1845 trainees participated of the research. Their answers were submitted to exploratory factor analysis, and the results indicated the validity, precision, and reliability of the self-efficacy instrument which was developed.(AU)

Qualificação profissional a distância: preditores da elaboração de um plano de negócios / Cualificación profesional a distancia: predictores de la elaboración de un plan denegocios / Distance professional qualification: predictors of a business plan elaboration

O objetivo do artigo é identificar variáveis preditoras de transferênciade treinamento, medida em termos da proporção de participantes queelaboraram o plano de negócios ao final do curso-alvo. A coleta de dadosfoi realizada por meio de questionários digitalizados em três momentos:a) no meio do curso, com a aplicação do questionário “Ambiente deestudo e procedimentos de interação”; b) ao final, com os questionários“Estratégias de aprendizagem”, “Reação aos procedimentos instrucionais”e “Reação ao desempenho do tutor”; c) após seu término, momentono qual foi perguntado ao participante se ele havia ou não elaboradoo plano de negócios. Foram realizadas análises de regressão logística.Os resultados indicaram que o participante que relatou o uso maisfrequente da estratégia de aprendizagem comportamental busca de ajudainterpessoal e percebeu menor dificuldade quanto ao uso de ferramentasde interação foi também o que mais relatou ter elaborado o plano denegócios.(AU)

This article aims to identify predictor variables of Training Transfer, measured in terms of the proportion of participants who elaborated the business plan at the end of the target course. The data were collected by webpage questionnaires on three occasions: a) during the course, with the application of the questionnaire Study Environment and Interaction Procedures; b) at the end, with questionnaires Learning Strategies, Reaction to Instruction Procedures and Reaction to Tutor's Performance; c) after the course conclusion, when participants were asked whether they had prepared the business plan. Logistic regression analyses were performed. Results revealed that the participant who reported having used most frequently the Behavior Learning Strategy of Interpersonal Help-Seeking and had less difficulty in the use of Interaction Tools was also the one who most related having elaborated the Business Plan.(AU)

Este artículo tiene como objetivo identificar predictores de la Transferencia de Entrenamiento, medida como la proporción de participantes que desarrollaron el plan de empresa al final del curso. La recopilación de datos se realizó mediante cuestionarios escaneados en tres ocasiones: a) en la mitad del curso, con la aplicación del cuestionario de Ambiente de Estudio y Procedimientos de Interacción, b) al final, el cuestionario de Estrategias de Aprendizaje, Reacción a los Procedimientos de Instrucción, Reacción al Desempeño del Tutor; c) después de su terminación, momento en el que el participante se preguntó si no había preparado el plan de negocios. Se realizaron análisis de regresión logística. Los resultados indicaron que los participantes que informaron de un uso más frecuente de la Estrategia para el Aprendizaje de Asistencia de la Búsqueda de Comportamiento Interpersonal y menor percepción de dificultad con el uso de Herramientas de Interacción es el más informado de haber preparado el Plan de Negocios.(AU)

Qualificação profissional a distância: preditores da elaboração de um plano de negócios / Distance professional qualification: predictors of a business plan elaboration / Cualificación profesional a distancia: predictores de la elaboración de un plan de negocios

O objetivo do artigo é identificar variáveis preditoras de transferência de treinamento, medida em termos da proporção de participantes que elaboraram o plano de negócios ao final do curso-alvo. A coleta de dados foi realizada por meio de questionários digitalizados em três momentos: a) no meio do curso, com a aplicação do questionário “Ambiente de estudo e procedimentos de interação”; b) ao final, com os questionários “Estratégias de aprendizagem”, “Reação aos procedimentos instrucionais” e “Reação ao desempenho do tutor”; c) após seu término, momento no qual foi perguntado ao participante se ele havia ou não elaborado o plano de negócios. Foram realizadas análises de regressão logística. Os resultados indicaram que o participante que relatou o uso mais frequente da estratégia de aprendizagem comportamental busca de ajuda interpessoal e percebeu menor dificuldade quanto ao uso de ferramentas de interação foi também o que mais relatou ter elaborado o plano de negócios.

This article aims to identify predictor variables of Training Transfer, measured in terms of the proportion of participants who elaborated the business plan at the end of the target course. The data were collected by webpage questionnaires on three occasions: a) during the course, with the application of the questionnaire Study Environment and Interaction Procedures; b) at the end, with questionnaires Learning Strategies, Reaction to Instruction Procedures and Reaction to Tutor’s Performance; c) after the course conclusion, when participants were asked whether they had prepared the business plan. Logistic regression analyses were performed. Results revealed that the participant who reported having used most frequently the Behavior Learning Strategy of Interpersonal Help-Seeking and had less difficulty in the use of Interaction Tools was also the one who most related having elaborated the Business Plan.

Este artículo tiene como objetivo identificar predictores de la Transferencia de Entrenamiento, medida como la proporción de participantes que desarrollaron el plan de empresa al final del curso. La recopilación de datos se realizó mediante cuestionarios escaneados en tres ocasiones: a) en la mitad del curso, con la aplicación del cuestionario de Ambiente de Estudio y Procedimientos de Interacción, b) al final, el cuestionario de Estrategias de Aprendizaje, Reacción a los Procedimientos de Instrucción, Reacción al Desempeño del Tutor; c) después de su terminación, momento en el que el participante se preguntó si no había preparado el plan de negocios. Se realizaron análisis de regresión logística. Los resultados indicaron que los participantes que informaron de un uso más frecuente de la Estrategia para el Aprendizaje de Asistencia de la Búsqueda de Comportamiento Interpersonal y menor percepción de dificultad con el uso de Herramientas de Interacción es el más informado de haber preparado el Plan de Negocios.

Construção e validação de um instrumento para avaliar auto-eficácia em situações de treinamento, desenvolvimento e educação de pessoas / Development and validation of an instrument to assess self-efficacy in personnel training, development and education situations

Pesquisas desenvolvidas nas últimas décadas indicam a relevância de características individuais, como auto-eficácia, na explicação de efeitos de programas educacionais. Inúmeras medidas específicas de auto-eficácia foram elaboradas e validadas neste ínterim. Entretanto, estas escalas confundem-se com medidas que avaliam os efeitos de ações educacionais sobre o desempenho dos indivíduos. São raros os estudos que desenvolveram escalas gerais de auto-eficácia. O presente estudo relata o desenvolvimento de uma escala de auto-eficácia geral. O instrumento, composto por 15 itens, foi submetido à validação teórica e à validação empírica. Neste último processo, 1845 treinandos participaram da pesquisa, de forma que suas respostas foram submetidas a análises fatoriais exploratórias. Os resultados indicaram a validade, a precisão e a confiabilidade do instrumento de auto-eficácia desenvolvido.

Researches done in the last decades suggest the importance of individual characteristics, such as self-efficacy, to explain the effects of training programs. Several specific measures of self-efficacy were developed and validated. These scales are confounded with impact measures that evaluate post-training individual performance. Studies concerning the development of self-efficacy generic measures are still rare. This study reports the development of a self-efficacy generic scale. The instrument, made up of 15 items, was submitted to a theoretical validation as well as to an empirical validation. In this last validation process, 1845 trainees participated of the research. Their answers were submitted to exploratory factor analysis, and the results indicated the validity, precision, and reliability of the self-efficacy instrument which was developed.

Reação ao desempenho do tutor em um curso a distância: validação de uma escala / Reaction to tutor performance of distance course: validation of a scale

Pesquisas em avaliação de treinamentos a distância ainda são incipientes. O artigo pretende contribuir com a área ao validar estatisticamente o instrumento de Reação ao Desempenho do Tutor. O curso-alvo foi oferecido pelo SEBRAE para alunos do Brasil inteiro. A coleta de dados foi realizada ao final do curso por meio de questionário digitalizado. Os itens do instrumento estão associados uma escala do tipo Likert, de 11 pontos (0 - Nunca e 10 - Sempre), que mede a freqüência com que o tutor utiliza os comportamentos descritos ao longo do curso. Foram realizadas análises de Componentes Principais (PC) e Fatoriais (PAF) e de consistência interna (Alpha de Cronbach). A escala apresentou estrutura unifatorial: Desempenho do Tutor, com 27 itens, α=0,98, e cargas fatoriais variando de 0,69 e 0,88. Os resultados indicam que a escala é estatisticamente válida e confiável. (AU)

Researches on evaluation of distance training are still growing. This article intends to contribute on this area when statistically validate the instrument of Reaction to Tutor Performance. The evaluated curse was offered by SEBRAE to Brazilian students. The data collect was made at the end of the curse by questionnaires localized on web pages. The itens of questionnaire are associated to Likert scale of 11 points (0 - Never and 10 - Always), that measure the frequency with the tutor to use the described behaviors during the course. Have been made analyses of Principal Components (PC) and Factors (PAF) and Internal Consistency (Coefficient Alpha). After the statistical validate, the questionnaire present one factor: Tutor Performance, 27 questions, α=0,98, and factorial’s loads ranging 0,69 and 0,88. The results indicated that the scale is statistically valid and confiable. (AU)

Impactos individual e organizacional de treinamento: uma análise com base num modelo de avaliação institucional e na teoria multinível / Organizational and individual impacts of training: an analysis based on an institutional evaluation model and on the multilevel theory

O desafio deste estudo foi criar uma metodologia para verificar impactos de treinamentos nos comportamentos de indivíduos e de organizações, visando melhorar processos de planejamento, monitoramento e avaliação (PMeA) e compará-los com uma estratégia mais complexa, que incluía esses treinamentos e também outras atividades de desenvolvimento institucional. Utilizando um modelo de avaliação institucional, em que o componente "desempenho" seria uma função indireta dos componentes "ambiente", "capacidade" e "motivação", foram construídos e aplicados questionários em três amostras de respondentes: participantes e seus supervisores e colegas. Os impactos nos comportamentos dos indivíduos foram sistematicamente maiores que os organizacionais e ocorreram na seguinte ordem decrescente: motivação, capacidade, desempenho e ambiente. Treinamentos combinados com atividades de desenvolvimento institucional mostraram-se bastante mais efetivos do que treinamentos isolados. Os resultados encontrados são analisados à luz de modelos tradicionais de avaliação de treinamento, do modelo de avaliação institucional adotado e "da teoria multinível em organizações.

This study's challenge was to create a methodology to evaluate the impacts of trainings on individual and organizational behaviors, in order to improve the processes of planning, monitoring and evaluation (PM&E). It also aimed at comparing them with a more complex strategy, which included those trainings and also included other institutional development activities. Using a institutional evaluation model that included variables of environment, capacity, motivation and performance, the latter being an indirect function of the three former, questionnaires were developed and mailed to training participants, their supervisors and their colleagues. The individual impacts were systematically larger than the organizational ones. ln both cases, impacts occurred in the decreasing order of motivation, capacity, performance and environment. The combination of training with institutional development activities revealed to be much more effective than isolated training. Frameworks from traditional training evaluation models, from an institutional evaluation modei and from the multilevel theory are used for interpreting the findings.