Construção e validação de um instrumento de avaliação de cursos na modalidade a distância / Construction and validation of an evaluation instrument for distance learning courses / Construcción y validación de un instrumento de evaluación para cursos a distancia

RESUMO

Objetivos: construir, validar e aplicar um instrumento de avaliação de cursos de nível superior ofertados na modalidade a distância. Método: estudo metodológico. Para a elaboração do instrumento realizou-se revisão de literatura. A validação do pré-teste se deu pela triangulação de especialistas e a do conteúdo pelo Método Delphi. Para a análise da confiabilidade adotou-se a análise fatorial confirmatória e o coeficiente de Correlação de Spearman a partir da aplicação em dois cursos a distância. Resultados: a partir de onze referenciais (nacionais e internacionais) foram estratificados 70 critérios e agrupados em seis categorias que foram modificados na triangulação. Dois ciclos compuseram a Técnica Delphi com 17 especialistas inicialmente e alfa de Cronbach de 0,80 na segunda rodada. Na análise fatorial confirmatória, realizada com 221 participantes, inicialmente, não gerou índices satisfatórios, resultando na exclusão de questões. O novo modelo ajustado, produziu índices próximos aos ideais CFI = 0,806; TLI = 0,770 e RMSEA = 0,088 com associação positiva entre as variáveis, e melhor média (p<5%) quanto à correlação entre os aspectos práticos e a indicação do curso pelos discentes. Conclusão: o estudo produziu um instrumento validado e com a confiabilidade aferida que pode ser aplicado em cursos com diferentes desenhos pedagógicos e não se limita a uma área específica, uma relevante contribuição para a educação superior.

ABSTRACT

Objectives: To construct, validate and apply an instrument of evaluation of higher education courses offered in distance learning modality. Method: Methodologi- cal study. For the elaboration of the instrument, a literature review was carried out. The pre-test was validated by expert triangulation and the content was validated by the Delphi Method. For the reliability analysis we adopted the confirmatory factor analysis and Spe- arman's Correlation coefficient from the application in two distance learning courses. Re- sults from eleven references (national and international) 70 criteria were stratified and grouped into six categories that were modified in the triangulation. Two rounds compri- sed the Delphi Technique with 17 experts initially and Cronbach's alpha of 0.80 in the second round. The confirmatory factor analysis, performed with 221 participants, did not initially generate satisfactory indexes, resulting in the exclusion of questions. The new adjusted model produced close to ideal indexes CFI = 0.806; TLI = 0.770 and RMSEA regarding the correlation between practical aspects and students' recommendation of the course. Conclusion: the study produced a validated instrument with gauged reliability that can be applied in courses with different pedagogical designs and is not limited to a spe- cific area, a relevant contribution to higher education.

RESUMEN

Objetivos: Construir, validar y aplicar un instrumento de evaluación de cur- sos de educación superior ofrecidos en la modalidad a distancia. Método: Estudio meto- dológico. Para la elaboración del instrumento se realizó una revisión bibliográfica. El pre- test fue validado por triangulación de expertos y el contenido fue validado por el Método Delphi. Para el análisis de fiabilidad adoptamos el análisis factorial confirmatorio y el coeficiente de correlación de Spearman a partir de la aplicación en dos cursos a distancia. Resultados: a partir de once referencias (nacionales e internacionales) se estratificaron 70 criterios que se agruparon en seis categorías que se modificaron en la triangulación. Se realizaron dos rondas con la técnica Delphi con 17 expertos inicialmente y un alfa de Cronbach de 0,80 en la segunda ronda. El análisis factorial confirmatorio, realizado con 221 par-ticipantes, no generó inicialmente índices satisfactorios, lo que dio lugar a la ex- clusión de preguntas. El nuevo modelo ajustado produjo índices cercanos al ideal CFI = 0,806; TLI = 0,770 y RMSEA = 0,088 con una asociación positiva entre las variables, y una media mejor (p<5%) en cuanto a la correlación entre los aspectos prácticos y la re- comendación del curso por parte de los alumnos. Conclusión: el estudio produjo un ins- trumento validado con confiabilidad medida, que puede ser aplicado en cursos con dife- rentes diseños pedagógicos y no se limita a un área específica, una contribución relevante para la educación superior.