Teste de Progresso em Consórcios para Todas as Escolas Médicas do Brasil / Consortia of Cross-Institutional Progress Testing for All Medical Schools in Brazil

RESUMO O Teste de Progresso é uma ferramenta de avaliação longitudinal do ganho de conhecimento de estudantes que tem sido aplicada no Brasil há mais de dez anos. O teste situa o estudante em seu processo evolutivo de ensino-aprendizagem e permite à instituição realizar o diagnóstico de suas deficiências ao longo da estrutura curricular. Ele pode ser utilizado pelos colegiados competentes para avaliação de alterações curriculares e avaliações específicas de disciplinas ou módulos de ensino. Com base na experiência de um consórcio de escolas, a Associação Brasileira de Educação Médica (Abem) propôs um projeto que tinha como um de seus objetivos incentivar escolas de todo o País a adotarem o Teste de Progresso como uma de suas ferramentas de avaliação. Reportamos a estratégia adotada para constituir núcleos interinstitucionais de avaliação com Teste de Progresso, bem como os resultados da primeira prova nacional do Teste de Progresso, que contou com a participação de 58 escolas e 23.065 estudantes. A implantação de núcleos interinstitucionais de Teste do Progresso com processos colaborativos de realização da prova representou um avanço para as escolas envolvidas. As escolas iniciaram um processo de colaboração não apenas para o Teste de Progresso, mas também para o intercâmbio de informações e experiências que trocam com base no conhecimento de cada uma. O projeto funcionou como o início de um movimento para que escolas médicas de todas as regiões do País adotem o Teste de Progresso como uma ferramenta de avaliação com potencial para reorientar a formação médica, ao fornecer um diagnóstico de formação em nível individual e institucional.

ABSTRACT Progress Testing has been applied in Brazil for more than ten years. It is a tool for longitudinal evaluation of students' knowledge across levels of training. The test situates the student in his evolutionary teaching-learning process and allows the institution to diagnose its deficiencies throughout the curricular structure. It can be used to evaluate curricular changes and specific assessments of disciplines or teaching modules. From the experience of a consortium of schools, the Brazilian Association of Medical Education (ABEM) proposed a project that aimed to encourage schools throughout the country to adopt Progress Testing as one of its evaluation tools. We report on the strategy adopted to establish interinstitutional evaluation nuclei with Progress Testing, as well as the results of the first national exam, administered by 58 schools to 23,065 students. The implantation of cross-institutional Progress Testing triggered collaborative processes among the schools involved. Schools have begun a collaborative process not only for the Progress Testing, but also for the exchange of information. The project served as the beginning of a movement for medical schools in all regions of the country to adopt Progress Testing as an assessment tool with the potential to reorient medical training by providing information regarding institutional and individual performances.

Avaliação de larga escala e da aprendizagem na escola: um diálogo necessário / Large-scale assessment classroom and school: a necessary dialogue / Evaluación en larga escala y del aprendizaje en la escuela: un debate necesario

O artigo apresenta e discute o debate teórico acerca das aproximações e afastamentos das avaliações de larga escala e da aprendizagem na escola. Parte-se do pressuposto que a avaliação voltada aos processos educativos deve considerar as diferentes perspectivas que cada uma dessas dimensões avaliativas envolve. O texto assinala a importância da avaliação de larga escala como possibilidade de diagnóstico educacional, de orientação de políticas públicas e indica também que a avaliação da aprendizagem, no contexto da sala de aula, pode apresentar análises mais profundas e mais consequentes para as práticas pedagógicas. No entanto, as autoras, indicando as diferentes lógicas que cada uma dessas avaliações envolve, procuram afirmar a importância de se considerar metodologias, procedimentos diferenciados em sala de aula e não uma repetição das avaliações de larga escala, como usualmente vem acontecendo em nossas escolas. Partindo de uma perspectiva histórica dos modelos de avaliação educacional o texto debate as dimensões avaliativas e discute a importância de a escola promover um diálogo entre elas e não reduzir a avaliação da aprendizagem, no contexto da sala de aula, ao uso dos procedimentos e instrumentos da avaliação de larga escala.

The article presents and discusses the theoretical debate about the approaches and distancing of the large-scale and assessment of learning. It's assumed that the assessment focused on the educational processes must consider the different perspectives that each one of these evaluative dimensions involves. The text highlights the importance of large-scale assessment as a possibility of educational diagnosis and orientation of public policies, and also indicates that the evaluation of learning in the context of the classroom can present deeper and more consistent analyzes for pedagogical practices. However, the authors, indicating the different logics that each one of these evaluations must involve affirm the importance to consider methodologies, differentiated procedures in classroom and not a repetition of large-scale assessment, like it usually happens in our schools. From a historical perspective of the educational assessment models, the text debates the evaluative dimensions and discusses the importance of the school to promote a dialogue among them and not to reduce the learning assessment to the usage of the large-scale assessment procedures and instruments.

El artículo presenta y discute el debate teórico acerca de las aproximaciones y alejamientos de las evaluaciones de larga escala, de la escuela y aprendizaje. Se supone que la evaluación que busca a los procesos educativos debe considerar a las diferentes perspectivas que cada una de estas dimensiones envuelve. El texto señala la importancia de la evaluación de larga escala como posibilidad de diagnóstico educacional y de orientación de políticas públicas, e indica también que la evaluación del aprendizaje, en el contexto del aula, puede presentar análisis más profundas y más consecuentes para las prácticas pedagógicas. No obstante, las autoras indicando las diferentes lógicas que cada una de estas evaluaciones envuelve, buscan afirmar la importancia de considerar a metodologías, procedimientos diferenciados en aula de clase y no una repetición de las evaluaciones de larga escala, como generalmente ocurre en nuestras escuelas. Partiendo de una perspectiva histórica de los modelos de evaluación educacional, el texto debate las dimensiones evaluativas y discute la importancia de la escuela promover un dialogo entre ellas y no reducir la evaluación de aprendizaje en el contexto del aula, al uso de los procedimientos e instrumentos de la evaluación a gran escala.

Del levantamiento de demandas y necesidades a la elaboración de un sistema de aseguramiento de calidad en la formación medica / About the obtainment of demands and needs to the development of a quality assurance system in medical training

Teniendo en cuenta que la evaluación en la FCM-UNA está expresada a través un conjunto de reglamentos y normativas que la reducen a un puro formalismo, y no existiendo políticas claras que otorguen un marco referencial a la evaluación; adquiere suma importancia el conocimiento de la percepción de los docentes sobre sus procesos evaluativos. Para abordar esta necesidad institucional y contribuir a su solución, hemos desarrollado una investigación cualitativa, con enfoque hermenéutico, de interés comprensivo/fenomenológico. La población de estudio la constituyen los docentes universitarios de la UNA; particularmente, la muestra está dada por los académicos de la FCM-UNA, por cuanto el objeto de estudio es la percepción de los docentes de la FCM-UNA sobre la evaluación de los logros de aprendizaje y el supuesto fundamental del problema es que la percepción en relación a la evaluación es distinta según la experiencia y nivel académico en que desarrollan su docencia. Por lo mismo, en este estudio se determinaron seis casos de estudio lo que sirve a los investigadores para aproximarse a los actores relevantes porque ilustran y permiten comprender la percepción de los docentes en relación a la evaluación de logros de aprendizaje. A partir del problema de investigación, se determinaron las dimensiones: concepto, objeto, modo, modalidad, propósito y evidencia de la evaluación de logros de aprendizaje, se organizan los ámbitos y se construyen los descriptores. Las técnicas elegidas por los investigadores y que se adecuan al propósito de esta investigación son: la observación y la entrevista semiestructurada. Se realiza la observación directa cumpliendo un propósito exploratorio, con el fin de identificar in situ algunas prácticas docentes. Para lograr la comprensión más profunda del problema se realizaron entrevistas con el fin de levantar, caracterizar, comprender, significar, interpretar y analizar el discurso de los docentes. Se efectúa el análisis de contenido subordinadas a la intención y al problema de investigación, siguiendo las diferentes etapas: Validación de los datos transcriptos y codificados; categorización de la información de observaciones y entrevistas; producción de conglomerados de significantes: matrices; y la interpretación de los resultados. La interpretación de la información permitió develar que no se evidencia reflexión crítica sobre el proceso de evaluación. La percepción que tienen de este proceso, pone de manifiesto que las posibilidades formativas de la evaluación se dejan de lado, a favor de un significado más bien métrico y acreditativo. Se evidencia el énfasis que hacen algunos docentes sobre las bondades de la evaluación formativa, pero en su práctica ha sido superada por la evaluación sumativa, con un desconocimiento sobre los verdaderos propósitos de la evaluación, no realizan retroalimentación. Atendiendo al propósito de la investigación se hacen recomendaciones y propuestas.

Given that the assessment in the FCM-UNA is expressed through a set of rules and regulations that reduce it to a mere formality, and not having clear policies that will provide a benchmark assessment framework; it becomes extremely important to know the perception of teachers on their evaluation processes. In order to approach this institutional need and contribute to the solution, we have developed a qualitative research, with a hermeneutic approach and comprehensive/phenomenological interest. The study population were university teachers of the UNA; particularly, the sample was consisted of the academics of the FCM-UNA, because the object of study is the perception of teachers of the FCM-UNA on the assessment of learning achievements and the fundamental postulation of the problem is that the perception in relation to the assessment it is different depending on experience and academic standards in developing their teaching. Therefore, in this study, six case studies have been determined which served researchers to approach relevant actors because they illustrate and allow to understand the perception of teachers in relation to the assessment of learning achievements. From the research problem, the dimensions determined were: concept, object, way, modality, purpose and evidence of the assessment of learning achievement, the areas are organized and descriptors are built. The techniques used by researchers that suit the purpose of this research are: observation and semi-structured interview. Direct observation was performed by following an exploratory purpose, in order to identify on-site some teaching practices. To achieve a deeper understanding of the problem interviews were conducted in order to collect, characterize, understand, signify, interpret and analyze the speech of teachers. Content analysis is carried out, subordinated to the intent and to the research problem, following different stages: Validation of transcripts and coded data; categorization of information of observations and interviews; production of conglomerates of significants: matrixes; and the interpretation of results. The interpretation of data allowed revealing that no critical reflection on the evaluation process is evident. The perception of this process shows that the educational possibilities of evaluation are put aside in favor of a rather metric and certifying meaning. The emphasis made by some teachers about the benefits of formative assessment is evident, but in practice has been overtaken by the summative evaluation, with ignorance about the real purposes of evaluation, they do not perform feedback. Considering the purpose of the research, recommendations and proposals are made.

A avaliação da aprendizagem a distância: um estudo em representações sociais / Evaluation of distance learning: a study in social representations

Este estudo consiste em um relato de pesquisa sobre a avaliação da aprendizagem na modalidade a distância. Optou-se pelo suporte teórico-metodológico da Teoria das representações sociais explicitada por Moscovici (1978, 2003), Jodelet (2011) Abric (2001) e Sá (2002). Tem como objetivo identificar as representações sociais que os alunos de pedagogia a distância de uma universidade mineira estão construindo sobre a avaliação da aprendizagem. Os procedimentos de coleta de dados incluíram a aplicação de um questionário, com questões abertas e outras formuladas de acordo com a escala Likert; a técnica de associação livre de palavras, tratadas pelo software Evoc, que busca identificar nas representações sociais os elementos centrais e periféricos; e a realização de grupos focais. Participaram da pesquisa 212 alunos concluintes do curso de pedagogia a distância dos polos Triângulo (Araxá, Uberaba, Uberlândia); Espírito Santo (Cariacica, Colatina) e Regional Triângulo Mineiro (São Gotardo). De acordo com as análises realizadas, foi possível verificar que o projeto pedagógico do curso prevê uma avaliação processual e formativa. Os dados demonstram também que os alunos estão construindo diferentes representações sobre a avaliação a distância. Possivelmente, essas representações estão ancoradas em sentimento que denota ser a avaliação: “uma atividade de aprendizagem e conhecimento” (53%); “adequada que permite a realização de um curso a distância, porém exige dedicação e persistência” (20%); “complexa, rigorosa, tradicional, classificatória e que não mede conhecimentos” (27%).

This study consists of a research report on the evaluation of a distance learning course. We chose theoretical and methodological supports of Social Representation Theory explained by Moscovici (1978, 2003), Jodelet (2011), Abric (2001) and Sá (2002). Its objective is to identify the social representations that students of a distance learning course of University of Minas Gerais in Brazil are constructing on their evaluation of learning. The procedures for data collection included the use of a questionnaire with open questions and others formulated according to Likert scale; the technique of free association of words by Evoc software, which tries to identify social representations of central and peripheral elements, and the organization of focus groups. 212 graduating students of the pedagogy distance learning course participated in the research of the School of Education of the Minas Triangle (Araxá, Uberaba, Uberlândia), Espírito Santo (Cariacica, Colac) and Minas Triangle region (São Gotardo). According to the analysis performed, we found that the pedagogical project of the course provides a procedural and formative assessment. The data also show that students are constructing different representations of distance learning. Possibly these representations are anchored in the idea that the evaluation is “an activity of learning and knowledge” (53%), “an adequate activity for a distance course, but it requires dedication and persistence” (20%); “complex, rigorous, traditional, classificatory, but it does not measure knowledge” (27%).