Construction of dynamic assessment system for practice base of professional master's degree in clinical medicine / 中华医学教育探索杂志

Objective@#To construct the dynamic assessment system for practice base of professional master's degree in clinical medicine.@*Methods@#The teaching managers, clinical experts, postgraduate tutors and postgraduates of seven tertiary general hospitals with standardized training qualifications for residents in Hunan province were selected. Using the literature review and site investigation, we drafted the framework and score-factor of the dynamic assessment indicator system and adopted the percentage system to construct the assessment system.@*Results@#We interviewed and discussed with 28 teaching managers, 21 clinical experts, 35 graduate tutors and 112 graduate students; the response rate of all interviewees was 100%. The dynamic assessment system was composed of 4 first-level indicators and 20 second-level indicators; the score-factor of the primary indicator was 25%, and the score-factor of the secondary indicator was 5%.@*Conclusion@#The established dynamic assessment system has reasonable indicators and strong operability, and can provide useful reference.

'Método de evaluación dinámica automatizado' de competencias lectoras para educación secundaria (EdiLEC) / Method of Automated Dynamic Assessment of reading literacy for Secondary Education (EdilLEC)

Se presenta un nuevo método de evaluación dinámica de la competencia lectora automatizado para educación secundaria (EdiLEC). Su diseño se ajusta al marco teórico propuesto por el Informe PISA-2009 (OCDE, 2010) y los principios de la evaluación dinámica (Sternberg & Grigorenko, 2002). Esta herramienta electrónica proporciona automáticamente mensajes de retroalimentación adaptados a cada individuo sobre el proceso y ejecución a lo largo de la prueba, añadiendo a los resultados de la evaluación tradicional de la competencia lectora la posibilidad de explorar las potencialidades de aprendizaje del estudiante. El método ha sido baremado con una muestra de 1008 estudiantes de entre 11 y 14 años. Los resultados muestran que consta de propiedades psicométricas de fiabilidad, homogeneidad y validez satisfactorias.

A new method to evaluate students' reading literacy, the Method of Dynamic Assessment for Secondary Education (EdilLEC) is presented. EdilLEC is based on PISA assessment framework and the principles of dynamic assessment. In a computer-based environment, automatically provides adaptive intervention elements (feedback and user's aids), in order to add to the reading literacy traditional assessment the possibility to explore the potential of student's learning. The method has been standarized with a sample of 1008 students between 11 and 14 years of aged. Conclusions: The results show satisfactory psychometric properties of reliability, validity and homogeneity.

Construction of dynamic assessment system for clinical medicine master degree tutors of local medi-cal colleges / 中华医学教育探索杂志

Based on the idea of science, feasibility, development and characteristics; and the poli-cies or regulations of our country, we try to discourse the dynamic assessment system of clinical medicine master degree tutors from the assessment aim, assessment objects, annual evaluation, assessment content, assessment indicators and scoring criteria, and the results of the assessment and treatment. We hope our works can provide some constructive insights for the construction and development of dynamic assessment system on tutors.

Employment of Item Response Theory to measure change in Children's Analogical Thinking Modifiability Test / Emprego da Teoria de Resposta do Item para medida de mudança no Children's Analogical Thinking Modifiability Test

Dynamic testing, with an intermediate phase of assistance, measures changes between pretest and post-test assuming a common metric between them. To test this assumption we applied the Item Response Theory in the responses of 69 children to dynamic cognitive testing Children's Analogical Thinking Modifiability Test adapted, with 12 items, totaling 828 responses, with the purpose of verifying if the original scale yields the same results as the equalized scale obtained by Item Response Theory in terms of "changes quantifying". We followed the steps: 1) anchorage of the pre and post-test items through a cognitive analysis, finding 3 common items; 2) estimation of the items' difficulty level parameter and comparison of those; 3) equalization of the items and estimation of "thetas"; 4) comparison of the scales. The Children's Analogical Thinking Modifiability Test metric was similar to that estimated by the TRI, but it is necessary to differentiate the pre and post-test items' difficulty, adjusting it to samples with high and low performance...

Provas assistidas, com fase intermediária de ensino, medem mudanças entre pré-teste e pós-teste pressupondo uma métrica comum entre eles. Para testar este pressuposto, aplicou-se a Teoria de Resposta ao Item nas respostas de 69 crianças à prova cognitiva assistida Children's Analogical Thinking Modifiability Test adaptada, com 12 itens, totalizando 828 respostas, para verificar se a escala original produzia os mesmos resultados em termos de quantificação de mudança que a escala equalizada obtida via Teoria de Resposta ao Item. Seguiram-se os passos: 1) ancoragem dos itens de pré e pós-teste, por uma análise cognitiva, encontrando-se três itens em comum; 2) estimação do parâmetro de dificuldade dos itens e comparação destes; 3) equalização dos itens e estimação dos "thetas"; 4) comparação das escalas. A métrica do Children's Analogical Thinking Modifiability Test foi semelhante à estimada pela Teoria de Resposta ao Item, mas é preciso diferenciar a dificuldade dos itens de pré e pós-teste, adequando-o a amostras com alto e baixo desempenho...

Desempenho de crianças com e sem necessidades especiais em provas assistidas e psicométricas / Children's performance with and without special needs in dynamic and in psychometric testing

Provas cognitivas assistidas, que incluem auxílio do examinador, analisam o processo de resolução de problemas e o potencial de aprendizagem, complementando a avaliação psicométrica tradicional. São úteis especialmente para casos de necessidades educativas especiais (NEE). Este estudo analisou relações entre o desempenho de crianças, com e sem necessidades de educação especial (NEE), em três provas assistidas e duas psicométricas, entre o perfil de desempenho nas provas assistidas e variáveis de status (gênero, escolaridade e NEE). Foram analisados 256 resultados de provas assistidas e 228 psicométricas, obtidos em seis pesquisas, com 228 crianças (125 meninas), com 5-12 anos (M = 8 anos e 6 meses), cursando da Educação Infantil ao Ensino Fundamental (três em classe especial) e apresentando: dificuldade de aprendizagem (63), deficiência visual (6), nascidas prematuras e com baixo peso (38), prematuras e com muito baixo peso (30) e sem NEE (91); nas provas psicométricas, as classificações no Columbia-EMC (69 aplicações) concentraram-se em Média-Inferior (40,5%) e Média (33,3%) e no Raven-MPC (159 aplicações), nas faixas Intelectualmente na Média (45,2%) e Definidamente Acima da Média (23,9%). Quanto às provas assistidas (256 aplicações) - Jogos de Perguntas de Busca com Figuras Geométricas (154 aplicações) e com Figuras Diversas (34 aplicações) e Children's Analogical Thinking Modifiability Test (68 aplicações) predominou o perfil Ganhador (55,8%), seguido do perfil Ganhador Dependente da Assistência (16,8%), Não Mantenedor (14%) e Alto Escore (13,3%). Não houve associações significativas entre o desempenho nas provas assistidas e psicométricas, confirmando-se a proposição de complementaridade dessas metodologias avaliativas, especialmente para crianças com problemas no desenvolvimento.

Assisted cognitive tests, that include assistance from an examiner, analyze the process of problem solving and the learning potential, complementing traditional psychometric assessment. They are especially useful for cases of special educational needs (SEN). This study analyzed the relationship between the performance of children with and without special needs, in three assisted and two psychometric tests, and between the performance profile in assisted tests and status variables (gender, education and SEN). Results of 256 assisted tests and 228 psychometric tests were analyzed, those obtained in six studies, that counted with 228 children (125 girls) with 5-12 years (M = 8 years and 6 months), enrolled from kindergarten to elementary school (three in special class) and stating: learning disability (63), visual impairment (6), premature birth and low body weight (38), premature birth and very low body weight (30) and without SEN (91). In psychometric tests, the ratings at Columbia-EMC (69 applications) were mostly Medium-lower (40.5%) and Medium (33.3%) and in Raven-MPC (159 applications), Intellectually on the Average (45.2%) and Definitely Above Average (23.9%). As for assisted tests (256 applications) - Search Question's Game with Geometric Figures (154 applications) and with General Figures (34 applications) and the Children's Analogical Thinking Modifiability Test (68 applications) predominated the profile Winner (55.8%), followed by the profile Winner Dependent on Assistance (16.8%), No Maintainer (14%) and High Score (13.3%). There were no significant associations between performance on psychometric and assisted tests, confirming the proposition of complementarity of these assessment methodologies, especially for children with development problems.

Avaliação assistida em crianças com problemas de comunicação e de aprendizagem em contexto de intervenção / Dynamic assessment in children with communication problems and learning disabilities in intervention context / Avaluación asistida en niños con problemas de comunicación y aprendizaje en contexto de intervención

A inclusão escolar tem demandado novas formas de avaliar os processos de aprendizagem de crianças com necessidades educativas especiais ou dificuldades de aprendizagem (DA). As contribuições da avaliação assistida para essa área foram apresentadas neste trabalho que reuniu dados de dois estudos feitos com crianças de 8 a 12 anos de idade, sendo 7 com déficits (leve a severo) nas habilidades de linguagem e comunicação, usando-se o Children’s Analogical ThinkingModifiability Test (CATM) adaptado, antes e após intervenção com Sistema Computadorizado de Comunicação Alternativa e Ampliada (CAA), e 34 alunos com DA, pelo Jogo de Perguntas de Busca com Figuras Diversas (PBFD), antes e após programa de promoção da criatividade. Também foram aplicadas provas cognitivas psicométricas, observando-se baixo desempenho. Contudo, todas as crianças apresentaram ganhos entre o pré e pós-teste. Os dados mostram que a modalidade assistida de avaliação é prescritiva e sensível para avaliar os efeitos de programas para essa população.

Dynamic assessment in children with communication problems and learning disabilities in intervention contextThe school inclusion has required new ways of evaluating the learning processes of children with special educational needs or learning disabilities (LD). The contributions of dynamic assessment for this area were presented in this study that gathered data from two studies with children 8-12 years of age, 7 with deficits (mild to severe) in the skills of language and communication, using the Children’s Analogical Thinking Modifiability Test (CATM) adapted, before and after intervention with computerized system of Alternative and Augmentative Communication (AAC), and 34 students with LD, by the Constraint-Seeking Questions Game with Several Figures (CSQ-SF) before and after program to promote creativity. Also cognitive psychometric tests were applied, observing poor performance. However, all children showed gains between pre and post-test. The data show that the dynamic assessment is prescriptive and sensitive to evaluate the effects of programs for this population.

La inclusión escolar ha requerido nuevas maneras de evaluar los procesos de aprendizaje de los niños con necesidades especiales o dificultades de aprendizaje (DA). Las contribuciones de la evaluación asistida para esta área se presentaron en este estudio que recogió datos de dos estudios con niños de 8-12 años de edad, 7 con los déficit (de leve a grave) en las habilidades de lenguaje y comunicación, usando lo Children’s Analogical Thinking Modifiability Test (CATM) adaptado, antes y después de la intervención con el sistema computadorizado de Comunicación Aumentativa y Alternativa (CAA), y 34 estudiantes con el DA, con lo Juego de Preguntas de Busca con Figuras Diversas (PBFD) antes y después del programa de promoción de la creatividad. Pruebas psicométricas también cognitivas se aplicaron, y se observó un rendimiento deficiente. Sin embargo, todos los niños mostraron beneficios entre el pre y post-test. Los datos muestran que de la evaluación asistida es prescriptiva y sensible para evaluar los efectos de los programas para esta población.

Comportamentos afetivo-motivacionais durante avaliação assistida por crianças com dificuldades de aprendizagem: uma proposta de categorização / Affective-motivacional behaviors during dynamic assessment of children with learning disabilities: a proposal of categorization

A presente pesquisa objetivou construir um sistema de categorias de comportamentos observáveis de crianças com dificuldade de aprendizagem (DA), relacionado aos fatores afetivo-motivacionais, exibidos durante uma prova cognitiva de modalidade assistida. Observou-se e registraram-se os comportamentos de 10 crianças (8-10 anos) com DA, registradas em vídeo, executando uma prova assistida. Para registro cursivo desses comportamentos infantis, escolheu-se aleatoriamente uma fita por vez de 34 vídeos da atividade sendo realizada por 34 crianças até a repetição de comportamentos infantis e a diminuição da variabilidade comportamental nas situações observadas, totalizando 10 crianças observadas. Definiu-se 20 categorias, divididas em Facilitadoras e Não facilitadoras do desempenho, como Demonstrar impulsividade, Dar feedback e Pedir orientação. O nível de concordância foi calculado entre três juízes. Os resultados mostraram que 10 categorias alcançaram índices de fidedignidade acima de 70 por cento entre pelo menos dois juízes. Estas categorias são indicadas para avaliação dos aspectos afetivo-motivacionais em avaliação assistida, tais como Corrigir pergunta/resposta após dica/ajuda, Demonstrar querer interromper a tarefa e Reclamar/responder/ atender solicitação. Estudos futuros são sugeridos a fim de testar a aplicabilidade das categorias com baixos índices de concordância.

This research aimed to build a set of observed behaviors categories of children with learning disability related to affective-motivational factors exhibited during dynamic assessment. Ten children with learning disabilities aged 8-10 years old were videotaped while performing a dynamic testing and observation reports of these videotapes were made. In order to register these children behavior, one tape at a time was randomly chosen from 34 videotapes, which showed the task being performed by 34 children, until the moment when the behaviors started to repeat and the behavioral variability started to decrease, concluding 10 children observed. Twenty categories were defined, divided into Facilitating and Non-facilitating of child performance, for example: Showing impulsivity, Giving feedback, Asking for help. The level of agreement was calculated among three examiners. The results showed that 10 categories assessed by at least two examiners reached reliability of ratings higher than 70%. These categories are indicated to assess affective-motivational aspects in dynamic assessment, such as Correcting question/answer after hint/help; Showing willingness in stopping the task; and Complaining about answering/meeting requests. Future studies are suggested to test the applicability of the categories with low agreement ratings.

Avaliação assistida e comunicação alternativa: procedimentos para a educação inclusiva / Dynamic assessment and augmentative and alternative communication: procedures for inclusive education

As pesquisas sobre a avaliação assistida vêm delineando um campo promissor dada as suas características inovadoras que a distinguem de uma avaliação tradicional, favorecendo a população que apresenta dificuldades no processo de aprendizagem ou em situação de desvantagem social. Crianças que necessitam de recursos alternativos para a linguagem expressiva constituem um significativo grupo que pode se beneficiar de uma avaliação diferenciada. Neste estudo, participaram sete crianças com necessidades especiais em situação de avaliação assistida, utilizando o Children's Analogical Thinking Modifiability Test-CATM, acrescida da avaliação psicométrica, realizada pelos testes Raven, Columbia e Peabody, estes últimos em versão computadorizada, antes e após intervenção com sistema de Comunicação Alternativa e Ampliada-CAA. Além dos processos de pensamento, foram considerados aspectos não estritamente cognitivos, mas de grande importância: reação da criança ao contexto de avaliação e ao tipo de tarefa, variáveis pessoais e situacionais como motivação e fadiga, além da acessibilidade à mediação. Tais variáveis foram sistematizadas em categorias cognitivas, comportamentais e afetivo-motivacionais nos contextos de ensino e intervenção, compondo um mosaico de indicadores sobre o perfil da amostra nas diferentes etapas do estudo. Apesar da situação de avaliação - tradicional e assistida - ter se configurado como cansativa, foi possível identificar as operações e disfunções cognitivas nas provas tradicionais e assistida e na intervenção, além de fatores não-intelectuais que afetaram o desempenho, delineando um perfil intragrupo de aprendizagem na resolução de problemas. A avaliação assistida é reconhecidamente uma relevante ferramenta de diagnóstico psicológico, complementar à abordagem psicométrica tradicional, para crianças com déficits comunicativos.

Research on dynamic assessment points to a promising field where its innovative features differ from traditional assessment by favoring the population that presents challenges in the learning processes or who present socially disadvantaged conditions. Children who need alternative resources for expressive language constitute a significant group that can be benefited from assessment tailored to their needs. In this study, seven children with special needs (communication problems) took part in a dynamic assessment situation using Tzuriel and Klein's Children's Analogical Thinking Modifiability Test (CATM), in order to complete the psychometric assessment carried out by Raven, Columbia and TVIP tests. The latter was a computerized version, applied before and after intervention with an Augmentative and Alternative Communication (AAC) system. Besides the thought processes, other not specifically cognitive aspects of great importance were considered: the child's reaction to the assessment situation and the kind of task put before, personal and situational variables such as motivation and fatigue, as well as accessibility to the mediation strategies. Such variables were systematized in cognitive, behavioral and affective-motivational categories in the teaching and intervention contexts compounding a mosaic of indicators about the characteristics of children with communicative deficits at different stages of the study. Even though the assessment conditions - traditional and dynamic - were tiring for the children, we were able to identify the operations and cognitive dysfunctions both in the traditional tests and in the dynamic testing, as well as in the intervention. Furthermore, affective-motivational and behavioral factors were shown to affect performance, composing an intra-group learning profile for problem solving. Thus, the study demonstrated that dynamic assessment can be an important tool for psychological diagnosis, complementing traditional...