Delineamentos intrassujeitos na avaliação de práticas psicoeducacionais baseadas em evidência / Modelos intrasujetos en la evaluación de prácticas psicoeducativas basadas en evidencia / Within subject designs in the evaluation of evidence based psychoeducational practices

RESUMO Em diversos países, a educação baseada em evidências (EBE) ocupa um papel central na tomada de decisões acerca dos processos e procedimentos educacionais. No Brasil, a EBE ainda não é muito difundida na educação, mas dado o aumento gradual de publicações e organizações relacionadas a esta temática e dada a sua importância no cenário educacional internacional, é esperado que esta prática passe a ser mais discutida no país, especialmente pelos profissionais que trabalham na interseção entre a psicologia e a educação. Tendo por base o processo de tomada de decisão da EBE, mais especificamente, a necessidade de avaliação sistemática das intervenções educacionais e, tendo como corpo teórico-conceitual a análise do comportamento, os objetivos deste artigo são (a) apresentar como as formas de avaliação diagnóstica e formativa propostas pela análise do comportamento se relacionam a formas tradicionais de implementar avaliações de práticas psicoeducacionais e (b) demonstrar a importância dos delineamentos intrassujeitos como forma de avaliação e monitoramento de intervenções psicoeducacionais na busca por decisões que levem à EBE a partir da literatura da área. As análises realizadas neste manuscrito permitem a conclusão de que delineamentos intrassujeitos podem ser utilizados como avaliações na prática educacional como produtores de evidência.

RESUMEN En diversos países la educación basada en evidencias (EBE) ocupa un papel central en la toma de decisiones acerca de los procesos y procedimientos educativos. En Brasil, la EBE aún no es muy difundida en la Educación, pero dado un aumento gradual de publicaciones y organizaciones relacionadas con esta temática y dada su importancia en el escenario educativo internacional, se espera que esta práctica pase a ser más discutida en el país, especialmente por los profesionales que trabajan en la intersección entre la Psicología y la Educación. En base al proceso de toma de decisión de la EBE, más específicamente, la necesidad de evaluación sistemática de las intervenciones educativas y, teniendo como cuerpo teórico-conceptual el Análisis de la Conducta, los objetivos de este artículo son (a) presentar como las formas de la evaluación diagnóstica y formativa propuestas por el Análisis de la Conducta se relacionan con formas tradicionales de implementar evaluaciones de prácticas psicoeducativas y (b) demostrar la importancia de los modelos intrasujetos como forma de evaluación y monitoreo de intervenciones psicoeducativas en la búsqueda de decisiones que lleven a la EBE a partir de la literatura del área. Las analices realizadas en este manuscrito permiten la conclusión de que modelos intrasujeto pueden ser utilizados como evaluaciones en la práctica educativa como productores de evidencia.

ABSTRACT In many countries evidence-based education (EBE) plays a central role in decision making regarding educational processes and procedures. In Brazil, EBE is still not widespread in Education, but given the gradual increase in publications and organizations related to this topic, and given its importance in the international educational scenario, it is hoped that this practice be more intensely discussed in the country, especially by professionals working in the intersection between Psychology and Education. Based on the decision making process of EBE, more specifically, on the need for a systematic evaluation of educational interventions, and having Behavior Analysis as theoretical and conceptual basis, this article has the goal of (a) presenting how the diagnostic and formative evaluations proposed by the Behavior Analysis are related to traditional ways of implementing the evaluations of psychoeducational practices and (b) demonstrating the importance of intra-subject designs as a way of evaluating and monitoring psychoeducational interventions in the quest for decisions that lead to EBE, having the published literature as its basis. The analysis made throughout this manuscript led to the conclusion that intra-subject designs can be used as evaluations in the educational practice as evidence producers.

Avaliação de repertórios de contar e recontar histórias em crianças / Assessing story production and retelling repertoires in children / La evaluación de los repertorios de contar y de volver a contar historias en niños

Resumo Os estudantes brasileiros apresentam um dos piores desempenhos em tarefas de compreensão de textos em avaliações como o Programa Internacional de Avaliação de Alunos (PISA), o que sugere que procedimentos específicos devem ser desenvolvidos para remediar seus déficits. O desenvolvimento desses procedimentos, por sua vez, requer uma avaliação sistemática de repertórios relacionados ao contar e recontar histórias, para que se identifiquem objetivos de ensino específicos e individualizados. Este estudo avaliou as habilidades de contar e recontar histórias de crianças, bem como alguns de seus pré-requisitos, por meio de um conjunto de testes padronizados e de tarefas elaboradas para a avaliação destas habilidades. Os desempenhos foram analisados de acordo com características macro e microestruturais da linguagem. Os dados mostram que as tarefas foram eficazes na caracterização dos repertórios de contação e recontagem de histórias, fornecendo dados suficientes para a formulação de programas de ensino individualizado.

Abstract Brazilian students had one of the worst performances in reading comprehension tasks in assessments such as the Programme for International Student Assessment (PISA), which suggests that specific procedures should be designed to remediate their deficits. This, in turn, requires a systematic evaluation of repertoires related to storytelling and retelling, so that specific and individualized teaching goals can be targeted. This study assessed children storytelling and retelling skills, as well as some of their prerequisites, through a set of standardized tests and tasks developed to evaluate these skills. Performance was analyzed according to linguistic macro and microstructures. Data show that the tasks were efficient in characterizing storytelling and retelling repertoires, providing enough data to design individualized teaching programs.

Resumen Estudiantes brasileños tienen un de los peores rendimientos en tareas de comprensión de lectura en evaluaciones como el Programa Internacional de Evaluación de los Alumnos (PISA), lo que sugiere que se deben desarrollar procedimientos específicos para la remediación de esos déficits. El desarrollo de esos procedimientos, a su vez, requiere una evaluación sistemática de repertorios relacionados con contar y volver a contar historias, con el fin de identificar objetivos educativos específicos e individualizados. Eso estudio evaluó la capacidad de contar y volver a contar historias de los niños, así como algunos de sus requisitos previos, a través de una serie de testes estandarizados y tareas diseñadas para evaluar esas habilidades. Los rendimientos fueron analizados de acuerdo a las características macro y microestructurales de idioma. Los datos muestran que las tareas propuestas fueron eficaces en la caracterización de los repertorios de contar y volver a contar historias, proporcionando datos suficientes para formular programas de aprendizaje individualizados.

Effects of picture prompts on story retelling performance in typically developing children / Efeitos de dicas visuais no desempenho de recontagem de histórias em crianças com desenvolvimento típico

Telling and retelling stories and facts are behavioral repertoires that are constantly recruited in social situations, no matter if these situations occur at school, with the family, or at leisure times. This study aimed at systematically evaluating if 11 first graders (age range six to seven), would perform better in retelling tasks when pictorial prompts were presented. Dependent variables were (a) number of story categories inserted in the retelling tasks and (b) number of retold words per story. The independent variable was the presentation of visual prompts during story retelling tasks. Results indicated that visual prompts did not result in consistent increase in performance when the number of story categories inserted was analyzed. Additionally, there was no consistent increase in the number of words retold when pictures were presented. Future studies should investigate whether repeated exposure to stories would result in a significant change in performance. (AU)

Contar e recontar histórias e fatos são repertórios comportamentais constantemente necessários em situações sociais, sejam estas escolares, familiares, ou de lazer. Este estudo buscou avaliar sistematicamente se 11 alunos de primeira série (idades entre seis e sete anos) teriam melhor desempenho em tarefas de recontagem de histórias quando dicas visuais eram apresentadas. As variáveis dependentes foram (a) número de categorias de história inseridas nas tarefas de recontagem e (b) número de palavras recontadas por história. A variável independente foi a apresentação de dicas visuais (figuras) nas tarefas de recontagem. Os resultados indicaram que dicas visuais não resultaram em melhora de desempenho quando o número de categorias de história foi analisado. Também foi verificado que não houve aumento consistente no número de palavras recontadas quando as figuras foram apresentadas. Estudos futuros devem investigar se a reexposição a histórias resultaria em uma mudança significativa no desempenho. (AU)

Efeitos de um programa de ensino de discriminação de categorias estruturais implícitas de histórias em crianças / Effects of a teaching program on the discrimination of implicit story categories in children

Pesquisas mostram a importância de se identificar categorias estruturais na formação de um repertório efetivo de contação de histórias. Consequentemente, procedimentos de ensino de identificação destas categorias vêm sendo desenvolvidos. O objetivo do presente manuscrito, o qual consiste em dois estudos, foi investigar os efeitos de um procedimento de ensino de identificação de categorias de histórias em 12 crianças (seis em cada estudo), com idades entre oito e 12 anos. Foi empregado um delineamento de sondas múltiplas, caracterizado pela avaliação do desempenho de cada participante antes e após o ensino de cada categoria. O ensino foi dividido em duas etapas, descrição e identificação de cada categoria, nas quais foram apresentadas instruções orais e escritas, assim como diferentes histórias. Em ambos os estudos, o procedimento resultou na aprendizagem de todas as categorias pelos participantes. Os estudos contribuem com a literatura acerca do ensino da discriminação de categorias estruturais de histórias...

Research has shown the importance of identifying story structure categories in the development of an effective storytelling repertoire. Consequently, procedures that aim at teaching the identification of those categories have been developed and tested. The purpose of the present manuscript, which encompasses two studies, was to assess the effects of a teaching procedure for story category identification in 12 children (six in each study), ages ranging from eight to 12 years. A multiple probe design, which is comprised by probes of participants' performance before and after each category teaching, was used. Teaching sessions were divided in two phases - description and identification of each category - which consisted in the presentation of oral and written instructions and different stories. In both studies, the procedure yielded the learning of all categories by every participant. The studies contribute to the literature on teaching story structure category discrimination...

Avaliação de um procedimento de ensino de categorias estruturais de histórias / Evaluation of a procedure for structural categories of stories / Evaluación de un procedimiento de enseñanza de categorías estructurales de historias

Compreender e narrar histórias são comportamentos social e academicamente relevantes, porém as comunidades verbais responsáveis pela instalação desses comportamentos não têm enfatizado o ensino de sua estrutura. O objetivo deste estudo foi avaliar os efeitos de um procedimento de ensino de categorias estruturais de histórias sobre a discriminação de seus elementos definidores em novas histórias. Participaram oito crianças, duas meninas e seis meninos, com idades entre seis e oito anos. Foi empregado um delineamento de linha de base múltipla entre categorias, o que requereu a avaliação de todas as categorias antes do início da fase de ensino e após o ensino de cada categoria. O ensino foi dividido em duas fases: Definição de categoria e Identificação de categoria. O procedimento mostrou-se eficiente para o ensino de categorias estruturais de histórias e para favorecer a discriminação dos elementos definidores das categorias em novas histórias.

Understanding and telling stories are behaviors socially and academically relevant. However, in establishing these behaviors the verbal communities usually do not emphasize the teaching of their structure. The purpose of this study was to assess the effects of a story structure by teaching procedure on the discrimination of its defining elements in new stories. Eight children, six boys and two girls, ages ranging from six to eight years, participated in the project. A multiple baseline across categories was used and this required the assessment of all categories prior to the beginning of the teaching phase and after the teaching of each category. The teaching was divided in two phases: Category Definition and Category Identification. The procedure was effective in teaching the structural categories of the story and in promoting the discrimination of the defining elements of the categories in new stories.

Comprender y narrar historias son comportamientos social y académicamente relevantes, sin embargo las comunidades verbales responsables por la instalación de esos comportamientos no han enfatizado la enseñanza de su estructura. El objetivo de este estudio fue evaluar los efectos de un procedimiento de enseñanza de categorías estructurales de historias encima de la selección de sus elementos definidores en nuevas historias. Participaron ocho niños, dos niñas y seis niños con edades entre seis y ocho años. Fue empleado un delineamiento de línea de base múltiple entre categorías, lo que requirió la evaluación de todas las categorías antes del inicio de la fase de enseñanza y después de la enseñanza de cada categoría. La enseñanza fue dividida en dos fases: Definición de categoría e Identificación de categoría. El procedimiento se mostró eficiente para la enseñanza de categorías estructurales de historias y para favorecer la selección de los elementos definidores de las categorías en nuevas historias.