Avaliação psicológica e avaliação da aprendizagem em larga escala: diretrizes para pesquisadores / Large-scale psychological assessments and learning assessments: guidelines for researchers / Evaluación psicológica y evaluación del aprendizaje a gran escala: directrices para investigadores

A avaliação psicológica (AP) e a avaliação educacional (AE) estão entre as contribuições mais importantes das ciências cognitivas e comportamentais para a sociedade atual, pois proporcionam importantes fontes de informações sobre os indivíduos e os grupos. O presente artigo objetivou apresentar diretrizes para os pesquisadores em relação a AP e a avaliação da aprendizagem em larga escala (AALEs). São discutidos os caminhos da AP em um mundo em crise sanitária devido a pandemia da Covid-19. Em termos das AALEs, são discutidos aspectos teóricos, metodológicos e analíticos que devem ser considerados pelos avaliadores e pesquisadores da área. Concluímos que a AP e AALE se relacionam na medida em que ambas cumprem a função social de identificar lacunas que merecem atenção, bem como aspectos funcionais que devem ser mantidos e incentivados. Outra importante característica é a exigência de constante aprimoramento técnico por parte dos avaliadores e pesquisadores. (AU)

Psychological assessment (PA) and educational assessment (EA) are among the most important contributions of cognitive and behavioral sciences to modern society. They provide important information about individuals and groups that are a part of the society. The aim of this article is to present guidelines for researchers regarding PA and large-scale learning assessments (LSLAs). The paths of PA in a world in health crisis due to the Covid-19 pandemic are discussed. In the context of LSLAs, we discuss theoretical, methodological and analytical aspects that must be considered by evaluators and researchers in the area. We conclude that PA and LSLAs are related to the extent that both fulfill the social function of identifying gaps that deserve attention, as well as functional aspects that must be maintained and encouraged. Another important characteristic is the requirement for constant technical improvement by both evaluators and researchers.(AU)

La evaluación psicológica (EP) y la evaluación educativa (EE) se encuentran entre las contribuciones más importantes de las ciencias cognitivas y del comportamiento hechas a la sociedad contemporánea, ya que brindan importantes fuentes de informaciones sobre los individuos y grupos que forman parte de ella. Este artículo tiene como objetivo presentar a los investigadores directrices sobre EP y la evaluación del aprendizaje a gran escala (EAGE). Se discuten los caminos de la EP en un mundo en crisis sanitaria por la pandemia del Covid-19. Con respecto a EAGE, se discuten aspectos metodológicos y analíticos que deben ser considerados por evaluadores e investigadores del área. Concluimos que la EP y la EAGE están relacionadas en la medida en que ambas cumplen la función social de identificar brechas que merecen atención, así como aspectos funcionales que deben ser mantenidos y fomentados. Otra característica fundamental es la exigencia de una mejora técnica constante, tanto por parte de los evaluadores, como de los investigadores.(AU)

Método experimental e ensaios clínicos: metassíntese de artigos de revisão publicados em português: [errata] / Experimental method and clinical trials: metassynthesis of review articles publishedin portuguese: [errata] / Método experimental y ensayos clínicos: metasíntesis de artículos de revisión publicados en portugués: [errata]

O método experimental (ME) envolve um conjunto de procedimentos que podem ser utilizados por várias ciências para responder questões de pesquisa, refutar ou corroborar hipóteses. No presente trabalho, conduzimos uma revisão sistemática de artigos de revisão publicados em português que tiveram como foco explicar o ME. Utilizamos as bases de dados SciELO e Google Acadêmico, sem restringir a data de publicação dos artigos. Incluímos 64 artigos após a aplicação dos critérios de elegibilidade. Por meio da análise de conteúdo, sintetizamos informações desses artigos que favorecem a condução de estudos experimentais e a avaliação crítica de seus métodos. Adicionalmente, apontamos lacunas como a carência de artigos sobre estatística aplicada ao ME e uso de técnicas qualitativas.

The experimental method (EM) involves a set of procedures that can be used by different sciences to answer research questions, refute or corroborate hypotheses. In the present work, we conducted a systematic review of review articles published in Portuguese that focused on explaining the EM. We use the SciELO and Google Scholar databases, without restricting the articles publication date. We included 64 articles after applying the eligibility criteria. Using content analysis, we synthesized information from these articles that favor the conduction of experimental studies and the critical evaluation of their methods. Additionally, we point out gaps such as the lack of papers on statistics applied to the EM and the use of qualitative techniques.

El método experimental (ME) implica un conjunto de procedimientos que pueden ser utilizados por diferentes ciencias para responder preguntas de investigación, refutar o corroborar hipótesis. En el presente trabajo, realizamos una revisión sistemática de artículos de revisión publicados en portugués que se centraron en explicar el ME. Utilizamos las bases de datos SciELO y Google Académico, sin restringir la fecha de publicación de los artículos. Incluimos 64 artículos después de aplicar los criterios de elegibilidad. Mediante el análisis de contenido, sintetizamos información de estos artículos que favorecen la realización de estudios experimentales y la evaluación crítica de sus métodos. Además, señalamos lagunas, como la carencia de artículos sobre estadísticas aplicadas a él ME y el uso de técnicas cualitativas.

Método experimental e ensaios clínicos: metassíntese de artigos de revisão publicados em português / Experimental method and clinical trials: metassynthesis of review articles publishedin portuguese / Método experimental y ensayos clínicos: metasíntesis de artículos de revisión publicados en portugués

O método experimental (ME) envolve um conjunto de procedimentos que podem ser utilizados por várias ciências para responder questões de pesquisa, refutar ou corroborar hipóteses. No presente trabalho, conduzimos uma revisão sistemática de artigos de revisão publicados em português que tiveram como foco explicar o ME. Utilizamos as bases de dados SciELO e Google Acadêmico, sem restringir a data de publicação dos artigos. Incluímos 64 artigos após a aplicação dos critérios de elegibilidade. Por meio da análise de conteúdo, sintetizamos informações desses artigos que favorecem a condução de estudos experimentais e a avaliação crítica de seus métodos. Adicionalmente, apontamos lacunas como a carência de artigos sobre estatística aplicada ao ME e uso de técnicas qualitativas.

The experimental method (EM) involves a set of procedures that can be used by different sciences to answer research questions, refute or corroborate hypotheses. In the present work, we conducted a systematic review of review articles published in Portuguese that focused on explaining the EM. We use the SciELO and Google Scholar databases, without restricting the articles publication date. We included 64 articles after applying the eligibility criteria. Using content analysis, we synthesized information from these articles that favor the conduction of experimental studies and the critical evaluation of their methods. Additionally, we point out gaps such as the lack of papers on statistics applied to the EM and the use of qualitative techniques.

El método experimental (ME) implica un conjunto de procedimientos que pueden ser utilizados por diferentes ciencias para responder preguntas de investigación, refutar o corroborar hipótesis. En el presente trabajo, realizamos una revisión sistemática de artículos de revisión publicados en portugués que se centraron en explicar el ME. Utilizamos las bases de datos SciELO y Google Académico, sin restringir la fecha de publicación de los artículos. Incluimos 64 artículos después de aplicar los criterios de elegibilidad. Mediante el análisis de contenido, sintetizamos información de estos artículos que favorecen la realización de estudios experimentales y la evaluación crítica de sus métodos. Además, señalamos lagunas, como la carencia de artículos sobre estadísticas aplicadas a él ME y el uso de técnicas cualitativas.

A single-case quasi-experimental design of functional analytic psychotherapy for substance abuse / Um delineamento quase-experimental de caso único da psicoterapia analítica funcional para abuso de substâncias / Un diseño de caso único cuasi experimental de psicoterapia analítica funcional para abuso de sustancias

This study evaluated the effectiveness of Functional Analytic Psychotherapy (FAP) on clinically relevant behaviors (CRBs) in the context of substance abuse/chemical de pendence and identifying the therapeutic components of change. The Functional Analytic Psychotherapy Rating Scale (FAPRS) was used to categorize therapist and client behaviors, and Timeline Followback was used to record drug abuse. Two participants were treated in a single case A/A + B quasi-experimental design, in which A = analytical-behavioral therapy and A + B = FAP. The results showed that with the introduction of FAP, specifically the therapist's contingent responding to the participant's progress, there was a decrease in the use of substances after three months for both participants. The participant who spent more time in psychotherapy experienced greater benefits at follow-up and a larger reduction in drug use. We concluded that FAP altered CRBs by positively reinforcing progress in-session and was significantly correlated with improvement out-of-session.

O objetivo da pesquisa foi avaliar o efeito da Psicoterapia Analítica Funcional (FAP) sobre os comportamentos clinicamente relevantes (CRBs) e abuso de substâncias de dependentes químicos e identificar os componentes terapêuticos de mudança. Foram utilizados os instrumentos Functional Analytic Psychotherapy Rating Scale para categorização de comportamentos do terapeuta e cliente e Timeline Followback para registrar o abuso de drogas. Dois participantes foram atendidos em um delineamento quase-experimental de caso único A/A+B, onde A = Terapia Analítico-Comportamental e A+B = FAP. Os resultados indicaram que a introdução da FAP, em especial o responder contingente do terapeuta, acompanhou os progressos e houve melhora no consumo de substâncias após 3 meses para ambos. O participante que se manteve mais tempo em psicoterapia obteve maior benefício no follow-up e no consumo de drogas. Concluiu-se que a FAP alterou CRBs reforçando positivamente progressos em sessão e que isto provavelmente se correlacionou com melhoras extrassessão.

El objetivo fue evaluar el efecto de la Psicoterapia Analítica Funcional (FAP) en los comportamientos clínicamente relevantes (clinically relevant behaviors - CRBs) e el abuso de sustancias de dependientes químicos, e identificar los componentes terapéuticos de cambio. Se utilizaron Functional Analytic Psychotherapy Rating Scale, para clasificar los comportamientos del terapeuta y del cliente, y timeline followback, para registrar el abuso. Dos participantes fueron evaluados a través de un diseño cuasiexperimental de caso único A/A + B, donde A = terapia analítico-comportamental y A + B = FAP. Los resultados indicaron que la implementación de la respuesta contingente del terapeuta llevó a cambios en las CRBs y mejorías en el consumo de sustancias en los dos participantes después de tres meses de intervención. El participante que se mantuvo más tiempo en psicoterapia obtuvo mayor beneficio durante el seguimiento. Se concluye que FAP modificó las CRBs a través del reforzamiento positivo en sesión, lo que se relacionó con las mejoras fuera de sesión.

Learning and transfer of training: a quasi-experiment with longitudinal design / Aprendizagem e transferência de treinamento: um quase-experimento com desenho longitudinal / Aprendizaje y transferencia de entrenamiento: un casi-experimento con diseño longitudinal

This paper aimed to evaluate learning in three trainings held at a Brazilian federal public organization. It is a longitudinal quasiexperiment with three waves, pre-test (before training ­ T1), post-test 1 (right after the end of the training ­ T2) and post-test 2 (around three months after the training - T3). Learning was assessed with situational tests, so results are based on performance rather than self-assessment. Results show that the experimental group obtained better scores in post-test 1 than it did in the pre-test and better scores than the control group did in post-test 2. There were no difference in the results obtained by the control group, comparing pre and post-test, and that there was no difference in tests according to previous experience and demographic data. Results indicate that learning occurred as a consequence of training and was not explained by other factors of the organizational environment or individuals. (AU)

Esse artigo teve como objetivo mensurar a aprendizagem em três seções de treinamento realizadas em uma organização pública federal brasileira. Trata-se de um quase experimento longitudinal, com três ondas, sendo o pré-teste (antes do treinamento), o pós-teste 1 (imediatamente após o término do treinamento) e o pós-teste 2 (após três meses do término do treinamento). A aprendizagem foi medida usando-se testes situacionais, garantindo que os resultados são baseados em desempenho e não auto relato. Os resultados indicam que o grupo experimental obteve melhores notas no pós-teste 1 do que no pré-teste e melhores notas no pós-teste 2 quando comparado ao pós-teste 1. Não foram encontradas diferenças no grupo controle entre o pré e pós teste, nem diferenças nos resultados dos testes devidas à experiência prévia ou a dados demográficos, indicando que a aprendizagem ocorreu como consequência do treinamento e não de explicações alternativas. (AU)

Este artículo tuvo como objetivo medir el aprendizaje en tres capacitaciones de entrenamiento realizadas en una organización pública federal brasileña. Se trata de un casi-experimento longitudinal con tres momentos: el pre-test (antes del entrenamiento), el post-test 1 (inmediatamente después del término del entrenamiento) y el post-test 2 (después de tres meses del término del entrenamiento). El aprendizaje fue medido usando tests situacionales, garantizando que los resultados se basan en el desempeño y no en el autoinforme. Los resultados indican que el grupo experimental obtuvo mejores notas en el post-test 1 que en el pretest y mejores notas en el post-test 2 comparado con el post- test 1. No se encontraron diferencias en el grupo control entre el pre y post test, ni diferencias en los resultados de los tests debido a experiencia previa o a datos demográficos, indicando que el aprendizaje ocurrió como consecuencia del entrenamiento y no de explicaciones alternativas. (AU)

Tarefa experimental de metamemória para avaliar monitoramento e controle de memória / Metamemory experimental task to evaluate memory monitoring and control / Tarea experimental de metamemoria para evaluar monitoreo y control de memoria

Tarefas experimentais para avaliar processos de monitoramento e controle de memória permitem o exame online dessas habilidades. No âmbito nacional, estas tarefas ainda precisam ser desenvolvidas, facilitando e incentivando projetos de pesquisa futuros. Este artigo apresenta os passos para a construção de uma tarefa para avaliação dos processos de monitoramento e controle. No Estudo 1, é descrita a seleção de 100 estímulos (pares de palavra pista-alvo) e suas características psicolinguísticas. O Estudo 2 apresenta dados do estudo piloto da tarefa com dez adultos, com foco na avaliação do monitoramento. No Estudo 3, são apresentados dados de processos de monitoramento e controle num estudo piloto com 12 universitários, um caso clínico pós-AVC e dois idosos neurologicamente saudáveis. Os resultados apontaram a necessidade de duas versões da tarefa, para diferentes populações, que permitisse a variabilidade dos dados intra e entre participantes. Também surgiram achados preliminares pertinentes a importantes hipóteses da área da metamemória...

Experimental tasks for the assessment of monitoring and control memory processes allow the online exam of these abilities. In the national field these tasks still need to be elaborated in order to facilitate and stimulate future research projects. This article presents the steps for the elaboration of a task for examining memory monitoring and control processes. In Study 1 we describe the selection of 100 stimuli (cue-target word pairs) and its psycholinguistic aspects. Study 2 presents data of a pilot-study of the task with ten adults, focusing on the evaluation of monitoring processes. In Study 3 we show data of monitoring and control processes of a pilot-study with 12 undergraduate students as well as a clinical case of stroke and two neurologically unimpaired elderly people. Results suggest the need of two different versions of the task for different populations, which would allow enough variance within and between participants. In addition, other preliminary findings relevant for current metamemory hypothesis are presented...

Tareas experimentales para evaluar procesos de monitoreo y control de la memoria permiten el examen online de estas habilidades. A nivel nacional, estas tareas todavía necesitan ser desarrolladas, para facilitar y promover futuros proyectos de investigación. Este estudio presenta los pasos ejecutados para la construcción de una tarea para evaluar los procesos de monitoreo y control. El Estudio 1 describe la selección de 100 pares de estímulos (señal-test) y sus características psicolingüísticas. El Estudio 2 presenta datos de un estudio piloto con diez adultos, centrándose en la evaluación del monitoreo. En el Estudio 3 se presentan los datos de procesos de monitoreo y control de un estudio piloto con 12 universitarios, un caso clínico de accidente cerebrovascular y dos ancianos neurológicamente sanos. Los resultados indicaron la necesidad de dos versiones de la tarea, para diferentes poblaciones, permitiendo variabilidad de los datos dentro y entre los participantes. Además, surgieron otros hallazgos preliminares pertinentes a importantes hipótesis en metamemoria...

Tarefa experimental de metamemória para avaliar monitoramento e controle de memória / Metamemory experimental task to evaluate memory monitoring and control / Tarea experimental de metamemoria para evaluar monitoreo y control de memoria

Tarefas experimentais para avaliar processos de monitoramento e controle de memória permitem o exame online dessas habilidades. No âmbito nacional, estas tarefas ainda precisam ser desenvolvidas, facilitando e incentivando projetos de pesquisa futuros. Este artigo apresenta os passos para a construção de uma tarefa para avaliação dos processos de monitoramento e controle. No Estudo 1, é descrita a seleção de 100 estímulos (pares de palavra pista-alvo) e suas características psicolinguísticas. O Estudo 2 apresenta dados do estudo piloto da tarefa com dez adultos, com foco na avaliação do monitoramento. No Estudo 3, são apresentados dados de processos de monitoramento e controle num estudo piloto com 12 universitários, um caso clínico pós-AVC e dois idosos neurologicamente saudáveis. Os resultados apontaram a necessidade de duas versões da tarefa, para diferentes populações, que permitisse a variabilidade dos dados intra e entre participantes. Também surgiram achados preliminares pertinentes a importantes hipóteses da área da metamemória.(AU)

Experimental tasks for the assessment of monitoring and control memory processes allow the online exam of these abilities. In the national field these tasks still need to be elaborated in order to facilitate and stimulate future research projects. This article presents the steps for the elaboration of a task for examining memory monitoring and control processes. In Study 1 we describe the selection of 100 stimuli (cue-target word pairs) and its psycholinguistic aspects. Study 2 presents data of a pilot-study of the task with ten adults, focusing on the evaluation of monitoring processes. In Study 3 we show data of monitoring and control processes of a pilot-study with 12 undergraduate students as well as a clinical case of stroke and two neurologically unimpaired elderly people. Results suggest the need of two different versions of the task for different populations, which would allow enough variance within and between participants. In addition, other preliminary findings relevant for current metamemory hypothesis are presented.(AU)

Tareas experimentales para evaluar procesos de monitoreo y control de la memoria permiten el examen online de estas habilidades. A nivel nacional, estas tareas todavía necesitan ser desarrolladas, para facilitar y promover futuros proyectos de investigación. Este estudio presenta los pasos ejecutados para la construcción de una tarea para evaluar los procesos de monitoreo y control. El Estudio 1 describe la selección de 100 pares de estímulos (señal-test) y sus características psicolingüísticas. El Estudio 2 presenta datos de un estudio piloto con diez adultos, centrándose en la evaluación del monitoreo. En el Estudio 3 se presentan los datos de procesos de monitoreo y control de un estudio piloto con 12 universitarios, un caso clínico de accidente cerebrovascular y dos ancianos neurológicamente sanos. Los resultados indicaron la necesidad de dos versiones de la tarea, para diferentes poblaciones, permitiendo variabilidad de los datos dentro y entre los participantes. Además, surgieron otros hallazgos preliminares pertinentes a importantes hipótesis en metamemoria.(AU)

O treinamento do lance livre no basquetebol / Free throw training in basketball / Entrenamiento de tiro libre en baloncesto

Apesar da importância do lance livre, as médias de acertos nestas situações tem sido inferiores a 70 por cento, apenas alguns jogadores atingem médias superiores. Neste trabalho apresentamos um novo método de treinamento de lances livres através das técnicas de mudança gradual e progressiva das alterações nas especificações dos materiais utilizados nos treinos (no caso, o diâmetro do aro da cesta e a altura da cesta). Foram participantes desta pesquisa 12 atletas, com idade entre 13 e 14 anos. Estes foram submetidos a duas fases na linha de base. Após esta etapa, os atletas foram divididos em dois grupos: o grupo 1 foi submetido à intervenção relacionada a dimensão diâmetro da cesta; e o grupo 2 à intervenção relacionada a dimensão altura da cesta. O procedimento de fading ou esvanecimento foi idêntico para ambos os grupos que passaram pelo delineamento de linha base múltipla entre participantes. A etapa seguimento foi idêntica à etapa de linha de base e tinha como objetivo avaliar se os resultados produzidos na última fase da intervenção se mantinham após a retirada do tratamento. Nos resultados, percebemos que a repetição do ato de arremessar não produziu melhoras no desempenho dos atletas avaliados. O procedimento de fading promoveu melhoras durante a intervenção que se mantiveram durante o seguimento.(AU)

Despite its importance, average free throw accuracy has been below 70 percent; only a few players have managed to achieve a higher average. In this paper a new method of free throw training is presented by progressive and gradual techniques aimed towards specifications changes in materials used in training (in this case, the diameter of the basketball rim and its height). In this research, 12 athletes aged from 13 to 14 years old were chosen to participate in it. They were submitted to two stages at the baseline condition. After this stage, the athletes were divided into two groups: group 1 was submitted to an intervention related to the diameter of the basket and group 2, to an intervention related to the height of the basket. The fading procedure was identical for both groups that went through the multielement baseline design. The next stage was identical to the baseline condition and had the purpose of evaluating whether the results achieved in the last modified stage would last once the treatment was removed. Analyzing the results, it is made clear that practicing shots through repetition did not produce the results expected in the selected group. The fading procedure has brought improvements to the level of accuracy of the evaluated athletes during the treatment, and these results were almost the same in the next stage, identical to the baseline condition.(AU)

A pesar de su importancia, los promedios de aciertos en estas situaciones han sido inferiores a 70 por ciento, sólo algunos jugadores alcanzan promedios superiores. En este trabajo presentamos un nuevo método de entrenamiento de lances libres a través de las técnicas de cambio gradual y progresivo de las alteraciones en las especificaciones de los materiales utilizados en los entrenamientos (en este caso, el diámetro del aro de la cesta y la altura de la cesta). Fueron participantes de este estudio 12 atletas, con edad entre 13 y 14 años, integrantes de un equipo competitivo de básquetbol. Estos fueron sometidos a dos fases en la línea de base. Tras esta etapa, los atletas fueron divididos en dos grupos: el grupo 1 fue sometido a la intervención relacionada a la dimensión diámetro de la cesta; y el grupo 2 a la intervención relacionada a la dimensión altura de la cesta. El procedimiento de fading o desvanecimiento fue idéntico para ambos grupos que pasaron por el delineamiento de línea base múltiple entre participantes. La etapa seguimiento fue idéntica a la etapa de línea de base y tenía como objetivo evaluar si los resultados producidos en la última fase de la intervención se mantenían tras la retirada del tratamiento. En los resultados, percibimos que la repetición del acto de lanzar no produjo mejorías en el desempeño de los atletas evaluados. El procedimiento de fading promovió mejorías durante la intervención que se mantuvieron durante el seguimiento.(AU)