Adaptive single case design (ASCD): a model for education, training, and assessment / Estudo de caso único adaptado (ASCD): um modelo para educação, treinamento e avaliação

Aims: single case designs (SCDs) can help us understand change in learning-related variables, such as knowledge and skill, at the level of an individual learner, at the level of a team or group of learners, or at the level of a situation or system. Adaptive single case design (ASCD) is a new model that integrates (i.) elements of methods of education, training, and assessment that, through research methods other than SCDs, have received solid empirical evidence in the research literature and (ii.) principles of SCDs that can facilitate the integration of research in everyday practice. The rationale behind ASCD is to allow rapid evidence-based decision making in the practice of education, training, and assessment, at the unit of analysis ­ individual, group, team, situation, or system ­ that is considered appropriate in the context at hand. Method: an ASCD algorithm is introduced and discussed in the context of change at the level of the individual, change in a group or team, and change in a situation or system. Results: ASCD can be used to understand change at each of the previously mentioned units of analysis at any number of units including a single unit (one individual, one team, or one situation or system), and this change can be used for research purposes as well. Conclusion: ASCD enables both evidence-based practical decision making and research without stringent demands on the number of learners, groups, teams, situations, or systems.

Objetivos: estudos de caso único podem nos ajudar a entender a mudança nas variáveis relacionadas ao aprendizado, como conhecimento e habilidade, no nível de um aluno individual, no nível de uma equipe ou grupo de alunos, ou no nível de uma situação ou sistema. O Estudo adaptativo de caso único (ASCD) é um novo modelo que integra (i.) elementos de métodos de educação, treinamento e avaliação que, por meio de métodos de pesquisa que não sejam estudos de caso único, receberam evidências empíricas sólidas na literatura de pesquisa e (ii.) princípios de estudos de caso único, que podem facilitar a integração da pesquisa na prática cotidiana. A lógica por trás do ASCD é permitir a rápida tomada de decisão baseada em evidências na prática da educação, treinamento e avaliação, na unidade de análise ­ individual, grupo, equipe, situação ou sistema ­ que é considerada apropriada no contexto em questão. Método: um algoritmo ASCD é introduzido e discutido no contexto de mudança no nível do indivíduo, mudança em um grupo ou equipe e mudança em uma situação ou sistema. Resultados: o ASCD pode ser usado para entender a mudança em cada uma das unidades de análise mencionadas anteriormente em qualquer número de unidades, incluindo uma única unidade (um indivíduo, uma equipe ou uma situação ou sistema), e para fins de pesquisa. Conclusão: o ASCD permite a a pesquisa e a tomada de decisão prática baseada em evidências, sem demandas rigorosas sobre o número de alunos, grupos, equipes, situações ou sistemas.

Small numbers are an opportunity, not a problem / Números pequenos são uma oportunidade, não um problema

Aims: outcomes of research in education and training are partly a function of the context in which that study takes place, the questions we ask, and what is feasible. Many questions are about learning, which involves repeated measurements in a particular time window, and the practical context is usually such that offering an intervention to some but not to all learners does not make sense or is unethical. For quality assurance and other purposes, education and training centers may have very locally oriented questions that they seek to answer, such as whether an intervention can be considered effective in their context of small numbers of learners. While the rationale behind the design and outcomes of this kind of studies may be of interest to a much wider community, for example to study the transferability of findings to other contexts, people are often discouraged to report on the outcomes of such studies at conferences or in educational research journals. The aim of this paper is to counter that discouragement and instead encourage people to see small numbers as an opportunity instead of as a problem. Method: a worked example of a parametric and a non-parametric method for this type of situation, using simulated data in the zero-cost Open Source statistical program R version 4.0.5. Results: contrary to the non-parametric method, the parametric method can provide estimates of intervention effectiveness for the individual participant, account for trends in different phases of a study. However, the non-parametric method provides a solution in several situations where the parametric method should be used. Conclusion: Given the costs of research, the lessons to be learned from research, and statistical methods available, small numbers should be considered an opportunity, not a problem.

Objetivo: os resultados da pesquisa em educação e treinamento são, em parte, uma função do contexto em que esse estudo ocorre, das perguntas que fazemos e do que é viável. Muitas perguntas são sobre a aprendizagem, que envolve medições repetidas em uma janela de tempo específica, e o contexto prático, geralmente, é tal, que oferecer uma intervenção a alguns, mas não a todos os alunos, não faz sentido ou é antiético. Para garantia de qualidade e outros propósitos, os centros de educação e treinamento podem ter perguntas orientadas localmente que procuram responder, como, por exemplo, se uma intervenção pode ser considerada eficaz em seu contexto de pequeno número de alunos. Embora a justificativa por trás do projeto e dos resultados deste tipo de estudos possa ser do interesse de uma comunidade muito mais ampla, por exemplo, para estudar a possibilidade de transferência de resultados para outros contextos, as pessoas são frequentemente desencorajadas a relatar os resultados de tais estudos em conferências ou em revistas de pesquisa educacional. O objetivo deste artigo é combater esse desânimo e, em vez disso, incentivar as pessoas a verem os pequenos números como uma oportunidade em vez de um problema. Método: realizado um exemplo de método paramétrico e não paramétrico para este tipo de situação, utilizando dados simulados no programa estatístico Open Source R versão 4.0.5 de custo zero. Resultados: ao contrário do método não paramétrico, o método paramétrico pode fornecer estimativas da eficácia da intervenção para o participante individual, levando em conta as tendências em diferentes fases de um estudo. No entanto, o método não paramétrico fornece uma solução em várias situações, onde o método paramétrico deve ser usado. Conclusão: dados os custos da pesquisa, as lições a serem aprendidas com a pesquisa e os métodos estatísticos disponíveis, pequenos números devem ser considerados uma oportunidade, não um problema.

Statistics for N = 1: a non-parametric Bayesian approach / Estatística para N = 1: uma abordagem Bayesiana não paramétrica

Research in education is often associated with comparing group averages and linear relations in sufficiently large samples and evidence-based practice is about using the outcomes of that research in the practice of education. However, there are questions that are important for the practice of education that cannot really be addressed by comparisons of group averages and linear relations, no matter how large the samples. Besides, different types of constraints including logistic, financial, and ethical ones may make larger-sample research unfeasible or at least questionable. What has remained less known in many fields is that there are study designs and statistical methods for research involving small samples or even individuals that allow us to address questions of importance for the practice of education. This article discusses one type of such situations and provides a simple coherent statistical approach that provides point and interval estimates of differences of interest regardless of the type of the outcome variable and that is of use in other types of studies involving large samples, small samples, and single individuals.

A pesquisa em educação é frequentemente associada à comparação de médias de grupo e relações lineares em amostras suficientemente grandes, e a prática baseada em evidências trata do uso dos resultados dessa pesquisa na prática educacional. No entanto, há questões importantes para a prática da educação que não podem ser realmente abordadas por comparações de médias de grupo e relações lineares, por maiores que sejam as amostras. Além disso, diferentes tipos de restrições, incluindo as logísticas, financeiras e éticas, podem tornar a pesquisa com amostras maiores inviável ou, pelo menos, questionável. O que tem ficado menos conhecido em muitos campos é que existem desenhos de estudos e métodos estatísticos para pesquisas envolvendo pequenas amostras ou mesmo indivíduos que nos permitem abordar questões de importância para a prática da educação. Este artigo discute um tipo de tais situações e fornece uma abordagem estatística coerente simples que fornece estimativas de ponto e intervalo de diferenças de interesse, independentemente do tipo de variável de resultado e que é útil em outros tipos de estudos envolvendo grandes amostras, pequenas amostras, e indivíduos solteiros.