Adaptive single case design (ASCD): a model for education, training, and assessment / Estudo de caso único adaptado (ASCD): um modelo para educação, treinamento e avaliação

Aims: single case designs (SCDs) can help us understand change in learning-related variables, such as knowledge and skill, at the level of an individual learner, at the level of a team or group of learners, or at the level of a situation or system. Adaptive single case design (ASCD) is a new model that integrates (i.) elements of methods of education, training, and assessment that, through research methods other than SCDs, have received solid empirical evidence in the research literature and (ii.) principles of SCDs that can facilitate the integration of research in everyday practice. The rationale behind ASCD is to allow rapid evidence-based decision making in the practice of education, training, and assessment, at the unit of analysis ­ individual, group, team, situation, or system ­ that is considered appropriate in the context at hand. Method: an ASCD algorithm is introduced and discussed in the context of change at the level of the individual, change in a group or team, and change in a situation or system. Results: ASCD can be used to understand change at each of the previously mentioned units of analysis at any number of units including a single unit (one individual, one team, or one situation or system), and this change can be used for research purposes as well. Conclusion: ASCD enables both evidence-based practical decision making and research without stringent demands on the number of learners, groups, teams, situations, or systems.

Objetivos: estudos de caso único podem nos ajudar a entender a mudança nas variáveis relacionadas ao aprendizado, como conhecimento e habilidade, no nível de um aluno individual, no nível de uma equipe ou grupo de alunos, ou no nível de uma situação ou sistema. O Estudo adaptativo de caso único (ASCD) é um novo modelo que integra (i.) elementos de métodos de educação, treinamento e avaliação que, por meio de métodos de pesquisa que não sejam estudos de caso único, receberam evidências empíricas sólidas na literatura de pesquisa e (ii.) princípios de estudos de caso único, que podem facilitar a integração da pesquisa na prática cotidiana. A lógica por trás do ASCD é permitir a rápida tomada de decisão baseada em evidências na prática da educação, treinamento e avaliação, na unidade de análise ­ individual, grupo, equipe, situação ou sistema ­ que é considerada apropriada no contexto em questão. Método: um algoritmo ASCD é introduzido e discutido no contexto de mudança no nível do indivíduo, mudança em um grupo ou equipe e mudança em uma situação ou sistema. Resultados: o ASCD pode ser usado para entender a mudança em cada uma das unidades de análise mencionadas anteriormente em qualquer número de unidades, incluindo uma única unidade (um indivíduo, uma equipe ou uma situação ou sistema), e para fins de pesquisa. Conclusão: o ASCD permite a a pesquisa e a tomada de decisão prática baseada em evidências, sem demandas rigorosas sobre o número de alunos, grupos, equipes, situações ou sistemas.

Pain and physical activity for one individual: a comparison of models / Dor e atividade física para um indivíduo: uma comparação de modelos

Aims: there is increasing awareness that for effective patient care we need more than only randomized controlled trials with groups of participants and that carefully collected single case (N = 1) data have several important advantages over traditional group-level studies. With the advance of technology, collecting relevant data from a single case is becoming easier by the day, and this offers tremendous opportunities for understanding how behaviors displayed by an individual can be influenced by one or several key variables. For example, how pain experienced influences the amount of time spent on physical exercise. Method: using publicly available observational single case data, five models are compared: a classical ordinary least squares (OLS) linear regression model; a dynamic regression model (DRM); a two-level random-intercepts model (2LRI); a continuous covariate first-order autoregressive correlation model (CAR1); and an ordinary least squares model with time trend (OLST). These models are compared in terms of overall model fit statistics, estimates of the relation between physical activity (response variable of interest) and pain (covariate of interest), and residual statistics. Results: 2LRI outperforms all other models on both overall model fit and residual statistics, and provides covariate estimates that are in between the relative extremes provided by other models. CAR1 and OLST demonstrate an almost identical performance and one that is substantially better than OLS ­ which performs worst ­ and DRM. Conclusion: for observational single case data, DRM, CAR1, OLST, and 2LRI account for the serial correlation that is typically present in single case data in somewhat different ways under somewhat different assumptions, and all perform better than OLS. Implications of these findings for observational, quasi-experimental, and experimental single case studies are discussed.

Objetivos: há uma crescente conscientização de que, para um atendimento eficaz ao paciente, precisamos de mais do que apenas ensaios clínicos randomizados com grupos de participantes e que os dados de caso único cuidadosamente coletados (N = 1) têm várias vantagens importantes sobre os estudos tradicionais em nível de grupo. Com o avanço da tecnologia, coletar dados relevantes de um único caso está se tornando mais fácil a cada dia, e isso oferece enormes oportunidades para entender como os comportamentos exibidos por um indivíduo podem ser influenciados por uma ou várias variáveis-chave. Por exemplo, como a dor experimentada influencia a quantidade de tempo gasto no exercício físico. Método: usando dados de caso único observacionais disponíveis publicamente, cinco modelos são comparados: um modelo clássico de regressão linear de mínimos quadrados ordinários (OLS); um modelo de regressão dinâmica (DRM); um modelo de interceptações aleatórias de dois níveis (2LRI); um modelo de correlação autorregressiva de primeira ordem covariável contínua (CAR1); e um modelo ordinário de mínimos quadrados com tendência temporal (OLST). Esses modelos são comparados em termos de estatísticas gerais de ajuste do modelo, estimativas da relação entre atividade física (variável de resposta de interesse) e dor (covariável de interesse) e estatísticas residuais. Resultados: o 2LRI supera todos os outros modelos tanto no ajuste geral do modelo quanto nas estatísticas residuais e fornece estimativas de covariáveis que estão entre os extremos relativos fornecidos por outros modelos. CAR1 e OLST demonstram um desempenho quase idêntico e substancialmente melhor que o OLS, que apresenta o pior desempenho, e o DRM. Conclusão: para dados observacionais de caso único, DRM, CAR1, OLST e 2LRI são responsáveis pela correlação seriada que normalmente está presente em dados de caso único de maneira um pouco diferentes sob suposições um pouco diversas, e todos têm um desempenho melhor que o OLS. Implicações dessas descobertas para estudos de caso único observacionais, quase-experimentais e experimentais são discutidas.

Small numbers are an opportunity, not a problem / Números pequenos são uma oportunidade, não um problema

Aims: outcomes of research in education and training are partly a function of the context in which that study takes place, the questions we ask, and what is feasible. Many questions are about learning, which involves repeated measurements in a particular time window, and the practical context is usually such that offering an intervention to some but not to all learners does not make sense or is unethical. For quality assurance and other purposes, education and training centers may have very locally oriented questions that they seek to answer, such as whether an intervention can be considered effective in their context of small numbers of learners. While the rationale behind the design and outcomes of this kind of studies may be of interest to a much wider community, for example to study the transferability of findings to other contexts, people are often discouraged to report on the outcomes of such studies at conferences or in educational research journals. The aim of this paper is to counter that discouragement and instead encourage people to see small numbers as an opportunity instead of as a problem. Method: a worked example of a parametric and a non-parametric method for this type of situation, using simulated data in the zero-cost Open Source statistical program R version 4.0.5. Results: contrary to the non-parametric method, the parametric method can provide estimates of intervention effectiveness for the individual participant, account for trends in different phases of a study. However, the non-parametric method provides a solution in several situations where the parametric method should be used. Conclusion: Given the costs of research, the lessons to be learned from research, and statistical methods available, small numbers should be considered an opportunity, not a problem.

Objetivo: os resultados da pesquisa em educação e treinamento são, em parte, uma função do contexto em que esse estudo ocorre, das perguntas que fazemos e do que é viável. Muitas perguntas são sobre a aprendizagem, que envolve medições repetidas em uma janela de tempo específica, e o contexto prático, geralmente, é tal, que oferecer uma intervenção a alguns, mas não a todos os alunos, não faz sentido ou é antiético. Para garantia de qualidade e outros propósitos, os centros de educação e treinamento podem ter perguntas orientadas localmente que procuram responder, como, por exemplo, se uma intervenção pode ser considerada eficaz em seu contexto de pequeno número de alunos. Embora a justificativa por trás do projeto e dos resultados deste tipo de estudos possa ser do interesse de uma comunidade muito mais ampla, por exemplo, para estudar a possibilidade de transferência de resultados para outros contextos, as pessoas são frequentemente desencorajadas a relatar os resultados de tais estudos em conferências ou em revistas de pesquisa educacional. O objetivo deste artigo é combater esse desânimo e, em vez disso, incentivar as pessoas a verem os pequenos números como uma oportunidade em vez de um problema. Método: realizado um exemplo de método paramétrico e não paramétrico para este tipo de situação, utilizando dados simulados no programa estatístico Open Source R versão 4.0.5 de custo zero. Resultados: ao contrário do método não paramétrico, o método paramétrico pode fornecer estimativas da eficácia da intervenção para o participante individual, levando em conta as tendências em diferentes fases de um estudo. No entanto, o método não paramétrico fornece uma solução em várias situações, onde o método paramétrico deve ser usado. Conclusão: dados os custos da pesquisa, as lições a serem aprendidas com a pesquisa e os métodos estatísticos disponíveis, pequenos números devem ser considerados uma oportunidade, não um problema.

Assessment of individual competence: a sequential mixed model 1 / Avaliação da competência individual: um modelo sequencial misto

Aims: the assessment of individual competence in medical education is about finding a balance between having sufficient resources to make valid and reliable decisions and not using more resources than necessary. Sequential assessment, in which more resources are used for borderline performing candidates than for poorly or clearly satisfactorily performing candidates, can be used to achieve that balance. Although sequential assessment is commonly associated with larger groups of candidates to be assessed, in many practical settings numbers of candidates may be small. Objective: this article presents a single case design with a statistical model for the assessment of individual competence that can be used regardless of the number of candidates. Method: a worked example of a solution that can be used for an individual candidate, using simulated data in the zero-cost Open Source statistical program R version 4.0.5, is provided. Results: the aforementioned solution provides statistics that can be used to make pass/fail decisions at the level of the individual candidate as well as to make decisions regarding the length and timing of an exam (or parts thereof) for the individual candidate. Conclusion: the solution provided can help to reduce resources needed for assessment to a considerable extent while maximizing resources for borderline candidates. This facilitates both decision making and cost reduction in assessment.

Introdução: a avaliação da competência individual na educação médica consiste em encontrar um equilíbrio entre ter recursos suficientes para tomar decisões válidas e confiáveis e não usar mais recursos do que o necessário. A avaliação sequencial, na qual mais recursos são usados para candidatos limítrofes do que para candidatos com desempenho insatisfatório ou claramente satisfatório, pode ser usada para atingir esse equilíbrio. Embora a avaliação sequencial seja comumente associada a grupos maiores de candidatos a serem avaliados, em muitos ambientes práticos, o número de candidatos pode ser pequeno. Objetivo: este artigo apresenta um desenho de caso único com um modelo estatístico de avaliação de competência individual que pode ser utilizado independentemente do número de candidatos. Método: é fornecido um exemplo prático de uma solução que pode ser usada para um candidato individual, usando dados simulados no programa estatístico Open Source de custo zero R versão 4.0.5. Resultados: a solução mencionada fornece estatísticas que podem ser usadas para tomar decisões individuais de aprovação/reprovação para cada candidato, bem como para tomar decisões individualizadas sobre a duração e o tempo de um exame (ou partes dele) para um candidato. Conclusão: a solução fornecida pode ajudar a reduzir consideravelmente os recursos necessários para a avaliação, ao mesmo tempo que maximiza os recursos para os candidatos limítrofes. Isso facilita a tomada de decisões e a redução de custos na avaliação.

Article numbers as a leading indicator of publication time / Números de artigos como um indicador importante do tempo de publicação

Aims: in health professions education (HPE), the use of statistics is commonly associated with somewhat larger samples, whereas smaller samples or single subjects (i.e., N = 1) are usually labelled as needing some kind of 'qualitative' approach. However, statistical methods can be very useful in small samples and for individual subjects as well, especially where we have time series of repeated measurements of the same outcome variable(s) of interest. The aim of this article is twofold: to demonstrate an example of a cross-correlation function for single subjects in a HPE context and to suggest a few settings in HPE where this cross-correlation function can be of use. Method: the example uses data from a recent Open Access publication on among others article numbers and publication time in a number of major HPE journals to examine the relation between the number of articles published and median publication time over time in the zero-cost Open-Source statistical program R version 4.0.5. Results: as to be expected, the number of articles published appears somewhat of a leading indicator of publication time: both number of articles in year 'y' and number of articles in year 'y minus 1' correlate > 0.6 with median publication time in year 'y', while correlations of other time differences (e.g., number of articles in year 'y minus 2' and median publication time in year 'y', or median publication time in year 'y' and number of articles in year 'y plus 1') are substantially smaller. Conclusion: in line with recent literature, this article demonstrates that the cross-correlation function can be used in the context of small samples and single subjects. While the example focusses on article numbers and publication times, it can equally be applied in for example studying relations between knowledge, skills and attitude in individuals, or relations between behaviors of individuals working in pairs or small groups.

Introdução: na educação de profissionais de saúde, o uso de estatísticas é associado comumente a amostras um pouco maiores, enquanto as amostras menores ou assuntos únicos (ou seja, N = 1) são geralmente rotulados como precisando de algum tipo de abordagem "qualitativa". No entanto, os métodos estatísticos podem ser muito úteis em pequenas amostras e para sujeitos individuais, especialmente quando temos séries temporais de medições repetidas da(s) mesma(s) variável(is) de desfecho de interesse. O objetivo deste artigo é demonstrar um exemplo de uma função de correlação cruzada para sujeitos individuais em um contexto de educação de profissionais de saúde e sugerir algumas configurações em que essa função pode ser útil. Método: o exemplo usa dados de uma publicação recente de acesso aberto sobre, entre outros, números de artigos e tempo de publicação em vários dos principais periódicos da educação de profissionais de saúde para examinar a relação entre o número de artigos publicados e o tempo médio de publicação ao longo do tempo, no programa R versão 4.0.5, programa estatístico de código aberto de custo zero. Resultados: o número de artigos publicados parece ser um indicador importante do tempo de publicação: tanto o número de artigos no ano "y" quanto o número de artigos no ano "y menos 1" se correlacionam > 0,6 com o tempo médio de publicação no ano "y", enquanto as correlações de outras diferenças de tempo são substancialmente menores, como, por exemplo, número de artigos no ano " y menos 2" e tempo médio de publicação no ano " y", ou tempo médio de publicação no ano "y" e número de artigos no ano "y mais 1"). Conclusão: de acordo com a literatura recente, este artigo demonstra que a função de correlação cruzada pode ser usada no contexto de pequenas amostras e indivíduos únicos. Embora o exemplo se concentre em números de artigos e tempos de publicação, pode igualmente ser aplicado, por exemplo, no estudo de relações entre conhecimento, habilidades e atitudes em indivíduos, ou relações entre comportamentos de indivíduos que trabalham em pares ou pequenos grupos.

Statistics for N = 1: a non-parametric Bayesian approach / Estatística para N = 1: uma abordagem Bayesiana não paramétrica

Research in education is often associated with comparing group averages and linear relations in sufficiently large samples and evidence-based practice is about using the outcomes of that research in the practice of education. However, there are questions that are important for the practice of education that cannot really be addressed by comparisons of group averages and linear relations, no matter how large the samples. Besides, different types of constraints including logistic, financial, and ethical ones may make larger-sample research unfeasible or at least questionable. What has remained less known in many fields is that there are study designs and statistical methods for research involving small samples or even individuals that allow us to address questions of importance for the practice of education. This article discusses one type of such situations and provides a simple coherent statistical approach that provides point and interval estimates of differences of interest regardless of the type of the outcome variable and that is of use in other types of studies involving large samples, small samples, and single individuals.

A pesquisa em educação é frequentemente associada à comparação de médias de grupo e relações lineares em amostras suficientemente grandes, e a prática baseada em evidências trata do uso dos resultados dessa pesquisa na prática educacional. No entanto, há questões importantes para a prática da educação que não podem ser realmente abordadas por comparações de médias de grupo e relações lineares, por maiores que sejam as amostras. Além disso, diferentes tipos de restrições, incluindo as logísticas, financeiras e éticas, podem tornar a pesquisa com amostras maiores inviável ou, pelo menos, questionável. O que tem ficado menos conhecido em muitos campos é que existem desenhos de estudos e métodos estatísticos para pesquisas envolvendo pequenas amostras ou mesmo indivíduos que nos permitem abordar questões de importância para a prática da educação. Este artigo discute um tipo de tais situações e fornece uma abordagem estatística coerente simples que fornece estimativas de ponto e intervalo de diferenças de interesse, independentemente do tipo de variável de resultado e que é útil em outros tipos de estudos envolvendo grandes amostras, pequenas amostras, e indivíduos solteiros.

Revisiting cognitive load theory: second thoughts and unaddressed questions / Revisitando a teoria da carga cognitiva: pensamentos secundários e perguntas não endereçadas

In cognitive load theory (CLT), learning is the development of cognitive schemas in a long-term memory with no known limits and can happen only if our limited working memory can process new information presented and the amount of information that does not contribute to learning is low. According to this theory, learning is optimal when instructional support is decreased going from worked examples via completion problem to autonomous problem solving and learners do not benefit from practicing retrieval with complex content. However, studies on productive failure and retrieval practice have provided clear evidence against these two guidelines. In this article, issues with CLT and research inspired by this theory, which remain largely ignored among cognitive load theorists but have likely contributed to these contradictory findings, are discussed. This article concludes that these issues should make us question the usefulness of CLT in health science education, medical education and other complex domains, and presents recommendations for both educational practice and future research on the matter.

Na teoria da carga cognitiva (CLT), a aprendizagem é o desenvolvimento de esquemas cognitivos em uma memória de longo prazo sem limites conhecidos e pode acontecer apenas se nossa limitada memória de trabalho puder processar novas informações apresentadas e a quantidade de informações que não contribui para a aprendizagem é baixo. De acordo com essa teoria, o aprendizado é ideal quando diminui o suporte instrucional, passando de exemplos trabalhados, via problemas de conclusão, para uma solução autônoma de problemas, e os alunos não se beneficiam praticando a recuperação com conteúdo complexo. No entanto, estudos sobre falhas produtivas e práticas de recuperação forneceram evidências claras contra essas duas diretrizes. Neste artigo, são discutidos problemas com a CLT e com pesquisas inspiradas nessa teoria, que permanecem amplamente ignorados entre os teóricos da carga cognitiva, mas provavelmente contribuíram para essas descobertas contraditórias. Este artigo conclui que essas questões devem nos fazer questionar a utilidade da CLT na educação em ciências da saúde, educação médica e outros domínios complexos e apresenta recomendações para a prática educacional e para pesquisas futuras sobre o assunto.

Assessment programs and their components: a network approach / Programas de avaliação e seus componentes: uma abordagem de rede

Exams and other assessments in health science education are not random events; rather, they are part of a bigger assessment program that is constructively aligned with the intended learning outcomes at different stages of a health science curriculum. Depending on topical and temporal distance, assessments in the program are correlated with each other to a more or lesser extent. Although correlation does not equate causation, once we come to understand the correlational structure of an assessment program, we can use that information to make predictions of future performance, to consider early intervention for students who are otherwise likely to drop out, and to inform revisions in either assessment or teaching. This article demonstrates how the correlational structure of an assessment program can be represented in terms of a network, in which the assessments constitute our nodes and the degree of connectedness between any two nodes can be represented as a thicker or thinner line connecting these two nodes, depending on whether the correlation between the two assessments at hand is stronger or weaker. Implications for educational practice and further research are discussed.

Exames e outras avaliações na educação em ciências da saúde não são eventos aleatórios. Ao contrário, eles fazem parte de um programa de avaliação mais amplo, alinhado construtivamente com os resultados de aprendizagem pretendidos em diferentes estágios de um currículo de ciências da saúde. Dependendo da distância local e temporal, as avaliações no programa são correlacionadas entre si em maior ou menor grau. Embora a correlação não equivalha à causalidade, uma vez que entendemos a estrutura correlacional de um programa de avaliação, podemos usar essas informações para fazer previsões de desempenho futuro, considerar intervenções precoces para estudantes com probabilidade de desistência e informar revisões em avaliação ou ensino. Este artigo demonstra como a estrutura correlacional de um programa de avaliação pode ser representada em termos de uma rede, na qual as avaliações constituem nossos nós e o grau de conexão entre dois nós pode ser representado como uma linha mais grossa ou mais fina que conecta esses dois nós, dependendo se a correlação entre as duas avaliações em questão é mais forte ou mais fraca. Implicações para a prática educacional e mais pesquisas são discutidas.