Improving Efficiency of Patient-Reported Outcome Collection: Application of Computerized Adaptive Testing to DASH and QuickDASH Outcome Scores.

PURPOSE: Patient-reported outcome measures assess health status and treatment outcomes in orthopedic care, but they may burden patients with lengthy questionnaires. Predictive models using machine learning, known as computerized adaptive testing (CAT), offer a potential solution. This study evaluates the ability of CAT to improve efficiency of the 30-item Disabilities of the Arm, Shoulder, and Hand (DASH) and 11-item QuickDASH questionnaires. METHODS: A total of 2,860 DASH and 27,355 QuickDASH respondents were included in the analysis. The CAT system was retrospectively applied to each set of patient responses stored on the instrument to calculate a CAT-specific score for all DASH and QuickDASH entries. The accuracy of the CAT scores, viewed in the context of the minimal clinically important difference for both patient-reported outcome measures (DASH, 12; QuickDASH, 9), was determined through descriptive statistics, Pearson correlation coefficient, intraclass correlation coefficient, and distribution of scores and score differences. RESULTS: The CAT model required an average of 15.3 questions to be answered for the DASH and 5.8 questions for the QuickDASH, representing a 49% and 47% decrease in question burden, respectively. Mean CAT score was the same for DASH and 0.1 points lower for QuickDASH with similar SDs (DASH, 12.9 ± 19.8 vs 12.9 ± 19.9; QuickDASH, 32.7 ± 24.7 vs 32.6 ± 24.6). Pearson coefficients (DASH, 0.99; QuickDASH, 0.98) and intraclass correlation coefficients (DASH, 1.0; QuickDASH, 0.98) indicated strong agreement between scores. The difference between the CAT and full score was less than the minimal clinically important difference in 99% of cases for DASH and approximately 95% of cases for QuickDASH. CONCLUSIONS: The application of CAT to DASH and QuickDASH surveys demonstrated an ability to lessen the response burden with negligible effect on score integrity. CLINICAL RELEVANCE: In the case of DASH and QuickDASH, CAT is an appropriate alternative to full questionnaire implementation for patient outcome score collection.

Validez en test adaptativos informatizados: alternativa para evaluar población con limitaciones visuales / Validade em testes adaptativos computadorizados: alternativa para avaliar população com deficiência visual / Validity in computerized adaptive testing: An alternative to assess visually impaired individuals

Este artículo centra su interés en la importancia de la validez dentro de los procesos de evaluación psicológica cuando se pretende evaluar a personas invidentes o con baja visión, y en el desarrollo de los Test Adaptativos Informatizados (TAI) como una alternativa para la evaluación de esta población. Se presenta una revisión sobre el concepto de validez a partir de las aproximaciones contemporáneas dominantes, y se habla acerca del desarrollo de los TAI, el problema de su validez y los alcances de esta tecnología como una alternativa para evaluar personas con baja visión o invidentes. Finalmente, este trabajo deja abierta la posibilidad para futuros desarrollos e investigaciones en torno a otras alternativas de evaluación con equidad para poblaciones con discapacidad física.(AU)

Este artigo centra o seu interesse na importância da validade dentro dos processos de avaliação psicológica de pessoas cegas ou com baixa visão e no desenvolvimento dos Testes Adaptativos Computadorizados (TAC) como uma alternativa para a avaliação dessa população. Apresenta-se uma revisão sobre o conceito de validade a partir das abordagens contemporâneas dominantes e sobre o desenvolvimento dos TAC, o problema da sua validade e os alcances dessa tecnologia como uma alternativa para avaliar pessoas cegas. Finalmente, o trabalho deixa em aberto a possibilidade de futuros desenvolvimentos e pesquisas sobre alternativas de avaliação com equidade para a população com deficiência física.(AU)

This article focuses on the importance of validity in the process of psychological evaluation, especially when the evaluation is intended for people with visual impairment, and about the development of the Computerized Adaptive Testing (CAT) as an alternative for the assessment of this population. First, a review of the main controversies about the concept of validity and the development of Computerized Adaptive Test is presented. Then, topics related to validity in CAT and scope, technological limitations, and the challenges of its use as an alternative to evaluate the visual impairment population are discussed. Finally, possibilities for future developments and research on high quality alternative assessment for populations with physical disabilities are set forth.(AU)

Validez en test adaptativos informatizados: alternativa para evaluar población con limitaciones visuales / Validade em testes adaptativos computadorizados: alternativa para avaliar população com deficiência visual / Validity in computerized adaptive testing: an alternative to assess visually impaired individuals

Este artículo centra su interés en la importancia de la validez dentro de los procesos de evaluación psicológica cuando se pretende evaluar a personas invidentes o con baja visión, y en el desarrollo de los Test Adaptativos Informatizados (TAI) como una alternativa para la evaluación de esta población. Se presenta una revisión sobre el concepto de validez a partir de las aproximaciones contemporáneas dominantes, y se habla acerca del desarrollo de los TAI, el problema de su validez y los alcances de esta tecnología como una alternativa para evaluar personas con baja visión o invidentes. Finalmente, este trabajo deja abierta la posibilidad para futuros desarrollos e investigaciones en torno a otras alternativas de evaluación con equidad para poblaciones con discapacidad física.

Este artigo centra o seu interesse na importância da validade dentro dos processos de avaliação psicológica de pessoas cegas ou com baixa visão e no desenvolvimento dos Testes Adaptativos Computadorizados (TAC) como uma alternativa para a avaliação dessa população. Apresenta-se uma revisão sobre o conceito de validade a partir das abordagens contemporâneas dominantes e sobre o desenvolvimento dos TAC, o problema da sua validade e os alcances dessa tecnologia como uma alternativa para avaliar pessoas cegas. Finalmente, o trabalho deixa em aberto a possibilidade de futuros desenvolvimentos e pesquisas sobre alternativas de avaliação com equidade para a população com deficiência física.

This article focuses on the importance of validity in the process of psychological evaluation, especially when the evaluation is intended for people with visual impairment, and about the development of the Computerized Adaptive Testing (CAT) as an alternative for the assessment of this population. First, a review of the main controversies about the concept of validity and the development of Computerized Adaptive Test is presented. Then, topics related to validity in CAT and scope, technological limitations, and the challenges of its use as an alternative to evaluate the visual impairment population are discussed. Finally, possibilities for future developments and research on high quality alternative assessment for populations with physical disabilities are set forth.