ABSTRACT
Background: Diagnostic score reporting is one method of providing feedback to all students following a structured clinical assessment but its effect on learning has not been studied. The objective of this study was to assess the impact of this feedback on student reflection and performance following a dental hygiene assessment. Methods: In 2016, dental hygiene students at the University of Alberta participated in a mock structured clinical assessment during which they were randomly assigned to receive a diagnostic score report (intervention group) or an overall percentage grade of performance (control group). The students later reflected upon their performance and took their regularly scheduled structured clinical assessment. Reflections underwent content analysis by diagnostic domains (eliciting essential information, effective communication, client-centred care, and interpreting findings). Results were analysed for group differences. Results: Students performed best on eliciting essential information (92%) and poorest on interpreting findings (42%). The intervention group was more likely to view interpreting findings as a weakness, p = 0.007, while the control group was more likely to view eliciting essential information as a weakness, p = 0.04. No differences were found on the actual assessment scores, p > 0.05. Discussion: Students who received diagnostic score reporting appeared to reflect more accurately upon their weaknesses. However, this knowledge did not translate into improved performance. Modifications and enhancements to the report may be necessary before an effect on performance will be seen. Conclusion: Diagnostic score reporting is a promising feedback method that may aid student reflection. More research is needed to determine if these reports can improve performance.
Contexte: Le suivi de la notation des diagnostics est une des méthodes utilisées pour fournir de la rétroaction aux étudiants à la suite d'une évaluation clinique structurée, mais ses effets sur l'apprentissage n'ont pas été étudiés. La présente étude visait à évaluer l'effet de cette rétroaction sur la réflexion et la performance des étudiants à la suite d'une évaluation en hygiène dentaire. Méthodologie: Les étudiants en hygiène dentaire de l'Université de l'Alberta ont participé à une évaluation clinique structurée fictive pendant laquelle ils étaient désignés de façon aléatoire pour recevoir un suivi de la notation des diagnostics (groupe d'intervention) ou une note globale en pourcentage de leur performance (groupe témoin). Les étudiants ont plus tard réfléchi à leur performance et ont fait leur évaluation clinique structurée déjà à l'horaire. Une analyse de contenu a été effectuée sur les réflexions selon les domaines de diagnostics (obtention de renseignements essentiels, communication efficace, prestation de soins axés sur le client et interprétation des constatations). Les résultats ont été analysés pour déterminer les différences entre les groupes. Résultats: Les étudiants ont le mieux réussi sur l'obtention d'information essentielle (92 %) et ont le moins bien réussi sur l'interprétation des constatations (42 %). Le groupe d'intervention était plus susceptible de réfléchir à l'interprétation des constatations en tant que faiblesse, p = 0,007, alors que le groupe témoin était plus susceptible de réfléchir à l'obtention de l'information essentielle en tant que faiblesse, p = 0,04. Aucune différence n'a été trouvée sur les notations actuelles de l'évaluation, p > 0,05. Discussion: Les étudiants qui ont reçu un suivi de la notation des diagnostics semblaient réfléchir plus précisément sur leurs faiblesses. Cependant, cette connaissance ne s'est pas traduite par une performance améliorée. Des modifications et des améliorations du suivi peuvent être nécessaires avant qu'un effet sur la performance soit constaté. Conclusions: Le suivi de la notation des diagnostics présente une méthode de rétroaction prometteuse qui pourrait aider à la réflexion des étudiants. D'autres recherches sont nécessaires pour déterminer si ces rapports peuvent améliorer la performance.
Subject(s)
Clinical Competence , Oral Hygiene , Feedback , Humans , Learning , Students, DentalABSTRACT
Background: Structured clinical assessments capture key information about performance that is rarely shared with the student as feedback. The purpose of this review is to describe a general framework for applying diagnostic score reporting within the context of a structured clinical assessment and to demonstrate that framework within dental hygiene. Methods: The framework was developed using current research in the areas of structured clinical assessments, test development, feedback in higher education, and diagnostic score reporting. An assessment blueprint establishes valid diagnostic domains by linking clinical competencies and test items to the domains (e.g., knowledge or skills) the assessment intends to measure. Domain scores can be given to students as reports that identify strengths and weaknesses and provide information on how to improve. Results: The framework for diagnostic score reporting was applied to a dental hygiene structured clinical assessment at the University of Alberta in 2016. Canadian dental hygiene entry-to-practice competencies guided the assessment blueprinting process, and a modified Delphi technique was used to validate the blueprint. The final report identified 4 competency-based skills relevant to the examination: effective communication, client-centred care, eliciting essential information, and interpreting findings. Students received reports on their performance within each domain. Discussion: Diagnostic score reporting has the potential to solve many of the issues faced by administrators, such as item confidentiality and the time-consuming nature of providing individual feedback. Conclusion: Diagnostic score reporting offers a promising framework for providing valid and timely feedback to all students following a structured clinical assessment.
Contexte: Les évaluations cliniques structurées saisissent des renseignements clés sur la performance qui est rarement partagée avec les étudiants à titre de rétroaction. L'objectif de la présente étude est de définir une structure générale pour établir le suivi de la notation des diagnostics dans le cadre d'une évaluation clinique structurée et pour mettre en évidence ce cadre au sein de l'hygiène dentaire. Méthodologie: Le cadre a été créé à l'aide de la recherche actuelle dans les domaines d'évaluations cliniques structurées, d'élaboration de tests, de la rétroaction en éducation supérieure, et du suivi de la notation des diagnostics. Un plan d'évaluation détermine les domaines diagnostiques valides en liant les compétences cliniques et les éléments de tests aux domaines (p. ex., les connaissances ou les habiletés) que l'évaluation prévoit de mesurer. La notation des domaines peut être donnée aux étudiants sous forme de rapports qui précisent les forces et les faiblesses, et fournissent de l'information sur la façon de s'améliorer. Résultats: Le cadre de suivi de la notation des diagnostics a été appliqué à une évaluation clinique structurée en hygiène dentaire de l'Université de l'Alberta en 2016. Les compétences canadiennes d'entrée en pratique en hygiène dentaire ont guidé le processus de planification de l'évaluation et une technique modifiée de Delphi a été utilisée pour valider le plan. Le rapport final a ciblé quatre habiletés fondées sur des compétences, pertinentes à l'examen : communication efficace, soins axés sur le client, obtention des renseignements essentiels, et interprétation des constatations. Les étudiants ont reçu des rapports sur leur performance dans chaque domaine. Discussion: Le suivi de la notation des diagnostics a le potentiel de résoudre plusieurs des enjeux auxquels sont confrontés les administrateurs, comme la confidentialité des éléments et le temps demandé pour la rétroaction individuelle. Conclusion: Le suivi de la notation des diagnostics offre un cadre prometteur pour fournir une rétroaction valide et rapide à tous les étudiants à la suite d'une évaluation clinique structurée.
