ABSTRACT
Background: Workplace-based assessment (WBA) is a critical component of competency-based medical education (CBME), though literature on WBA for overnight call is limited. We evaluated a WBA tool completed by supervising subspecialty trainees on paediatric residents during subspecialty overnight call, for usefulness facilitating feedback/coaching in this setting. Methods: Web-based surveys were sent to residents pre- and post-WBA tool implementation monthly for four months (August-December 2018), exploring feedback frequency, Likert-scaled opinions of tool feasibility/usefulness facilitating feedback, and qualitative experiences. Assessor comments were categorized as actionable/non-actionable. Quantitative data was summarized using descriptive statistics. Qualitative data was coded to identify themes. Results: Total response rates averaged 41% (total 25 responses, average five respondents/12 residents on-call each month). Post-implementation (n = 16 responses), a non-sustained trend of increased Medical Expert feedback was observed. Residents were generally divided or disagreed on tool usefulness facilitating feedback and feasibility. Comments contained actionable feedback in < 10% of completed WBAs. Qualitative analysis revealed barriers to tool-facilitated coaching including: feedback quality and setting/environment, role of senior near-peer as assessor, interpersonal burden in encounters, and tool-specific issues. Conclusions: Increasing frequency of WBA tool completion is not sufficient to achieve CBME goals. Factors impacting feedback/coaching within the resident/near-peer dyad must be addressed.
Contexte: Tandis que l'évaluation en milieu de travail (EMT) est une composante essentielle de l'éducation médicale fondée sur les compétences (EMFC), il y a peu de recherches sur l'EMT en contexte de garde de nuit. Nous avons étudié un formulaire d'évaluation en milieu de travail rempli par des résidents en surspécialité supervisant des résidents en pédiatrie pendant la garde de nuit en surspécialité, afin de déterminer s'il facilite la rétroaction avec coaching dans ce contexte. Méthodes: Des questionnaires en ligne ont été envoyés aux résidents avant la mise en Åuvre de l'outil d'EMT et à partir de celle-ci, tous les mois pendant quatre mois (d'août à décembre 2018). Ils exploraient la fréquence des rétroactions, les opinions des participants, exprimées sur une échelle de Likert, sur le caractère pratique et l'utilité de l'outil comme facilitateur de la rétroaction et leurs expériences qualitatives. Les commentaires des évaluateurs ont été catégorisés comme étant exploitables ou non exploitables. Les données quantitatives ont été résumées à l'aide de statistiques descriptives. Les données qualitatives ont été codées pour identifier les thèmes. Résultats: Le taux de réponse total était en moyenne de 41 % (total de 25 réponses, moyenne de 5 répondants/12 résidents de garde chaque mois). Après l'introduction de l'outil (n = 16 réponses), une tendance non soutenue à l'augmentation des commentaires des experts médicaux a été observée. Les résidents étaient généralement partagés ou en désaccord quant au caractère pratique de l'outil et à sa capacité à faciliter la rétroaction. Les commentaires contenaient des informations exploitables dans moins de 10 % des EMT remplies. L'analyse qualitative a révélé les obstacles suivants au fonctionnement de l'outil comme facilitateur du coaching : la qualité des commentaires et l'environnement, le rôle du presque pair senior en tant qu'évaluateur, la tension lors des rencontres de coaching et les problèmes spécifiques à l'outil. Conclusion: Pour atteindre les objectifs de l'EMFC, il ne suffit pas de remplir plus souvent l'outil d'EMT. Les facteurs qui influencent la rétroaction avec coaching au sein de la dyade résident-presque pair doivent également être pris en compte.
ABSTRACT
Guyana is a low-middle income country on the northern coast of South America between Venezuela and Suriname. Guyana has relatively high child mortality and a notable gap in health care provision. As of 2011, there were no paediatricians in the public sector where approximately 90% of the population seek care. In response to this unmet need, Guyanese diaspora living in Canada, in partnership with Canadian paediatricians and the main teaching hospital, Georgetown Public Hospital Corporation (GPHC), developed a Master's program in paediatrics. The postgraduate program was designed with adapted training objectives from the Royal College of Physicians and Surgeons of Canada and the American Board of Paediatrics. Innovative strategies to overcome the lack of qualified paediatric faculty in Guyana included web-conferencing and a volunteer North American paediatric faculty presence at GPHC with a goal of 1-2 weeks every month. By November 2016, 10 graduates will have passed through a rigorous program of assessment including a two-day final examination with an objective structured clinical examination (OSCE) component.
