Internal and external validation of an updated ICD-10-CA to AIS-2005 update 2008 algorithm.

BACKGROUND: Administrative data are a powerful tool for population-level trauma research but lack the trauma-specific diagnostic and injury severity codes needed for risk-adjusted comparative analyses. The objective of this study was to validate an algorithm to derive Abbreviated Injury Scale (AIS-2005 update 2008) severity scores from Canadian International Classification of Diseases (ICD-10-CA) diagnostic codes in administrative data. METHODS: This was a retrospective cohort study using data from the 2009 to 2017 Ontario Trauma Registry for the internal validation of the algorithm. This registry includes all patients treated at a trauma center who sustained a moderate or severe injury or were assessed by a trauma team. It contains both ICD-10-CA codes and injury scores assigned by expert abstractors. We used Cohen's kappa (𝜅) coefficient to compare AIS-2005 Update 2008 scores assigned by expert abstractors to those derived using the algorithm and the intraclass correlation coefficient to compare assigned and derived Injury Severity Scores. Sensitivity and specificity for detection of a severe injury (AIS score, ≥ 3) were then calculated. For the external validation of the algorithm, we used administration data to identify adults who either died in an emergency department or were admitted to hospital in Ontario secondary to a traumatic injury (2009-2017). Logistic regression was used to evaluate the discriminative ability and calibration of the algorithm. RESULTS: Of 41,869 patients in the Ontario Trauma Registry, 41,793 (99.8%) had at least one diagnosis matched to the algorithm. Evaluation of AIS scores assigned by expert abstractors and those derived using the algorithm demonstrated a high degree of agreement in identification of patients with at least one severe injury (𝜅 = 0.75; 95% confidence interval [CI], 0.74-0.76). Likewise, algorithm-derived scores had a strong ability to rule in or out injury with AIS ≥ 3 (specificity, 78.5%; 95% CI, 77.7-79.4; sensitivity, 95.1; 95% CI, 94.8-95.3). There was strong correlation between expert abstractor-assigned and crosswalk-derived Injury Severity Score (intraclass correlation coefficient, 0.80; 95% CI, 0.80-0.81). Among the 130,542 patients identified using administrative data, the algorithm retained its discriminative properties. CONCLUSION: Our ICD-10-CA to AIS-2005 update 2008 algorithm produces reliable estimates of injury severity and retains its discriminative properties with administrative data. Our findings suggest that this algorithm can be used for risk adjustment of injury outcomes when using population-based administrative data. LEVEL OF EVIDENCE: Diagnostic Tests/Criteria; Level II.

Injury outcomes across Canadian trauma systems: a historical cohort study.

PURPOSE: Most North American trauma systems have designated trauma centres (TCs) including level I (ultraspecialized high-volume metropolitan centres), level II (specialized medium-volume urban centres), and/or level III (semirural or rural centres). Trauma system configuration varies across provinces and it is unclear how these differences influence patient distributions and outcomes. We aimed to compare patient case mix, case volumes, and risk-adjusted outcomes of adults with major trauma admitted to designated level I, II, and III TCs across Canadian trauma systems. METHODS: In a national historical cohort study, we extracted data from Canadian provincial trauma registries on major trauma patients treated between 2013 and 2018 in all designated level I, II, or III TCs in British Columbia, Alberta, Quebec, and Nova Scotia; level I and II TCs in New Brunswick; and four TCs in Ontario. We used multilevel generalized linear models to compare mortality and intensive care unit (ICU) admission and competitive risk models for hospital and ICU length of stay (LOS). Ontario could not be included in outcome comparisons because there were no population-based data from this province. RESULTS: The study sample comprised 50,959 patients. Patient distributions in level I and II TCs were similar across provinces but we observed significant differences in case mix and volumes for level III TCs. There was low variation in risk-adjusted mortality and LOS across provinces and TCs but interprovincial and intercentre variation in risk-adjusted ICU admission was high. CONCLUSIONS: Our results suggest that differences in the functional role of TCs according to their designation level across provinces leads to significant variations in the distribution of patients, case volumes, resource use, and clinical outcomes. These results highlight opportunities to improve Canadian trauma care and underline the need for standardized population-based injury data to support national quality improvement efforts.

RéSUMé: OBJECTIF: La plupart des systèmes de traumatologie nord-américains disposent de centres de traumatologie (CT) désignés, y compris de niveau I (centres métropolitains ultraspécialisés à volume élevé), de niveau II (centres urbains spécialisés à volume moyen) et/ou de niveau III (centres semi-ruraux ou ruraux). La configuration des systèmes de traumatologie varie d'une province à l'autre et nous ne savons pas comment ces différences influent sur la répartition de la patientèle et sur les issues. Notre objectif était de comparer le mélange de cas des patient·es, le volume de cas et les issues ajustées en fonction du risque des adultes ayant subi un traumatisme majeur admis·es dans des CT désignés de niveaux I, II et III dans l'ensemble des systèmes de traumatologie canadiens. MéTHODE: Dans une étude de cohorte historique nationale, nous avons extrait des données des registres provinciaux canadiens de traumatologie sur les patient·es ayant subi un traumatisme majeur traité·es entre 2013 et 2018 dans tous les CT désignés de niveau I, II ou III en Colombie-Britannique, en Alberta, au Québec et en Nouvelle-Écosse, les CT de niveau I et II au Nouveau-Brunswick, et dans quatre CT en Ontario. Nous avons utilisé des modèles linéaires généralisés à plusieurs niveaux pour comparer la mortalité, les admissions en unité de soins intensifs (USI) et les modèles de risque compétitif pour la durée du séjour à l'hôpital et à l'USI. L'Ontario n'a pas pu être inclus dans les comparaisons des devenirs parce qu'il n'y avait pas de données démographiques pour cette province. RéSULTATS: L'échantillon de l'étude comptait 50 959 patient·es. La répartition des patient·es dans les CT de niveaux I et II était similaire d'une province à l'autre, mais nous avons observé des différences significatives dans le mélange des cas et les volumes pour les CT de niveau III. Il y avait une faible variation de la mortalité ajustée en fonction du risque et des durées de séjour entre les provinces et les CT, mais la variation interprovinciale et intercentre des admissions à l'USI ajustées en fonction du risque était élevée. CONCLUSION: Nos résultats suggèrent que les différences dans le rôle fonctionnel des CT selon leur niveau de désignation d'une province à l'autre entraînent des variations importantes dans la répartition des patient·es, le nombre de cas, l'utilisation des ressources et les issues cliniques. Ces résultats mettent en évidence les possibilités d'amélioration des soins de traumatologie au Canada et soulignent la nécessité de disposer de données normalisées sur les blessures dans la population pour appuyer les efforts nationaux d'amélioration de la qualité.

Do patient outcomes differ when the trauma team leader is a surgeon or non-surgeon? A multicentre cohort study.

PURPOSE: Trauma team leaders (TTLs) have traditionally been general surgeons; however, some trauma centres use a mixed model of care where both surgeons and non-surgeons (primarily emergency physicians) perform this role. The objective of this multicentre study was to provide a well-powered study to determine if TTL specialty is associated with mortality among major trauma patients. METHODS: Data were collected from provincial trauma registries at six level 1 trauma centres across Canada over a 10-year period. We included adult trauma patients (age ≥ 18 yrs) who triggered the highest-level trauma activation. The primary outcome was the difference in risk-adjusted in-hospital mortality for trauma patients receiving initial care from a surgeon versus a non-surgeon TTL. RESULTS: Overall, 12,961 major trauma patients were included in the analysis. Initial treatment was provided by a surgeon TTL in 57.8% (n = 7513) of cases, while 42.2% (n = 5448) of patients were treated by a non-surgeon TTL. Unadjusted mortality occurred in 11.6% of patients in the surgeon TTL group and 12.7% of patients in the non-surgeon TTL group (OR 0.87, 95% CI 0.78-0.98, p = 0.02). Risk-adjusted mortality was not significantly different between patients cared for by surgeon and non-surgeon TTLs (OR 0.92, 95% CI 0.80-1.06, p = 0.23). Furthermore, we did not observe differences in risk-adjusted mortality for any of the subgroups evaluated. CONCLUSIONS: After risk adjustment, there was no difference in mortality between trauma patients treated by surgeon or non-surgeon TTLs. Our study supports emergency physicians performing the role of TTL at level 1 trauma centres.

ABSTRAIT: OBJECTIF: Les chefs d'équipe de traumatologie (CET) sont traditionnellement des chirurgiens généralistes; cependant, certains centres de traumatologie utilisent un modèle mixte de soins où des chirurgiens et des non-chirurgiens (principalement des médecins d'urgence) qui jouent ce rôle. L'objectif de cette étude multicentrique était de fournir une étude bien menée pour déterminer si la spécialité CET est associée à la mortalité chez les patients traumatisés majeurs. MéTHODES: Les données ont été recueillies à partir des registres provinciaux de 6 niveau 1 centres de traumatologie au Canada sur une période de 10 ans. Nous avons inclus des patients adultes traumatisés (âge ≥ 18 ans) qui ont provoqué l'activation traumatique de niveau le plus haut. Le primaire résultat était la différence de mortalité hospitalière ajustée en fonction du risque pour les patients traumatisés qui ont reçu des soins primaires d'un chirurgien par rapport à un CET non chirurgien. RéSULTATS: En totale, 12 961 patients traumatisés majeurs ont été la partie de cette analyse. Le soin primaire a été assuré par un chirurgien CET dans 57,8 % (n=7 513) des cas, alors que 42,2 % (n=5 448) des patients ont été traités par un CET non chirurgien. Une mortalité non ajustée s'est produit chez 11,6 % des patients du groupe de chirurgien CET et 12,7 % des patients du groupe de non chirurgien CET (OR 0,87, IC à 95 % 0,78 à 0,98, p = 0,02). La mortalité ajustée en fonction du risque n'était pas significativement différente entre les patients pris en charge par des CET chirurgiens et non-chirurgiens (RC 0,92, IC à 95 % 0,80 à 1,06, p = 0,23). De plus, nous ne pouvons pas observer de différences de mortalité ajustée au risque pour aucun des sous-groupes évalués. CONCLUSIONS: Après avoir ajusté du risque, il n'y avait pas de différence de mortalité entre les patients traumatisés traités par des chirurgiens ou non chirurgiens CET. Notre étude soutient les médecins d'urgences jouent le rôle de CET dans les centres de traumatologie de niveau 1.

Derivation and validation of actionable quality indicators targeting reductions in complications for injury admissions.

PURPOSE: Approximately, one out of five patients hospitalized following injury will develop at least one hospital complication, more than three times that observed for general admissions. We currently lack actionable Quality Indicators (QI) targeting specific complications in this population. We aimed to derive and validate QI targeting hospital complications for injury admissions and develop algorithms to identify patient charts to review. METHODS: We conducted a retrospective cohort study including patients with major trauma admitted to any level I or II adult trauma center an integrated Canadian trauma system (2014-2019). We used the trauma registry to develop five QI targeting deep vein thrombosis/pulmonary embolism (DVT/PE), decubitus ulcers, delirium, pneumonia and urinary tract infection (UTI). We developed algorithms to identify patient charts to revise on consultation with a group of clinical experts. RESULTS: The study population included 14,592 patients of whom 5.3% developed DVT or PE, 2.7% developed a decubitus ulcer, 8.6% developed delirium, 14.7% developed pneumonia and 7.3% developed UTI. The indicators demonstrated excellent predictive performance (Area Under the Curve 0.81-0.87). We identified 4 hospitals with a higher than average incidence of at least one of the targeted complications. The algorithms identified on average 50 and 20 charts to be reviewed per year for level I and II centers, respectively. CONCLUSION: In line with initiatives to improve the quality of trauma care, we propose QI targeting reductions in hospital complications for injury admissions and algorithms to generate case lists to facilitate the review of patient charts.

Trauma system accreditation and patient outcomes in British Columbia: an interrupted time series analysis.

OBJECTIVE: We aim to assess the impact of several accreditation cycles of trauma centers on patient outcomes, specifically in-hospital mortality, complications and hospital length of stay. DESIGN: Interrupted time series. SETTING: British Columbia, Canada. PARTICIPANTS: Trauma patients admitted to all level I and level II trauma centers between January 2008 and March 2018. EXPOSURE: Accreditation. MAIN OUTCOMES AND MEASURES: We first computed quarterly estimates of the proportions of in-hospital mortality, complications and survival to discharge standardized for change in patient case-mix using prognostic scores and the Aalen-Johansen estimator of the cumulative incidence function. Piecewise regressions were then used to estimate the change in levels and trends for patient outcomes following accreditation. RESULTS: For in-hospital mortality and major complications, the impact of accreditation seems to be associated with short- and long-term reductions after the first cycle and only short-term reductions for subsequent cycles. However, the 95% confidence intervals for these estimates were wide, and we lacked the precision to consistently conclude that accreditation is beneficial. CONCLUSIONS: Applying a quasi-experimental design to time series accounting for changes in patient case-mix, our results suggest that accreditation might reduce in-hospital mortality and major complications. However, there was uncertainty around the estimates of accreditation. Further studies looking at clinical processes of care and other outcomes such as patient or health staff satisfaction are needed.

Canadian benchmarks for acute injury care.

BACKGROUND: Acute care injury outcomes vary substantially across Canadian provinces and trauma centres. Our aim was to develop Canadian benchmarks to monitor mortality and hospital length of stay (LOS) for injury admissions. METHODS: Benchmarks were derived using data from the Canadian National Trauma Registry on patients with major trauma admitted to any level I or II trauma centre in Canada and from the following patient subgroups: isolated traumatic brain injury (TBI), isolated thoracoabdominal injury, multisystem blunt injury, age 65 years or older. We assessed predictive validity using measures of discrimination and calibration, and performed sensitivity analyses to assess the impact of replacing analytically complex methods (multiple imputation, shrinkage estimates and flexible modelling) with simple models that can be implemented locally. RESULTS: The mortality risk adjustment model had excellent discrimination and calibration (area under the receiver operating characteristic curve 0.886, Hosmer-Lemeshow 36). The LOS risk-adjustment model predicted 29% of the variation in LOS. Overall, observed:expected ratios of mortality and mean LOS generated by an analytically simple model correlated strongly with those generated by analytically complex models (r > 0.95, κ on outliers > 0.90). CONCLUSION: We propose Canadian benchmarks that can be used to monitor quality of care in Canadian trauma centres using Excel (see the appendices, available at canjsurg.ca). The program can be implemented using local trauma registries, providing that at least 100 patients are available for analysis.

CONTEXTE: L'issue des traitements dispensés dans les services de traumatologie d'urgence varie substantiellement d'une province canadienne et d'un centre de traumatologie à l'autre. Notre but était d'établir des valeurs de référence pour suivre la mortalité et la durée des séjours hospitaliers en traumatologie au Canada. MÉTHODES: Les paramètres ont été sélectionnés à partir des données du Registre national des traumatismes concernant les grands polytraumatisés admis dans tout centre de traumatologie de niveau I ou II au Canada et selon les catégories de patients suivantes : traumatisme crânien isolé (TCI), traumatisme thoraco-abdominal isolé, traumatisme plurisystémique fermé, âge de 65 ans ou plus. Nous avons évalué la validité prédictive à l'aide de critères discriminants et de paramètres d'étalonnage et nous avons procédé à des analyses de sensibilité pour évaluer l'impact du remplacement de méthodes analytiques complexes (imputation multiple, estimations par contraction des coefficients et modélisation flexible) par des modèles simples applicables à l'échelle locale. RÉSULTATS: Le modèle d'ajustement du risque de mortalité s'est révélé doté d'un pouvoir discriminant et d'un étalonnage excellents (aire sous la courbe de la fonction d'efficacité du récepteur [ROC] 0,886, test de Hosmer-Lemeshow 36). Le modèle d'ajustement du risque pour la durée du séjour hospitalier a permis de prédire 29 % de sa variation. De plus, les rapports observés:attendus pour la mortalité et la durée moyenne des séjours hospitaliers générés par un modèle analytique simple ont été en étroite corrélation avec les rapports générés par les modèles analytiques complexes (r > 0,95, κ pour valeurs aberrantes > 0,90). CONCLUSION: Nous proposons des valeurs de référence canadiennes qui peuvent être utilisées pour faire le suivi de la qualité des soins dans les centres de traumatologie canadiens à l'aide d'un simple programme Excel (voir les annexes, accessible à l'adresse canjsurg.ca). Le programme peut être appliqué à l'aide des données des registres de traumatologie locaux à la condition qu'au moins 100 patients y soient accessibles pour analyse.