Embed Size (px)
Citation preview
VALIDATION STATISTIQUE DE MESURES DE GRAVITÉ DES TRAUMATISMES
CRANIOCÉRÉBRAUX BASÉES SUR LA CLASSIFICATION INTERNATIONALE DES MALADIES
Mémoire
Mathieu Gagné
Maîtrise en épidémiologie
Maître ès sciences (M.Sc.)
Québec, Canada
© Mathieu Gagné, 2016
iii
RÉSUMÉ
La Classification internationale des maladies (CIM) est le principal système de
classification utilisé pour les activités de surveillance des blessures, mais ne contient pas
d’information directe sur la gravité des blessures. Des mesures de gravité des blessures
basées sur la CIM peuvent être dérivées empiriquement ou appariées, mais aucune
approche n’a été formellement recommandée, notamment pour les traumatismes
craniocérébraux (TCC).
Deux études ont été menées afin de combler cette lacune. L’objectif de la première étude
consistait à examiner de manière systématique les résultats des études qui ont évalué les
performances des mesures de gravité des blessures basées sur la CIM pour prédire la
mortalité intra-hospitalière chez les blessés hospitalisés. Cet examen systématique
suggère que les mesures de gravité des blessures dérivées empiriquement des codes
CIM procurent des capacités de discrimination supérieures à celle des autres candidats
examinés. L’ICISS-Multiplicative et le TMPM-ICD offrent une capacité de discrimination
plus élevée que les autres mesures considérées.
L’objectif de la seconde étude était de comparer la validité prédictive des mesures de
gravité des blessures basées sur la CIM pour prédire la mortalité intra-hospitalière et
l’admission en unité de soins intensifs chez les patients hospitalisés à la suite d’un TCC au
Québec. Nos résultats indiquent que les mesures de gravité des blessures basées sur la
CIM affichent une validité acceptable pour prédire la mortalité intra-hospitalière et
l’admission en unité de soins intensifs chez les patients hospitalisés à la suite d’un TCC.
De manière générale, l’ICISS-Multiplicative a surclassé les autres candidats pour prédire
la mortalité à l’hôpital et les admissions en unité de soins intensifs.
Sur la base des résultats de ces deux études, nous recommandons que l’ICISS-
Multiplicative soit utilisé pour calculer la gravité des TCC dans les bases de données
médico-administratives dans lesquelles les diagnostics sont codifiés à l’aide de la CIM.
iv
ABSTRACT
The International Classification of Diseases (ICD) is the main classification system used
for the injury surveillance activities, but contains no direct information on the severity of
injuries. ICD-based injury severity measures can be derived empirically or mapped to the
Abbreviated Injury Scale, but no approach has been formally recommended, in particular
for traumatic brain injury (TBI).
Two studies were conducted to fill this gap. The objective of the first study was to
systematically review the results of studies that have evaluated the performance of the
ICD-based injury severity measures to predict in-hospital mortality among injury-related
patients. The results of this systematic review suggest that injury severity measures
empirically derived from ICD codes provided superior discriminative performance than
other mapped candidates. ICISS-Multiplicative and TMPM-ICD predict mortality more
accurately than other ICD-based measures.
The objective of the second study was to compare the accuracy of ICD-based injury
severity measures for predicting in-hospital mortality and intensive care unit (ICU)
admission in TBI patients. Our results indicate that all ICD-based injury severity measures
showed acceptable discrimination for predicting in-hospital mortality and ICU admission in
TBI patients. ICISS-Multiplicative had generally higher predictive accuracy than alternative
ICD-based injury severity measures for predicting in-hospital mortality and ICU admission.
Based on the results of these two studies, we recommend that the ICISS-Multiplicative
should be used for TBI severity adjustment in large routinely collected administrative data
where TBI are coded with ICD.
v
TABLE DES MATIÈRES
RÉSUMÉ ........................................................................................................................ iii
ABSTRACT .................................................................................................................... iv
TABLE DES MATIÈRES ................................................................................................. v
LISTE DES TABLEAUX ................................................................................................ viii
LISTE DES FIGURES ..................................................................................................... ix
LISTE DES ABRÉVIATIONS .......................................................................................... x
REMERCIEMENTS ........................................................................................................ xi
AVANT-PROPOS .......................................................................................................... xii
INTRODUCTION ............................................................................................................ 1
CHAPITRE 1 – ÉTAT DES CONNAISSANCES .............................................................. 3
1. Le traumatisme craniocérébral ................................................................................. 3
1.1. Définition ....................................................................................................... 3
1.2. Physiopathologie ........................................................................................... 3
1.3. Épidémiologie des traumatismes craniocérébraux ........................................ 4
1.4. Mesures de la gravité des blessures ............................................................. 5
1.5. Mesures physiologiques de la gravité des blessures ..................................... 6
1.6. Mesures anatomiques de gravité des blessures ............................................ 7
1.6.1. Mesures anatomiques de gravité des blessures basées sur l’AIS ................. 7
1.6.2. Mesures anatomiques de gravité des blessures basées sur la CIM .............. 8
1.6.3. Mesures anatomiques de gravité des blessures basées sur la CIM : beaucoup d’appelées, peu d’élues .............................................................. 10
1.6.4. Mesures anatomiques de gravité des traumatismes craniocérébraux basées sur la CIM ....................................................................................... 10
CHAPITRE 2 – HYPOTHÈSES ET OBJECTIFS ........................................................... 11
2.1. Hypothèses ................................................................................................. 11
2.2. Objectifs ...................................................................................................... 11
CHAPITRE 3 – MÉTHODOLOGIE ................................................................................ 12
3.1. Première partie - revue systématique et méta-analyse ................................ 12
3.1.1. Sources d’informations et recherche ........................................................... 12
3.1.2. Sélection des études ................................................................................... 13
3.1.3. Extraction des données ............................................................................... 13
3.1.4. Évaluation du risque de biais....................................................................... 14
3.1.5. Mesure des aires sous la courbe ROC (AUC) combinées pour la méta-analyse .............................................................................................. 15
3.1.6. Hétérogénéité des AUC combinées ............................................................ 16
vi
3.1.7. Évaluation du biais de publication ............................................................... 17
3.2. Validation des mesures de gravité des blessures basées sur la CIM pour prédire la mortalité intra-hospitalière et l’admission à l’unité des soins intensifs chez les patients ayant subi un TCC ............................................. 17
3.2.1. Type d’étude et population .......................................................................... 17
3.2.2. Sources de données ................................................................................... 17
3.2.3. Résultat clinique d’intérêt ............................................................................ 20
3.2.4. Mesures anatomiques de gravité des traumatismes .................................... 20
3.2.5. Autres prédicteurs considérés ..................................................................... 21
3.2.6. Analyses statistiques ................................................................................... 22
CHAPITRE 4 – PERFORMANCE OF ICD-BASED INJURY SEVERITY MEASURES USED TO PREDICT IN-HOSPITAL MORTALITY: A SYSTEMATIC REVIEW AND META-ANALYSIS ................................................................................................. 25
Résumé ........................................................................................................................ 26
Abstract ........................................................................................................................ 27
Background .................................................................................................................. 28
Methods ........................................................................................................................ 28
Search strategy .......................................................................................................... 29
Study selection ........................................................................................................... 29
Data extraction ........................................................................................................... 29
Assessment of risk of bias .......................................................................................... 30
Data analysis .............................................................................................................. 30
Weighted average AUC variability and subgroup analyses ......................................... 31
Results ......................................................................................................................... 31
Discrimination performance ........................................................................................ 31
Calibration and overall performance ........................................................................... 32
Discussion .................................................................................................................... 32
Limitations .................................................................................................................. 34
Conclusion .................................................................................................................... 35
References ................................................................................................................... 35
CHAPITRE 5 - PERFORMANCE OF ICD-BASED INJURY SEVERITY MEASURES USED TO PREDICT IN-HOSPITAL MORTALITY AND INTENSIVE CARE ADMISSION AMONG TRAUMATIC BRAIN-INJURED PATIENTS ............................... 53
Résumé ........................................................................................................................ 54
Abstract ........................................................................................................................ 55
Background .................................................................................................................. 56
Methods ........................................................................................................................ 57
Source of data ............................................................................................................ 57
vii
Outcome measure ...................................................................................................... 57
ICD-10-based injury severity measures ...................................................................... 57
Other predictor variables ............................................................................................ 58
Assessing predictive accuracy .................................................................................... 58
Sensitivity analyses .................................................................................................... 59
Results ......................................................................................................................... 59
Patient characteristics ................................................................................................ 59
Predictive accuracy .................................................................................................... 60
Discussion .................................................................................................................... 60
Limitations .................................................................................................................. 63
Conclusion .................................................................................................................... 63
References ................................................................................................................... 65
CHAPITRE 6 – DISCUSSION ....................................................................................... 79
6.1. Synthèse des principaux résultats ............................................................... 79
6.2. Validité interne de la revue systématique .................................................... 80
6.3. Validité interne des modèles prédictifs ........................................................ 82
6.3.1. Biais de sélection ........................................................................................ 82
6.3.2. Biais d’information ....................................................................................... 83
6.3.3. Biais de confusion ....................................................................................... 84
6.4. Taille de l’échantillon et précision des estimations ...................................... 85
6.5. Validité externe ........................................................................................... 86
6.6. Implications pour la santé publique ............................................................. 87
6.7. Orientation pour les travaux à venir ............................................................. 87
CHAPITRE 7 – CONCLUSION ET RECOMMANDATIONS .......................................... 88
BILIOGRAPHIE ............................................................................................................ 89
Annexe A – Liste de vérification PRISMA ..................................................................... 97
Annexe B – Stratégie de recherche documentaire ...................................................... 100
Annexe C – Formulaire d’extraction des données ....................................................... 102
Annexe D – Évaluation du risque de biais ................................................................... 107
Annexe E – Pooled AUC values for ICISS using the product of traditional survival proportions according to the ICD version (9th or 10th), derivation provenance of survival proportions, and type of database used for validation across studies published before and after 2004 ................................................................................. 108
viii
LISTE DES TABLEAUX
Tableau 1 Critères fonctionnels de l’échelle de coma Glasgow ..................................... 7
Tableau 2 Score de l’Abbreviated Injury Scale, niveau de gravité correspondant et
exemple de blessure à la tête ....................................................................... 8
Tableau 3 Principales mesures anatomiques de gravité des blessures basées sur la
Classification internationale des maladies .................................................. 10
Tableau 4 Codes de la CIM associés aux TCC, avec les scores AIS appariés, les
proportions de survie par diagnostic et les coefficients de
régression utilisés ....................................................................................... 19
Tableau 5 Characteristics of included studies .............................................................. 42
Tableau 6 Risk of bias of the 22 included studies ........................................................ 45
Tableau 7 Pooled AUC values for Injury Severity Instruments examined .................... 46
Tableau 8 Pooled AUC values for Injury Severity Instruments examined according to
the type of database used for validation ...................................................... 47
Tableau 9 Pooled AUC values for Injury Severity Instruments examined according to
the derivation provenance of survival proportions ....................................... 48
Tableau 10 Pooled AUC values for Injury Severity Instruments examined according to
the year of publication ................................................................................. 49
Tableau 11 Overall performance and calibration of the Injury Severity Instruments among
included studies .......................................................................................... 50
Tableau 12 Characteristics of traumatic brain injured patients in Quebec hospital
discharge data, 2006-07 to 2013-14 ........................................................... 72
Tableau 13 Adjusted odds ratios and their 95% confidence intervals for in-hospital
mortality and intensive care unit admission among of traumatic brain injured
patients in Quebec hospital discharge data, 2006-07 to 2013-14. ............... 73
Tableau 14 Difference in the area under the Receiver Operating Characteristic (ROC)
curve between ICISS-Multiplicative and others ICD-based injury severity
measures to predict in-hospital mortality and intensive care unit admission 77
Tableau 15 Area under the Receiver Operating Characteristic (ROC) curve of ICD-based
injury severity measures to predict in-hospital mortality among subgroups . 77
Tableau 16 Overall performance and calibration for ICD-based injury severity measures
to predict in-hospital mortality and intensive care unit admission ................ 78
ix
LISTE DES FIGURES
Figure 1 Classification des TCC selon la pathologie ...................................................... 4
Figure 2 Flow diagram for selection of studies ............................................................. 40
Figure 3 Funnel plot of reported AUC for ICD-based injury severity measures ............ 41
Figure 4 Discriminative performance for ICD-based injury severity measures to
predict in-hospital mortality and intensive care unit admission ....................... 69
Figure 5 Calibration plots for ICD-based injury severity measures to ..............................
predict in-hospital mortality ............................................................................ 70
Figure 6 Calibration plots for ICD-based injury severity measures to ..............................
predict intensive care unit admission ............................................................. 71
x
LISTE DES ABRÉVIATIONS
AIS Abbreviated Injury Scale
AUC Aire sous la courbe ROC
CIM Classification internationale des maladies
GCS Échelle de coma Glasgow
H-L Statistique Hosmer-Lemeshow
ICISS International Classification of Disease based Injury Severity Score
ISS Injury Severity Score
MAIS AIS Maximum
Med-Écho Maintenance et exploitation des données pour l’étude de la clientèle
hospitalière
NISS New Injury Severity Score
PRISMA Preferred Reporting Items for Systematic Reviews and Meta-Analyses
PSD Proportions de survie par diagnostic
RTS Revised Trauma Score
TCC Traumatisme craniocérébral
TCCL Traumatisme craniocérébral léger
TMPM Trauma Mortality Prediction Model
TRIPOD Transparent Reporting of a multivariable prediction model for Individual
Prognosis Or Diagnosis
xi
REMERCIEMENTS
Je tiens à remercier Professeure Lynne Moore et Professeure Marie-Josée Sirois qui
m’ont dirigé pour ce travail. Malgré nos horaires chargés et la durée de ce projet, elles
m’ont apporté leur soutien, conseillé et guidé avec générosité. Parmi leurs nombreuses
contributions, leur perspicacité et leur jugement critique ont permis d’améliorer de manière
importante ce projet.
Plusieurs collaborateurs m’ont fourni une aide décisive pour mener à terme ce travail, plus
particulièrement Claudia Beaudoin, Vanessa Fillion et Marc Simard. Je tiens à les en
remercier.
Je remercie Valérie Émond et Danielle St-Laurent qui m’ont accordé les conditions
nécessaires pour réaliser ce projet.
Enfin, merci à Isabelle, Marie-Laurence et Élisabeth d’être à mes côtés, chaque jour, pour
m’encourager et me rappeler de profiter du moment présent.
xii
AVANT-PROPOS
Deux articles sont présentés dans ce mémoire. Le premier, intitulé «Performance of
International Classification of Diseases-based injury severity measures used to predict in-
hospital mortality: systematic review and meta-analysis» a été publié en mars 2016 dans
le numéro 80, volume 3, du Journal of Trauma and Acute Care Surgery. Les résultats du
ce premier article avaient été présentés à la rencontre scientifique annuelle de
l’Association canadienne de traumatologie qui s’est déroulé en avril 2014 à Montréal. Pour
cette présentation, le prix de la meilleure affiche nous a été décerné. Le second article,
intitulé «Performance of ICD-based injury severity measures used to predict in-hospital
mortality and intensive care admission among traumatic brain-injured patients» a été
accepté pour publication en septembre 2016 dans le Journal of Trauma and Acute Care
Surgery. Mathieu Gagné est le premier auteur de ces deux articles. Il a joué un rôle central
dans l’élaboration du projet, pour l’obtention des données, pour leur analyse et
l’interprétation des résultats. Il a également participé à la préparation et la rédaction des
manuscrits en tant que premier auteur, sous la supervision de Professeure Lynne Moore
et de Professeure Marie-Josée Sirois.
Ces deux articles ont pour coauteurs Lynne MOORE (Ph.D.)1,2, Marc SIMARD (M.Sc.)3,
Marie-Josée SIROIS (Ph.D.) 2,4, Claudia BEAUDOIN (M.Sc.)2,3 et Brice Lionel Batomen
KUIMI (M.Sc.)1,2.
1 Axe Santé des Populations et pratiques Optimales en Santé (Population Health and Optimal
Health Practices Research Unit), Traumatologie – Urgence - Soins intensifs (Trauma –
Emergency – Critical Care Medicine), Centre de Recherche du Centre Hospitalier Universitaire
(CHU) de Québec (Hôpital de l’Enfant-Jésus), Université Laval, Québec (Qc), Canada; 2 Département de médecine sociale et préventive, Faculté de médecine, Université Laval; 3 Bureau d’information et d’études en santé des populations, Institut national de santé publique du
Québec. Auteur sur le second article seulement; 4 Département de réadaptation, Faculté de médecine, Université Laval et Centre d’Excellence sur le
Vieillissement de Québec, Centre de Recherche du Centre Hospitalier Universitaire (CHU) de
Québec (Hôpital de l’Enfant-Jésus), Université Laval, Québec (Qc), Canada
1
INTRODUCTION
Les traumatismes craniocérébraux (TCC) constituent une cause importante de mortalité et
de morbidité dans le monde.(1) L’Organisation mondiale de la Santé estime
qu’annuellement, 10 millions d’individus subissent un TCC.(2) Chez les adultes admis
entre 2006 et 2012 dans un centre de traumatologie au Canada à la suite d’une blessure
majeure, 78 % de la mortalité intra-hospitalière était attribuable à un TCC.(3) Lorsque les
patients traumatisés crâniens hospitalisés survivent, près de la moitié conserve des
limitations fonctionnelles après la phase aiguë.(4) Parallèlement, les conséquences
économiques associées aux TCC sont importantes, alors que le coût moyen de traitement
pour un TCC modéré ou grave est estimé à 36 648 $ US.(5)
L’utilisation d’informations valides relatives aux TCC est nécessaire pour établir les
priorités et élaborer des stratégies efficaces en matière de prévention, de même que pour
allouer les ressources de santé de façon rationnelle.(6,7) Ces données sont issues des
activités de surveillance et de recherche sur les blessures. Les informations relatives à la
gravité des lésions subies sont essentielles pour identifier et contrôler les différences dans
les caractéristiques de base des populations de patients.(8)
Pour les activités de surveillance et de recherche qui concernent les TCC, une définition
opérationnelle a été proposée sur la base des codes de diagnostic de la Classification
internationale des maladies (CIM).(9) Ce système de classification est généralement
utilisé à des fins administratives par les établissements de santé afin de colliger dans des
bases de données volumineuses les affections qui ont été diagnostiquées ou traitées.
Contrairement à l'Abbreviated Injury Scale (AIS), employé pour codifier les blessures dans
les registres dédiés à la traumatologie, la CIM ne contient pas d'information directe sur la
gravité des blessures.(10) Plusieurs mesures de gravité des blessures basées sur la CIM
sont néanmoins disponibles et peuvent être intégrées aux bases de données qui utilisent
ce système de classification.(11) Toutefois, aucune mesure n'a été formellement
recommandée.
La capacité des mesures de gravité des blessures à prédire la mortalité chez les patients
blessés a fait l’objet d’une revue systématique en 2012.(11) Cependant, les performances
prédictives des mesures de gravité des blessures basées sur la CIM n'ont pas été
présentées. De même, à notre connaissance, en dépit de l'utilisation fréquente des
2
mesures de gravité des blessures basées sur la CIM dans les travaux de recherche sur
les TCC, aucune étude n'a formellement porté sur l’évaluation de leur validité.
3
CHAPITRE 1 – ÉTAT DES CONNAISSANCES
1. Le traumatisme craniocérébral
1.1. Définition
Un TCC est défini comme « une altération des fonctions cérébrales, ou toute autre preuve
de pathologie cérébrale, causée par une force extérieure ».(12) Les signes d’une
altération des fonctions cérébrales peuvent être une perte ou une diminution du niveau de
conscience, une amnésie rétrograde ou antérograde, l’apparition de déficit neurologique
ou toutes modifications de l’état mental au moment de la blessure.(12) La force extérieure
ou le mécanisme à l’origine de la lésion peut être un coup direct, une
accélération/décélération rapide, un objet pénétrant (ex. coup de feu) ou encore le souffle
d’une explosion.(12)
1.2. Physiopathologie
Les TCC occasionnent divers dommages anatomiques (figure 1). Une part importante des
TCC sont légers (par exemple les commotions cérébrales) puisqu’ils entraînent des
symptômes brefs et transitoires sans qu’une lésion intracrânienne soit présente.(13)
D’autres sont provoqués par une contusion ou un hématome localisé pouvant se situer à
l’intérieur du cerveau (sous-arachnoïdienne), entre l’extérieur du cerveau et la dure-mère
(sous-dural) ou entre le crâne et la dure-mère (épidural).(14) Des lésions axonales
diffuses, associées à des forces de cisaillement des cellules nerveuses, s’observent
également lors d’accélération/décélération violente de la boîte crânienne, comme dans le
cas de collisions de véhicule à moteur.(15) Ces lésions initient divers mécanismes
pathophysiologiques pouvant mener à des dommages secondaires, dont l’œdème
cérébral.(14,16) Les lésions cérébrales isolées sont relativement peu communes lors d’un
TCC et s’accompagnent régulièrement de fracture du crâne.(15)
4
Figure 1 Classification des TCC selon la pathologie
1.3. Épidémiologie des traumatismes craniocérébraux
En 2008, les traumatismes ont constitué la principale cause de décès au Canada chez les
individus âgés de 1 à 44 ans.(17) Aux États-Unis, en 2006, près du tiers de tous les décès
par traumatisme impliquait un TCC.(18) Chez les adultes admis dans un centre de
traumatologie au Canada à la suite d’une blessure majeure entre 2006 et 2012, 78 % de la
mortalité intra-hospitalière était attribuable à un TCC.(3)
Les TCC constituent un problème de santé publique important(1) qui occasionne plus de
52 000 décès et 275 000 hospitalisations chaque année aux États-Unis.(19) Lorsque les
patients traumatisés crâniens survivent à leur hospitalisation, près de la moitié conserve
une incapacité à long terme.(4) Les TCC occasionnent également un lourd fardeau
économique pour la société, notamment parce que le coût moyen associé au traitement et
à la prise en charge à long terme d’un TCC modéré ou grave varie entre 20 550 et
36 648 $ US.(5,20,21)
Au Canada, les TCC ont engendré en moyenne 23 300 hospitalisations par année entre
2006 et 2010, alors que le taux annuel d’hospitalisations associées aux TCC a augmenté
de 4 % au cours de cette période.(22) Aux États-Unis, pour la période 2002 à 2006, le
taux d’hospitalisations associées aux TCC a été estimé à 94 hospitalisations par 100 000
personnes.(19) Au Canada, au cours de l’année 2010, le taux d’hospitalisations associées
aux TCC était de 73 hospitalisations par 100 000 personnes,(22) un taux similaire à ce qui
Commotion
Focalisée
Contusion
Hématome
Épidural
Sous-dural
Sous-arachnoïdien
Diffuse
Lésion Axonale
Œdème
Fracture du crâne
5
est rapporté au Brésil (66 hospitalisations par 100 000 personnes),(23) mais inférieur à ce
qui est observé en Finlande (101 hospitalisations par 100 000 personnes).(24) La
comparaison du taux d’hospitalisations associées aux TCC entre les différentes
juridictions est complexe en raison des différences méthodologiques des différentes
études et des variations des systèmes de santé.(25)
À tous les âges, l’incidence des TCC est plus élevée chez les hommes que chez les
femmes.(19,22) Lorsque les visites aux urgences, les admissions à l’hôpital et les décès
sont combinés, les enfants et les adolescents affichent les taux d’incidence les plus
élevés. En contrepartie, lorsque les visites aux urgences sont exclues, les taux
d’hospitalisation et de décès associés aux TCC sont plus élevés chez les aînés.(19)
D’ailleurs, dans les pays développés, le portrait épidémiologique des TCC se modifie.(26)
Alors que l’incidence des TCC liés aux accidents de la circulation diminue chez les plus
jeunes, l’incidence des TCC attribuables aux chutes accidentelles augmente chez les
aînés.(22,27) Malgré tout, aux États-Unis, le taux d’hospitalisations associées aux TCC a
diminué de 51% de 1980 à 1995,(28) en raison notamment de changements dans les
pratiques d’hospitalisation des patients ayant des TCC légers.
Ces changements peuvent conduire à des conclusions trompeuses lorsque les tendances
temporelles sont analysées.(29,30) Afin de contrôler l’impact de ces changements de
pratique sur la tendance des hospitalisations attribuables aux TCC, il est nécessaire de
disposer d’une mesure de gravité des blessures pouvant être intégrée aux bases de
données codifiées selon la CIM. L’utilisation d’une telle mesure permettrait de départager
les variations liées à l’utilisation des services de santé de celles associées à l’incidence
des TCC.(31) Cette stratégie soulève un certain défi méthodologique puisque la CIM ne
contient pas de mesure directe de la gravité des blessures.(8,10)
1.4. Mesures de la gravité des blessures
Les blessures peuvent être classées de plusieurs façons, notamment selon leur gravité.
L’approche habituellement utilisée pour décrire la gravité des blessures inclut l’étendue
des dommages anatomiques, les perturbations des mesures physiologiques de base et la
réserve fonctionnelle du patient. Ces dimensions peuvent être exprimées de la façon
suivante (32–34):
6
De manière habituelle, la gravité des blessures renvoie à la probabilité de décès, bien que
l’admission en unité de soins intensifs, la durée du séjour à l’hôpital, le degré des
limitations fonctionnelles et de l’invalidité ou les coûts associés aux blessures constituent
également des résultats de santé qui reflètent la gravité des blessures.(33)
1.5. Mesures physiologiques de la gravité des blessures
Les perturbations des mesures physiologiques de base traduisent la composante
dynamique de la blessure en phase aigüe.(35) Cette dimension est essentiellement
captée par trois paramètres liés aux conséquences des lésions traumatiques sur
l’organisme. Ces trois paramètres sont les dérangements hémodynamiques (pression
artérielle systolique), neurologiques (échelle de Coma Glasgow [GCS]) et respiratoires
(fréquence respiratoire). Utilisés conjointement, ces paramètres permettent de calculer le
Revised Trauma Score, le Trauma Score and Injury Severity Score(36) ou encore le
Trauma Risk Adjustment Model.(37)
L’évaluation des signes cliniques associés aux perturbations neurologiques occasionnées
par les lésions cérébrales constitue l’approche habituellement préconisée pour mesurer la
gravité des TCC.(38) Ces perturbations sont mesurées à l’aide du score GCS,(39,40)
considéré comme la référence depuis son développement en 1974.(41) Le score GCS
varie de 3 (état comateux) à 15 (personne parfaitement consciente) et s’obtient en
additionnant les scores obtenus à la suite de l’évaluation de trois critères fonctionnels
(Tableau 1), soit l’ouverture des yeux (1-4), la réponse verbale (1-5) et la réponse motrice
(1-6).(42) Un score de 13 à 15 indique généralement un TCC léger, tandis qu’un score de
9 à 12 désigne un TCC modéré. Un score inférieur ou égal à 8 signale un TCC grave.(41)
Le score GCS permet de bien discriminer les survivants des non-survivants chez les
patients hospitalisés à la suite d’un traumatisme à la tête,(43) et ce, malgré ses limites
chez les patients intoxiqués ou sous sédation.(44)
Gravité Lésion
anatomique Perturbation
physiologique Réserve
fonctionnelle
7
Tableau 1 Critères fonctionnels de l’échelle de coma Glasgow
Ouverture des yeux Réponse verbale Réponse motrice
Spontanée (4) Orientée (5) Obéit à la demande (6)
A la demande (3) Confuse (4) Orientée à la douleur (5)
A la douleur (2) Inappropriée (3) Évitement non adapté (4)
Aucune (1) Incompréhensible (2) Décortication (3)
Aucune (1) Décérébration (2)
Aucune (1)
1.6. Mesures anatomiques de gravité des blessures
La description anatomique des dommages corporels est également utilisée pour élaborer
des mesures de gravité.(45) Deux systèmes de classification offrent un lexique complet de
lésions anatomiques : l’AIS et la CIM. De manière générale, les informations contenues
dans les registres dédiés à la traumatologie sont codifiées selon l’AIS, alors que les
diagnostics et les actes thérapeutiques colligés dans les banques de données médico-
administratives plus volumineuses sont codifiés à l’aide de la CIM.(46)
1.6.1. Mesures anatomiques de gravité des blessures basées sur
l’AIS
L’AIS a été élaborée à la fin des années 60 par une équipe multidisciplinaire liée à
l’industrie automobile et intéressée par la classification des lésions anatomiques en
fonction de leur gravité.(47) Sur la base de consensus d’experts, un score de gravité est
assigné à chaque code de l’AIS pour refléter le risque de décès, d’incapacité, la durée du
traitement, l’incidence et le transfert d’énergie requis pour provoquer la blessure.(48) Le
score de gravité de l’AIS (Tableau 2) varie de 1 (mineur) à 6 (théoriquement incompatible
avec la vie).(49) Le score AIS le plus élevé chez un blessé ayant subi des lésions
multiples constitue l’AIS Maximum (Max AIS).
Le score de gravité de l’AIS comporte certaines limites, dont une relation non linéaire avec
le risque de décès et son incapacité à mesurer les effets synergiques potentiels des
blessures multiples.(50,51) Pour surmonter ces limites, d’autres mesures de gravité
dérivées de l’AIS ont été développées, dont l’Injury Severity Score (ISS)(50) et le New ISS
(NISS).(52) L’ISS a été proposé en 1974 pour synthétiser la gravité des blessures chez les
patients polytraumatisés. L’ISS est la somme des carrés des trois scores AIS les plus
élevés sur trois régions corporelles différentes.(50) L’ISS ne prend pas en compte l’effet
combiné de blessures au sein d’une même région corporelle et ignore parfois des
8
blessures graves en faveur de blessures plus mineures touchant une autre région du
corps.(50,52) Le NISS a été proposé pour corriger cette lacune et correspond plutôt à la
somme des carrés des trois scores AIS les plus élevés, sans égards à la partie du corps
atteinte.(52)
Tableau 2 Score de l’Abbreviated Injury Scale, niveau de gravité correspondant et exemple de blessure à la tête
Score AIS Gravité Exemple de blessure à la tête 1 Mineure Abrasion du cuir chevelu 2 Modérée Fracture simple et fermée de la voûte crânienne 3 Sérieuse Petite contusion cérébrale isolée 4 Sévère Hématome épidural ou extradural petit 5 Critique Hématome épidural ou extradural volumineux 6 Maximale Destruction massive du tronc cérébral
L’utilisation du lexique AIS est généralement limitée à la codification des registres dédiés à
la traumatologie puisque ce lexique requiert davantage de ressources spécialisées. Les
banques de données médico-administratives, qui contiennent un large éventail de
conditions de santé, sont habituellement codifiées à l’aide de la CIM.(46) Pour intégrer le
score de gravité des codes AIS aux bases de données médico-administratives codifiées
avec la CIM, des stratégies ont été développées afin de convertir les codes de lésions
traumatiques de la CIM en codes AIS.(53,54)
1.6.2. Mesures anatomiques de gravité des blessures basées sur
la CIM
Puisque la CIM ne comporte pas de mesure directe de la gravité des blessures, une
approche alternative a été proposée afin de dériver des proportions de survie par
diagnostic de lésion traumatique pour ce système de classification. Les proportions de
survie par diagnostic sont à la base de l’International Classification of Diseases based
Injury Severity Score (ICISS)(55,56) et sont obtenues par la division du nombre de
survivants pour chacun des codes de lésions traumatiques de la CIM par le total des
patients hospitalisés ayant ce code. Le produit de toutes les proportions de survie par
diagnostic associées aux blessures subies par un patient hospitalisé procure le pointage
ICISS (ICISS-Multiplicative) et reflète la probabilité de survie, qui varie entre 0 (aucun
survivant) et 1 (aucun décès).(55)
Sceptiques à l’égard de la façon dont les blessures multiples contribuent à la prédiction de
la mortalité à la suite d’une blessure, Kilgo et ses collègues ont suggéré que la plus faible
9
proportion de survie par diagnostic (ICISS-Worst Injury) d’un patient hospitalisé prédirait
plus adéquatement la survie que l’ICISS-Multiplicative.(57) Parallèlement, Meredith et ses
collègues ont postulé que les proportions de survie par diagnostic calculées de la manière
traditionnelle n’étaient pas indépendantes puisqu’elles sont contaminées par la présence
d’autres blessures chez les patients polytraumatisés.(58) Des proportions de survie par
diagnostic indépendantes ont alors été dérivées de patients ayant subi uniquement des
blessures isolées, ce qui permettrait une meilleure prédiction de la survie en comparaison
aux proportions de survie par diagnostic traditionnelles.(58)
Pour contourner le manque de précision associé aux codes CIM de blessures rarement
utilisés, un modèle de prédiction de la mortalité attribuable aux blessures dérivé
empiriquement sur la base des codes CIM (TMPM-ICD) a été proposé.(59) Le TMPM-ICD
utilise des moyennes de coefficients de régression obtenues en deux étapes à l’aide de la
modélisation statistique. D’abord, des estimations de la mortalité intra-hospitalière sont
calculées pour chaque code CIM de lésions traumatiques. Ensuite, la contribution de
chaque code à la mortalité de la région corporelle impliquée est estimée. Un score de
gravité des blessures est par la suite calculé pour chaque blessure en utilisant une
moyenne pondérée des coefficients spécifiques et par région corporelle associés à un
code CIM. Les valeurs des coefficients moyens de régression des cinq blessures les plus
graves subies par un patient sont alors utilisées dans un modèle final comme variable
prédictive de la mortalité intra-hospitalière.
Le Tableau 3 présente les principales mesures anatomiques de gravité des blessures
basées sur la CIM et leur formule de calcul respective.
10
Tableau 3 Principales mesures anatomiques de gravité des blessures basées sur la Classification internationale des maladies
Approche Dénomination Formule de calcul
Dérivée empiriquement ICD Injury Severity Score (ICISS)
◦ ICISS – Multiplicative PSD1 *PSD2 * PSD3 * … * PSDn
◦ ICISS – Worst Injury minimum (PSD1, PSD2, PSD3, …, PSDn)
Trauma Mortality Prediction Model (TMPM-ICD) 𝑃(𝑑𝑒𝑎𝑡ℎ) = Φ (𝐶0 + ∑ 𝐶𝑖𝐼𝑖
5
𝑖=1
+ 𝑛𝑆 + 𝜎𝐼1𝐼2)
Appariée à l’Abbreviated Injury Scale (AIS) scores Max AIS maximum(AIS1, AIS2, …, AISn)
New Injury Severity Score (NISS) AIS12 + AIS2
2 + AIS32
1.6.3. Mesures anatomiques de gravité des blessures basées sur
la CIM : beaucoup d’appelées, peu d’élues
Malgré la disponibilité de plusieurs mesures de gravité des blessures basées sur la CIM,
aucune mesure n’a été formellement recommandée. En 2012, Tohira et ses collègues ont
mené une revue systématique afin de rassembler et synthétiser les résultats des études
dans lesquelles les performances prédictives de mesures de gravité des blessures,
basées ou non sur la CIM, avaient été évaluées.(11) Cependant, Tohira et ses collègues
rapportaient que les résultats étaient peu concluants pour l’ICISS, notamment parce que
seules les comparaisons directes ont été conservées et que les formules de calcul ou
l’approche utilisée n’avaient pas été isolées. De plus, les résultats des mesures de gravité
des blessures basées sur la CIM appariées au score AIS n’ont pas été distingués des
scores AIS directement codifiés. Parallèlement, une nouvelle mesure de gravité des
blessures basées sur la CIM a été publiée, le TMPM-ICD,(59–62) et n’a pas été
considérée dans la revue systématique menée par Tohira et ses collègues.
1.6.4. Mesures anatomiques de gravité des traumatismes
craniocérébraux basées sur la CIM
À notre connaissance, en dépit de l’utilisation fréquente de mesures anatomiques de
gravité des blessures pour contrôler les différences dans les caractéristiques de base des
patients hospitalisés à la suite d’un TCC, aucune étude n’a formellement vérifié la validité
des mesures de gravité des blessures basées sur la CIM pour prédire la mortalité intra-
hospitalière ou tout autre résultat de santé dans cette population.
11
CHAPITRE 2 – HYPOTHÈSES ET OBJECTIFS
2.1. Hypothèses
Nos hypothèses reposent sur le postulat que la gravité des blessures peut être évaluée à
l’aide de trois dimensions, c’est-à-dire l’étendue des dommages anatomiques, les
perturbations des mesures physiologiques et la réserve fonctionnelle du patient. Les
mesures de la gravité des blessures basées sur la CIM représentent la dimension
associée à l’étendue des dommages anatomiques. Ainsi, les mesures de la gravité des
blessures basées sur la CIM devraient permettre de prédire la mortalité intra-hospitalière
et l’admission en unité de soins intensifs, deux résultats de santé qui reflètent la gravité
des blessures, chez les patients hospitalisés à la suite d’une blessure, en particulier d’un
TCC.
2.2. Objectifs
L’objectif principal de ce projet est d’identifier la mesure de gravité des blessures basée
sur la CIM qui présente la meilleure performance pour prédire la mortalité intra-hospitalière
et l’admission en unité de soins intensifs chez les patients hospitalisés à la suite d’un TCC.
Cet objectif principal s’articule autour de deux objectifs spécifiques qui sont les suivants:
1) Examiner de manière systématique les résultats des études portant sur l’évaluation
des performances des mesures de gravité des blessures basées sur la CIM pour
prédire la mortalité intra-hospitalière chez les blessés hospitalisés.
2) Comparer la validité prédictive des mesures de gravité des blessures basées sur la
CIM pour prédire la mortalité intra-hospitalière et l’admission en unité de soins
intensifs chez les patients hospitalisés à la suite d’un TCC.
12
CHAPITRE 3 – MÉTHODOLOGIE
Dans ce chapitre, la méthodologie employée pour répondre aux objectifs de chacun des
articles insérés dans ce mémoire est présentée.
3.1. Première partie - revue systématique et méta-analyse
Pour répondre au premier objectif de ce travail, nous avons mené une revue systématique
avec méta-analyse des études de cohortes rétrospectives dans lesquelles la capacité
prédictive des mesures de gravité des blessures basées sur la CIM pour prédire la
mortalité intra-hospitalière a été évaluée. Les recommandations du Preferred Reporting
Items for Systematic Reviews and Meta-Analyses (PRISMA)(63) et des principes énoncés
dans le Cochrane Handbook for Systematic Reviews of Interventions(64) ont été
considérés dans la réalisation de cette revue systématique (voir Annexe A – Liste de
vérification PRISMA).
3.1.1. Sources d’informations et recherche
Les bases de données électroniques Ovid MEDLINE (1946 à septembre 2014), Ovid
EMBASE (1974 à septembre 2014) et Ovid Global Health (1973 à septembre 2014) ont
été consultées afin d’identifier les publications portant sur les mesures de gravité des
blessures basées sur la CIM. La stratégie de recherche combinait divers termes associés
aux blessures, aux mesures de gravité et à la Classification internationale des maladies
(voir Annexe B – Stratégie de recherche documentaire). Afin de repérer la documentation
pertinente qui aurait pu être manquée, Google Scholar et les listes bibliographiques des
études retenues ont été consultés.(65) Aucune restriction liée à l’année ou à la langue de
publication n’a été apportée. Les manuscrits de recherche originale, publiés ou non par
des journaux scientifiques, les rapports officiels, les livres, les chapitres de livre, les actes
et résumés de conférences constituaient des types de publications admissibles. Les
revues narratives, les lettres à l’éditeur et les éditoriaux n’ont pas été retenus. Les
références identifiées ont été traitées dans un logiciel de gestion bibliographique
(Reference Manager©, Version 11, Thomson Corporation) et les doublons ont été
éliminés.
13
3.1.2. Sélection des études
Les études d’observations, rétrospectives et prospectives, ont été considérées comme
admissibles lorsque les capacités prédictives d’au moins une mesure de gravité des
blessures basée sur la CIM étaient évaluées. Cette mesure de gravité des blessures
devait traduire un risque de mortalité intra-hospitalière. La mesure de gravité des
blessures devait être validée à l’aide de données administratives relatives aux congés des
hôpitaux ou issues de registres de traumatismes couvrant les admissions générales liées
à une blessure. Les études limitées à la population pédiatrique ou encore à une cohorte
de patients hospitalisés pour un type de blessures très précis (par exemple, les lésions de
la moelle épinière, les fractures de la hanche, etc.) ont été exclues afin d’identifier des
mesures de gravité pouvant s’appliquer à un large éventail de blessures. De même, les
études réalisées dans le contexte de soins de réadaptation n’ont pas été retenues.
Les titres et les résumés de chacune des études répertoriées à l’aide de notre stratégie de
recherche ont été systématiquement vérifiés par deux réviseurs (M.G. et C.B.) afin de
sélectionner de manière indépendante les publications pertinentes. Les textes complets
des études éligibles ont par la suite été examinés, de manière indépendante, par deux
réviseurs (M.G. et C.B.) afin de déterminer leur admissibilité. Un mécanisme de
conciliation a permis de résoudre les désaccords.
3.1.3. Extraction des données
Les informations pertinentes ont été extraites à l’aide d’un formulaire standardisé (voir
Annexe C – Formulaire d’extraction), validé sur un échantillon de cinq études. Les
informations colligées portaient sur la description de la population à l’étude, les éléments
de méthodologie, la mesure des issues de santé, les capacités prédictives des mesures et
la qualité méthodologique des études. L’extraction des données a été limitée aux modèles
contenant seulement les mesures de gravité des blessures basées sur la CIM puisque les
performances des modèles incluant d’autres facteurs de risque (par exemple l’âge, les
comorbidités, le score GCS, le mécanisme de blessure, etc.) étaient rapportées de
manière irrégulière.
La capacité prédictive des mesures de gravité des blessures basées sur la CIM a été
évaluée à l’aide de la discrimination et de la calibration des modèles prédictifs de la
mortalité intra-hospitalière. La discrimination reflète la capacité du modèle à distinguer les
14
patients qui présentent le résultat d’intérêt de ceux qui ne l’ont pas. La discrimination est
habituellement exprimée en termes de concordance, qui correspond à l’aire sous la
courbe ROC1 (AUC).(66) Les valeurs de l’AUC varient entre 0 et 1. En règle générale, une
valeur égale à 0,5 ne suggère aucune capacité de discrimination, alors qu’une valeur de 1
indique une capacité de discrimination parfaite. Une valeur de l’AUC entre 0,7 et 0,8 est
considérée comme acceptable, entre 0,8 et 0,9 comme excellente et supérieure à 0,9
comme remarquable.(67) De son côté, la calibration traduit la correspondance entre les
valeurs prédites et les valeurs observées pour différentes strates de risque.(68) Pour
décrire la calibration des modèles, la statistique d’ajustement Hosmer-Lemeshow (H-L), sa
valeur de p correspondante, de même que l’information sur les courbes de calibration ont
été extraites. Si la valeur de p n’était pas mentionnée, nous l’avons estimée à l’aide de la
statistique d’ajustement H-L basée sur la distribution du khi-carré à huit degrés de liberté
lorsque les résultats étaient présentés par déciles de risque.(68) Les renseignements liés
aux performances globales des modèles (R2 de Nagelkerke, score Brier, critère
d’information d’Akaike) ont également été extraits lorsque ceux-ci étaient disponibles.
3.1.4. Évaluation du risque de biais
L’évaluation du risque de biais et de la qualité méthodologique des études retenues a été
réalisée par un seul réviseur (MG). Cette évaluation a été effectuée à l’aide d’une grille
adaptée d’outils développés pour juger de la qualité des études pronostiques(69,70) ou
des études d’observation.(71)
L’outil utilisé comporte quatre domaines d’évaluation. Il s’agit des participants à l’étude
(caractéristiques clés de la population de l’étude ainsi que les critères d’inclusion et
d’exclusion), la description des mesures de gravité des blessures basées sur la CIM
(définition, description des sources de données et méthodes), la mesure de la mortalité
intra-hospitalière (définition, validité et valeurs manquantes) et les analyses statistiques
effectuées (stratégie de modélisation, facteurs considérés et des procédures de
validation). Chaque domaine comporte des éléments prédéfinis qui peuvent être
catégorisés sans risque, à risque de biais ou risque incertain (voir Annexe D – Évaluation
du risque de biais).
1 De l’anglais «receiver operating characteristic».
15
3.1.5. Mesure des aires sous la courbe ROC (AUC) combinées
pour la méta-analyse
En raison de différences liées aux caractéristiques des patients et aux bases de données
utilisées dans les études incluses, les AUC combinées (A̅) ont été calculées à l’aide de
modèles à effets aléatoires. L’estimation des AUC combinées tient compte du poids (𝑊𝑖∗)
associé à chacune des études (inverse de la variance de l’étude) et d’une composante liée
à la variance inter-études (𝜏2). Ainsi, l’estimation de l’AUC combinée pour chacune des
mesures de gravité des blessures basées sur la CIM tient compte des valeurs de l’AUC de
chacune des études retenues (A𝑖), pondérées (𝑊𝑖∗) sur la base de l’inverse de la somme
de la variance inter-études (𝜏2) et intra-étude (𝑉𝑎𝑟(A𝑖)). La variance intra-étude a été
estimée lorsque celle-ci n’était pas rapportée.(72) Les AUC combinées ont été calculées
comme suit :
A̅ = ∑ Wi
∗Aiki=1
∑ Wi∗k
i=1
Wi∗ = 1/(Var(Ai) + τ2)
Var(Ai) ≈
Ai(1 − Ai) + (nD − 1) ((Ai
2 − Ai) − Ai
2) + (nS − 1) ((2Ai
2
1 + Ai) − Ai
2)
nD nS
nD = nombre de patients qui sont décédés
nS = nombre de patients qui ont survécu
τ2 =Q − (k − 1)
∑ Wiki=1 − (
∑ Wi2k
i=1
∑ Wiki=1
)
Q = ∑ Wi(Ai
k
i=1
− A̅)2
Wi = 1/Var(Ai)
k = nombre d′études
16
La variance et l’intervalle de confiance à 95% (IC 95%) pour chacune des AUC combinées
ont été calculés comme suit :
Var(A̅) =1
∑ Wi∗k
i=1
IC = A̅ ± Z1−α/2√Var (A̅)
Enfin, pour comparer les AUC combinées calculées pour chaque mesure de gravité des
blessures basée sur la CIM, nous avons supposé que ces mesures étaient indépendantes
et procédé comme suit pour présenter les valeurs-p bilatérales:
𝑍 = A̅1 − A̅2
Var(A̅ 12) + Var(A ̅2
2)
Les informations relatives à la calibration des modèles, c’est-à-dire la statistique H-L et les
courbes de calibration, n’ont pas été combinées. En ce qui concerne les courbes de
calibration, les illustrations graphiques des différentes études sont difficiles à synthétiser et
à comparer. Pour ce qui est de la statistique H-L, sa valeur est sensible à la taille de
l’échantillon et aux choix de modélisation des variables incluses dans le modèle.(66)
Comme les tailles des échantillons des études retenues étaient très hétérogènes, nous
avons choisi de ne pas combiner les informations relatives à la calibration des modèles.
3.1.6. Hétérogénéité des AUC combinées
L’hétérogénéité statistique entre les études incluses dans l’analyse a été quantifiée avec le
test du I2 proposé par Higgins.(73) Le test du I2 reflète le pourcentage de la variabilité des
estimations qui est attribuable aux fluctuations entre les études plutôt qu’à l’erreur
d’échantillonnage. Des analyses de sous-groupe ont été menées afin d’identifier les
caractéristiques (type de base de données utilisée, provenance des proportions de survie
et année de publication) susceptibles d’être à l’origine de l’hétérogénéité statistique
observée.
17
3.1.7. Évaluation du biais de publication
Pour évaluer le risque de biais de publication, nous avons effectué une analyse de
l’asymétrie de la forme d’entonnoir en utilisant une régression linéaire pondérée des
estimations des AUC sur leur erreur standard.(74)
3.2. Validation des mesures de gravité des blessures basées sur la
CIM pour prédire la mortalité intra-hospitalière et l’admission à
l’unité des soins intensifs chez les patients ayant subi un TCC
3.2.1. Type d’étude et population
Pour répondre à notre second objectif, une étude de cohorte rétrospective a été menée
pour réaliser la validation statistique des mesures de gravité des blessures basées sur la
CIM pour prédire la mortalité intra-hospitalière et l’admission à l’unité des soins intensifs
chez les patients ayant subi un TCC au Québec. Pour cette partie du travail, les
recommandations du Transparent Reporting of a multivariable prediction model for
Individual Prognosis Or Diagnosis (TRIPOD) ont été suivies. Puisque la réalisation de cet
objectif repose exclusivement sur l’utilisation secondaire d’informations médico-
administratives anonymes et que les résultats anticipés ne créent aucune menace
d’identification individuelle, une exemption d’approbation nous a été accordée par le
comité d’éthique à la recherche de l’Université Laval (voir Annexe E – Formulaire VRR‐
103 pour la justification de l’exemption de l’obligation d’obtenir une approbation éthique).
La cohorte de validation comprend toutes les admissions de patients québécois âgés de
16 ans et plus, survenues entre le 1er avril 2006 et 31 mars 2014, pour des soins
physiques de courte durée dans un centre hospitalier au Québec.
3.2.2. Sources de données
Les données utilisées proviennent des fichiers du système d’information sur la clientèle
des hôpitaux du Québec (MED-ÉCHO). Ces données contiennent diverses informations
clinico-administratives en lien avec chaque séjour hospitalier survenu au Québec. Depuis
2006, les affections qui ont été diagnostiquées ou traitées pendant le séjour hospitalier
sont codées d’après la version canadienne de la 10e révision de la Classification
statistique internationale des maladies et des problèmes de santé connexes (CIM-10-CA).
Dans Med-Écho, un diagnostic principal et 25 diagnostics secondaires sont disponibles.
Le diagnostic principal correspond à l’affection la plus importante présentée par l’usager
18
durant son hospitalisation, tandis que les diagnostics secondaires concernent les autres
affections diagnostiquées ou traitées pendant le séjour hospitalier. Le choix de ces
diagnostics relève du médecin traitant. Les hospitalisations dont l’un des codes de
diagnostic correspond à un TCC (Tableau 4) ont été retenues.(9) Les transferts et les
réadmissions pour un même événement ont été éliminés, de même que les
hospitalisations de patients non-résidents du Québec.(75)
19
Tableau 4 Codes de la CIM associés aux TCC, avec les scores AIS appariés, les proportions de survie par diagnostic et les coefficients de régression utilisés
Codes Descriptions AIS† PSD‡ Coef.§
S01.0 Plaie ouverte du cuir chevelu 1-2 0.980 0.020
S01.1 Plaie ouverte de la paupière et de la région périoculaire 1 0.989 -0.140
S01.2 Plaie ouverte du nez 1 0.990 -0.013
S01.3 Plaie ouverte de l'oreille 1 0.989 -0.213
S01.4 Plaie ouverte de la région temporo-maxillaire 1 0.992 -0.071
S01.5 Plaie ouverte de la lèvre et de la cavité buccale 1 0.995 0.012
S01.7 Plaies ouvertes multiples de la tête 1 0.982 .
S01.8 Plaie ouverte d’autres parties de la tête 1-2 0.978 0.153
S01.9 Plaie ouverte de la tête, partie non précisée 1-2 0.986 1.540
S02.0 Fracture de la voûte crânienne 2-3 0.948 0.344
S02.1 Fracture de la base du crâne 4 0.938 0.118
S02.3 Fracture du plancher de l'orbite 2-3 0.991 -0.268
S02.7 Fractures multiples du crâne et de la face 3-4 0.952 .
S02.8 Fractures d’autres os du crâne et de la face 1-4 0.971 0.126
S02.9 Fractures des os du crâne et de la face non précisées 2-3 0.955 0.368
S04.0 Fractures d’autres os du crâne et de la face 2 0.992 -0.220
S06.0 Commotion 2-5 0.994 -0.113
S06.1 Œdème cérébral traumatique 3-5 0.994 0.601
S06.2 Lésion traumatique cérébrale diffuse 2-5 0.730 0.601
S06.3 Lésion traumatique cérébrale en foyer 4-5 0.880 0.694
S06.4 Hémorragie épidurale 4-5 0.912 0.136
S06.5 Hémorragie sous-durale traumatique 5 0.940 0.863
S06.6 Hémorragie sous-arachnoïdienne traumatique 3-5 0.838 0.459
S06.8 Autres lésions traumatiques intracrâniennes 4-5 0.840 0.601
S06.9 Lésion traumatique intracrânienne, sans précision 2-5 0.818 0.601
S07.0 Écrasement de la tête 6 0.989 0.388
S07.1 Écrasement du crâne 6 . .
S07.8 Écrasement d’autres parties de la tête 6 . .
S07.9 Écrasement de la tête, partie non précisée 6 0.959 0.388
S09.7 Lésions traumatiques multiples de la tête . 0.926 .
S09.8 Autres lésions traumatiques précisées de la tête . 0.980 0.418
S09.9 Lésion traumatique de la tête, sans précision . 0.983 0.473
T01.0 Plaies ouvertes de la tête avec plaies ouvertes du cou 1 0.985 .
T02.0 Fractures de la tête avec fractures du cou . 0.934 .
T04.0 Écrasement de la tête avec écrasement du cou . . .
T06.0 Lésions traumatiques du cerveau et de la moelle . 0.829 . † Score AIS minimum et maximum tirés de Haas B, Xiong W, Brennan-Barnes M, Gomez D, Nathens AB. Overcoming
barriers to population-based injury research: Development and validation of an ICD-10-to-AIS algorithm. Can J Surg. 2012 Feb;55(1):21-6.
‡ Proportions de survie par diagnostic (PSD) tirées de Gedeborg R, Warner M, Chen LH, Gulliver P, Cryer C, Robitaille Y, et al. Internationally comparable diagnosis-specific survival probabilities for calculation of the ICD-10-based Injury Severity Score. J Trauma Acute Care Surg. 2014 Feb;76(2):358–65.
§ Coefficients de régression moyens tirés de Cook A. TMPM: Stata module to implement Trauma Mortality Prediction Model using AIS, ICD-9 or ICD-10 codes [Internet]. 2013. Available from: https://ideas.repec.org/c/boc/bocode/s457663.html#download
20
3.2.3. Résultat clinique d’intérêt
Le principal résultat clinique étudié est la mortalité intra-hospitalière chez les patients
ayant subi un TCC. L’admission en unité de soins intensifs pendant le séjour à l’hôpital
constitue un critère d’évaluation secondaire.
3.2.4. Mesures anatomiques de gravité des traumatismes
Les mesures anatomiques de gravité des blessures basées de la CIM constituent nos
principales variables de prédiction. Ces mesures de gravité peuvent être dérivées
empiriquement ou encore appariées aux codes AIS (Tableau 3). En ce qui concerne les
mesures dérivées empiriquement, les proportions de survie par diagnostic utilisées pour
chacun des codes de lésions traumatiques proviennent de données internationales
combinées.(76) Pour un même individu ayant subi au moins une lésion traumatique, les
proportions de survie par diagnostic correspondantes ont été multipliées, lorsque
nécessaire, pour calculer l’ICISS-Multiplicative.(55) La plus faible des proportions de
survie par diagnostic d’un patient a été utilisée pour identifier la plus grave des blessures
(ICISS-Worst Injury).(57) L’appariement aux codes AIS, qui comprennent un score de
gravité, a été réalisé à l’aide d’un algorithme de conversion validé.(53) La somme des
carrés des trois plus hauts scores AIS associés à une blessure a été utilisée pour calculer
le NISS,(52) tandis que le score AIS le plus élevé pour une blessure a été retenu pour
générer le max AIS. Enfin, les moyennes pondérées des coefficients de régressions
associés aux codes CIM de blessure ont été utilisées pour calculer le modèle de prédiction
de la mortalité par traumatisme (TMPM-ICD10) et intégrées à nos données en utilisant un
module spécifiquement dédié à cette fin du logiciel de statistiques STATA.(77) Les
moyennes pondérées des coefficients de régressions sont disponibles pour la version
américaine avec modifications cliniques de la CIM-10 (CIM-10-CM). Dans notre cohorte,
les diagnostics de blessures sont plutôt codifiés avec la CIM-10-CA. Parce que la CIM-10-
CA et la CIM-10-CM partagent la même structure, nous avons retenu les quatre premiers
chiffres des codes de diagnostic de blessure de la CIM-10-CA et de la CIM-10-CM. Par la
suite, nous avons recalculé une valeur moyenne des coefficients de régressions pour
chacun des codes de diagnostic de blessure de la CIM-10. Ces valeurs sont présentées
au tableau 4.
21
Les mesures de la gravité anatomique des blessures basées sur la CIM ont été traitées
comme des variables continues après avoir subi une transformation LOGIT lorsque
nécessaire.(78)
3.2.5. Autres prédicteurs considérés
Les variables ont été sélectionnées pour la prédiction de la mortalité intra-hospitalière et
l’admission à l’unité des soins intensifs sur la base de la littérature scientifique, des
connaissances cliniques de l’équipe de recherche et des données disponibles. L’âge,(70)
le sexe,(79) le mécanisme de blessures,(80) la présence de lésions extra-crâniennes(81)
et d’affections médicales concomitantes(27) se sont révélés être des facteurs prédictifs
indépendants de mortalité intra-hospitalière chez les patients ayant subi un TCC. L’âge a
été recodé en cinq catégories (16-54 ans, 55-64 ans, 65-74 ans, 75-84 ans et ≥ 85 ans) et
les mécanismes de blessures ont été regroupés en six classes (accidents de la circulation,
chutes de sa hauteur, chutes d’un lieu élevé, objets pénétrants, objets contondants et
autres). Les lésions extra-crâniennes ont été incorporées aux mesures de gravité des
blessures lors du calcul de celles-ci. En ce qui concerne les affections médicales
concomitantes, l’indice d’Elixhauser a été utilisé en employant l’algorithme développé par
Quan.(82)
Les autres prédicteurs peuvent être intégrées de la façon suivante au schéma utilisé pour
décrire la gravité des blessures :
Gravité Lésion
anatomique Perturbation
physiologique Réserve
fonctionnelle
- Score GCS
- Rythme respir.
- Pression artér.
- ICISS-Multiplicative
- ICISS-Worst injury
- Max AIS
- NISS
- TMPM-ICD10
- Âge
- Sexe
- Comorbidités
- Mortalité
- Admission en unité
de soins intensifs
- Mécanisme de blessure
22
3.2.6. Analyses statistiques
La performance prédictive des mesures de gravité des blessures basées sur la CIM pour
prédire la mortalité intra-hospitalière et l’admission à l’unité des soins intensifs chez les
patients ayant subi un TCC a été évaluée à l’aide d’une modélisation logistique. Les
dimensions associées à la discrimination et à la calibration des modèles prédictifs ont été
examinées. La discrimination concerne la capacité d’un modèle à distinguer les patients
qui présentent le résultat clinique d’intérêt (décès et admission à l’unité des soins intensifs)
de ceux qui ne l’ont pas (survie et non-admission). Pour les résultats dichotomiques,
l’AUC, qui correspond à la statistique de concordance, est la mesure la plus couramment
utilisée pour indiquer la capacité de discrimination des modèles.(66,83) L’AUC traduit la
proportion de prédictions concordantes réalisées par le modèle parmi l’ensemble des
paires événement/non-événement de patients possibles, c’est-à-dire l’un présentant le
résultat clinique d’intérêt et l’autre non. Un modèle qui attribue invariablement une
probabilité d’obtenir le résultat clinique d’intérêt plus grande aux individus qui ont
effectivement ce résultat obtient un résultat de 1, tandis qu’un résultat de 0.5 indique que
le modèle performe d’une façon comparable au hasard.(84) L’AUC est estimé à partir de
la probabilité attribuée aux patients avec la condition (Y1) et sans celle-ci (Y0). Chacun des
Y1 est jumelé à chaque Y0. Pour chaque paire (Y1,Y0)i, un pointage de 1 est attribué si le
patient Y1 a une probabilité prédite (�̂�) plus élevée que le patient Y0 (1 si (�̂�)Y1> (�̂�)Y0). En
revanche, un pointage de 0 est attribué si le patient Y1 a une probabilité prédite plus faible
que le patient Y0 (0 si (�̂�)Y1< (�̂�)Y0). Si les probabilités prédites sont égales, un pointage
de 0.5 est alloué (0.5 si (�̂�)Y1= (�̂�)Y0). Lorsque toutes les paires possibles ont été
évaluées, l’AUC est calculée en divisant la somme de ces pointages par le nombre total
de paires.(84) Plus simplement, l’AUC peut être calculée de la façon suivante :
AUC = (nc + 0.5 (n − nc − nd))/n
n = nombre total de paires (Y1, Y0)
nc = nombre total de paires concordantes ((P̂)Y1 > (P̂)Y0)
nd = nombre total de paires discordantes ((P̂)Y1 < (P̂)Y0)
23
La calibration est une autre dimension importante de l’évaluation de la performance d’un
modèle prédictif. La calibration reflète la concordance entre les résultats observés et
prédits, regroupés en quantiles. La calibration traduit la qualité de l’ajustement du modèle
en comparaison aux données et peut être résumée par la statistique H-L. Cette statistique
est calculée en comparant les risques observés (O) et prédits (E) regroupés par quantile
(Q) de risque, habituellement déciles. Une statistique H-L, basée sur la distribution du khi-
carré, associée à une valeur-p non significative (>0.05) indique une calibration adéquate.
La statistique H-L peut être calculée de la façon suivante(68) :
H − L = ∑(Ocq − Ecq)
2
Ecq
Q
q=1
+ ∑(Oncq − Encq)
2
Encq
Q
q=1
Ocq = nombre de cas observés pour le quantile i
Ecq = nombre de cas prédits pour le quantile i
Oncq = nombre de non − cas observés pour le quantile i
Encq = nombre de non − cas prédits pour le quantile i
df = Q − 2
La calibration du modèle peut être visuellement comparée à un modèle parfaitement
calibré où les résultats prédits (axe des X) et observés (axe des Y) s’alignent sur une
droite de 45° lorsque regroupés en quintiles. Une déviation par rapport à cette droite
indique que le modèle surestime (> 45°) ou sous-estime (<45 °) les risques du résultat
clinique d’intérêt. Un modèle présentant un ajustement faible s’accompagnera d’une
statistique H-L plus élevée, donc habituellement d’une valeur-p inférieure à 0.05. Afin
d’évaluer la direction d’une mauvaise calibration possible, un intercepte et une pente de
calibration de Cox ont été calculés.(85) Pour un modèle parfaitement calibré, la valeur de
l’intercepte (α) est de 0 et la pente (β) de 1. Une calibration imparfaite est caractérisée par
une déviation de ces valeurs idéales.(86) Enfin, les performances prédictives globales du
modèle ont également été examinées à l’aide du R2 de Nagelkerke et du score de Brier
remis à l’échelle. Le R2 de Nagelkerke reflète la part de la variance des résultats expliquée
par le modèle.(83) Le score de Brier estime lui aussi la qualité générale des
24
prédictions.(83) Puisque son interprétation dépend de la prévalence du résultat clinique
d’intérêt, le score de Brier a été remis à l’échelle. Les valeurs du score de Brier remis à
l’échelle se situent entre 0 et 1. Une valeur élevée indique une meilleure performance.
Une stratégie de ré-échantillonnage aléatoire simple avec remise (1000 bootstraps) a été
utilisée pour construire des intervalles de confiance autour de nos paramètres examinés à
l’aide de la méthode basée sur les percentiles. Toutes les analyses ont été effectuées en
utilisant la version 9.4 de SAS (SAS Institute Inc., Cary, NC, USA).
25
CHAPITRE 4 – PERFORMANCE OF ICD-BASED INJURY SEVERITY
MEASURES USED TO PREDICT IN-HOSPITAL MORTALITY: A
SYSTEMATIC REVIEW AND META-ANALYSIS
Mathieu GAGNE (M.A.)1,2, Lynne MOORE (Ph.D.)2,3, Claudia BEAUDOIN (M.Sc.) 1,2, Brice
Lionel Batomen KUIMI (M.Sc.)2,3 et Marie-Josée sirois (Ph.D.)3,4
1 Bureau d’information et d’études en santé des populations, Institut national de santé publique du
Québec; 2 Département de médecine sociale et préventive, Faculté de médecine, Université Laval; 3 Axe Santé des Populations et pratiques Optimales en Santé (Population Health and Optimal
Health Practices Research Unit), Traumatologie – Urgence - Soins intensifs (Trauma – Emergency
– Critical Care Medicine), Centre de Recherche du Centre Hospitalier Universitaire (CHU) de
Québec (Hôpital de l’Enfant-Jésus), Université Laval, Québec (Qc), Canada; 4 Département de réadaptation, Faculté de médecine, Université Laval et Centre d’Excellence sur le
Vieillissement de Québec, Centre de Recherche du Centre Hospitalier Universitaire (CHU) de
Québec (Hôpital de l’Enfant-Jésus), Université Laval, Québec (Qc), Canada.
26
Résumé
CONTEXTE: La Classification internationale des maladies (CIM) est le principal système
de classification utilisé pour les activités de surveillance des blessures, mais ne contient
pas d’information directe sur la gravité des blessures. Des mesures de gravité des
blessures basées sur la CIM peuvent être dérivées empiriquement ou appariées, mais
aucune approche n’a été formellement recommandée.
OBJECTIF: Comparer la performance des mesures de gravité des blessures basées sur
la CIM pour prédire la mortalité chez les patients admis en raison d’une blessure.
MÉTHODES: Une revue systématique avec méta-analyse a été menée. Les bases
documentaires Medline, Embase et la Global Health ont été fouillées, de leur création à
septembre 2014. Les études observationnelles qui ont évalué l’efficacité des mesures de
gravité des blessures basées sur la CIM pour prédire la mortalité intra-hospialière et
rapportée une AUC ou une statistique équivalente ont été inclus. Les métriques de de la
performance du modèle ont été extraites. Des AUC combinées ont été estimées à l’aide
de modèles à effets aléatoires.
RÉSULTATS: Parmi les 22 études admissibles, 72 évaluations de la capacité de
discrimination des mesures de gravité des blessures basées sur la CIM ont été
rapportées. La valeur des AUC rapportée variait de 0,681 à 0,958. Quarante-six des 72
évaluations étaient excellentes (0.80≤AUC <0.90) et six exceptionnelles (AUC≥0.90).
L’AUC combinée pour l’ICISS-Multiplicative était significativement plus élevée que les
mesures appariées aux scores AIS (0,863 contre 0,825 pour ICDMAP-ISS (p = 0,005) et
ICDMAP-NISS (p = 0,016)). Des résultats similaires ont été observés lorsque les études
ont été stratifiées selon le type de données utilisé (registres dédiés à la traumatologie ou
données administratives) ou la provenance des proportions de survie (dérivée d’un jeu de
données externe ou non). Parmi les études publiées après 2003, la capacité de
discrimination du TMPM-ICD a été supérieure à celle de l’ICISS-Multiplicative (0,850
contre 0,802, p = 0,002). Les modèles ont généralement montré une mauvaise calibration.
CONCLUSIONS: L’ICISS-Multiplicative utilisant des proportions de survie traditionnelles et
le TMPM-ICD ont démontré de meilleures capacités pour prédire la mortalité que les
autres mesures de gravité des blessures basées sur la CIM et devraient être préférés
pour décrire la gravité des blessures lorsque la CIM est utilisée pour enregistrer les
diagnostics de blessures.
27
Abstract
BACKGROUND: The International Classification of Diseases (ICD) is the main
classification system used for population-based injury surveillance activities but does not
contain information on injury severity. ICD-based injury severity measures can be
empirically-derived or mapped, but no single approach has been formally recommended.
OBJECTIVE: To compare performance of ICD-based injury severity measures to predict
in-hospital mortality among injury-related admissions.
METHODS: A systematic review and a meta-analysis were conducted. MEDLINE,
EMBASE and Global Health databases were searched from their inception through
September 2014. Observational studies that assessed the performance of ICD-based
injury severity measures to predict in-hospital mortality and reported discriminative ability
using the area under a receiver operating characteristic curve (AUC) were included.
Metrics of model performance were extracted. Pooled AUC were estimated under random-
effects models.
RESULTS: 22 eligible studies reported 72 assessments of discrimination on ICD-based
injury severity measures. Reported AUC ranged from 0.681 to 0.958. Forty-six of the 72
assessments showed excellent (0.80≤AUC<0.90) and six outstanding (AUC≥0.90)
discriminative ability. Pooled AUC for ICD-Injury Severity Score (ICISS) based on the
product of traditional survival proportions was significantly higher than measures based on
ICD mapped to AIS scores (0.863 versus 0.825 for ICDMAP-ISS (p=0.005) and ICDMAP-
NISS (p=0.016). Similar results were observed when studies were stratified by the type of
data used (trauma registry or hospital discharge) or the provenance of survival proportions
(internally or externally-derived). However, among studies published after 2003 the
Trauma Mortality Prediction Model based on ICD-9 codes (TMPM-9) demonstrated
superior discriminative ability than ICISS using the product of traditional survival
proportions (0.850 versus 0.802, p=0.002). Models generally showed poor calibration.
CONCLUSIONS: ICISS using the product of traditional survival proportions and TMPM-9
predict mortality more accurately than those mapped to AIS codes and should be preferred
for describing injury severity when ICD is used to record injury diagnoses.
28
Background
Hospital discharge databases are often used for injury morbidity surveillance to monitor
incidence, establish priorities or support prevention strategies in a timely manner.[1;2]
Although these data should only include patients with injuries severe enough to require
hospitalization, several extraneous factors related to health care utilization and delivery
(e.g. availability of beds, professional practices, distance from hospital) may influence
admission probabilities and lead to changes in population capture over time.[3]
The use of a severity threshold in hospital discharge databases has been proposed to
standardize patient populations.[1;4] The International Classification of Diseases (ICD),
used to record injury diagnoses in hospital discharge databases, does not contain severity
measures.[1] Several severity measures for ICD-based system are available including
empirically-derived or Abbreviated Injury Scale (AIS)-mapped scores (ICDMAP).
Empirically-derived scores are mainly based on survival proportions (SPs) calculated for
each injury diagnosis code. SPs can be derived from data that include patients with
multiple injuries (traditional)[5] or from data gathered only from patients with isolated injury
(independent).[6] SPs can be multiplied (multiplicative) to calculate the ICD-based Injury
Severity Score (ICISS) )[5] or the lowest SP of a patient can be use alone as a severity
measure (Single worst injury).[7] ICDMAP is based on an algorithm to map ICD injury
diagnostic codes to AIS codes, which include a severity score.[8-10] Despite the number
of ICD-based injury severity measures, none has been formally recommended. A
systematic review completed in 2012[11] summarized the ability of widely-used injury
severity scoring tools to predict mortality among injured patients, but failed to determine
the relative performance of the ICISS and its variants. Furthermore, another relevant injury
severity scoring tool, the Trauma Mortality Prediction Model based on ICD-9 codes
(TMPM-9), has been published since then.[12-14]
The aim of this study was to compare the performance of ICD-based injury severity
measures derived or mapped to predict in-hospital mortality among injury-related
admissions.
Methods
We designed a systematic review of cohort studies that assessed the performance of ICD-
based injury severity measures to predict in-hospital mortality. We adhered to the
29
Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA)
guidelines[15] and the Cochrane Handbook for Systematic Reviews of Interventions
recommendations.[16] PRISMA checklist is presented as Annexe A.
Search strategy
We searched Ovid MEDLINE, Ovid EMBASE and Ovid Global Health from database
inception through September 2014 for published studies. The search strategy was
designed for MEDLINE and EMBASE, using a combination of Medical Subject Heading
(MeSH), Emtree terms and keywords. The search strategy combined three groups of
terms: injury, severity indices, and ICD. Reference lists in primary studies and Google
Scholar were searched for additional relevant studies.[17] No language restrictions were
applied. All references were imported into reference management software (Reference
Manager®, Version 11 Professional Network Edition) and duplicates were removed.
Study selection
Two reviewers (M.G. and C.B.) independently screened titles and abstracts. Inclusion and
exclusion criteria were applied to select potentially eligible studies. Full-text articles of
potentially eligible studies were retrieved and their eligibility was independently assessed
by two authors (M.G. and C.B.). Disagreements were resolved by consensus or, if
necessary, by discussion with a third reviewer (L.M.). We included cohort studies that
assessed the discriminating performance of ICD-based injury severity measures to predict
in-hospital mortality. The Kappa (k) statistic was calculated to quantify inter-observer
agreement for the two stage study selection process.
Data extraction
Relevant data was extracted from included studies independently by two reviewers (MG
and CB) using an electronic data extraction form, piloted on five representative studies.
Information on study populations (population size, proportion of male, average age, in-
hospital mortality proportion), data characteristics (trauma registry or hospital discharges
database, inclusion and exclusion criteria), and metrics of the ICD-based injury severity
measure used (ICD version, calculation formula, derivation provenance of SPs) were
extracted from full texts. Reported areas under the receiver operator characteristic curve
(AUC) were extracted as a measure of discriminative performance between patients who
survived and those who died after injury-related hospital admission. To describe model
30
calibration, Hosmer-Lemeshow (H-L) statistic, their corresponding p-values, and
information from calibration plots were extracted. If the p-value was not reported, we
tested the H-L statistic significance based on chi-square test with eight degrees of freedom
when outcomes were grouped by deciles of predicted probability.[18] Overall performance
measures (Nagelkerke’s R2, Brier score, Akaike information criterion) were also extracted
when available. Data extraction was limited to models containing only ICD-based severity
measures since other risk factors (e.g. age, comorbidities, injury mechanism, Glasgow
coma score, respiratory rate, systolic blood pressure, transfer status) variables were
inconsistently included.
Assessment of risk of bias
Methodological quality of individual studies was assessed using tools developed to judge
the quality of prognostic studies in systematic reviews[19;20] and observational
studies,[21] adapted for this study by the steering committee. Methodological quality of
included studies was appraised by one author (M.G.). The tool was used to assess
methodological quality on four domains, namely study participants (key characteristics of
the study population, inclusion and exclusion criteria), description of the ICD-based injury
severity measures (definition, description of data sources and methods), outcome
measurement (definition, validity, and missing values) and the statistical analyses
performed (modeling strategy, confounders considered, and validation procedures). Each
domain contains pre-specified items that are classified according to low, possible and
unclear risk of bias.
Data analysis
Discriminative performance of the different ICD-based injury severity measures was
evaluated using the AUC, which takes values between 0 and 1. As a general rule, an AUC
equal to 0.5 suggests no discrimination while 1 denotes perfect discrimination. An AUC 0.7
≤ AUC< 0.8 was considered acceptable, 0.8 ≤ AUC< 0.9 excellent and AUC ≥ 0.9
outstanding.[22] When ICD-based injury severity measures were assessed in at least two
studies, we performed a meta-analysis to pool AUC[23-25] under a random-effects
model,[25] since heterogeneity was expected. AUC variance estimates were derived using
approximation when unreported,[26] and weights were based on the inverse of the sum of
the between and within-study variance.[25]
31
To compare weighted average AUC between ICD-based injury severity measures, we
assumed independence of measures and used the nonparametric method proposed by
Hanley and McNeil.[27] The difference between two pooled AUC, divided by the sum of
each variance, was compared to the normal distribution table to point out statistically
significant difference.
Weighted average AUC variability and subgroup analyses
Statistical heterogeneity was quantified using I2 in accordance with PRISMA
guidelines.[15] I2 describes the percentage of the variability in effect estimates that is due
to between-study variability rather than sampling error. We conducted subgroup analyses
to study characteristics (type of database used, derivation provenance of SPs, and years
of publication) associated with weighted average AUC differences. To assess publication
bias, we performed a funnel plot asymmetry analysis using a weighted linear regression of
the AUC estimates on their standard errors.[28]
Results
From 551 studies retrieved through our literature search, 69 were selected for full-text
review (Figure 2). Twenty-two studies were retained and 72 discrimination assessments
were abstracted. Inter-reviewer agreement (κ) for study selection was 0.78 in stage one
and 0.93 in stage two. Among included studies, 12 (54.5%) were published between 2000
and 2009,[6;7;13;29-37] largely in the Journal of Trauma and Acute Care Surgery,[5-
7;12;29-34;37-44] and were mainly conducted in the United States (Table 5). ICD-based
injury severity measures discrimination assessments were mostly performed on trauma
registry data (68.1% vs 31.9% for hospital discharges databases), including the National
Trauma Data Bank (34.7%). Total study sample sizes ranged from 1,812 to 707,968
patients.[38;40] The most commonly used ICD-based injury severity measures assessed
were the ICISS using the product of traditional SPs (n = 31), the ICDMAP (n = 18) and the
single worst injury (SWI) (n = 10). Only 3 studies satisfied all criteria used to evaluate the
risk of bias. Half have met at least two criteria (Table 6).
Discrimination performance
Reported AUC for ICD-based injury severity measures ranged from 0.681 to 0.958 and the
average reported AUC value was 0.845 (95% confidence interval [CI]: 0.830-0.859). Only
1 study reported an AUC below 0.70,[38] indicating less than acceptable discriminative
32
ability. Forty-six of the 72 assessments showed excellent discriminative ability
(0.80≤AUC<0.90) and 10, outstanding discriminating performance (AUC≥0.90).
Results from random effects meta-analysis suggested higher discriminative ability for
ICISS using the product of traditional SPs (0.863, 95%CI: 0.845-0.881) and lower
discriminative performance for the single worst injury approach using independent SPs
(0.803, 95%CI: 0.707-0.899) (Table 7).
ICISS using the product of traditional SPs provides better discriminative ability than
ICDMAP severity measures when validated with trauma registries and higher AUC values
than single worst injury using traditional SPs on hospital discharge data (Table 8).
Furthermore, ICISS using the product of traditional SPs shows excellent predictive
performance even when the SPs came from an external database (Table 9). The
superiority of the ICISS and the single worst injury using traditional SPs was apparent
before 2004, but the TMPM-9 demonstrated significantly higher discriminative ability after
2003 (Table 10). Finally, results did not vary according to risk of bias assessment and
funnel plot asymmetry analysis did not suggest publication bias (Figure 3).
Calibration and overall performance
Calibration performance was reported in 53 assessments of ICD-based injury severity
performance (Table 11). Hosmer-Lemeshow statistics was reported for 53 assessments
and statistical significance indicated poor calibration. Calibration plots were presented for
20 ICD-based injury severity assessments. The TMPM-9 models displayed good graphical
illustration of prediction with predicted values close to observed values throughout the
range of risk. Overall ICD-based injury severity performances using Brier score or
Nagelkerke’s R2 were reported for 19 assessments of ICD-based injury severity.
Discussion
In this systematic review, common ICD-based injury severity measures demonstrated
excellent discriminating performance to predict in-hospital mortality among injury-related
admissions. ICISS using the product of traditional SPs had significantly higher
discriminative ability than other measures regardless of the type of data used or the origin
of SP. However, the average discriminative ability of ICISS using the product of traditional
SPs decreased in studies published after 2003 when the TMPM-9 demonstrated the
highest predictive accuracy.
33
In 2012, Tohira and colleagues conducted a systematic review to summarize the predictive
performances of many injury severity scoring tools.[11] However, their results were
inconclusive for ICISS because they solely reported head-to-head results from individual
studies. Thus, they were not able to distinguish the impact of the calculation formulas
(multiplicative SPs versus single worst SP) or the approach used to derive SPs (traditional
versus independent). In this systematic review, we performed a meta‐analysis to estimate
the average discriminative ability of relevant ICD-based injury severity measures for
diverse populations. Using this approach, we were able to demonstrate that ICISS using
the product of traditional SPs provides better discriminative ability than other empirically-
derived variants. Moreover, we added other relevant injury severity scoring tools, including
the TMPM-9, and determined which ICD-based injury severity measure yields superior
performance to discriminate between patients who survived or those who died after injury-
related hospital admission.
Our results suggest that empirically-derived ICD injury severity measures are more
accurate predictors of injury mortality than AIS-mapped scores. The lower predictive
performance of the latter may be due to the difficulty in mapping specific injuries in the
ICD-AIS conversion process. Indeed, 3.2% of the ICD codes were assigned an AIS nine or
unknown severity code due to insufficient detail in the ICD description.[10] It has been
suggested that the AUC of ICD to AIS mapped scores are on average 0.03 units smaller
than the pure AIS injury scoring algorithm.[30]
Although the ICISS using the product of traditional SPs provided superior discriminative
performance, AUCs were significantly higher when assessed in a trauma registry rather
than in hospital discharge data. The improved performance of ICD-based severity
measures in trauma registries over hospital discharge datasets could be due to more
accurate coding of injuries in the former or the fact that more elderly patients are found
more frequently in the latter (comorbidities often play a more important role than injuries in
mortality risk in elderly patients). In addition, this difference may arise from the fact that
hospital discharge data included non-mechanical injuries (poisoning, drowning,
suffocations, and complications), while trauma registries did not.[45-47]
Publications of an ICD anatomic injury severity alternative to establish consensus-derived
scores in the mid-90[5;40;42] have led to a quest for the best calculation formula for
SPs.[6;7] Our results suggest that the multiplicative traditional approach, although
hindered by the dependence between SPs,[6] yields at least comparable discriminative
34
ability than techniques based on worst or isolated injury diagnosis SPs. Interestingly, the
predictive performance of ICD-based injury severity measures using SPs decreased
significantly after 2003, notably for ICISS using the product of traditional SPs. The lower
discriminative ability observed after 2003 for the ICISS using the product of traditional SPs
could not be explained solely by the derivation provenance of SPs, the type of data used
or the transition from ICD-9 to ICD-10 (see Annexe E). This decline may be the result of
the additive effect of these factors, probably combined with a change in trauma
populations over time[48].
The predictive performance of ICD-based injury severity measures in calibration terms was
examined and results suggest poor agreement between observed in-hospital mortality and
predictions. This difference may indicate a true lack of fit, but since HL test is sensitive to
sample size, even a slight departure from a perfect fit can produce significant statistical
values. Because overall performance is a relatively new concept, Brier score or
Nagelkerke’s R2 were rarely used to assess performance across studies included in our
systematic review.
Limitations
This study has limitations which may affect the interpretation of results. First, in addition to
the observational nature of the included studies, the results are subject to the large
heterogeneity between study populations. Here, we assume that high I2 values reported
are due to the large sample sizes of the studies included, leading to very precise AUC
estimates.[49] Basically, heterogeneity may arise from two sources: sampling error (within-
study variability) and between-studies variability. I2 reflects the percentage of variability
that is due to between-study heterogeneity. When the percentage of variability that is due
to sampling error (1 - I2) tends to 0, the percentage of variability that is due to between-
study heterogeneity increase rapidly to nearly 100%.[49] In our case, because of the large
sample size of the included studies, sampling error tends to 0, which explains the high I2
values reported. However, we acknowledge that studies brought together in this meta-
analysis may differ in terms of participants or methodological aspects, which may have
impacted our results. Second, the majority of the included studies were performed in the
United States. Whether these results can be generalized to other countries warrants
further research. Third, even if ICD-10–to–AIS conversion algorithm is available,[8] no one
has yet compared its discriminative ability to predict in-hospital mortality. A score based on
the ICD-10–to–AIS conversion algorithm could therefore not be included in our evaluation.
35
Finally, studies included in our review were mostly based on ICD-9 and provide only
preliminary information on ICD-10-based injury severity measures, now implemented in
many countries around the world. However, ICD-10 has still not been implemented in the
NTDB and ICD-9-based measures will still be used on retrospective data for many years to
come. This does highlight the need for more research into ICD-10 and eventually ICD-11-
based injury severity measures.
Conclusion
Based on excellent discriminative ability for predicting mortality, we suggest that injury
severity measures empirically derived from ICD code provided superior discriminative
performance to alternative measures based on AIS mapping. ICISS using the product of
traditional survival proportions and the TMPM-9 model predict mortality more accurately
than other ICD-based measures. We recommend that these measures be preferred to
quantify anatomical injury severity in administrative databases. Further research must
assess the predictive ability of ICD-based severity measures for nonfatal outcomes, for
ICD-based injury severity measures derived from the ICD-10 revision and among sub-
populations of injured patients, such as traumatic brain injury.
For injury surveillance, adding injury severity measures to population-based data coded
with ICD will contribute to support valid estimations of incidence, distribution and trends of
injury burden.[4]
References
1. Chen L-H, Warner M. Surveillance of Injury Morbidity. In: Guohua Li & Susan P.Baker, eds. Injury Research. New York, NY: Springer; 2012:23-43.
2. Horan JM, Mallonee S. Injury surveillance. Epidemiol Rev .2003;25:24-42.
3. Lyons RA, Brophy S, Pockett R, John G. Purpose, development and use of injury indicators. Int J Inj Contr Saf Promot. 2005 Dec;12(4):207-11.
4. Cryer C, Langley JD. Developing valid indicators of injury incidence for "all injury". Inj Prev. 2006 Jun;12(3):202-7.
5. Osler T, Rutledge R, Deis J, Bedrick E. ICISS: An international classification of disease-9 based injury severity score. J Trauma. 1996 September;41(3):380-6
36
6. Meredith JW, Kilgo PD, Osler TM. Independently Derived Survival Risk Ratios Yield Better Estimates of Survival than Traditional Survival Risk Ratios When Using the ICISS. J Trauma. 2003 November;55(5):933-8.
7. Kilgo PD, Osler TM, Meredith W, Champion HR, Clarke JR, Morris J. The Worst Injury Predicts Mortality Outcome the Best: Rethinking the Role of Multiple Injuries in Trauma Outcome Scoring. J Trauma. 2003 October;55(4):599-606.
8. Haas B, Xiong W, Brennan-Barnes M, Gomez D, Nathens AB. Overcoming barriers to population-based injury research: Development and validation of an ICD-10-to-AIS algorithm. Can J Surg. 2012 February;55(1):21-6.
9. ICDMAP-90: A User’s Guide. computer program.. Baltimore, MD.: The Johns Hopkins University School of Public Health and Tri-Analytics, Inc.; 1997.
10. MacKenzie EJ, Steinwachs DM, Shankar B. Classifying trauma severity based on hospital discharge diagnoses. Validation of an ICD-9CM to AIS-85 conversion table. Med Care. 1989 Apr;27(4):412-22.
11. Tohira H, Jacobs I, Mountain D, Gibson N, Yeo A. Systematic review of predictive performance of injury severity scoring tools. Scand J Trauma Resusc Emerg Med. 2012 Sep 10;20(1):63.
12. Cook A, Weddle J, Baker S, Hosmer D, Glance L, Friedman L, Osler T. A comparison of the Injury Severity Score and the Trauma Mortality Prediction Model. J Trauma Acute Care Surg. 2014 Jan;76(1):47-52.
13. Glance LG, Osler TM, Mukamel DB, Meredith W, Wagner J, Dick AW. TMPM-ICD9: a trauma mortality prediction model based on ICD-9-CM codes. Ann Surg. 2009 Jun;249(6):1032-9.
14. Di Bartolomeo S., Ventura C, Marino M, Chieregato A, Gambale G, Fabbri A, Volpi A, De PR. Is the TMPM-ICD9 revolution in trauma risk-adjustment compatible with imperfect administrative coding? Accid Anal Prev. 2011 Nov;43(6):1955-9.
15. Liberati A, Altman DG, Tetzlaff J, Mulrow C, Gotzsche PC, Ioannidis JP, Clarke M, Devereaux PJ, Kleijnen J, Moher D. The PRISMA statement for reporting systematic reviews and meta-analyses of studies that evaluate health care interventions: explanation and elaboration. PloS Med. 2009 Jul 21;6(7):e1000100.
16. Higgins JPT & S Green (eds). Cochrane Handbook for Systematic Reviews of Interventions. Version 5.1.0 updated March 2011. ed. 2011.
17. Horsley T, Dingwall O, Sampson M. Checking reference lists to find additional studies for systematic reviews. Cochrane Database Syst Rev. 2011;(8):MR000026..
18. Kleinbaum DG, Klein M. Assessing Goodness of Fit for Logistic Regression. Logistic Regression. 3rd ed. Springer; 2010:301-43.
19. Hayden JA, Cote P, Bombardier C. Evaluation of the quality of prognosis studies in systematic reviews. Ann Intern Med. 2006 Mar;144(6):427-37.
37
20. Mushkudiani NA, Hukkelhoven CW, Hernandez AV, Murray GD, Choi SC, Maas AI, Steyerberg EW. A systematic review finds methodological improvements necessary for prognostic models in determining traumatic brain injury outcomes. J Clin Epidemiol. 2008 Apr;61(4):331-43.
21. Downs SH, Black N. The feasibility of creating a checklist for the assessment of the methodological quality both of randomised and non-randomised studies of health care interventions. J Epidemiol Community Health. 1998 Jun;52(6):377-84.
22. Hosmer D, Lemeshow S. Area Under the ROC Curve. Applied logistic regression. 2nd ed. New York, NY: John Wiley & Sons, Ltd.; 2000:160-4.
23. Neyeloff JL, Fuchs SC, Moreira LB. Meta-analyses and Forest plots using a microsoft excel spreadsheet: step-by-step guide focusing on descriptive data analysis. BMC Res Notes. 2012;5:52.
24. McClish DK. Combining and comparing area estimates across studies or strata. Med Decis Making. 1992 Oct;12(4):274-9.
25. Borenstein M, Hedges LV, Higgins JPT, Rothstein HR. A basic introduction to fixed-effect and random-effects models for meta-analysis. Research Synthesis Methods. 2010;1(2):97-111.
26. Hanley JA, McNeil BJ. The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology. 1982 Apr;143(1):29-36.
27. Hanley JA, McNeil BJ. A method of comparing the areas under receiver operating characteristic curves derived from the same cases. Radiology. 1983 Sep;148(3):839-43.
28. Egger M, Davey SG, Schneider M, Minder C. Bias in meta-analysis detected by a simple, graphical test. BMJ. 1997 Sep 13;315(7109):629-34.
29. West TA, Rivara FP, Cummings P, Jurkovich GJ, Maier RV. Harborview assessment for risk of mortality: an improved measure of injury severity on the basis of ICD-9-CM. J Trauma. 2000 Sep;49(3):530-40.
30. Meredith JW, Evans G, Kilgo PD, MacKenzie E, Osler T, McGwin G, Cohn S, Esposito T, Gennarelli T, Hawkins M, Lucas C, Mock C, Rotondo M, Rue L. A comparison of the abilities of nine scoring algorithms in predicting mortality. J Trauma. 2002 Oct;53(4):621-8.
31. Stephenson SC, Langley JD, Civil ID. Comparing measures of injury severity for use with large databases. J Trauma. 2002 Aug;53(2):326-32.
32. Meredith JW, Kilgo PD, Osler T. A Fresh Set of Survival Risk Ratios Derived from Incidents in the National Trauma Data Bank from which the ICISS May Be Calculated. J Trauma. 2003 Nov;55(5): 924-32.
33. Hannan EL, Waller CH, Farrell LS, Cayten CG. A comparison among the abilities of various injury severity measures to predict mortality with and without accompanying physiologic information. J Trauma. 2005 Feb;58(2):244-51.
38
34. Hannan EL, Farrell LS. Predicting trauma inpatient mortality in an administrative database: an investigation of survival risk ratios using New York data. J Trauma. 2007 Apr;62(4):964-8.
35. Burd RS, Ouyang M, Madigan D. Bayesian logistic injury severity score: a method for predicting mortality using international classification of disease-9 codes. Acad Emerg Med. 2008 May;15(5):466-75.
36. Davie G, Cryer C, Langley J. Improving the predictive ability of the ICD-based Injury Severity Score. Inj Prev. 2008 Aug;14(4):250-5.
37. Moore L, Lavoie A, Le SN, Bergeron E, Emond M, Abdous B. Consensus or data-derived anatomic injury severity scoring? J Trauma. 2008 Feb;64(2):420-6.
38. Gedeborg R, Warner M, Chen LH, Gulliver P, Cryer C, Robitaille Y, Bauer R, Ubeda C, Lauritsen J, Harrison J, Henley G, Langley J. Internationally comparable diagnosis-specific survival probabilities for calculation of the ICD-10-based Injury Severity Score. J Trauma Acute Care Surg. 2014 Feb;76(2):358-65.
39. Haider AH, Villegas CV, Saleem T, Efron DT, Stevens KA, Oyetunji TA, Cornwell III EE, Bowman S, Haack S, Baker SP, Schneider EB. Should the IDC-9 Trauma Mortality Prediction Model become the new paradigm for benchmarking trauma outcomes? J Trauma Acute Care Surg. 2012 Jun;72(6):1695-701.
40. Osler TM, Cohen M, Rogers FB, Camp L, Rutledge R, Shackford SR. Trauma registry injury coding is superfluous: A comparison of outcome prediction based on trauma registry International Classification of Diseases- Ninth Revision (ICD-9) and Hospital Information System ICD-9 codes. J Trauma. 1997 Aug;43(2):253-6.
41. Rutledge R, Hoyt DB, Eastman AB, Sise MJ, Velky T, Canty T, Wachtel T, Osler TM. Comparison of the Injury Severity Score and ICD-9 diagnosis codes as predictors of outcome in injury: analysis of 44,032 patients. J Trauma. 1997 Mar;42(3):477-87.
42. Rutledge R, Osler T, Emery S, Kromhout-Schiro S. The end of the Injury Severity Score (ISS) and the Trauma and Injury Severity Score (TRISS): ICISS, an International Classification of Diseases, ninth revision-based prediction tool, outperforms both ISS and TRISS as predictors of trauma patient survival, hospital charges, and hospital length of stay. J Trauma. 1998 Jan;44(1):41-9.
43. Rutledge R, Osler T. The ICD-9-based illness severity score: a new model that outperforms both DRG and APR-DRG as predictors of survival and resource utilization. J Trauma. 1998 Oct;45(4):791-9.
44. Sacco WJ, MacKenzie EJ, Champion HR, Davis EG, Buckman RF. Comparison of alternative methods for assessing injury severity based on anatomic descriptors. J Trauma. 1999 Sep;47(3):441-6.
45. McCarthy ML, Shore AD, Serpi T, Gertner M, Demeter L. Comparison of Maryland hospital discharge and trauma registry data. J Trauma. 2005 Jan;58(1):154-61.
39
46. Wynn A, Wise M, Wright MJ, Rafaat A, Wang YZ, Steeb G, McSwain N, Beuchter KJ, Hunt JP. Accuracy of administrative and trauma registry databases. J Trauma. 2001 Sep;51(3):464-8.
47. Phillips B, Clark DE, Nathens AB, Shiloach M, Freel AC. Comparison of injury patient information from hospitals with records in both the national trauma data bank and the nationwide inpatient sample. J Trauma. 2008 Mar;64(3):768-79.
48. Hill AD, Pinto R, Nathens AB, Fowler RA. Age-related trends in severe injury hospitalization in Canada. J Trauma Acute Care Surg. 2014 Oct;77(4):608-13.
49. Rucker G, Schwarzer G, Carpenter JR, Schumacher M. Undue reliance on I(2) in assessing heterogeneity may mislead. BMC Med Res Methodol. 2008;8:79.
40
Figure 2 Flow diagram for selection of studies2
2 From: Moher D, Liberati A, Tetzlaff J, Altman DG, The PRISMA Group (2009). Preferred Reporting Items for Systematic Reviews and Meta-Analyses: The PRISMA Statement. PLoS Med 6(6): e1000097. doi:10.1371/journal.pmed1000097
Records identified through database
searching
(n = 1 021)
Scre
enin
g In
clu
ded
El
igib
ility
Id
enti
fica
tio
n Additional records identified through
other sources
(n = 3)
Records after duplicates removed
(n = 551)
Records screened
(n = 551) Records excluded
(n = 482)
Full-text articles assessed
for eligibility
(n = 69)
Full-text articles excluded, with reasons:
No AUC measure (n = 17) Not threat-to-life (n = 10) Adjusted AUC only (n = 7)
Not ICD-based (n = 4) Other (n = 9)
Studies included in
quantitative synthesis
(meta-analysis)
(n = 22)
41
Figure 3 Funnel plot† of reported AUC for ICD-based injury severity measures‡
† Circles represent the point estimates on the horizontal axis against their standard error on the vertical axis. ‡ P value was obtained by a weighted linear regression approach to measure funnel plot asymmetry. The Standard
normal deviate, defined as the AUC estimate divided by its standard error, was regressed against the inverse of the standard error, as proposed by Egger and colleagues to test for funnel plot asymmetry.
42
Tableau 5 Characteristics of included studies
Validation dataset information
1st author, Ref, Year Country ICD Database Period N Mean age (SD) Men (%) Death (%) Tools AUC SE
Burd,R.S.(35), 2008 USA 9th NTDB 2003 312 592 38.6 (32)IQR 66.3 5.1 BLISS 0.888 0.0015 ICISS Trad. 0.855 0.0020 SWI Trad. 0.866 0.0020 ICISS Ind. 0.867 0.0020
9th NIS 2003 276 366 54.9 (48)IQR 49.4 2.8 BLISS 0.825 0.0133
ICISS Trad. 0.726 0.0036
SWI Trad. 0.743 0.0036
ICISS Ind. 0.793 0.0031
Cook,A.(12), 2014 USA 9th NTDB 2009-2010 337 283 47.5 (0.05) 65.3 3.5 ICDMAP/ISS 0.830 0.0015
ICISS Trad. 0.838 0.0015
SWI Trad. 0.864 0.0020
TMPM-9 0.872 0.0015
Davie,G.(36), 2008 New Zealand 10th NHDD 2000-2003 182 673 – – 1.1 SWI Trad. 0.777 0.0026
DiBartolomeo,S.(14),2011 Italy 9th RTR 2007-2009 3 570 46.7 (22) 74.6 11.4 TMPM-9 0.736 0.0122
Gedeborg,R.(38), 2014 Denmark 10th NHDD 2002-2007 23 449 – – 10.8 ICISS Trad. 0.725 0.0059
ICISS Trad. 0.681 0.0061
New Zealand 10th NHDD 2002-2008 264 348 – – 1.2 ICISS Trad. 0.876 0.0040
ICISS Trad. 0.868 0.0041
Sweden 10th NHDD 1998-2004 707 968 – – 1.6 ICISS Trad. 0.829 0.0024
ICISS Trad. 0.815 0.0025
Glance,L.G.(13), 2009 USA 9th NTDB 2002-2006 149 875 37 (21-57)IQR 64.8 5.0 ICISS Trad. 0.850 0.0026
SWI Trad. 0.862 0.0026
TMPM-9 0.880 0.0020
Haider,A.H.(39), 2012 USA 9th NTDB 2007-2008 533 898 41.4 (23.3) 66.0 4.7 TMPM-9 0.866 0.0015
Hannan,E.(33), 2005 USA 9th RTR 1996-1998 39 565 48.6 (23.8) 64.8 6.9 ICISS Trad. 0.809 0.0051
ICDMAP/NISS 0.786 0.0053
ICDMAP/mAP 0.791 0.0053
ICDMAP/ISS 0.776 0.0054
ICDMAP/APS 0.787 0.0053
Hannan,E.(34), 2007 USA 9th SPARCS 2003-2003 117 630 – – 2.9 ICISS Trad. 0.745 0.0049
ICISS Ind. 0.744 0.0049
SWI Trad. 0.764 0.0048
SWI Ind. 0.754 0.0048
Kilgo,P.(7), 2003 USA 9th NTDB 1999-2003 160 208 36.7 64.7 5.2 ICISS Trad. 0.885 0.0024
SWI Trad. 0.897 0.0023
ICISS Trad. 0.893 0.0023
43
Validation dataset information
1st author, Ref, Year Country ICD Database Period N Mean age (SD) Men (%) Death (%) Tools AUC SE
SWI Trad. 0.901 0.0023
Meredith,J.W.(30), 2002 USA 9th NTDB 1994-1997 76 871 37.2 (24.8) 64.1 5.3 ICISS Trad. 0.893 0.0107
ICDMAP/APS 0.855 0.0107
ICDMAP/NISS 0.849 0.0117
ICDMAP/MAIS 0.844 0.0117
ICDMAP/ISS 0.844 0.0107
Meredith,J.W.(32), 2003 USA 9th NTDB 1994-2000 170 853 – – 5.4 ICISS Trad. 0.882 0.0023 ICISS Trad. 0.890 0.0023
Meredith,J.W.(6), 2003 USA 9th NTDB 1994-2000 192 347 – – 5.1 ICISS Ind. 0.892 0.0022 ICISS Trad. 0.875 0.0023
Moore,L.(37), 2008 Canada 9th RTR 1998-2005 25 111 – – 7.3 SWI Ind. 0.852 0.0057
Olser,T.(5), 1996 USA 9th RHDD 1991-1994 3 142 – – 9.0 ICISS Trad. 0.921 0.0112
Olser,T.(40), 1997 USA 9th RTR 1993-1995 1 812 40 59.0 2.5 ICISS Trad. 0.872 0.0184 ICISS Trad. 0.884 0.0173 ICDMAP/ISS 0.843 0.0260
Rutledge,R.(41), 1997 USA 9th RTR 1985-1993 44 032 28.5 (18.2) – 6.5 ICISS Trad. 0.957 0.0027 ICISS Trad. 0.939 0.0031 ICISS Trad. 0.858 0.0045 ICISS Trad. 0.929 0.0033
Rutledge,R.(43), 1998 USA 9th RHDD 1990-1996 9 438 36.3 (23.7) 64.5 5.1 ICISS Trad. 0.957 0.0065 DRG 0.707 0.0135 APR-DRG 0.808 0.0121
Rutledge,R.(42), 1998 USA 9th RTR 1987 7 276 42.1(23.7) 60.0 3.7 ICISS Trad. 0.916 0.0117
Sacco,W.J.(44), 1999 USA 9th PTOS 1993-1996 30 287 – – 7.2 ICISS Trad. 0.880 0.0048
ICISS Trad. 0.870 0.0050
ICDMAP/ISS 0.820 0.0056
ICDMAP/NISS 0.840 0.0054
ICDMAP/mAP 0.850 0.0052
ICDMAP/APS 0.850 0.0052
Stephenson,S.(31), 2002 New Zealand 9th NHDD 1989-1998 349 409 – – 1.1 ICISS Trad. 0.901 0.0015 ICDMAP/ISS 0.847 0.0031 ICDMAP/NISS 0.829 0.0031 ICDMAP/mAP 0.856 0.0031 ICDMAP/APS 0.846 0.0031
West,T.A.(29), 2000 USA 9th RTR 1985-1997 16 097 34.3 74.4 6.9 ICISS Trad. 0.939 0.0051 HARM 0.958 0.0043
NTBD: National Trauma Databank; NIS: National Inpatient Sample; NHDD: National Hospital Discharge Database; RTR: Regional Trauma Registry; SPARCS: Statewide Planning and Research Cooperative System; RHDD: Regional Hospital Discharge Database; PTOS: Pennsylvania Trauma Outcome
44
Validation dataset information
1st author, Ref, Year Country ICD Database Period N Mean age (SD) Men (%) Death (%) Tools AUC SE
Study. IQR: Interquartile range; –: not available; ICD-9 th: 9th Revision of the International Classification of Diseases (ICD); ICD-10th: 10th revision of ICD. APR-DRG: All Patient Refined – Diagnosis Related Groups; BLISS: Bayesian Logistic Injury Severity Score; HARM: Harborview Assessment for Risk of Mortality; ICDMAP/APS: Anatomic Profile Score mapped; ICDMAP/ISS: Injury Severity Score mapped; ICDMAP/mAP: modified Anatomic Profile mapped; ICDMAP/MAIS: maximal Abbreviated Injury Scale mapped; ICDMAP/NISS: New ISS mapped; ICISS Ind.: ICD-based Injury Severity Score, independent survival proportions; ICISS Trad. : ICD-based Injury Severity Score, traditional survival proportions; SWI Ind.: Single Worst Injury, independent survival proportions; SWI Trad.: Single Worst Injury, traditional survival proportions; TMPM-9: ICD-9 Trauma Mortality Prediction Model. AUC: external provenance of survival proportions.
45
Tableau 6 Risk of bias of the 22 included studies
Study Study participation Outcome and ICD-based
injury severity measurements Analysis and confounding
measurement
Burd,R.S.(32), 2008 + - + Cook,A.(9), 2014 + ? -* Davie,G.(33), 2008 - + + DiBartolomeo,S.(11),2011 + + + Gedeborg,R.(35), 2014 - + + Glance,L.G.(10), 2009 + + + Haider,A.H.(36), 2012 + + -* Hannan,E.(30), 2005 - + + Hannan,E.(31), 2007 - + + Kilgo,P.(27), 2003 ? + -* Meredith,J.W.(25), 2002 + - -* Meredith,J.W.(29), 2003 - - -* Meredith,J.W.(28), 2003 - + -* Moore,L.(34), 2008 + + + Olser,T.(37), 1996 - + + Olser,T.(38), 1997 - - -* Rutledge,R.(39), 1997 - - + Rutledge,R.(40), 1998 - + -* Rutledge,R.(41), 1998 - + + Sacco,W.J.(42), 1999 - + - Stephenson,S.(26), 2002 - + -* West,T.A.(24), 2000 - + -* + Low risk of bias. Plausible bias unlikely to seriously alter the results. - Possible risk of bias. Plausible bias that raises concern about the results. ? Unclear risk of bias. Insufficient information to assess risk of bias. * Possible risk of bias stemmed from inappropriate presentation of both unadjusted and adjusted outcome.
46
Tableau 7 Pooled AUC values for Injury Severity Instruments examined
Injury Severity Measures Assessments
No. AUC (95% CI) I2
ICDMAP/APS 4 0.834 (0.804-0.865) 97.2%
ICDMAP/ISS 6 0.825 (0.806-0.843) 96.4%
ICDMAP/NISS 4 0.825 (0.800-0.850) 95.6%
ICDMAP/mAP 3 0.832 (0.794-0.871) 98.3%
Multiplicative ICISS – Traditional SPs 31 0.863 (0.845-0.881) * 99.6%
Multiplicative ICISS – Independent SPs 4 0.824 (0.770-0.878) 99.8%
Single worst injury – Traditional SPs 8 0.834 (0.798-0.871) 99.8%
Single worst injury – Independent SPs 2 0.803 (0.707-0.899) 99.4%
TMPM-9 4 0.850 (0.835-0.865) 98.0% * : Significantly higher than ICDMAP-ISS (p value 0.005) and ICDMAP-NISS (p value 0.016).
SPs: survival proportions; ICISS: ICD-based Injury Severity Score; ICDMAP/APS: Anatomic Profile Score mapped; ICDMAP/ISS: Injury Severity Score mapped; ICDMAP/NISS: New ISS mapped; ICDMAP/mAP: modified Anatomic Profile mapped; TMPM-9: ICD-9 Trauma Mortality Prediction Model.
47
Tableau 8 Pooled AUC values for Injury Severity Instruments examined according to the type of database used for validation
Injury Severity Measures Assessments
No. AUC (95% IC) I2
Trauma registry
ICDMAP/APS 3 0.830 (0.783-0.877) 97.6%
ICDMAP/ISS 5 0.820 (0.795-0.845) 95.9%
ICDMAP/NISS 3 0.824 (0.783-0.866) 96.7%
ICDMAP/mAP 2 0.821 (0.763-0.878) 98.4%
Multiplicative ICISS – Traditional SPs 21 0.887 (0.871-0.903) * 99.3%
Multiplicative ICISS – Independent SPs 2 0.879 (0.855-0.904) † 98.6%
Single worst injury – Traditional SPs 5 0.878 (0.861-0.895) ‡ 98.6%
TMPM-9 4 0.850 (0.835-0.865) § 98.0%
Hospital discharge database
Multiplicative ICISS – Traditional SPs 10 0.812 (0.767-0.858) ¥ 99.8%
Multiplicative ICISS – Independent SPs 2 0.769 (0.721-0.817) 98.6%
Single worst injury – Traditional SPs 3 0.761 (0.739-0.783) 96.7%
* : Significantly higher than ICDMAP/APS (p value 0.024), ICDMAP/ISS (p value <0.001), ICDMAP/NISS (p value 0.005), ICDMAP/mAP (p value 0.028) and TMPM-9 (p value 0.001).
† : Significantly higher than ICDMAP/ISS (p value <0.001), ICDMAP/NISS (p value 0.023) and TMPM-9 (p value 0.044). ‡ : Significantly higher than ICDMAP/ISS (p value <0.001), ICDMAP/NISS (p value 0.016), and TMPM-9 (p value 0.013). § : Significantly higher than ICDMAP/ISS (p value 0.049). ¥ : Significantly higher than Single worst injury – Traditional SPs (p value 0.046).
SPs: survival proportions; ICISS: ICD-based Injury Severity Score; ICDMAP/APS: Anatomic Profile Score mapped; ICDMAP/ISS: Injury Severity Score mapped; ICDMAP/NISS: New ISS mapped; ICDMAP/mAP: modified Anatomic Profile mapped; TMPM-9: ICD-9 Trauma Mortality Prediction Model.
48
Tableau 9 Pooled AUC values for Injury Severity Instruments examined according to the derivation provenance of survival proportions
Injury Severity Measures Assessments
No. AUC (95% IC) I2
Internal
Multiplicative ICISS – Traditional SPs 14 0.865 (0.844-0.885) 99.6%
Multiplicative ICISS – Independent SPs 2 0.879 (0.855-0.904) 98.6%
Single worst injury – Traditional SPs 5 0.853 (0.817-0.889) 99.7%
TMPM-9 3 0.873 (0.865-0.880) 93.4%
External
Multiplicative ICISS – Traditional SPs 17 0.862 (0.828-0.895) * 99.7%
Multiplicative ICISS – Independent SPs 2 0.769 (0.721-0.817) 98.6%
Single worst injury – Traditional SPs 3 0.803 (0.690-0.916) 99.9%
Single worst injury – Independent SPs 2 0.803 (0.707-0.899) 99.4% * : Significantly higher than Multiplicative ICISS – Independent SPs (p value 0.002). SPs: survival proportions; ICISS: ICD-based Injury Severity Score; TMPM-9: ICD-9 Trauma Mortality Prediction Model.
49
Tableau 10 Pooled AUC values for Injury Severity Instruments examined according to the year of publication
Injury Severity Measures Assessments
No. AUC (95% IC) I2
1996-2003
ICDMAP/ISS 4 0.837 (0.819-0.855) 83.3%
ICDMAP/NISS 3 0.836 (0.826-0.847) 61.8%
ICDMAP/mAP 2 0.855 (0.849-0.860) 0%
Multiplicative ICISS – Traditional SPs 19 0.903 (0.890-0.915) * 98.5%
Single worst injury – Traditional SPs 2 0.899 (0.895-0.903) * 34.8%
2004-2014
ICDMAP/ISS 2 0.803 (0.750-0.856) 98.9%
Multiplicative ICISS – Traditional SPs 12 0.802 (0.776-0.827) 99.6%
Multiplicative ICISS – Independent SPs 3 0.801 (0.732-0.871) 99.7%
Single worst injury – Traditional SPs 6 0.813 (0.771-0.854) 99.4%
Single worst injury – Independent SPs 2 0.803 (0.707-0.899) 99.7%
TMPM-9 4 0.850 (0.835-0.865) † 98.0% * : Significantly higher than ICDMAP/ISS (p value <0.001), ICDMAP/NISS (p value <0.001), and ICDMAP/MAP (p value <0.001). † : Significantly higher than Multiplicative ICISS – Traditional SPs (p value 0.002).
SPs: survival proportions; ICISS: ICD-based Injury Severity Score; ICDMAP/ISS: Injury Severity Score mapped; ICDMAP/NISS: New ISS mapped; ICDMAP/mAP: modified Anatomic Profile mapped; TMPM-9: ICD-9 Trauma Mortality Prediction Model.
50
Tableau 11 Overall performance and calibration of the Injury Severity Instruments among included studies
Overall Performance Calibration
1st author, Ref, Year R2 Brier Score AIC Plot† H-L P value*
Burd,R.S.(35), 2008 BLISS NR NR NR Good 2,737 <0.001* ICISS Trad. NR NR NR NR 45,267 <0.001* SWI Trad. NR NR NR NR 13,113 <0.001* ICISS Ind. NR NR NR Over-estimation 6,396 <0.001*
BLISS NR NR NR Over-estimation 3,570 <0.001* ICISS Trad. NR NR NR NR 134,280 <0.001* SWI Trad. NR NR NR NR 53,746 <0.001* ICISS Ind. NR NR NR Over-estimation 21,848 <0.001*
Cook,A.(12), 2014 ICDMAP/ISS NR NR 88,500 Over-estimation) NR NR ICISS Trad. NR NR 75,800 Under-estimation) NR NR SWI Trad. NR NR 76,100 NR NR NR TMPM-9 NR NR 75,600 Good NR NR
Davie,G.(36), 2008 SWI Trad. 0.123 NR NR Under-estimation 2,757 <0.001*
DiBartolomeo,S.(14),2011 TMPM-9 NR NR 2,319 Over-estimation NR NR
Gedeborg,R.(38), 2014 ICISS Trad. 0.1311 6.06 NR NR NR NR ICISS Trad. 0.0756 3.33 NR NR NR NR
ICISS Trad. 0.2263 6.53 NR NR NR NR ICISS Trad. 0.2088 5.65 NR NR NR NR
ICISS Trad. 0.1678 4.02 NR NR NR NR ICISS Trad. 0.1489 3.60 NR NR NR NR
Glance,L.G.(13), 2009 ICISS Trad. NR NR 44,439 Under-estimation 231 <0.001*
SWI Trad. NR NR 43,863 Over-estimation 462 <0.001*
TMPM-9 NR NR 41,615 Good 29.3 <0.001*
Haider,A.H.(39), 2012 TMPM-9 NR NR NR NR NR NR
Hannan,E.(33), 2005 ICISS Trad. NR NR NR NR 46.2 <0.001* ICDMAP/NISS NR NR NR NR 208.7 <0.001* ICDMAP/mAP NR NR NR NR 482.8 <0.001* ICDMAP/ISS NR NR NR NR 351.6 <0.001* ICDMAP/APS NR NR NR NR 305.0 <0.001*
Hannan,E.(34), 2007 ICISS Trad. 0.15 NR 27,169 NR NR NR ICISS Ind. 0.14 NR 27,402 NR NR NR SWI Trad. 0.15 NR 27,153 NR NR NR SWI Ind. 0.13 NR 27,528 NR NR NR
Kilgo,P.(7), 2003 ICISS Trad. 0.4560 NR 38,541 NR 322 <0.001* SWI Trad. 0.4800 NR 37,021 NR 309 <0.001*
51
Overall Performance Calibration
1st author, Ref, Year R2 Brier Score AIC Plot† H-L P value*
ICISS Trad. 0.4427 NR 39,375 NR 517 <0.001* SWI Trad. 0.4500 NR 38,921 NR 1,973 <0.001*
Meredith,J.W.(30), 2002 ICISS Trad. NR NR NR NR 34.47 <0.001* ICDMAP/APS NR NR NR NR 25.79 0.001* ICDMAP/NISS NR NR NR NR 24.09 0.002* ICDMAP/MAIS NR NR NR NR 63.79 <0.001* ICDMAP/ISS NR NR NR NR 44.94 <0.001*
Meredith,J.W.(32), 2003 ICISS Trad. 0.4486 NR 43,100 NR 171 <0.001* ICISS Trad. 0.4370 NR 43,901 NR 213 <0.001*
Meredith,J.W.(6), 2003 ICISS Ind. 0.445 NR 44,078 NR NR NR ICISS Trad. 0.440 NR 44,434 NR NR NR
Moore,L.(37), 2008 SWI Ind. NR NR NR NR 52 <0.001*
Olser,T.(5), 1996 ICISS Trad. NR NR NR NR 21.0 0.007
Olser,T.(40), 1997 ICISS Trad. NR NR NR NR 8.41 0.39 ICISS Trad. NR NR NR NR 10.96 0.20 ICDMAP/ISS NR NR NR NR 4.45 0.49
Rutledge,R.(41), 1997 ICISS Trad. NR NR 12,443 (-2 Log L) NR 214.7 <0.001* ICISS Trad. NR NR 10,019 (-2 Log L) NR 37.0 <0.001* ICISS Trad. NR NR 9,795 (-2 Log L) NR 173.2 <0.001* ICISS Trad. NR NR 8,389 (-2 Log L) NR 259.7 <0.001*
Rutledge,R.(43), 1998 ICISS Trad. NR NR NR NR NR NR DRG NR NR NR NR NR NR APR-DRG NR NR NR NR NR NR
Rutledge,R.(42), 1998 ICISS Trad. NR NR NR NR 28.59 <0.001
Sacco,W.J.(44), 1999 ICISS Trad. NR NR NR NR 370 <0.001* ICISS Trad. NR NR NR NR 244 <0.001* ICDMAP/ISS NR NR NR NR 283 <0.001* ICDMAP/NISS NR NR NR NR 133 <0.001* ICDMAP/mAP NR NR NR NR 97 <0.001* ICDMAP/APS NR NR NR NR 94 <0.001*
Stephenson,S.(31), 2002 ICISS Trad. NR NR NR Over-estimation 1,121 <0.001* ICDMAP/ISS NR NR NR Over-estimation 17,634 <0.001*
ICDMAP/NISS NR NR NR Over-estimation 1,205 <0.001* ICDMAP/mAP NR NR NR Over-estimation 269 <0.001* ICDMAP/APS NR NR NR Over-estimation 2,544 <0.001*
West,T.A.(29), 2000 ICISS Trad. NR NR NR NR 709.19 <0.001 HARM NR NR NR NR 19.74 0.0318 BLISS: Bayesian Logistic Injury Severity Score; HARM: Harborview Assessment for Risk of Mortality; ICDMAP/APS: Anatomic Profile Score mapped; ICDMAP/ISS: Injury
52
Overall Performance Calibration
1st author, Ref, Year R2 Brier Score AIC Plot† H-L P value* Severity Score mapped; ICDMAP/mAP: modified Anatomic Profile mapped; ICDMAP/MAIS: maximal Abbreviated Injury Scale mapped; ICDMAP/NISS: New ISS mapped; ICISS Ind.: ICD-based Injury Severity Score, independent survival proportions; ICISS Trad. : ICD-based Injury Severity Score, traditional survival proportions; SWI Ind.: Single Worst Injury, independent survival proportions; SWI Trad.: Single Worst Injury, traditional survival proportions; TMPM-9: ICD-9 Trauma Mortality Prediction Model. NR: not reported; H-L: Hosmer-Lemeshow statistic; * : P value was obtained by comparing Hosmer-Lemeshow statistic to chi-square with 8 degrees of freedom. Small p-values indicate a lack of fit of the model. † Calibration plot has predictions on the x axis and the observed outcomes on the y axis. Perfect predictions should be on the 45° line. For over-estimation, predictions are higher than observed outcomes. For under-estimation, predictions are lower than observed outcomes.
53
CHAPITRE 5 - PERFORMANCE OF ICD-BASED INJURY SEVERITY
MEASURES USED TO PREDICT IN-HOSPITAL MORTALITY AND
INTENSIVE CARE ADMISSION AMONG TRAUMATIC BRAIN-
INJURED PATIENTS
Mathieu GAGNE (M.A.)1,2, Lynne MOORE (Ph.D.)2,3, Marc SIMARD (M.Sc.)1,2, Marie-
Josée SIROIS (Ph.D.) 2,4, Claudia BEAUDOIN (M.Sc.) 1,2 et Brice Lionel Batomen KUIMI
(M.Sc.)2,3
1 Bureau d’information et d’études en santé des populations, Institut national de santé publique du
Québec; 2 Département de médecine sociale et préventive, Faculté de médecine, Université Laval; 3 Axe Santé des Populations et pratiques Optimales en Santé (Population Health and Optimal
Health Practices Research Unit), Traumatologie – Urgence - Soins intensifs (Trauma – Emergency
– Critical Care Medicine), Centre de Recherche du Centre Hospitalier Universitaire (CHU) de
Québec (Hôpital de l’Enfant-Jésus), Université Laval, Québec (Qc), Canada; 4 Département de réadaptation, Faculté de médecine, Université Laval et Centre d’Excellence sur le
Vieillissement de Québec, Centre de Recherche du Centre Hospitalier Universitaire (CHU) de
Québec (Hôpital de l’Enfant-Jésus), Université Laval, Québec (Qc), Canada.
54
Résumé
CONTEXTE: La Classification internationale des maladies (CIM) est le système de
classification principal utilisé pour définir les traumatismes craniocérébraux (TCC) pour les
activités de surveillance. Bien que ce système de classification ne contienne pas
d’information directe sur la gravité des blessures, des mesures de gravité basées sur la
CIM peuvent être dérivées empiriquement ou appariées à l'Abbreviated Injury Scale (AIS).
Toutefois, aucune approche n’a été officiellement recommandée pour les TCC.
OBJECTIF: Comparer la validité prédictive des mesures de gravité des blessures basées
sur la CIM-pour prédire la mortalité intra-hospitalière et l’admission en unité de soins
intensifs chez les patients hospitalisés à la suite d’un TCC.
MÉTHODES: Nous avons mené une étude rétrospective de cohorte populationnelle. Dans
la base de données québécoise Med-Écho, nous avons identifié tous les patients âgés de
16 ans et plus ayant reçu un diagnostic de TCC et admis pour des soins aigus entre le 1er
avril 2006 et le 31 Mars 2013. La validité prédictive de cinq mesures de gravité des
blessures basées sur la CIM a été comparée en termes de discrimination (aire sous la
courbe [AUC]) et d'ajustement (illustration graphique des courbes de calibration et
statistique Hosmer-Lemeshow).
RÉSULTATS: Parmi les 31 087 patients hospitalisés à la suite d’un TCC, 9,0% sont
décédés au cours de l’hospitalisation et 34,4% ont été admis à l'unité de soins intensifs.
Parmi les mesures de gravité des blessures basées sur la CIM évaluées, l’ICISS-
Multiplicative a démontré la meilleure capacité discriminative pour prédire la mortalité à
l'hôpital (AUC: 0,845, intervalle de confiance à 95% [IC] 0,839-0,851) et l’admissions aux
soins intensifs (0,808, IC 0,839-0,851). L’ajustement entre les données prédites et
observées était élevé pour tous les déciles de risque.
CONCLUSIONS: Les mesures de gravité des blessures basées sur la CIM peuvent être
utilisées pour prédire avec exactitude la mortalité à l'hôpital et l'admission en unité de
soins intensifs chez les patients hospitalisés à la suite d’un TCC. L’ICISS-Multiplicative,
qui a surclassé les autres candidats pour prédire la mortalité à l’hôpital et les admissions
aux soins intensifs, devrait être privilégié dans les activités de surveillance ou de
recherche de blessures lorsque les données sont codifiées à l’aide de la CIM.
55
Abstract
BACKGROUND: The International Classification of Diseases (ICD) is the main
classification system used for population-based traumatic brain injury (TBI) surveillance
activities but does not contain direct information on injury severity. ICD-based injury
severity measures can be empirically derived or mapped to the Abbreviated Injury Scale,
but no single approach has been formally recommended for TBI.
OBJECTIVE: To compare the accuracy of different ICD-based injury severity measures for
predicting in-hospital mortality and intensive care unit (ICU) admission in TBI patients.
METHODS: We conducted a population-based retrospective cohort study. We identified all
patients aged 16 years and over with a TBI diagnosis who received acute care between
April 1, 2006 and March 31, 2013 from the Quebec Hospital Discharge Database. The
accuracy of five ICD-based injury severity measures for predicting mortality and ICU
admission were compared using measures of discrimination (area under the receiver
operating characteristic [AUC]) and calibration (calibration plot and the Hosmer-Lemeshow
goodness-of-fit statistic).
RESULTS: Of 31,087 traumatic brain-injured patients in the study population, 9.0% died in
hospital and 34.4% were admitted to the ICU. Among ICD-based severity measures that
were assessed, the multiplied derivative of ICD-based injury severity score (ICISS-
Multiplicative) demonstrated the best discriminative ability for predicting in-hospital
mortality (AUC: 0.858, 95% confidence interval [CI] 0.852-0.864) and ICU admissions
(AUC: 0.813, 95%CI 0.808-0.818). Calibration assessments showed good agreement
between observed and predicted in-hospital mortality for ICISS measures. All severity
measures presented high agreement between observed and expected probabilities of ICU
admission for all deciles of risk.
CONCLUSIONS: ICD-based injury severity measures can be used to accurately predict
in-hospital mortality and ICU admission in TBI patients. ICISS-Multiplicative generally
outperformed other ICD-based TBI severity measures and should be preferred to control
for differences in baseline characteristics between TBI patients in surveillance activities or
injury research when only ICD codes are available.
56
Background
Traumatic brain injury (TBI) is a major public health problem(1) that results in 52,000
fatalities and 275,000 hospitalizations each year in the USA.(2) Among adults admitted for
major injury to trauma centers across Canada between 2006 and 2012, 78% of in-hospital
deaths were attributable to TBI.(3) When hospitalized TBI patients survive, nearly half will
have long-term disability.(4) TBI has substantial economic consequences, with an average
societal cost for moderate/severe TBI cases of US $36,648.(5) Injury severity measures
are used to control for differences in baseline characteristics between patient populations
in surveillance and injury research.(6) Accurate information on injury severity is therefore
key for developing effective TBI prevention strategies and allocating resources
rationally.(7,8)
For population-based surveillance activities, TBI are generally defined by diagnostic codes
from International Classification of Disease (ICD).(9) Unlike the Abbreviated Injury Scale
(AIS) employed to code injuries in trauma registries, ICD is typically used in large routinely
collected administrative data and does not contain direct information on injury severity.(10)
Several severity measures for ICD-based systems are available, including empirically
derived measures and AIS-mapped scores.(11) Empirically derived measures can be
based on survival proportions (ICD-based Injury Severity Score [ICISS]) or averaged
regression coefficients (Trauma Mortality Prediction Model [TMPM-ICD]) calculated for
each injury diagnosis code.(12–14) AIS-mapped scores are computed using an algorithm
to map ICD injury diagnostic codes to AIS codes,(15,16) which include a consensus-
based severity score varying from 1 (minor injury) to 6 (theoretically unsurvivable injury)
that can be used to obtain several severity measures, such as the New Injury Severity
Score (NISS-mapped) or the maximum head AIS score (Max AIS-mapped). Despite the
use of these methods in surveillance and injury research,(17–19) to our knowledge no
studies have formally validated the prognostic value of the ICD-based injury severity
measures among TBI patients and few have assessed the predictive ability of ICD-based
injury severity measures derived from the Tenth Revision of the ICD (ICD-10)(11).
The aim of this study was to compare the accuracy of ICD-10-based injury severity
measures for predicting in-hospital mortality and ICU admission in TBI patients.
57
Methods
This retrospective, population-based, cohort study was conducted in line with Transparent
Reporting of a Multivariable Prediction Model for Individual Prognosis or Diagnosis
recommendations.(16) Since our study is based exclusively on secondary use of
anonymous medical information, and that the expected results do not create any threat to
patient confidentiality, a Research Ethics Boards Committee waiver was granted for the
project.
Source of data
We extracted data on all admissions with a principal diagnosis of TBI from the Quebec
Hospital Discharge Database (MED-ECHO) between April 1, 2006 and March 31, 2013.
MED-ECHO contains demographic, administrative and clinical data on all hospital
admissions to acute inpatient facilities in the province of Québec. Admissions for patients
aged less than 16 years, re-admissions for the same injury, admissions for long-term care,
day surgeries or admissions for follow-up examinations were excluded. TBI, coded with
the Canadian version of the ICD-10 (ICD-10-CA), was defined using the following codes:
S01 [.0-.9], S02.0, S02.1, S02.3, S02.7, S02.8, S02.9, S04.0, S06 [.0-.9], S07 [.0-.9],
S09.7, S09.8, S09.9, T01.0, T02.0, T04.0 and T06.0.(9) We excluded sequelae of TBI
because these are related to the late consequences of injury.
Outcome measure
Our primary outcome was in-hospital mortality. Intensive care unit (ICU) admission was a
secondary endpoint.
ICD-10-based injury severity measures
In our TBI cohort, 133,984 injuries were recorded, using a total number of 1,420 different
ICD-10-CA codes. With those recorded injuries, five ICD-10-based injury severity
measures (Supplement Digital Content [SDC] A) were applied to our TBI cohort.
Empirically-derived survival proportions were attributed for each injury diagnosis code from
international pooled data.(21) The survival proportion is the proportion of patients with a
specific injury diagnosis code who survived to discharge.(21) Survival proportions were
multiplied to calculate a patient’s ICISS-Multiplicative(12) and the lowest survival
proportion was used to calculate ICISS-Worst injury.(13) Model averaged regression
coefficients (MARC) values were integrated in our database with a STATA module.(22)
58
MARC values are available for the Clinical Modification of ICD-10 (ICD-10-CM). In our TBI
cohort, injury diagnoses were coded with the ICD-10-CA. Because ICD-10-CA and ICD-
10-CM share the same structure, we retained the first 4 digits of the ICD-10-CA and ICD-
10-CM injury diagnoses codes, and averaged MARC values for each ICD-10 injury
diagnosis code. The five highest MARC values for a patient were used to calculate the
TMPM-ICD10.(14,23) Two others measures based on AIS codes were included using an
ICD-10-to-AIS algorithm.(15) The sum of squares of the three highest AIS severity scores
was used to calculated NISS-mapped,(24) while the highest AIS score was retained to
generate a Max AIS-mapped score.
Other predictor variables
Based on previous literature, the clinical knowledge of the study team, and the available
data, we selected other potential variables for predicting in-hospital mortality and ICU
admission. We thereafter added age(16-54 years, 55-64 years, 65-74 years, 75-84 years
and ≥85 years),(25) gender,(26) and mechanism of injury (motor vehicle collisions, low
falls, falls from height, gunshot and sharp object injuries, blunt object injuries, and others)
to our models.(27) Extra-cranial injuries(28) were included in the models for the
computation of injury severity measures. Finally, comorbidities(29) were ascertained using
Elixhauser’s coding algorithm based on diagnoses recorded in hospital discharges.(30)
Assessing predictive accuracy
We used logistic regression to assess the predictive accuracy of each ICD-10-based injury
severity measure with respect to discrimination, calibration and overall performance. First,
a model with the ICD-10-based injury severity measure only was fitted. Second, we fitted a
comprehensive model, including the other predictor variables listed above. Discrimination
was quantified by the area under the receiver operating characteristic curve (AUC).(31)
We considered an AUC< 0.70 to represent poor discrimination, 0.70-0.79 acceptable
discrimination, 0.80-0.89 excellent discrimination and ≥0.90 outstanding discrimination.(32)
To assess calibration, we plotted observed versus predicted outcomes by deciles of risk.
For graphical assessment of calibration, better predictions should coincide with the 45°
line.(31) We also calculated Hosmer-Lemeshow (H-L) goodness of fit statistics to allow
comparison between models. For H-L statistic, better calibrations yield smaller values.(33)
Cox’s calibration intercept and slope were presented to indicate the extent that predictions
are systematically too low or too high.(34) Perfect predictions are characterized by an
59
intercept (α) of 0 and slope beta (β) of 1.(35) Logit transformation of ICD-based injury
severity measure was used to improve model calibration when appropriate. To reflect
overall performance, the rescaled Brier score and Nagelkerke’s R2 were used.(31) For
those metrics, values range from 0 to 1 and higher values indicate better performance. We
used bootstrap resampling (1000 samples with replacement) to estimate 95% confidence
intervals for all performance measures and compared AUC values. All analyses were
conducted using SAS version 9.4 (SAS Institute Inc., Cary, NC, USA).
Sensitivity analyses
To assess the consistency of the discriminative ability of ICD-10-based injury severity
models, we conducted additional analyses among subgroups of patients according to age
(< 65 years, ≥65 years). We also repeated analyses under the following conditions: i) in-
hospital mortality occurring within 30 days of admission, ii) patients transferred to another
hospital after admission excluded, and iii) isolated TBIs only.
Results
Patient characteristics
Of the 31,087 TBI-related admissions between April 1, 2006 and March 31, 2014, 2,801
(9.0%) died in hospital (90.5% within 30 days). Over the same period, 10,706 (34.4%)
patients were admitted to the ICU. Less than half of patients were under 55 years of age
and almost two-thirds were male (Table 12). Crude mortality increased with age, the
number of comorbidities, the number of TBI diagnoses and, the number of extra-cranial
injuries. ICU admission also increased with the number of TBI diagnoses and the number
of extra-cranial injuries but decreased with age. Adjusted odds ratios (OR) and p-values
for each predictor are presented in Table 13. Associations between predictors outcome
remained similar, regardless of the injury severity measure used. The only exception is the
reverse OR associated with low falls when one or multiple injuries are included in the
calculation of injury severity measures for predicting in-hospital mortality. This may be
explained by the fact that patients with low falls are more likely to have single injuries
whereas those with transport injuries are more likely to have multiple trauma. OR on
standardized injury severity score show that the increase in mortality and ICU admission
for one standardized unit of injury severity is greater for ICISS-Worst injury and ICISS-
Multiplicative than other scores.
60
Predictive accuracy
All ICD-10-based injury severity models demonstrated acceptable discrimination for
predicting in-hospital mortality and ICU admission. With the addition of other predictor
variables, models had substantially better discriminative abilities (Fig. 4 a-d). The ICISS-
Multiplicative model generally outperformed other severity measures for predicting
mortality and ICU admission (Fig. 4 and Table 14). The AUC of the ICISS-Multiplicative
models were significantly higher with only two exceptions; ICISS-Worst injury for mortality
prediction and NISS-mapped for predicting ICU admission in the ICD-10-based injury
severity models. The advantage of the ICISS-Multiplicative model persisted in all
sensitivity analyses (Table 15). However, discriminative abilities were consistently lower
among patients aged ≥ 65 years.
For mortality prediction, ICISS-Multiplicative, ICISS-Worst injury and TMPM-ICD10 models
all displayed good calibration (Table 16). Calibration plots suggest that the ICISS-
Multiplicative, ICISS-Worst Injury, NISS-mapped and TMPM-ICD10 models offer generally
good fit to observed mortality throughout the range of risk although these models tended to
overestimate mortality for high-risk patients (Fig.5). For all severity measures, agreement
between observed and expected probabilities of ICU admission was very high for all
deciles of risk (Fig.6).
The overall performance of the models, reflected by the Brier scores and Nagelkerke R2,
demonstrated the superiority of ICISS-Multiplicative to predict in-hospital mortality (Table
16). For ICU admission, the overall predictive performance of the NISS-mapped and
ICISS-Multiplicative surpassed other severity measures (Table 16).
Discussion
In this population-based cohort study using hospital discharge data, ICISS-Multiplicative
had generally higher predictive accuracy than alternative ICD-10-based injury severity
measures for predicting in-hospital mortality and ICU admission. All ICD-10-based injury
severity measures showed acceptable discrimination for predicting in-hospital mortality
when used alone and excellent discrimination in a model including information on age,
sex, injury mechanism, comorbidity and area of residence. The ICISS-Multiplicative and
NISS-mapped had the highest predictive accuracy for predicting ICU admission.
61
Previous studies have reported that ICISS-Multiplicative and TMPM-ICD predict mortality
more accurately than mapped AIS tools for general injury admissions.(11) However, to our
knowledge, no study had formally validated ICD-10-based injury severity measures for TBI
patients, despite their frequent use to adjust for severity in this population.(18,19)
Recently, Fu and colleagues conducted a nationwide study to identify predictors of in-
hospital mortality following TBI-related hospitalization and reported an AUC of 0.805 for a
model including age, sex, mechanism of injury, comorbidity, hospital length of stay, ICISS-
Multiplicative, and fiscal year.(17) Among directly coded AIS derivatives, the NISS has
been reported to be accurate for predicting in-hospital mortality (AUC=0.819) and ICU
admission (AUC=0.771) among urban level I trauma center patients with head
injuries.(35,36) In general trauma patients from the National Trauma Data Bank, it was
reported that TMPM-ICD9 outperformed ICISS-Multiplicative, ICISS-Worst injury and AIS
tools in predicting in-hospital mortality.(14,22,37) However, the excellent discriminative
ability demonstrated by the TMPM-ICD9 in those studies was not achieved in studies
conducted in settings outside the USA.(38,39)
In our study, the ICISS-Multiplicative model generally outperformed other severity
measures for predicting mortality and ICU admission. When injury severity measures were
assessed in patients with isolated head injuries, the advantage of the ICISS-Multiplicative
model persisted. The difference in discrimination between the five injury severity measures
under evaluation was small, but as mentioned by Glance et al, since the AUC statistic has
an upper limit of 1, this difference represents an important incremental improvement in
model discrimination.(14)
When ICD-10-based injury severity measures are modelled alone to predict in-hospital
mortality, ICISS-Worst injury performs significantly better than ICISS-Multiplicative. This
advantage for discriminating patients who died in-hospital from those who survived to
discharge has previously been observed for general trauma patients.(13) According to
Kilgo’s and colleagues, the worst injury of a patient explains the majority of variation in
mortality, while secondary injuries have a trivial impact on mortality prediction.(13) Moore
and colleagues also noted that ICISS is optimal with information on the worst injury only,
while the addition of secondary injuries counterintuitively leads to an incremental decrease
in AUC values.(40)
62
However, in practice, injury severity measures are rarely used alone to address case mix
differences in injury research. In a model including other significant predictors (age, sex,
injury mechanism, comorbidities and area of residence), the ICISS-Multiplicative offers
greater predictive accuracy than other measures. More than four injury diagnoses were
recorded per incident for our injured population and mortality incidence increased with
increasing number of diagnoses, indicating that consideration of only the most severe
injury may be insufficient for accurate mortality prediction among TBI patients when
information on age, sex, injury mechanism, comorbidities and area of residence are also
taken into account. Consequently, the approach chosen to select the relevant injuries and
summarize them into an overall measure of severity seems important to produce accurate
predictions. The high predictive accuracy of ICISS-Multiplicative measure for predicting
ICU admission over mortality is unexpected as they are based on survival probabilities and
therefore not developed for the prediction of other outcomes, which is not the case for AIS
derivatives.
Regardless of the injury severity measures used, the discriminative ability to predict in-
hospital mortality was consistently lower among patients aged ≥ 65 years, probably
because of residual confounding in this subgroup. This is particularly important in the light
of the reported shift in the population affected by TBI towards older age groups.(42)
When only ICD codes are available, programs that can map ICD codes into AIS codes are
a practical alternative to obtain injury severity scores. Potential users must recognize that
this mapping strategy results in a loss of information due to differences in injury
classification systems. This loss in information leads to conservative estimates of injury
severity, which probably reduce the accuracy of ICD-to-AIS mapped injury severity scores.
The superior predictive accuracy of empirically derived injury severity measures based on
ICD, such as ICISS or TMPM observed in this and other studies, suggests that the ICD to
AIS mapping strategies are not optimal.
The Glasgow Coma Scale (GCS) is the most widely used instrument for assessing TBI
severity and is still considered as the gold standard to define the extent of neurological
damage.(43) When clinical data is available (e.g. trauma registries), the GCS in
combination with anatomic injury severity measures are useful in the prediction of mortality
after TBI.(44–46) Unfortunately the GCS is absent from most administrative databases.(8)
Results of this study suggest that ICD-10-based injury severity measures can be a
63
pragmatic and accurate alternative for in-hospital mortality or ICU admission prediction
among TBI patients when GCS and AIS are not available. Thus, ICD-10-based injury
severity measures may be used to address baseline characteristic’s severity differences in
TBI research and surveillance.may be used to address baseline characteristic’s severity
differences in TBI research.
Limitations
Our study has some limitations that should be considered in the interpretation of results.
First, hospital discharge data are collected for administrative rather than clinical purposes
and are not specific to injury. ICD coding errors may therefore have led to misclassification
of TBI status, likely leading to an underrepresentation of minor TBIs.(47,48) However, the
ICD coding errors have been shown little influence on injury severity estimates.(49)
Second, our study was limited to existing measures of injury severity, which each have
their inherent limits. For example, ICISS-Multiplicative is based on the assumption that the
influence of individual injuries on mortality is multiplicative, which remains to be
verified.(40) In addition, survival proportions are derived from patients with multiple
injuries, which artificially decrease TBI-related survival proportions and lead to an
overestimation of mortality risk.(50) Therefore, while the severity measures under
evaluation had acceptable discrimination and calibration when associated with other risk
factors, they probably do not represent the optimal combination of information on multiple
injuries. Third, to our knowledge, this is the first study in which TMPM-ICD10 is empirically
validated. However, the bridge coding used to translate MARC values for ICD-10-CM into
ICD-10-CA may have led to an underestimation of the predictive accuracy of the TMPM-
ICD10 models. Fourth, the observed differences in discrimination across models were
statistically significant due to large sample sizes but may not be clinically significant. Data
simulations should be used to evaluate whether using different measures influences
control for confounding due to injury severity in TBI group comparisons. Finally, the ICISS-
Multiplicative is based on mortality predictions. While its performance was acceptable for
predicting ICU admission, our results should be extrapolated with caution to other patient
outcomes such as complications, resource use and functional capacity.
Conclusion
ICD-10-based injury severity measures are accurate predictors of in-hospital mortality and
ICU admission in traumatic brain-injured patients. ICISS-Multiplicative generally
64
outperformed other candidates to predict in-hospital mortality and ICU admission. ICISS-
Multiplicative can be used as a tool for TBI severity adjustment in large routinely collected
administrative data where TBI are coded with ICD-10. ICISS-Multiplicative should be
preferred for describing injury severity when ICD-10 is used to record diagnoses. More
research is needed to establish whether ICISS-multiplicative can be improved on and to
develop accurate measures of injury severity for predicting other outcomes. Moreover,
further research should be conducted to establish clinically significant thresholds in
categorizing the severity of TBI.
65
References
1. Hyder AA, Wunderlich CA, Puvanachandra P, Gururaj G, Kobusingye OC. The impact of traumatic brain injuries: a global perspective. Neuro Rehabilitation. 2007 Dec;22(5):341–53.
2. Faul M, Xu L, Wald M, Coronado V. Traumatic Brain Injury in the United States: Emergency Department Visits, Hospitalizations and Deaths 2002–2006. Atlanta, GA: National Center for Injury Prevention and Control; 2010.
3. Moore L, Evans D, Hameed SM, Yanchar NL, Stelfox HT, Simons R, et al. Mortality in Canadian Trauma Systems: A Multicenter Cohort Study. Ann Surg. Epub 2016 Jan 7.
4. Selassie AW, Zaloshnja E, Langlois JA, Miller T, Jones P, Steiner C. Incidence of long-term disability following traumatic brain injury hospitalization, United States, 2003. J Head Trauma Rehabil. 2008 Mar-Apr;23(2):123–31.
5. Te AB, Brown P, Tobias M, Ameratunga S, Barker-Collo S, Theadom A, et al. Cost of traumatic brain injury in New Zealand: evidence from a population-based study. Neurology. 2014 Oct;83(18):1645–52.
6. Cryer C. Severity of injury measures and descriptive epidemiology. Inj Prev. 2006 Apr;12(2):67–8.
7. Centers for Disease Control and Prevention. CDC grand rounds: reducing severe traumatic brain injury in the United States. MMWR Morb Mortal Wkly Rep. 2013 Jul;62(27):549–52.
8. Parsons D, Colantonio A, Mohan M. The utility of administrative data for neurotrauma surveillance and prevention in Ontario, Canada. BMC Res Notes. 2012 Oct;5:584.
9. Langlois Orman JA, Selassie AW, Perdue CL, Thurman DJ, Kraus JF. Surveillance of Traumatic Brain Injury. In: Guohua Li & Susan P.Baker, Guohua Li & Susan P.Baker, eds. Injury Research. New York, NY: Springer; 2012:61–85.
10. Nakahara S, Yokota J. Revision of the international classification of diseases to include standardized descriptions of multiple injuries and injury severity. Bull World Health Organ. 2011 Mar;89(3):238-40.
11. Gagné M, Moore L, Beaudoin C, Batomen Kuimi BL, Sirois M-J. Performance of ICD-based injury severity measures used to predict in-hospital mortality: a systematic review and meta-analysis. J Trauma Acute Care Surg. 2016 Mar;80(3):419-26.
12. Osler T, Rutledge R, Deis J, Bedrick E. ICISS: An international classification of disease-9 based injury severity score. J Trauma. 1996 Sept;41(3):380-6.
13. Kilgo PD, Osler TM, Meredith W, Champion HR, Clarke JR, Morris J. The Worst Injury Predicts Mortality Outcome the Best: Rethinking the Role of Multiple Injuries in Trauma Outcome Scoring. J Trauma. 2003 Oct;55(4):599-606.
66
14. Glance LG, Osler TM, Mukamel DB, Meredith W, Wagner J, Dick AW. TMPM-ICD9: a trauma mortality prediction model based on ICD-9-CM codes. Ann Surg. 2009 Jun;249(6):1032–9.
15. Haas B, Xiong W, Brennan-Barnes M, Gomez D, Nathens AB. Overcoming barriers to population-based injury research: Development and validation of an ICD-10-to-AIS algorithm. Can J Surg. 2012 Feb;55(1):21-6.
16. MacKenzie EJ, Steinwachs DM, Shankar B. Classifying trauma severity based on hospital discharge diagnoses. Validation of an ICD-9CM to AIS-85 conversion table. Med Care. 1989 Apr;27(4):412–22.
17. Fu TS, Jing R, McFaull SR, Cusimano MD. Recent trends in hospitalization and in-hospital mortality associated with traumatic brain injury in Canada: A nationwide, population-based study. J Trauma Acute Care Surg. 2015 Sep;79(3):449–54.
18. Tepas JJ III, Pracht EE, Orban BL, Flint LM. High-volume trauma centers have better outcomes treating traumatic brain injury. J Trauma Acute Care Surg. 2013 Jan;74(1):143–7.
19. Gardner RC, Burke JF, Nettiksimmons J, Kaup A, Barnes DE, Yaffe K. Dementia risk after traumatic brain injury vs nonbrain trauma: the role of age and severity. JAMA Neurol. 2014 Dec;71(12):1490–7.
20. Collins GS, Reitsma JB, Altman DG, Moons KGM. Transparent reporting of a multivariable prediction model for individual prognosis or diagnosis (TRIPOD): the TRIPOD statement. BMJ. 2015 Jan;350:g7594.
21. Gedeborg R, Warner M, Chen LH, Gulliver P, Cryer C, Robitaille Y, et al. Internationally comparable diagnosis-specific survival probabilities for calculation of the ICD-10-based Injury Severity Score. J Trauma Acute Care Surg. 2014 Feb;76(2):358–65.
22. Cook A. TMPM: Stata module to implement Trauma Mortality Prediction Model using AIS, ICD-9 or ICD-10 codes. 2013. Available at: https://ideas.repec.org/c/boc/bocode/s457663.html#download/.
23. Cook A, Weddle J, Baker S, Hosmer D, Glance L, Friedman L, et al. A comparison of the Injury Severity Score and the Trauma Mortality Prediction Model. J Trauma Acute Care Surg. 2014 Jan;76(1):47–52.
24. Osler T, Baker SP, Long W. A modification of the injury severity score that both improves accuracy and simplifies scoring. J Trauma. 1997 Dec;43(6):922–5;
25. Mushkudiani NA, Engel DC, Steyerberg EW, Butcher I, Lu J, Marmarou A, et al. Prognostic value of demographic characteristics in traumatic brain injury: results from the IMPACT study. J Neurotrauma. 2007 Feb;24(2):259–69.
26. Berry C, Ley EJ, Tillou A, Cryer G, Margulies DR, Salim A. The effect of gender on patients with moderate to severe head injuries. J Trauma. 2009 Nov;67:950–3.
67
27. Butcher I, McHugh GS, Lu J, Steyerberg EW, Hernandez AV, Mushkudiani N, et al. Prognostic value of cause of injury in traumatic brain injury: results from the IMPACT study. J Neurotrauma. 2007 Feb;24(2):281–6.
28. Leitgeb J, Mauritz W, Brazinova A, Majdan M, Wilbacher I. Impact of concomitant injuries on outcomes after traumatic brain injury. Arch Orthop Trauma Surg. 2013 May;133(5):659–68.
29. Haring RS, Narang K, Canner JK, Asemota AO, George BP, Selvarajah S, et al. Traumatic brain injury in the elderly: morbidity and mortality trends and risk factors. J Surg Res. 2015 May 1;195(1):1–9.
30. Quan H, Sundararajan V, Halfon P, Fong A, Burnand B, Luthi J-C, et al. Coding algorithms for defining comorbidities in ICD-9-CM and ICD-10 administrative data. Med Care. 2005 Nov;43(11):1130–9.
31. Steyerberg EW, Vickers AJ, Cook NR, Gerds T, Gonen M, Obuchowski N, et al. Assessing the performance of prediction models: a framework for traditional and novel measures. Epidemiology. 2010 Jan;21(1):128–38.
32. Hosmer D, Lemeshow S. Area Under the ROC Curve. In: Applied logistic regression. New York: John Wiley & Sons Inc.; 2000:160–4.
33. Kleinbaum DG, Klein M. Assessing Goodness of Fit for Logistic Regression. Logistic Regression. 3rd ed. Springer; 2010:301-43.
34. Cox, DR. Two Further Applications of a Model for Binary Regression. Biometrika. 1958;45(3/4):562–5.
35. Steyerberg EW, Vergouwe Y. Towards better clinical prediction models: seven steps for development and an ABCD for validation. Eur Heart J. 2014 Aug;35(29):1925–31.
36. Lavoie A, Moore L, LeSage N, Liberman M, Sampalis JS. The New Injury Severity Score: a more accurate predictor of in-hospital mortality than the Injury Severity Score. J Trauma. 2004 Jun;56(6):1312–20.
37. Lavoie A, Moore L, LeSage N, Liberman M, Sampalis JS. The Injury Severity Score or the New Injury Severity Score for predicting intensive care unit admission and hospital length of stay? Injury. 2005 Apr;36(4):477–83.
38. Haider AH, Villegas CV, Saleem T, Efron DT, Stevens KA, Oyetunji TA, et al. Should the IDC-9 Trauma Mortality Prediction Model become the new paradigm for benchmarking trauma outcomes? J Trauma Acute Care Surg. 2012 Jun;72(6):1695-701.
39. Van Belleghem G, Devos S, De Wit L, Hubloue I, Lauwaert D, Pien K, et al. Predicting in-hospital mortality of traffic victims: A comparison between AIS-and ICD-9-CM-related injury severity scales when only ICD-9-CM is reported. Injury. 2016 Jan;47(1):141–6.
68
40. Di Bartolomeo S., Ventura C, Marino M, Chieregato A, Gambale G, Fabbri A, et al. Is the TMPM-ICD9 revolution in trauma risk-adjustment compatible with imperfect administrative coding? Accid Anal Prev. 2011 Nov;43(6):1955–9.
41. Moore L, Lavoie A, Le SN, Bergeron E, Emond M, Abdous B. Consensus or data-derived anatomic injury severity scoring? J Trauma. 2008 Feb;64(2):420-6.
42. Roozenbeek B, Maas AIR, Menon DK. Changing patterns in the epidemiology of traumatic brain injury. Nat Rev Neurol. 2013 Apr;9(4):231–6.
43. Teasdale G, Maas A, Lecky F, Manley G, Stocchetti N, Murray G. The Glasgow Coma Scale at 40 years: standing the test of time. Lancet Neurol. 2014 Aug;13(8):844–54.
44. Timmons SD, Bee T, Webb S, az-Arrastia RR, Hesdorffer D. Using the Abbreviated Injury Severity and Glasgow Coma Scale Scores to Predict 2-Week Mortality After Traumatic Brain Injury. J Trauma. 2011;71(5):1172–8.
45. Demetriades D, Kuncir E, Murray J, Velmahos GC, Rhee P, Chan L. Mortality prediction of head Abbreviated Injury Score and Glasgow Coma Scale: analysis of 7,764 head injuries. J Am Coll Surg. 2004 Aug;199(2):216–22.
46. Baum J, Entezami P, Shah K, Medhkour A. Predictors of Outcomes in Traumatic Brain Injury. World Neurosurg. Epub 2015 Dec 22.
47. Carroll CP, Cochran JA, Guse CE, Wang MC. Are we underestimating the burden of traumatic brain injury? Surveillance of severe traumatic brain injury using centers for disease control International classification of disease, ninth revision, clinical modification, traumatic brain injury codes. Neurosurgery. 2012 Dec;71(6):1064–70.
48. Shore AD, McCarthy ML, Serpi T, Gertner M. Validity of administrative data for characterizing traumatic brain injury-related hospitalizations. Brain Inj. 2005 Aug;19(8):613–21.
49. Bergstrom MF, Byberg L, Melhus H, Michaelsson K, Gedeborg R. Extent and consequences of misclassified injury diagnoses in a national hospital discharge registry. Inj Prev. 2011 Apr;17(2):108-13.
50. Meredith JW, Kilgo PD, Osler TM. Independently Derived Survival Risk Ratios Yield Better Estimates of Survival than Traditional Survival Risk Ratios When Using the ICISS. J Trauma. 2003 Nov;55(5):933-8.
69
Figure 4 Discriminative performance for ICD-based injury severity measures to predict in-hospital mortality and intensive care unit admission
In-hospital mortality a) Models with injury severity measure only b) Models with other predictor variables added†
Intensive care unit admission
c) Models with injury severity measure only d) Models with other predictor variables added†
† : ICD-based injury severity measure, age groups, sexes, mechanisms of injury, area of residence, and comorbidities.
* : Discriminative performance is significantly different from ICISS-Multiplicative (p<0.05).
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
Sen
sit
ivit
y
1 - Specificity
ICISS-Worst injury (AUC: 0.776 [0.769-0.784])*
ICISS-Multiplicative (AUC: 0.739 [0.730-0.747])
Max AIS-mapped (AUC: 0.729 [0.722-0.737])*
TPMP-ICD10 (AUC: 0.725 [0.716-0.734])*
NISS-mapped (AUC: 0.711 [0.701-0.720])*0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
Sen
sit
ivit
y
1 - Specificity
ICISS-Multiplicative (AUC: 0.858 [0.852-0.864])
ICISS-Worst injury (AUC: 0.849 [0.842-0.855])*
NISS-mapped (AUC: 0.843 [0.837-0.850])*
TPMP-ICD10 (AUC: 0.838 [0.832-0.844])*
Max AIS-mapped (AUC: 0.825 [0.818-0.832])*
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
Sen
sit
ivit
y
1 - Specificity
ICISS-Multiplicative (AUC: 0.770 [0.764-0.775])
NISS-mapped (AUC: 0.766 [0.760-0.771])
TPMP-ICD10 (AUC: 0.747 [0.742-0.753])*
ICISS-Worst injury (AUC: 0.708 [0.702-0.714])*
Max AIS-mapped (AUC: 0.696 [0.690-0.701])*0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
Sen
sit
ivit
y
1 - Specificity
ICISS-Multiplicative (AUC: 0.813 [0.808-0.818])
NISS-mapped (AUC: 0.809 [0.804-0.814])*
TPMP-ICD10 (AUC: 0.801 [0.796-0.806])*
ICISS-Worst injury (AUC: 0.796 [0.792-0.801])*
Max AIS-mapped (AUC: 0.794 [0.789-0.799])*
70
Figure 5 Calibration plots for ICD-based injury severity measures† to predict in-hospital mortality
a) ICISS - Multiplicative b) ICISS - Worst Injury
c) Max AIS d) NISS
e) TMPM-ICD
† : ICD-based injury severity measure, age groups, sexes, mechanisms of injury, area of residence, and comorbidities.
Poly. : Polynomial trend of grouped observations up to three segments.
0.00
0.25
0.50
0.75
1.00
0.00 0.10 0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.00
Ob
serv
ed
mo
rtal
ity
Predicted probability
Ideal
Grouped observations
Poly. (Grouped observations)
0.00
0.25
0.50
0.75
1.00
0.00 0.10 0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.00
Ob
serv
ed
mo
rtal
ity
Predicted probability
Ideal
Grouped observations
Poly. (Grouped observations)
0.00
0.25
0.50
0.75
1.00
0.00 0.10 0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.00
Ob
serv
ed
mo
rtal
ity
Predicted probability
Ideal
Grouped observations
Poly. (Grouped observations)
0.00
0.25
0.50
0.75
1.00
0.00 0.10 0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.00
Ob
serv
ed
mo
rtal
ity
Predicted probability
Ideal
Grouped observations
Poly. (Grouped observations)
0.00
0.25
0.50
0.75
1.00
0.00 0.10 0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.00
Ob
serv
ed
mo
rtal
ity
Predicted probability
Ideal
Grouped observations
Poly. (Grouped observations)
71
Figure 6 Calibration plots for ICD-based injury severity measures† to predict
intensive care unit admission
a) ICISS - Multiplicative b) ICISS - Worst Injury
c) Max AIS d) NISS
e) TMPM-ICD
† : ICD-based injury severity measure, age groups, sexes, mechanisms of injury, area of residence, and comorbidities.
Poly. : Polynomial trend of grouped observations up to three segments.
0.00
0.25
0.50
0.75
1.00
0.00 0.10 0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.00
Ob
serv
ed
mo
rtal
ity
Predicted probability
Ideal
Grouped observations
Poly. (Grouped observations)
0.00
0.25
0.50
0.75
1.00
0.00 0.10 0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.00
Ob
serv
ed
mo
rtal
ity
Predicted probability
Ideal
Grouped observations
Poly. (Grouped observations)
0.00
0.25
0.50
0.75
1.00
0.00 0.10 0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.00
Ob
serv
ed
mo
rtal
ity
Predicted probability
Ideal
Grouped observations
Poly. (Grouped observations)
0.00
0.25
0.50
0.75
1.00
0.00 0.10 0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.00
Ob
serv
ed
mo
rtal
ity
Predicted probability
Ideal
Grouped observations
Poly. (Grouped observations)
0.00
0.25
0.50
0.75
1.00
0.00 0.10 0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.00
Ob
serv
ed
mo
rtal
ity
Predicted probability
Ideal
Grouped observations
Poly. (Grouped observations)
72
Tableau 12 Characteristics of traumatic brain injured patients in Quebec hospital discharge data, 2006-07 to 2013-14
Characteristic All Patients In-hospital mortality
Intensive care unit admission
n (%) n (%) n (%)
Overall 31 087 (100) 2 801 (9.0) 10 706 (34.4)
Age 16-54 years 13 921 (44.8) 559 (4.0) 5 530 (39.7) 55-64 years 3 737 (12.0) 274 (7.3) 1 483 (39.7) 65-74 years 3 941 (12.7) 382 (9.7) 1 507 (38.2) 75-84 years 5 378 (17.3) 774 (14.4) 1 554 (28.9)
≥85 years 4 110 (13.2) 812 (19.8) 632 (15.4)
Gender Female 11 325 (36.4) 1 067 (9.4) 2 958 (26.1)
Male 19 762 (63.6) 1 734 (8.7) 7 748 (39.2)
Area of residence
Montreal metropolitan area 12 626 (40.6) 1 249 (9.9) 3 933 (31.2) Other metropolitan areas 5 455 (17.6) 516 (9.5) 1 868 (34.2)
Urban agglomerations 4 452 (14.3) 379 (8.5) 1 481 (33.3) Small towns and rural areas 8 318 (26.8) 634 (7.6) 3 110 (37.4)
Elixhauser comorbidities None 13 115 (42.2) 770 (5.9) 4 333 (33.0)
1-2 10 951 (35.2) 980 (9.0) 4 107 (37.5) 3-4 5 070 (16.3) 693 (13.7) 1 682 (33.2) 5+ 1 951 (6.3) 358 (18.4) 584 (29.9)
Mechanism of injury Transport 10 233 (32.9) 652 (6.4) 4 779 (46.7) Low falls 10 912 (35.1) 1 454 (13.3) 2 641 (24.2)
Falls from height 4 827 (15.5) 460 (9.5) 1 781 (36.9) Blunt object 3 244 (10.4) 63 (1.9) 728 (22.4)
Gunshot and sharp object 585 (1.9) 52 (8.9) 238 (40.7) Others 1274 (4.1) 120 (9.4) 539 (42.3)
Number of TBI diagnosis 1 diagnosis 17 575 (56.5) 1 180 (6.7) 4 329 (24.6)
2-3 diagnoses 9 264 (29.8) 863 (9.3) 3 484 (37.6) 4-6 diagnoses 3 610 (11.6) 589 (16.3) 2 355 (65.2) ≥7 diagnoses 638 (2.1) 169 (26.5) 538 (84.3)
Mean (SD) 1.96 (1.50) 2.65 (2.00) 2.63 (1.92) Median (IQR) 1 (1) 2 (3) 2 (3)
Number of extracranial injuries† None 10 715 (34.5) 1 424 (13.3) 3 365 (31.4)
1 diagnosis 6 250 (20.1) 417 (6.7) 1 351 (21.6) 2-3 diagnoses 6 689 (21.5) 399 (6.0) 1 921 (28.7) 4-6 diagnoses 4 220 (13.6) 276 (6.5) 1 845 (43.7) ≥7 diagnoses 3 213 (10.3) 285 (8.9) 2 224 (69.2)
Mean (SD) 2.40 (3.19) 1.98 (3.24) 3.56 (4.15) Median (IQR) 1 (3) 0 (2) 2 (6)
Hospital transfer during admission No 25 212 (81.1) 2 424 (9.6) 7 828 (31.1) Yes 5 875 (18.9) 377 (6.4) 2 878 (49.0)
73
Tableau 13 Adjusted odds ratios and their 95% confidence intervals for in-hospital mortality and intensive care
unit admission among of traumatic brain injured patients in Quebec hospital discharge data, 2006-07
to 2013-14.
ICISS-Multiplicative ICISS-Worst injury MAIS mapped NISS mapped TMPM-ICD10
In-hospital mortality OR (95% CI) P value OR (95% CI) P value OR (95% CI) P value OR (95% CI) P value OR (95% CI) P value
ICISS-Multiplicative† 4.76 (4.35-5.00) <0.001
ICISS-Worst injury† 5.26 (4.76-5.88) <0.001
MAIS-mapped† 2.90 (2.71-3.09) <0.001
NISS-mapped† 2.91 (2.77-3.06) <0.001
TMPM-ICD-10† 3.30 (3.11-3.50) <0.001
Age
16-54 years 1 (Ref.) 1 (Ref.) 1 (Ref.) 1 (Ref.) 1 (Ref.)
55-64 years 1.89 (1.59-2.23) <0.001 1.67 (1.41-1.96) <0.001 1.62 (1.38-1.90) <0.001 1.90 (1.61-2.25) <0.001 1.79 (1.52-2.11) <0.001
65-74 years 2.79 (2.37-3.29) <0.001 2.17 (1.85-2.54) <0.001 2.10 (1.79-2.46) <0.001 2.87 (2.44-3.37) <0.001 2.52 (2.14-2.95) <0.001
75-84 years 5.07 (4.33-5.95) <0.001 3.62 (3.10-4.23) <0.001 3.44 (2.95-4.00) <0.001 5.29 (4.52-6.19) <0.001 4.41 (3.78-5.15) <0.001
≥85 years 9.54 (8.01-11.36) <0.001 6.54 (5.53-7.75) <0.001 6.22 (5.27-7.34) <0.001 9.91 (8.34-11.79) <0.001 7.94 (6.70-9.41) <0.001
Gender
Female 1 (Ref.) 1 (Ref.) 1 (Ref.) 1 (Ref.) 1 (Ref.)
Male 1.13 (1.03-1.24) 0.013 1.16 (1.05-1.27) 0.003 1.11 (1.01-1.22) 0.029 1.13 (1.03-1.24) 0.012 1.15 (1.05-1.26) 0.004
Area of residence
Montreal metropolitan area
1 (Ref.) 1 (Ref.) 1 (Ref.) 1 (Ref.) 1 (Ref.)
Other metropolitan areas
0.75 (0.67-0.85) <0.001 0.85 (0.76-0.96) 0.010 0.87 (0.77-0.97) 0.017 0.76 (0.68-0.86) <0.001 0.81 (0.72-0.92) 0.001
Urban agglomerations
0.92 (0.80-1.05) 0.211 0.94 (0.82-1.07) 0.339 0.95 (0.83-1.08) 0.436 0.90 (0.79-1.03) 0.137 0.91 (0.80-1.04) 0.188
Small towns and rural areas
0.84 (0.75-0.94) 0.003 0.89 (0.8-1.00) 0.049 0.89 (0.80-0.99) 0.035 0.84 (0.75-0.94) 0.002 0.85 (0.76-0.95) 0.005
Elixhauser comorbidity index
Congestive heart failure
1.74 (1.46-2.09) <0.001 1.73 (1.45-2.07) <0.001 1.75 (1.46-2.09) <0.001 1.73 (1.45-2.07) <0.001 1.74 (1.46-2.08) <0.001
Cardiac arrhythmia 1.50 (1.34-1.68) <0.001 1.44 (1.29-1.61) <0.001 1.50 (1.35-1.68) <0.001 1.56 (1.40-1.75) <0.001 1.50 (1.35-1.68) <0.001
Valvular disease 1.01 (0.83-1.23) 0.916 0.95 (0.78-1.16) 0.647 1.04 (0.85-1.26) 0.723 1.08 (0.88-1.32) 0.456 1.04 (0.86-1.27) 0.667
Pulmonary circulation disorders
1.34 (1.02-1.77) 0.036 1.49 (1.13-1.96) 0.005 1.49 (1.13-1.95) 0.004 1.37 (1.04-1.80) 0.025 1.39 (1.06-1.83) 0.018
74
ICISS-Multiplicative ICISS-Worst injury MAIS mapped NISS mapped TMPM-ICD10
Peripheral vascular disorders
1.10 (0.90-1.33) 0.349 1.07 (0.88-1.29) 0.490 1.07 (0.88-1.29) 0.510 1.07 (0.88-1.30) 0.495 1.09 (0.90-1.32) 0.354
Uncomplicated hypertension
0.68 (0.61-0.76) <0.001 0.66 (0.59-0.73) <0.001 0.65 (0.58-0.72) <0.001 0.67 (0.6-0.75) <0.001 0.68 (0.61-0.75) <0.001
Complicated hypertension
0.95 (0.70-1.29) 0.749 0.91 (0.67-1.24) 0.568 0.87 (0.64-1.18) 0.374 0.97 (0.71-1.31) 0.826 0.88 (0.65-1.19) 0.404
Paralysis 1.07 (0.84-1.36) 0.595 0.98 (0.77-1.24) 0.839 0.99 (0.78-1.25) 0.918 1.12 (0.88-1.43) 0.359 1.07 (0.85-1.36) 0.565
Other neurological disorders
1.25 (1.09-1.44) 0.001 1.22 (1.07-1.40) 0.003 1.25 (1.10-1.43) 0.001 1.31 (1.14-1.50) <0.001 1.26 (1.10-1.44) 0.001
Chronic pulmonary disease
1.05 (0.91-1.21) 0.507 1.05 (0.91-1.21) 0.480 1.05 (0.91-1.20) 0.535 1.03 (0.89-1.18) 0.697 1.03 (0.89-1.18) 0.726
Uncomplicated diabetes
1.24 (1.09-1.40) 0.001 1.19 (1.05-1.36) 0.006 1.19 (1.05-1.35) 0.006 1.23 (1.08-1.40) 0.001 1.23 (1.08-1.39) 0.002
Complicated diabetes 0.99 (0.74-1.32) 0.934 0.90 (0.68-1.19) 0.452 0.91 (0.69-1.21) 0.520 1.02 (0.77-1.36) 0.892 0.91 (0.68-1.21) 0.506
Hypothyroidism 0.76 (0.66-0.88) <0.001 0.75 (0.65-0.87) <0.001 0.75 (0.65-0.87) <0.001 0.77 (0.66-0.89) <0.001 0.76 (0.65-0.88) <0.001
Renal failure 1.21 (1.03-1.42) 0.024 1.17 (0.99-1.37) 0.063 1.19 (1.02-1.40) 0.032 1.21 (1.03-1.42) 0.023 1.21 (1.03-1.42) 0.022
Liver disease 2.21 (1.75-2.79) <0.001 2.11 (1.68-2.66) <0.001 2.11 (1.68-2.64) <0.001 2.20 (1.75-2.77) <0.001 2.18 (1.73-2.73) <0.001
Rheumatoid arthritis 0.70 (0.48-1.04) 0.077 0.73 (0.50-1.07) 0.103 0.69 (0.47-1.01) 0.057 0.68 (0.46-1.01) 0.057 0.68 (0.46-1.00) 0.049
Coagulopathy 2.10 (1.73-2.55) <0.001 2.00 (1.65-2.43) <0.001 2.47 (2.05-2.99) <0.001 2.53 (2.09-3.07) <0.001 2.41 (1.99-2.91) <0.001
Obesity 0.99 (0.65-1.51) 0.951 1.04 (0.68-1.57) 0.869 0.97 (0.65-1.47) 0.902 0.94 (0.62-1.43) 0.790 0.95 (0.63-1.43) 0.808
Fluid electrolyte disorders
0.81 (0.71-0.93) 0.002 0.97 (0.85-1.11) 0.649 1.05 (0.92-1.19) 0.505 0.86 (0.76-0.99) 0.031 0.90 (0.79-1.03) 0.137
Blood loss anemia 0.64 (0.41-1.00) 0.048 0.74 (0.47-1.16) 0.190 0.70 (0.45-1.09) 0.115 0.63 (0.41-0.98) 0.040 0.56 (0.36-0.89) 0.013
Deficiency anemia 0.51 (0.36-0.72) <0.001 0.49 (0.34-0.69) <0.001 0.43 (0.30-0.61) <0.001 0.46 (0.32-0.66) <0.001 0.46 (0.33-0.66) <0.001
Alcohol abuse 0.80 (0.67-0.97) 0.021 0.81 (0.68-0.97) 0.023 0.83 (0.69-0.99) 0.036 0.80 (0.67-0.96) 0.019 0.78 (0.65-0.94) 0.008
Drug abuse 0.60 (0.38-0.95) 0.030 0.60 (0.38-0.95) 0.028 0.61 (0.39-0.95) 0.028 0.59 (0.37-0.94) 0.025 0.62 (0.40-0.98) 0.041
Psychoses 0.68 (0.39-1.17) 0.165 0.68 (0.40-1.16) 0.153 0.69 (0.41-1.19) 0.181 0.69 (0.40-1.19) 0.184 0.69 (0.41-1.19) 0.184
Depression 0.66 (0.51-0.86) 0.002 0.62 (0.48-0.81) <0.001 0.65 (0.50-0.84) 0.001 0.66 (0.51-0.86) 0.002 0.64 (0.50-0.84) 0.001
Mechanism of injury
Transports 1 (Ref.) 1 (Ref.) 1 (Ref.) 1 (Ref.) 1 (Ref.)
Low falls 1.41 (1.23-1.62) <0.001 0.80 (0.70-0.91) 0.001 0.71 (0.63-0.82) <0.001 1.27 (1.11-1.45) 0.001 1.15 (1.00-1.32) 0.042
Falls from height 0.97 (0.83-1.12) 0.673 0.86 (0.75-1.00) 0.047 0.82 (0.71-0.94) 0.006 0.88 (0.76-1.02) 0.081 0.94 (0.81-1.08) 0.383
Blunt 0.63 (0.48-0.84) 0.001 0.46 (0.35-0.60) <0.001 0.39 (0.29-0.51) <0.001 0.52 (0.39-0.69) <0.001 0.57 (0.43-0.75) <0.001
Penetrating 2.62 (1.84-3.73) <0.001 2.39 (1.69-3.38) <0.001 2.24 (1.62-3.08) <0.001 2.48 (1.77-3.48) <0.001 2.63 (1.87-3.68) <0.001
Others 2.25 (1.78-2.85) <0.001 1.45 (1.15-1.83) 0.002 1.42 (1.13-1.78) 0.002 2.17 (1.72-2.73) <0.001 2.07 (1.64-2.60) <0.001
75
ICISS-Multiplicative ICISS-Worst injury MAIS mapped NISS mapped TMPM-ICD10
Intensive care unit OR (95% CI) P value OR (95% CI) P value OR (95% CI) P value OR (95% CI) P value OR (95% CI) P value
ICISS-Multiplicative† 3.13 (3.03-3.23) <0.001
ICISS-Worst injury† 2.70 (2.63-2.78) <0.001
MAIS-mapped† 2.54 (2.45-2.63) <0.001
NISS-mapped† 2.65 (2.57-2.73) <0.001
TMPM-ICD-10† 2.64 (2.55-2.72) <0.001
Age
16-54 years 1 (Ref.) 1 (Ref.) 1 (Ref.) 1 (Ref.) 1 (Ref.)
55-64 years 0.89 (0.81-0.98) 0.014 0.85 (0.78-0.93) 0.001 0.86 (0.79-0.94) 0.001 0.93 (0.85-1.01) 0.101 0.90 (0.82-0.98) 0.021
65-74 years 0.84 (0.76-0.93) <0.001 0.76 (0.69-0.84) <0.001 0.77 (0.70-0.84) <0.001 0.91 (0.83-1.00) 0.057 0.83 (0.76-0.92) <0.001
75-84 years 0.60 (0.54-0.66) <0.001 0.53 (0.48-0.58) <0.001 0.53 (0.48-0.59) <0.001 0.66 (0.59-0.73) <0.001 0.58 (0.53-0.65) <0.001
≥85 years 0.34 (0.30-0.39) <0.001 0.30 (0.26-0.33) <0.001 0.30 (0.26-0.34) <0.001 0.37 (0.33-0.42) <0.001 0.33 (0.29-0.37) <0.001
Gender
Female 1 (Ref.) 1 (Ref.) 1 (Ref.) 1 (Ref.) 1 (Ref.)
Male 1.38 (1.30-1.47) <0.001 1.40 (1.32-1.49) <0.001 1.34 (1.26-1.42) <0.001 1.34 (1.26-1.43) <0.001 1.41 (1.33-1.50) <0.001
Area of residence
Montreal metropolitan area
1 (Ref.) 1 (Ref.) 1 (Ref.) 1 (Ref.) 1 (Ref.)
Other metropolitan areas
1.35 (1.24-1.46) <0.001 1.42 (1.31-1.53) <0.001 1.39 (1.28-1.50) <0.001 1.30 (1.20-1.41) <0.001 1.40 (1.29-1.52) <0.001
Urban agglomerations
1.41 (1.30-1.54) <0.001 1.39 (1.28-1.52) <0.001 1.39 (1.28-1.51) <0.001 1.40 (1.28-1.53) <0.001 1.38 (1.27-1.50) <0.001
Small towns and rural areas
1.46 (1.36-1.56) <0.001 1.46 (1.36-1.56) <0.001 1.45 (1.35-1.55) <0.001 1.43 (1.33-1.53) <0.001 1.43 (1.33-1.53) <0.001
Elixhauser comorbidity index
Congestive heart failure
1.25 (1.06-1.47) 0.008 1.24 (1.05-1.46) 0.011 1.29 (1.09-1.52) 0.003 1.29 (1.09-1.52) 0.003 1.26 (1.07-1.48) 0.006
Cardiac arrhythmia 1.68 (1.53-1.84) <0.001 1.63 (1.49-1.79) <0.001 1.70 (1.55-1.86) <0.001 1.77 (1.61-1.94) <0.001 1.70 (1.55-1.86) <0.001
Valvular disease 0.85 (0.72-1.01) 0.059 0.82 (0.69-0.97) 0.018 0.88 (0.74-1.04) 0.124 0.91 (0.77-1.08) 0.294 0.88 (0.75-1.04) 0.137
Pulmonary circulation disorders
1.68 (1.33-2.11) <0.001 1.86 (1.49-2.33) <0.001 1.85 (1.47-2.32) <0.001 1.70 (1.35-2.13) <0.001 1.80 (1.43-2.26) <0.001
Peripheral vascular disorders
0.89 (0.76-1.05) 0.167 0.88 (0.75-1.03) 0.118 0.90 (0.77-1.06) 0.208 0.90 (0.77-1.06) 0.222 0.90 (0.77-1.05) 0.190
Uncomplicated hypertension
0.93 (0.86-1.01) 0.084 0.90 (0.83-0.97) 0.005 0.89 (0.82-0.96) 0.003 0.94 (0.87-1.02) 0.117 0.92 (0.85-1.00) 0.039
Complicated hypertension
1.67 (1.27-2.19) <0.001 1.63 (1.24-2.14) <0.001 1.60 (1.21-2.11) 0.001 1.69 (1.29-2.23) <0.001 1.57 (1.20-2.06) 0.001
76
ICISS-Multiplicative ICISS-Worst injury MAIS mapped NISS mapped TMPM-ICD10
Paralysis 1.29 (1.08-1.53) 0.005 1.21 (1.02-1.44) 0.026 1.26 (1.06-1.49) 0.008 1.40 (1.17-1.66) <0.001 1.29 (1.09-1.54) 0.004
Other neurological disorders
1.43 (1.29-1.58) <0.001 1.38 (1.25-1.53) <0.001 1.44 (1.31-1.60) <0.001 1.51 (1.36-1.67) <0.001 1.42 (1.29-1.57) <0.001
Chronic pulmonary disease
1.01 (0.91-1.12) 0.877 1.01 (0.91-1.12) 0.823 1.02 (0.92-1.13) 0.752 1.01 (0.91-1.12) 0.818 1.00 (0.90-1.10) 0.937
Uncomplicated diabetes
1.16 (1.05-1.27) 0.003 1.14 (1.04-1.25) 0.007 1.16 (1.05-1.28) 0.003 1.19 (1.08-1.31) 0.001 1.16 (1.06-1.28) 0.002
Complicated diabetes 0.91 (0.73-1.13) 0.412 0.84 (0.68-1.05) 0.122 0.87 (0.70-1.09) 0.227 0.96 (0.77-1.19) 0.689 0.87 (0.70-1.08) 0.210
Hypothyroidism 0.85 (0.76-0.95) 0.004 0.83 (0.74-0.93) 0.002 0.82 (0.73-0.92) 0.001 0.83 (0.74-0.94) 0.002 0.83 (0.74-0.93) 0.002
Renal failure 0.79 (0.68-0.91) 0.001 0.77 (0.66-0.89) <0.001 0.78 (0.67-0.90) 0.001 0.80 (0.69-0.93) 0.004 0.79 (0.69-0.92) 0.002
Liver disease 1.05 (0.88-1.25) 0.562 1.07 (0.90-1.27) 0.439 1.07 (0.90-1.28) 0.423 1.08 (0.90-1.28) 0.406 1.04 (0.88-1.24) 0.621
Rheumatoid arthritis 0.81 (0.61-1.06) 0.129 0.83 (0.63-1.09) 0.185 0.81 (0.61-1.07) 0.133 0.78 (0.59-1.04) 0.095 0.79 (0.60-1.05) 0.106
Coagulopathy 1.65 (1.39-1.96) <0.001 1.66 (1.41-1.96) <0.001 1.79 (1.52-2.12) <0.001 1.82 (1.53-2.16) <0.001 1.79 (1.51-2.11) <0.001
Obesity 1.30 (1.02-1.67) 0.037 1.32 (1.03-1.69) 0.028 1.32 (1.03-1.69) 0.029 1.29 (1.01-1.66) 0.042 1.26 (0.99-1.61) 0.064
Fluid electrolyte disorders
1.28 (1.16-1.41) <0.001 1.50 (1.37-1.65) <0.001 1.55 (1.41-1.71) <0.001 1.30 (1.18-1.43) <0.001 1.40 (1.28-1.55) <0.001
Blood loss anemia 1.34 (1.02-1.77) 0.035 1.49 (1.14-1.96) 0.004 1.48 (1.13-1.95) 0.005 1.35 (1.03-1.78) 0.032 1.34 (1.02-1.76) 0.035
Deficiency anemia 0.70 (0.54-0.90) 0.006 0.67 (0.52-0.86) 0.002 0.66 (0.51-0.85) 0.001 0.69 (0.54-0.90) 0.005 0.65 (0.51-0.84) 0.001
Alcohol abuse 1.28 (1.16-1.42) <0.001 1.24 (1.12-1.37) <0.001 1.29 (1.17-1.42) <0.001 1.32 (1.20-1.47) <0.001 1.23 (1.12-1.36) <0.001
Drug abuse 1.52 (1.26-1.83) <0.001 1.50 (1.25-1.80) <0.001 1.48 (1.23-1.78) <0.001 1.54 (1.28-1.86) <0.001 1.53 (1.27-1.83) <0.001
Psychoses 1.05 (0.78-1.41) 0.740 1.05 (0.79-1.41) 0.720 1.07 (0.80-1.42) 0.671 1.09 (0.81-1.47) 0.558 1.08 (0.81-1.44) 0.618
Depression 0.87 (0.74-1.01) 0.071 0.85 (0.73-0.99) 0.032 0.88 (0.76-1.03) 0.110 0.89 (0.76-1.04) 0.148 0.85 (0.73-0.99) 0.039
Mechanism of injury
Transports 1 (Ref.) 1 (Ref.) 1 (Ref.) 1 (Ref.) 1 (Ref.)
Low falls 0.64 (0.59-0.70) <0.001 0.44 (0.40-0.47) <0.001 0.41 (0.38-0.45) <0.001 0.62 (0.57-0.68) <0.001 0.57 (0.52-0.62) <0.001
Falls from height 0.73 (0.67-0.79) <0.001 0.67 (0.62-0.73) <0.001 0.66 (0.60-0.71) <0.001 0.66 (0.61-0.72) <0.001 0.72 (0.66-0.78) <0.001
Blunt 0.60 (0.54-0.67) <0.001 0.47 (0.42-0.52) <0.001 0.43 (0.39-0.47) <0.001 0.50 (0.45-0.56) <0.001 0.58 (0.52-0.64) <0.001
Penetrating 1.50 (1.22-1.85) <0.001 1.34 (1.10-1.64) 0.004 1.31 (1.07-1.60) 0.008 1.36 (1.11-1.66) 0.003 1.41 (1.16-1.72) 0.001
Others 1.20 (1.04-1.39) 0.011 0.96 (0.83-1.10) 0.542 0.94 (0.82-1.08) 0.400 1.15 (1.00-1.32) 0.049 1.15 (1.00-1.32) 0.050 † Each injury severity measure was standardized according to their mean and standard deviation.
77
Tableau 14 Difference in the area under the Receiver Operating Characteristic (ROC) curve between ICISS-Multiplicative and others ICD-based injury severity measures to predict in-hospital mortality and intensive care unit admission
Difference in discriminative performance
In-hospital mortality ICU admission
Injury severity measure only
Other predictor variables added†
Injury severity measure only
Other predictor variables added†
ICISS-Worst injury -0.038* (-0.044 to -0.032)
0.010* (0.007 to 0.013)
0.063* (0.059 to 0.066)
0.017* (0.015 to 0.019)
Max AIS-mapped 0.009* (0.001 to 0.017)
0.034* (0.029 to 0.039)
0.072* (0.068 to 0.077)
0.017* (0.014 to 0.020)
NISS-mapped 0.028* (0.023 to 0.032)
0.015* (0.011 to 0.019)
0.002 (-0.001 to 0.005)
0.003* (0.000 to 0.005)
TMPM-ICD 0.014* (0.009 to 0.019)
0.020* (0.017 to 0.024)
0.021* (0.017 to 0.025)
0.011* (0.009 to 0.014)
† : Models with ICD-based injury severity measure, age groups, gender, mechanisms of injury, area of residence, and comorbidities.
* : Significantly different from ICISS-Multiplicative.
Tableau 15 Area under the Receiver Operating Characteristic (ROC) curve of ICD-based injury severity measures to predict in-hospital mortality among subgroups
Subgroup analysis (Comprehensive models) †
<65 years‡ ≥65 years¥ <30 days§ No transfer¤ Isolated TBI*
ICISS-Multiplicative 0.900 (0.883-0.912)
0.786 (0.775-0.796)
0.860 (0.853-0.867)
0.866 (0.859-0.872)
0.822 (0.811-0.833)
ICISS-Worst injury 0.900 (0.881-0.912)
0.773 (0.762-0.783)
0.854 (0.848-0.860)
0.855 (0.848-0.861)
0.810 (0.799-0.821)
Max AIS-mapped 0.868 (0.849-0.880)
0.755 (0.744-0.765)
0.829 (0.822-0.836)
0.826 (0.819-0.833)
0.790 (0.779-0.801)
NISS-mapped 0.882 (0.865-0.894)
0.771 (0.759-0.781)
0.849 (0.842-0.856)
0.836 (0.829-0.843)
0.809 (0.797-0.820)
TMPM-ICD 0.873 (0.857-0.886)
0.768 (0.757-0.778)
0.844 (0.837-0.850)
0.835 (0.829-0.841)
0.804 (0.793-0.815)
† : Models with ICD-based injury severity measure, age groups, gender, mechanisms of injury, area of residence, and comorbidities.
‡ : Patients aged less than 65 years old (n=17 658).
¥ : Patients aged 65 years and older (n=13 429).
§ : 30-day in-hospital mortality (n=31 087).
¤ : Patients transferred after admission excluded (n=25 212).
* : Patients with only head injuries (excluding those with extracranial injuries) (n=10 715).
78
Tableau 16 Overall performance and calibration for ICD-based injury severity measures to predict in-hospital mortality and intensive care unit admission
Calibration† Overall performance†
In-hospital mortality H-L‡ (P value) α, β§ �̃�2 Brier
ICISS-Multiplicative 23.8 0.002 (0.000, 1.000) 0.316 0.189
ICISS-Worst injury 35.2 <0.001 (0.000, 1.000) 0.294 0.167
Max AIS-mapped 106.5 <0.001 (0.001, 0.999) 0.247 0.130
NISS-mapped 40.4 <0.001 (0.001, 0.999) 0.287 0.170
TMPM-ICD 34.8 <0.001 (0.000, 1.000) 0.273 0.153
Intensive care unit admission
ICISS-Multiplicative 66.3 <0.001 (0.000, 1.000) 0.361 0.284
ICISS-Worst injury 37.8 <0.001 (0.000, 1.000) 0.325 0.249
Max AIS-mapped 37.5 <0.001 (0.000, 1.000) 0.318 0.244
NISS-mapped 20.8 0.008 (0.000, 1.000) 0.353 0.277
TMPM-ICD 27.8 0.001 (0.000, 1.000) 0.337 0.262 † : Models with ICD-based injury severity measure, age groups, gender, mechanisms of injury, area of residence, and
comorbidities. ‡ : Hosmer-Lemeshow Goodness-of-Fit Statistics and associated p value. § : Cox calibration regression intercept (α) and slope (β).
79
CHAPITRE 6 – DISCUSSION
La CIM, utilisée pour codifier les diagnostics cliniques et les actes thérapeutiques dans les
bases de données médico-administratives volumineuses, ne contient pas d’information
directe sur la gravité des blessures. Des mesures de gravité des blessures basées sur la
CIM sont disponibles, mais aucune n’a jusqu’ici été formellement recommandée. De plus,
en dépit de l’utilisation de ces mesures dans les travaux de recherche,(87,88) aucune
étude n’a formellement évalué la validité des mesures de gravité des blessures basées sur
la CIM pour prédire la mortalité chez les patients hospitalisés à la suite d’un TCC. Les
deux objectifs du présent mémoire ont été élaborés et menés afin de combler ces lacunes.
6.1. Synthèse des principaux résultats
Le premier objectif de ce mémoire était d’examiner les résultats des études dans
lesquelles les performances des mesures de gravité des blessures basées sur la CIM pour
prédire la mortalité intra-hospitalière chez les patients hospitalisés à la suite d’une
blessure ont été évaluées. Ces études ont été répertoriées de manière systématique et
leurs résultats ont été comparés à l’aide d’une méta-analyse. Ainsi, les mesures de gravité
des blessures basées sur le CIM ont globalement affiché d’excellentes performances
(AUC ≥ 0.8) pour distinguer les patients décédés ou non au cours d’une hospitalisation
attribuable à une blessure. Les résultats de notre méta-analyse suggèrent que les
mesures de gravité des blessures basées sur le CIM dérivées de manière empirique
offrent des capacités prédictives supérieures à celles des mesures appariées aux scores
AIS. L’ICISS-Multiplicative calculé à partir de proportions traditionnelles de survie semble
procurer une capacité de discrimination plus élevée que les autres mesures, quel que soit
le type de données utilisées ou l’origine des proportions de survie. Cependant, pour
l’ICISS-Multiplicative, l’AUC cumulée à partir des résultats d’études publiées avant 2004 a
été estimée à 0.903, alors que l’AUC cumulée à partir des résultats d’études publiées
depuis 2004 était de 0.802. En outre, parmi les études publiées depuis 2004, la capacité
de discrimination du TMPM-ICD (0.850) a été supérieure à celle de l’ICISS-Multiplicative
(0.802). En ce qui concerne les mesures de calibration, celles-ci ont été rapportées de
façon irrégulière, mais ont généralement indiqué, lorsque rapportées, des différences
significatives entre les valeurs prédites et observées. Enfin, aucune des études
répertoriées n’a rapporté les performances prédictives des mesures de gravité des
blessures basées sur le CIM chez les patients hospitalisés à la suite d’un TCC.
80
Le second objectif de ce mémoire consistait à comparer la validité prédictive de cinq
mesures de gravité des blessures basées sur le CIM pour prédire la mortalité intra-
hospitalière et l’admission à l’unité des soins intensifs dans une cohorte de patients
hospitalisés à la suite d’un TCC. Pour cet objectif, nos résultats indiquent que les mesures
de gravité des blessures basées sur le CIM offrent des performances acceptables
(AUC ≥ 0.7) pour prédire la mortalité intra-hospitalière et l’admission à l’unité des soins
intensifs chez les patients hospitalisés à la suite d’un TCC. De manière générale, parmi
les mesures de gravité des blessures basées sur la CIM qui ont été évaluées, l’ICISS-
Multiplicative a présenté une capacité de discrimination significativement plus élevée que
les autres candidats pour prédire la mortalité à l’hôpital et les admissions aux soins
intensifs. En ce qui concerne l’ajustement de nos modèles, les proportions de mortalité
intra-hospitalière prédites à l’aide de l’ICISS-Multiplicative, de l’ICISS-Worst injury, du
NISS apparié et du TMPM-ICD10 étaient comparables aux valeurs observées. Toutefois,
ces outils ont semblé surestimer les probabilités de mortalité intra-hospitalière chez les
patients à haut risque de décès. Pour les prédictions relatives à l’admission à l'unité de
soins intensifs, la concordance entre les probabilités prédites et observées était très
élevée pour chacun des déciles de risque.
6.2. Validité interne de la revue systématique
Notre revue systématique a plusieurs forces. D’abord, la question de recherche et les
critères d’inclusion/exclusion des études ont été développés dans un protocole, ce qui
limite la prise de décisions post hoc et la présentation sélective des résultats.(89) Ensuite,
la recherche documentaire repose sur les principaux moteurs de recherche
bibliographique du domaine de la médecine (Medline, Embase et Global Health). Cette
couverture a été complétée par la consultation des références contenues dans les études
répertoriées, de même que par une recherche réalisée à l’aide du moteur de recherche
Google Scholar. La documentation répertoriée a été examinée, sans égards au type de
document ou à la langue de la publication. De même, deux évaluateurs ont sélectionné les
études et extrait les informations pertinentes de manière indépendante. Les principales
caractéristiques des études sélectionnées ont été présentées et la qualité scientifique de
celles-ci a été évaluée.(90) Enfin, la présence d’un biais de publication a été examinée à
l’aide d’un graphique en entonnoir et du test statistique de Egger.(74)
81
Notre revue systématique présente néanmoins des limites qui peuvent avoir un impact sur
l’interprétation des résultats. D’abord, en raison des caractéristiques générales des études
de cohorte rétrospectives retenues, les résultats de notre revue systématique comportent
un risque de biais.(91) En effet, des 22 études retenues pour la revue systématique,
seulement quatre ne semblaient présenter qu’un faible risque de biais. Néanmoins, une
analyse stratifiée en fonction du risque de biais des études a indiqué que les résultats ne
varient pas en fonction de la qualité des études.
Ensuite, les études combinées dans notre revue systématique diffèrent en termes de
participants et d’aspects méthodologiques. La mesure d’hétérogénéité qui a été calculée
suggère que le regroupement des résultats des études sélectionnées est discutable pour
la totalité des mesures de gravité des blessures examinées. Cependant, nous croyons que
les mesures d’hétérogénéité élevées que nous avons rapportées sont essentiellement
attribuables aux estimations très précises obtenues en raison de la grande taille des
échantillons des études inclues dans notre méta-analyse.(92) En effet, l'hétérogénéité
statistique peut résulter d’une erreur d'échantillonnage et de la variabilité des résultats des
études retenues pour l’analyse. Fondamentalement, la mesure d’hétérogénéité utilisée (I2)
représente le pourcentage de variation qui est due à la variabilité des résultats entre les
études. Lorsque le pourcentage de variabilité attribuable à l’erreur d'échantillonnage (1 -
I2) tend vers la valeur nulle, la part de variabilité due à la variabilité des résultats augmente
rapidement à près de 100%.(92) Dans notre cas, la grande taille des échantillons des
études inclues dans nos analyses a réduit considérablement l'erreur d'échantillonnage et
produit des valeurs du I2 élevées. L’utilisation de modèles à effets aléatoires a ainsi été
privilégiée afin d’introduire dans nos estimations un paramètre lié à la variabilité des
résultats entre les études.
En ce qui concerne la validité externe des résultats de notre revue systématique, la plupart
des études retenues ont été réalisées aux États-Unis, ce qui restreint l’application des
résultats obtenus à d’autres juridictions. Cependant, il est probable que nos résultats
puissent être généralisables aux populations d’Amérique du Nord, d’Europe et d’Océanie,
qui disposent de ressources médicales relativement similaires. À l’opposé, il est difficile de
savoir si nos résultats sont généralisables aux pays ayant des ressources limitées. Enfin,
peu d’études inclues dans notre revue systématique ont utilisé des données codifiées
selon la dixième révision de la CIM, qui est maintenant mise en œuvre dans la plupart des
82
pays à travers le monde, dont au Québec depuis avril 2006. Les résultats présentés sont
peut-être le reflet d’une période révolue.
6.3. Validité interne des modèles prédictifs
Les études épidémiologiques dont l’objectif est de valider des outils prédictifs sont sujettes
à des biais particuliers.(93) L’exactitude des mesures de discrimination et de calibration
peut être faussée par la présence d’erreurs systématiques survenue lors de la sélection
des sujets, la collecte de l’information ou lors de la réalisation des analyses. La présence
d’erreur aléatoire liée à la taille de l’échantillon et la variabilité du phénomène étudié
peuvent également altérer l’exactitude des mesures présentées. Ces biais et leurs impacts
potentiels sont abordés dans la présente section.
6.3.1. Biais de sélection
La procédure utilisée pour sélectionner nos patients a peut-être biaisé les mesures
prédictives que nous avons présentées. L’utilisation de codes CIM pour identifier nos cas
a probablement entraîné une sous-représentation de certains TCC,(94) plus
spécifiquement les TCC légers.(95) Cette sous-représentation réduit le spectre clinique de
la gravité des TCC. Puisqu’il est plus facile de distinguer les patients qui décèdent de ceux
qui survivent en intégrant les patients ayant subi des blessures légères, il est probable que
l’inclusion des TCC légers à nos données aurait permis d’améliorer les performances
prédictives de nos modèles.(93) L’impact de ce biais devrait être similaire pour chacune
des mesures de gravité des blessures présentées et ne devrait pas modifier nos
conclusions.
L’exclusion de patients pour lesquels certaines données étaient manquantes pourrait
également avoir induit un biais de sélection.(96) En effet, certains patients ont été éliminés
des analyses parce que l’information relative à certaines variables, notamment le
mécanisme de blessure, n’avait pas été enregistrée (2 %). Or, la proportion de décès
intra-hospitalier parmi ce groupe était supérieure à ce qui était observé pour l’ensemble de
notre population étudiée (respectivement 19 % et 9 %). En outre, l’âge moyen de ces
patients était plus élevé que celui des autres participants (respectivement 70,1 ans et
56,6 ans). Puisque la capacité prédictive de nos modèles était moindre chez les patients
plus âgés, l’inclusion de ces cas exclus aurait probablement fait diminuer les estimations
présentées, et ce, pour chacune des mesures de gravité des blessures. Dans ce cas, nos
conclusions ne devraient pas être modifiées.
83
6.3.2. Biais d’information
Pour la recherche, les bases de données médico-administratives volumineuses sont
généralement marquées par une moins bonne qualité d’enregistrement des informations
que celles contenues dans les registres dédiés à la traumatologie.(97) Cependant, bien
que les erreurs de codification des diagnostics soient fréquentes dans les bases de
données médico-administratives,(98) les conséquences de ce biais d’information
entraînent une légère sous-estimation de la capacité prédictive des mesures de gravité
des blessures.(99) Ce type de biais, non différentiel, devrait affecter chacun des outils
examinés et ne devrait pas modifier nos conclusions.
Ensuite, puisque les archivistes colligent les diagnostics lorsque l’hospitalisation prend fin,
il est possible qu’une attention particulière soit donnée aux admissions qui se terminent
par un décès. Dans ce cas, les dossiers des patients qui décèdent à l’hôpital seraient
transcrits avec zèle, augmentant du même coup la précision et le nombre des diagnostics
enregistrés dans les bases de données. Cette amélioration de la précision et de la
complétude des diagnostics favoriseraient les prédictions pour les patients décédés et
entraîneraient une surestimation des capacités prédictives rapportées. Cette surestimation
toucherait chacune des mesures de gravité examinées et ne devrait pas modifier nos
conclusions.
À l’opposé, jusqu’à 15 % des blessures ne sont pas diagnostiquées lors de
l’hospitalisation.(100) Puisque certaines de ces blessures sont cliniquement significatives,
l’absence de celles-ci entraîne une sous-estimation de la gravité réelle des blessures. Les
conséquences de cette absence devraient être plus importantes pour les mesures de
gravité qui sont calculées à partir de multiples blessures, telles que l’ICISS-Multiplicative,
le NISS apparié ou le TMPM-ICD10. Étant donné que l’ICISS-Multiplicative a présenté une
capacité de discrimination significativement plus élevée que les autres candidats, nos
conclusions ne devraient pas être modifiées.
L’utilisation de la mortalité intra-hospitalière comme principal résultat clinique chez les
patients ayant subi un TCC est susceptible d’avoir entraîné un biais d’information. En effet,
la mortalité chez les patients hospitalisés est sous-estimée puisque certains décès
surviennent après la sortie des unités offrant des soins aigus.(101) En ce qui concerne les
patients ayant subi un TCC, près de la moitié des décès qui surviennent après
l’hospitalisation s’observe au cours du mois suivant la sortie,(102) généralement dans un
84
centre hospitalier offrant des soins de longue durée.(103) Puisque ce type de décès
augmente avec l’âge,(102) leur inclusion aurait probablement permis d’améliorer les
capacités prédictives des mesures de gravité des blessures dans cette population. Il est
probable que l’amélioration aurait profité à toutes les mesures de gravité de TCC
examinées sans modifier nos conclusions.
Les mesures de gravité des blessures basées sur la CIM qui sont appariées aux codes
AIS comportent certaines limites qui ont probablement affecté les capacités prédictives de
ces outils. En effet, la stratégie de conversions entre les systèmes de classification CIM et
AIS repose sur une table limitée de correspondances. Cette particularité entraîne une
perte d’information qui se traduit par une sous-estimation de la gravité réelle des
blessures.(54) D’ailleurs, lors de l’appariement des codes CIM aux codes AIS, environ 5 %
des codes de la CIM n’ont pas reçu un code de gravité AIS. De fait, les outils AIS appariés
à la CIM présentent en moyenne une valeur AUC inférieure de 0,03 unité en comparaison
aux outils directement codés à l’aide de l’AIS.(104)
Ce type de problème a également été rencontré lors de l’assignation des coefficients de
régressions moyens utilisés pour le calcul du TMPM-ICD10. Puisque ces coefficients ont
été produits pour chacun des codes de la version américaine de la CIM-10 et que nos
données étaient codifiées à l’aide de la version canadienne de la CIM-10, environ 15%
des blessures subies par notre cohorte n’ont pas obtenu un coefficient de régression
moyen. Cette limite entraîne une perte d’information pour les modèles TMPM qui s’est
probablement traduit par une sous-estimation de la gravité réelle des blessures et une
dépréciation des capacités prédictives associées à cet outil.
6.3.3. Biais de confusion
La CIM ne contient pas d’information sur les perturbations physiologiques de base
entraînées par les blessures. Cette dimension, généralement traduite par le score GCS, le
rythme respiratoire et la pression artérielle systolique, est importante pour déterminer la
gravité des blessures.(33) En conséquence, les performances prédictives des mesures de
gravité des blessures basées sur la CIM proviennent de modèles incomplets et sont
certainement sous-estimées. L’intégration de cette dimension aux mesures anatomiques
de gravité des blessures aurait probablement eu pour effet d’atténuer les différences
observées.(105) En effet, en considérant la gravité anatomique des blessures, les
perturbations physiologiques et la réserve fonctionnelle du patient, Moore et ses collègues
85
ont suggéré que le choix de la mesure de gravité anatomique revêtait peu
d’importance.(105) En contrepartie, puisque les perturbations des mesures physiologiques
sont absentes des bases de données médico-administratives codifiées à l’aide de la CIM,
le choix de la mesure de gravité anatomique apparait capital dans le cadre d’études
menées à l’aide de ce genre de données.
Un autre biais de confusion concerne les caractéristiques intrinsèques des proportions de
survie utilisées pour élaborer les mesures de gravité des blessures dérivées
empiriquement. Ces mesures comportent une limite majeure puisqu’elles incorporent
indirectement des facteurs de risque de mortalité autre que la dimension anatomique de la
gravité des blessures. Par exemple, il est possible que certaines blessures surviennent
plus fréquemment chez des patients âgés. Dans ce cas, le calcul des proportions de
survie est teinté par la présence importante de ces patients et procure aux mesures de
gravité des blessures dérivées empiriquement un avantage face aux mesures appariées
au score AIS dans les modèles de base utilisés pour la validation statistique.(105) La
réduction de l’avantage des mesures de gravité des blessures dérivées empiriquement
face aux mesures appariées au score AIS pour les modèles complétés d’autres
prédicteurs supporte ce postulat. D’ailleurs, même dans le modèle complet, les
proportions de survie utilisées demeurent teintées par la présence de facteurs de risque
liés à la mortalité des patients, tels que la qualité des soins prodigués.(105)
6.4. Taille de l’échantillon et précision des estimations
Généralement, plus la taille des échantillons est importante, plus grande est la précision
des estimations. Pour l’élaboration de modèles prédictifs, l’une des préoccupations
concerne le sur-ajustement statistique. Ce problème survient généralement lorsque le
nombre d’individus ayant le résultat d’intérêt est proportionnellement faible par rapport au
nombre de variables inclues dans le modèle. Dans le cas de la régression logistique, le
nombre d’évènements par variable (EPV) recommandé est d’au moins 10 pour éviter le
sur-ajustement statistique.(106) Dans notre étude, le risque de sur-ajustement statistique
est faible puisque l’EPV est d’environ 60 pour la mortalité intra-hospitalière et de 225 pour
l’admission en unité de soins intensifs. Ensuite, pour la validation externe de modèles
prédictifs, un minimum de 100 événements et 100 non événements a été suggéré pour la
modélisation logistique.(107) Dans notre étude, 2 801 décès ont été répertoriés sur 31 087
admissions hospitalières, ce qui est suffisant pour assurer des résultats précis.(83)
86
En contrepartie, l’utilisation de bases de données médico-administratives volumineuses
favorise la détection de différences significatives d’un point de vue statistique, mais peu
signifiantes sous l’angle clinique. Dans notre étude, les différences en termes de
discrimination entre les cinq mesures de gravité des blessures basées sur la CIM peuvent
être considérées comme petites et soulever un doute quant à leur utilité pratique. L’emploi
de modèles de simulation pourrait permettre d’apprécier l’influence des différentes
mesures de gravité des blessures basées sur la CIM comme variable d’ajustement pour la
composition de la clientèle hospitalière ou encore comme indicateur pour la surveillance
en santé publique.
D’autre part, la valeur de la statistique H-L, employée pour refléter l’ajustement des
prédictions par rapport à ce qui est observé, augmente avec la taille de l'échantillon
utilisée pour réaliser le test.(108) Cette statistique est sensible à la taille de l’échantillon
puisqu’elle suit la distribution du khi-carré, généralement à huit degrés de liberté, peu
importe la taille de l’échantillon. Avec l’utilisation d’un jeu de données volumineux, une
légère différence entre les valeurs prédites et observées peut s’accumuler pour chacune
des strates de risque et soulever un doute quant à la qualité de l’ajustement des modèles.
Néanmoins, la vérification des courbes de calibrations, des coefficients de la régression de
Cox, du score de Brier et du R2 de Nagelkerke a permis de s’assurer du bon ajustement
de nos modèles.
6.5. Validité externe
La validité externe renvoie à l’application de nos modèles de prédiction dans d’autres
contextes. L’utilisation de données populationnelles, qui comportent toutes les admissions
attribuables à un TCC dans l’un des centres hospitaliers de la province du Québec, accroit
la validité externe de notre étude. Nos résultats pourraient vraisemblablement s’appliquer
dans les autres provinces canadiennes et aux juridictions qui disposent d’un système de
santé semblable à celui du Québec. Il est probable que nos résultats puissent être
généralisables aux populations d’Amérique du Nord, d’Europe et d’Océanie, qui disposent
de ressources médicales similaires à celles disponibles au Québec. Toutefois, les patients
admis à la suite d’un TCC dans l’un des centres hospitaliers de la province du Québec
semblent plus âgés que ce qui est rapporté ailleurs. De plus, contrairement à ce qui
s’observe aux États-Unis, les admissions de patients québécois semblent plus souvent
attribuables à des chutes accidentelles et rarement à des blessures pénétrantes.
87
6.6. Implications pour la santé publique
Les mesures de gravité permettent de décrire les blessures au-delà de leurs fréquences,
puisqu’elles traduisent un risque de décès, d’incapacité, de durée de traitement, d’intensité
de soins ou de coûts supplémentaires. Ces mesures permettent de comparer des groupes
en tenant compte de la gravité des blessures subies, de prévoir l’utilisation des soins de
santé à offrir ou encore d’évaluer la qualité des soins dans les hôpitaux qui codifient
uniquement les diagnostics à l’aide de la CIM. Pour la surveillance des blessures, l’ajout
de mesures de gravité des blessures aux données administratives populationnelles
codifiées avec la CIM contribuera à fournir des estimations valides de l’incidence, de la
distribution et des tendances temporelles des blessures, notamment pour les TCC. Ces
mesures permettront de développer des indicateurs basés sur les blessures graves, moins
influencées par les facteurs contextuels liés à la prestation des soins de santé qui
influencent les probabilités d’admission hospitalière à la suite d’une blessure. Pour la
prévention, ces mesures seront utiles afin d’orienter les efforts vers les populations à
risque de blessures graves et allouer de manière rationnelle les ressources.
6.7. Orientation pour les travaux à venir
D’autres travaux devraient être menés pour évaluer la performance prédictive des
mesures de gravité basées sur la CIM pour prédire des résultats cliniques autre que la
mortalité intra-hospitalière. Dans cette perspective, la durée du séjour hospitalier, le degré
d’invalidité ou les coûts associés aux blessures constituent des résultats de santé
importants. D’autre part, des travaux supplémentaires pourraient permettre de déterminer
si l’ICISS-Multiplicative peut être amélioré, notamment comparant ses performances
prédictives à celles obtenues à l’aide de mesures basées sur les perturbations
physiologiques. En outre, d’autres travaux devraient être menés pour établir des seuils
cliniquement significatifs pour catégoriser la gravité des TCC.
88
CHAPITRE 7 – CONCLUSION ET RECOMMANDATIONS
Globalement, après avoir rassemblé et synthétisé les résultats des études portant sur
l’évaluation des performances prédictives de mesures de gravité des blessures basées sur
la CIM chez les blessés hospitalisés, il semble que les mesures dérivées empiriquement
prédisent mieux la mortalité que leurs alternatives appariées aux scores AIS. Parmi les
mesures de gravité basées sur la CIM dérivées empiriquement, l’ICISS-Multiplicative
utilisant les proportions de survie traditionnelles et le modèle TMPM-ICD permettent de
prédire la mortalité avec plus de précision que les autres candidats.
Chez les patients hospitalisés à la suite d’une TCC, les mesures de gravité des blessures
basées sur la CIM constituent des outils valides pour prédire la mortalité intra-hospitalière
et l’admission aux soins intensifs. Dans cette population, les performances prédictives de
l’ICISS-Multiplicative surpassent de manière générale celles des autres candidats.
Nous recommandons que l’ICISS-Multiplicative soit utilisé pour calculer la gravité
anatomique des blessures dans les bases de données médico-administratives
volumineuses dans lesquelles les diagnostics sont codifiés à l’aide de la CIM. Dans ces
bases de données, l’ICISS-Multiplicative peut être employé pour décrire et tenir compte de
la gravité des TCC.
89
BILIOGRAPHIE
1. Hyder AA, Wunderlich CA, Puvanachandra P, Gururaj G, Kobusingye OC. The impact of traumatic brain injuries: a global perspective. Neuro Rehabilitation. 2007;22(5):341–53.
2. Langlois JA, Rutland-Brown W, Wald MM. The epidemiology and impact of traumatic brain injury: a brief overview. J Head Trauma Rehabil. 2006;21(5):375-8..
3. Moore L, Evans D, Hameed SM, Yanchar NL, Stelfox HT, Simons R, et al. Mortality in Canadian Trauma Systems: A Multicenter Cohort Study. Ann Surg. 2016 Jan 7.
4. Selassie AW, Zaloshnja E, Langlois JA, Miller T, Jones P, Steiner C. Incidence of long-term disability following traumatic brain injury hospitalization, United States, 2003. J Head Trauma Rehabil. 2008;23:123–31.
5. Te AB, Brown P, Tobias M, Ameratunga S, Barker-Collo S, Theadom A, et al. Cost of traumatic brain injury in New Zealand: evidence from a population-based study. Neurology. 2014 28;83:1645–52.
6. Parsons D, Colantonio A, Mohan M. The utility of administrative data for neurotrauma surveillance and prevention in Ontario, Canada. BMC Res Notes. 2012;5:584.
7. Greenspan AI, Noonan RK. Twenty years of scientific progress in injury and violence research and the next public health frontier. J Safety Res. 2012;43(4):249–55.
8. Cryer C. Severity of injury measures and descriptive epidemiology. Inj Prev. 2006;12:67–8.
9. Langlois Orman JA, Selassie AW, Perdue CL, Thurman DJ, Kraus JF. Surveillance of Traumatic Brain Injury. In: Guohua Li & Susan P.Baker, Guohua Li & Susan P.Baker, editors. Injury Research. New York: Springer; 2012. p. 61–85.
10. Nakahara S, Yokota J. Revision of the international classification of diseases to include standardized descriptions of multiple injuries and injury severity. Bull World Health Organ. 2011; 89(3):238-40.
11. Tohira H, Jacobs I, Mountain D, Gibson N, Yeo A. Systematic review of predictive performance of injury severity scoring tools. Scand J Trauma Resusc Emerg Med. 2012; 113(2):286-94.
12. Menon DK, Schwab K, Wright DW, Maas AI. Position statement: definition of traumatic brain injury. Arch Phys Med Rehabil. 2010; 91(11):1637-40.
13. Heegaard W, Biros M. Traumatic brain injury. Emerg Med Clin North Am. 2007;25(3):655–78.
14. Maas AI, Stocchetti N, Bullock R. Moderate and severe traumatic brain injury in adults. Lancet Neurol. 2008; 7(8):728-41.
90
15. Graham DI, McIntosh TK, Maxwell WL, Nicoll JA. Recent advances in neurotrauma. J Neuropathol Exp Neurol. 2000;59(8):641–51.
16. Saatman KE, Duhaime AC, Bullock R, Maas AI, Valadka A, Manley GT. Classification of traumatic brain injury for targeted therapies. J Neurotrauma. 2008;25(7):719–38.
17. Agence de la santé publique du Canada. Principales causes de décès, Canada, 2008 [Internet]. 2008 [cited 2016 May 9]. Available from: http://www.phac-aspc.gc.ca/publicat/lcd-pcd97/table1-fra.php
18. Centers for Disease Control and Prevention (CDC). CDC grand rounds: reducing severe traumatic brain injury in the United States. MMWR Morb Mortal Wkly Rep. 2013 Jul 12;62(27):549–52.
19. Faul M, Xu L, Wald M, Coronado V. Traumatic Brain Injury in the United States: Emergency Department Visits, Hospitalizations and Deaths 2002–2006 [Internet]. Atlanta (GA): National Center for Injury Prevention and Control; 2010. Available from: http://www.cdc.gov/traumaticbraininjury/pdf/blue_book.pdf
20. Scholten AC, Haagsma JA, Panneman MJ, van Beeck EF, Polinder S. Traumatic brain injury in the Netherlands: incidence, costs and disability-adjusted life years. PLoS One. 2014;9:e110905.
21. Chen A, Bushmeneva K, Zagorski B, Colantonio A, Parsons D, Wodchis WP. Direct cost associated with acquired brain injury in Ontario. BMC Neurol. 2012;12:76.
22. Fu TS, Jing R, McFaull SR, Cusimano MD. Recent trends in hospitalization and in-hospital mortality associated with traumatic brain injury in Canada: A nationwide, population-based study. J Trauma Acute Care Surg. 2015;79(3):449–54.
23. De Almeida CER, de Sousa Filho JL, Dourado JC, Gontijo PAM, Dellaretti MA, Costa BS. Traumatic Brain Injury Epidemiology in Brazil. World Neurosurg. 2016;87:540–7.
24. Koskinen S, Alaranta H. Traumatic brain injury in Finland 1991-2005: a nationwide register study of hospitalized and fatal TBI. Brain Inj. 2008;22(3):205–14.
25. Tagliaferri F, Compagnone C, Korsic M, Servadei F, Kraus J. A systematic review of brain injury epidemiology in Europe. Acta Neurochir (Wien). 2006;148(3):255–68.
26. Roozenbeek B, Maas AIR, Menon DK. Changing patterns in the epidemiology of traumatic brain injury. Nat Rev Neurol. 2013;9(4):231–6.
27. Haring RS, Narang K, Canner JK, Asemota AO, George BP, Selvarajah S, et al. Traumatic brain injury in the elderly: morbidity and mortality trends and risk factors. J Surg Res. 2015; 195(1):1–9.
28. Thurman D, Guerrero J. Trends in hospitalization associated with traumatic brain injury. JAMA. 1999;282(10):954–7.
29. Langley J, Cryer C, Davie G. NZ Government’s trend analysis of hospitalised self-harm is misleading. Aust N Z J Public Health. 2008;32(2):162–6.
91
30. Cryer C, Langley JD, Stephenson SCR, Jarvis SN, Edwards P. Measure for measure: the quest for valid indicators of non-fatal injury incidence. Public Health. 2002;116(5):257–62.
31. Cryer C, Langley JD. Developing valid indicators of injury incidence for “all injury”. Inj Prev. 2006;12(3):202–7.
32. Osler T. Injury severity scoring: perspectives in development and future directions. Am J Surg. 1993; 165(2A Suppl):43S-51S.
33. Osler TM, Glance LG, Bedrick EJ. Injury severity scoring: Its definition and pratical application. In: Juan A.Asensio & Donald D.Trunkey, Juan A.Asensio & Donald D.Trunkey, editors. Current therapy of trauma and surgical critical care. Philadelphia: Mosby Elsevier; 2008. p. 10–21.
34. Gruen RL, Gabbe BJ, Stelfox HT, Cameron PA. Indicators of the quality of trauma care and the performance of trauma systems. Br J Surg. 2012;99 Suppl 1:97–104.
35. Champion HR. Trauma scoring. Scand J Surg. 2002;91(1):12–22.
36. Boyd CR, Tolson MA, Copes WS. Evaluating trauma care: the TRISS method. Trauma Score and the Injury Severity Score. J Trauma. 1987;27(4):370–8.
37. Moore L, Hanley JA, Turgeon AF, Lavoie A, Eric B. A new method for evaluating trauma centre outcome performance: TRAM-adjusted mortality estimates. Ann Surg. 2010; 251(5):952–8.
38. Valadka AB, Dannenbaum MJ. Traumatic brain injury: Pathophysiology, clinical diagnosis, and prehospital and emergency centre care. In: Juan A. Asensio & Donald D. Trunkey, editors. Current therapy of trauma and surgical critical care. Philadelphia: Mosby Elsevier; 2008. p. 147–52.
39. Teasdale G, Jennett B. Assessment of coma and impaired consciousness. A practical scale. Lancet. 1974; 13;2(7872):81–4.
40. Teasdale G, Jennett B. Assessment and prognosis of coma after head injury. Acta Neurochir (Wien). 1976;34(1-4):45–55.
41. Teasdale G, Maas A, Lecky F, Manley G, Stocchetti N, Murray G. The Glasgow Coma Scale at 40 years: standing the test of time. Lancet Neurol. 2014;13:844–54.
42. Barlow P. A practical review of the Glasgow Coma Scale and Score. Surg J R Coll Surg Edinb Irel. 2012;10(2):114–9.
43. Gabbe BJ, Cameron PA, Finch CF. The status of the Glasgow Coma Scale. Emerg Med (Fremantle). 2003;15(4):353–60.
44. Zuercher M, Ummenhofer W, Baltussen A, Walder B. The use of Glasgow Coma Scale in injury assessment: a critical review. Brain Inj. 2009;23(5):371–84.
92
45. Segui-Gomez M, Lopez-Valdes FJ. Injury Severity Scaling. In: Guohua Li & Susan P. Baker, editors. Injury Research: Theories, Methods, and Approaches. New York: Springer; 2012. p. 281–95.
46. Chen L-H, Warner M. Surveillance of Injury Morbidity. In: Guohua Li & Susan P. Baker, editors. Injury Research: Theories, Methods, and Approaches. New York: Springer; 2012. p. 23–43.
47. Committee on Medical Aspects of Automotive Safety. Rating the severity of tissue damage. I. The abbreviated scale. JAMA. 1971; 215(2):277–80.
48. Committee on Medical Aspects of Automotive Safety. Rating the severity of tissue damage. II. The comprehensive scale. JAMA. 1972; 220(5):717–20.
49. Chawda MN, Hildebrand F, Pape HC, Giannoudis PV. Predicting outcome after multiple trauma: which scoring system? Injury. 2004; 35:347–58.
50. Baker SP, O’Neill B, Haddon W, Long WB. The injury severity score: a method for describing patients with multiple injuries and evaluating emergency care. J Trauma. 1974; 14(3):187–96.
51. O’Keefe G, Jurkovich GJ. Measurement of injury severity and co-morbidity. In: Frederick P.Rivara et al., Frederick P.Rivara et al., editors. Injury Control. A guide to research and program evaluation. Cambridge: Cambridge University Press; 2001. p. 32–46.
52. Osler T, Baker SP, Long W. A modification of the injury severity score that both improves accuracy and simplifies scoring. J Trauma. 1997;43(6):922–5.
53. Haas B, Xiong W, Brennan-Barnes M, Gomez D, Nathens AB. Overcoming barriers to population-based injury research: Development and validation of an ICD-10-to-AIS algorithm. Can J Surg. 2012;55(1):21-6.
54. MacKenzie EJ, Steinwachs DM, Shankar B. Classifying trauma severity based on hospital discharge diagnoses. Validation of an ICD-9CM to AIS-85 conversion table. Med Care. 1989;27(4):412–22.
55. Osler T, Rutledge R, Deis J, Bedrick E. ICISS: An international classification of disease-9 based injury severity score. J Trauma. 1996; 41(3):380-6;.
56. Rutledge R, Hoyt DB, Eastman AB, Sise MJ, Velky T, Canty T, et al. Comparison of the Injury Severity Score and ICD-9 diagnosis codes as predictors of outcome in injury: analysis of 44,032 patients. J Trauma. 1997; 42(3):477-87.
57. Kilgo PD, Osler TM, Meredith W, Champion HR, Clarke JR, Morris J. The Worst Injury Predicts Mortality Outcome the Best: Rethinking the Role of Multiple Injuries in Trauma Outcome Scoring. J Trauma. 2003; 55(4):599-606.
58. Meredith JW, Kilgo PD, Osler TM. Independently derived survival risk ratios yield better estimates of survival than traditional survival risk ratios when using the ICISS. J Trauma. 2003; 55(5):933-8.
93
59. Glance LG, Osler TM, Mukamel DB, Meredith W, Wagner J, Dick AW. TMPM-ICD9: a trauma mortality prediction model based on ICD-9-CM codes. Ann Surg. 2009; 249(6):1032-9.
60. Cook A, Weddle J, Baker S, Hosmer D, Glance L, Friedman L, et al. A comparison of the Injury Severity Score and the Trauma Mortality Prediction Model. J Trauma Acute Care Surg. 2014;76(1):47–52.
61. Di Bartolomeo S., Ventura C, Marino M, Chieregato A, Gambale G, Fabbri A, et al. Is the TMPM-ICD9 revolution in trauma risk-adjustment compatible with imperfect administrative coding? Accid Anal Prev. 2011;43(6):1955–9.
62. Haider AH, Villegas CV, Saleem T, Efron DT, Stevens KA, Oyetunji TA, et al. Should the IDC-9 Trauma Mortality Prediction Model become the new paradigm for benchmarking trauma outcomes? J Trauma Acute Care Surg. 2012;72(6):1695-701..
63. Liberati A, Altman DG, Tetzlaff J, Mulrow C, Gotzsche PC, Ioannidis JP, et al. The PRISMA statement for reporting systematic reviews and meta-analyses of studies that evaluate health care interventions: explanation and elaboration. PLoS Med. 2009 Jul 21;6:e1000100.
64. Higgins JPT & S Green (editors). Cochrane Handbook for Systematic Reviews of Interventions. Vol. Version 5.1.0 [updated March 2011]. 2011.
65. Horsley T, Dingwall O, Sampson M. Checking reference lists to find additional studies for systematic reviews. Cochrane Database Syst Rev. 2011;MR000026.
66. Harrell FE Jr, Lee KL, Mark DB. Multivariable prognostic models: issues in developing models, evaluating assumptions and adequacy, and measuring and reducing errors. Stat Med. 1996; 15(4):361-87.
67. Hosmer D, Lemeshow S. Area Under the ROC Curve. In: Applied logistic regression. New York: John Wiley & Sons Inc.; 2000. p. 160–4.
68. Kleinbaum DG, Klein M. Assessing Goodness of Fit for Logistic Regression. In: Logistic Regression. Springer; 2010. p. 301–43. (Statistics for Biology and Health; vol. Third Edition).
69. Hayden JA, Cote P, Bombardier C. Evaluation of the quality of prognosis studies in systematic reviews. Ann Intern Med. 2006; 144(6):427-37.
70. Mushkudiani NA, Hukkelhoven CW, Hernandez AV, Murray GD, Choi SC, Maas AI, et al. A systematic review finds methodological improvements necessary for prognostic models in determining traumatic brain injury outcomes. J Clin Epidemiol. 2008;61(4):331–43.
71. Downs SH, Black N. The feasibility of creating a checklist for the assessment of the methodological quality both of randomised and non-randomised studies of health care interventions. J Epidemiol Community Health. 1998;52(6):377–84.
72. Hanley JA, McNeil BJ. The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology. 1982;143(1):29–36.
94
73. Higgins JPT, Thompson SG, Deeks JJ, Altman DG. Measuring inconsistency in meta-analyses. BMJ. 2003;327(7414):557–60.
74. Egger M, Davey SG, Schneider M, Minder C. Bias in meta-analysis detected by a simple, graphical test. BMJ. 1997;315(7109):629–34.
75. Robitaille Y, Gagné M. La morbidité due aux traumatismes: une utilisation plus spécifique des données d’hospitalisation pour la surveillance. Direction de l’analyse et de l’évaluation des systèmes de soins et services; 2011 p. 23 pages.
76. Gedeborg R, Warner M, Chen LH, Gulliver P, Cryer C, Robitaille Y, et al. Internationally comparable diagnosis-specific survival probabilities for calculation of the ICD-10-based Injury Severity Score. J Trauma Acute Care Surg. 2014;76(2):358–65.
77. Cook A. TMPM: Stata module to implement Trauma Mortality Prediction Model using AIS, ICD-9 or ICD-10 codes [Internet]. 2013. Available from: https://ideas.repec.org/c/boc/bocode/s457663.html#download
78. Moore L, Lavoie A, Bergeron E, Emond M. Modeling probability-based injury severity scores in logistic regression models: The logit transformation should be used. J Trauma. 2007;62(3):601-5.
79. Berry C, Ley EJ, Tillou A, Cryer G, Margulies DR, Salim A. The effect of gender on patients with moderate to severe head injuries. J Trauma. 2009;67(5):950-3.
80. Butcher I, McHugh GS, Lu J, Steyerberg EW, Hernandez AV, Mushkudiani N, et al. Prognostic value of cause of injury in traumatic brain injury: results from the IMPACT study. J Neurotrauma. 2007;24(2):281–6.
81. Leitgeb J, Mauritz W, Brazinova A, Majdan M, Wilbacher I. Impact of concomitant injuries on outcomes after traumatic brain injury. Arch Orthop Trauma Surg. 2013;133(5):659–68.
82. Quan H, Sundararajan V, Halfon P, Fong A, Burnand B, Luthi J-C, et al. Coding algorithms for defining comorbidities in ICD-9-CM and ICD-10 administrative data. Med Care. 2005; 43(11):1130–9.
83. Steyerberg EW. Clinical prediction models. A Practical Approach to Development, Validation, and Updating. Springer; 2009. (Springer, Springer, editors. Statistics for Biology and Health; vol. Statistics for Biology and Health).
84. Zhou X-H, Obuchowski N, McClish DK. Measures of Diagnostic Accuracy. In: Statistical Methods in Diagnostic Medicine. 2nd ed. Hoboken, New-Jersey: John Wiley & Sons; 2011. p. 13–55. (Probability and Statistics).
85. Cox, DR. Two Further Applications of a Model for Binary Regression. Biometrika. 1958;45(3/4):562–5.
86. Steyerberg EW, Vergouwe Y. Towards better clinical prediction models: seven steps for development and an ABCD for validation. Eur Heart J. 2014;35(29):1925–31.
95
87. Tepas JJ III, Pracht EE, Orban BL, Flint LM. High-volume trauma centers have better outcomes treating traumatic brain injury. J Trauma Acute Care Surg. 2013; 74(1):143-7.
88. Gardner RC, Burke JF, Nettiksimmons J, Kaup A, Barnes DE, Yaffe K. Dementia risk after traumatic brain injury vs nonbrain trauma: the role of age and severity. JAMA Neurol. 2014; 71(12):1490–7.
89. Liberati A, Altman DG, Tetzlaff J, Mulrow C, Gøtzsche PC, Ioannidis JPA, et al. The PRISMA statement for reporting systematic reviews and meta-analyses of studies that evaluate health care interventions: explanation and elaboration. J Clin Epidemiol. 2009; 62(10):e1–34.
90. Shea BJ, Grimshaw JM, Wells GA, Boers M, Andersson N, Hamel C, et al. Development of AMSTAR: a measurement tool to assess the methodological quality of systematic reviews. BMC Med Res Methodol. 2007;7:10.
91. Balshem H, Helfand M, Schünemann HJ, Oxman AD, Kunz R, Brozek J, et al. GRADE guidelines: 3. Rating the quality of evidence. J Clin Epidemiol. 2011; 64(4):401–6.
92. Rucker G, Schwarzer G, Carpenter JR, Schumacher M. Undue reliance on I2 in assessing heterogeneity may mislead. BMC Med Res Methodol. 2008;8:79.
93. Schmidt RL, Factor RE. Understanding sources of bias in diagnostic accuracy studies. Arch Pathol Lab Med. 2013; 137(4):558–65.
94. Carroll CP, Cochran JA, Guse CE, Wang MC. Are we underestimating the burden of traumatic brain injury? Surveillance of severe traumatic brain injury using centers for disease control International classification of disease, ninth revision, clinical modification, traumatic brain injury codes. Neurosurgery. 2012;71(6):1064–70.
95. Shore AD, McCarthy ML, Serpi T, Gertner M. Validity of administrative data for characterizing traumatic brain injury-related hospitalizations. Brain Inj. 2005; 19(8):613–21.
96. Moons KGM, Altman DG, Reitsma JB, Ioannidis JPA, Macaskill P, Steyerberg EW, et al. Transparent Reporting of a multivariable prediction model for Individual Prognosis or Diagnosis (TRIPOD): explanation and elaboration. Ann Intern Med. 2015;162(1):W1–73.
97. Moore L, Clark DE. The value of trauma registries. Injury. 2008;39(6):686–95.
98. Davie G, Langley J, Samaranayaka A, Wetherspoon ME. Accuracy of injury coding under ICD-10-AM for New Zealand public hospital discharges. Inj Prev. 2008;14(5):319–23.
99. Bergstrom MF, Byberg L, Melhus H, Michaelsson K, Gedeborg R. Extent and consequences of misclassified injury diagnoses in a national hospital discharge registry. Inj Prev. 2011; 17(2):108-13.
96
100. Keijzers GB, Campbell D, Hooper J, Bost N, Crilly J, Steele MC, et al. A prospective evaluation of missed injuries in trauma patients, before and after formalising the trauma tertiary survey. World J Surg. 2014; 38(1):222–32.
101. Pouw ME, Peelen LM, Moons KGM, Kalkman CJ, Lingsma HF. Including post-discharge mortality in calculation of hospital standardised mortality ratios: retrospective analysis of hospital episode statistics. BMJ. 2013;347:f5913.
102. Ventura T, Harrison-Felix C, Carlson N, Diguiseppi C, Gabella B, Brown A, et al. Mortality after discharge from acute care hospitalization with traumatic brain injury: a population-based study. Arch Phys Med Rehabil. 2010; 91(1):20–9.
103. Peck KA, Calvo RY, Sise CB, Johnson J, Yen JW, Sise MJ, et al. Death after discharge: predictors of mortality in older brain-injured patients. J Trauma Acute Care Surg. 2014; 77(6):978–83.
104. Meredith JW, Evans G, Kilgo PD, MacKenzie E, Osler T, McGwin G, et al. A comparison of the abilities of nine scoring algorithms in predicting mortality. J Trauma. 2002;53(4):621-8.
105. Moore L, Lavoie A, Le SN, Bergeron E, Emond M, Abdous B. Consensus or data-derived anatomic injury severity scoring? J Trauma. 2008; 64(2):420-6..
106. Moons KGM, de Groot JAH, Bouwmeester W, Vergouwe Y, Mallett S, Altman DG, et al. Critical appraisal and data extraction for systematic reviews of prediction modelling studies: the CHARMS checklist. PLoS Med. 2014;11(10):e1001744.
107. Vergouwe Y, Steyerberg EW, Eijkemans MJC, Habbema JDF. Substantial effective sample sizes were required for external validation studies of predictive logistic regression models. J Clin Epidemiol. 2005; 58(5):475–83.
108. Paul P, Pennell ML, Lemeshow S. Standardizing the power of the Hosmer-Lemeshow goodness of fit test in large data sets. Stat Med. 2013; 32(1):67–80.
97
Annexe A – Liste de vérification PRISMA
Section/topic # Checklist item Reported on page #
TITLE
Title 1 Identify the report as a systematic review, meta-analysis, or both.
25
ABSTRACT
Structured summary
2 Provide a structured summary including, as applicable: background; objectives; data sources; study eligibility criteria, participants, and interventions; study appraisal and synthesis methods; results; limitations; conclusions and implications of key findings; systematic review registration number.
26-27
INTRODUCTION
Rationale 3 Describe the rationale for the review in the context of what is already known.
28
Objectives 4 Provide an explicit statement of questions being addressed with reference to participants, interventions, comparisons, outcomes, and study design (PICOS).
28
METHODS
Protocol and registration
5 Indicate if a review protocol exists, if and where it can be accessed (e.g., Web address), and, if available, provide registration information including registration number.
No
Eligibility criteria
6 Specify study characteristics (e.g., PICOS, length of follow-up)
and report characteristics (e.g., years considered, language, publication status) used as criteria for eligibility, giving rationale.
29
Information sources
7 Describe all information sources (e.g., databases with dates of coverage, contact with study authors to identify additional studies) in the search and date last searched.
29
Search 8 Present full electronic search strategy for at least one database, including any limits used, such that it could be repeated.
Annexe - B
Study selection 9 State the process for selecting studies (i.e., screening, eligibility, included in systematic review, and, if applicable,
included in the meta-analysis).
29
98
Data collection process
10 Describe method of data extraction from reports (e.g., piloted forms, independently, in duplicate) and any processes for obtaining and confirming data from investigators.
29
Data items 11 List and define all variables for which data were sought (e.g., PICOS, funding sources) and any assumptions and simplifications made.
29
Risk of bias in individual studies
12 Describe methods used for assessing risk of bias of individual studies (including specification of whether this was done at the study or outcome level), and how this information is to be used in any data synthesis.
30
Summary measures
13 State the principal summary measures (e.g., risk ratio, difference in means).
30
Synthesis of results
14 Describe the methods of handling data and combining results of studies, if done, including measures of consistency (e.g., I2)
for each meta-analysis.
30-31
Risk of bias across studies
15 Specify any assessment of risk of bias that may affect the cumulative evidence (e.g., publication bias, selective reporting within studies).
31
Additional analyses
16 Describe methods of additional analyses (e.g., sensitivity or subgroup analyses, meta-regression), if done, indicating which
were pre-specified.
31
RESULTS
Study selection 17 Give numbers of studies screened, assessed for eligibility, and included in the review, with reasons for exclusions at each stage, ideally with a flow diagram.
Fig 2
Study characteristics
18 For each study, present characteristics for which data were extracted (e.g., study size, PICOS, follow-up period) and provide the citations.
Table 5
Risk of bias within studies
19 Present data on risk of bias of each study and, if available, any outcome level assessment (see item 12).
Table 6
Results of individual studies
20 For all outcomes considered (benefits or harms), present, for each study: (a) simple summary data for each intervention group (b) effect estimates and confidence intervals, ideally with a forest plot.
Table 5
Synthesis of results
21 Present results of each meta-analysis done, including confidence intervals and measures of consistency.
Tables 7-10
Risk of bias across studies
22 Present results of any assessment of risk of bias across studies (see Item 15).
Not shown
Additional analysis
23 Give results of additional analyses, if done (e.g., sensitivity or subgroup analyses, meta-regression [see Item 16]).
Annexe F
DISCUSSION
Summary of evidence
24 Summarize the main findings including the strength of evidence for each main outcome; consider their relevance to key groups (e.g., healthcare providers, users, and policy makers).
32-33
99
Limitations 25 Discuss limitations at study and outcome level (e.g., risk of bias), and at review-level (e.g., incomplete retrieval of identified research, reporting bias).
34-35
Conclusions 26 Provide a general interpretation of the results in the context of other evidence, and implications for future research.
35
FUNDING
Funding 27 Describe sources of funding for the systematic review and other support (e.g., supply of data); role of funders for the systematic review.
-
From: Moher D, Liberati A, Tetzlaff J, Altman DG, The PRISMA Group (2009). Preferred Reporting Items for Systematic Reviews and Meta-Analyses: The PRISMA Statement. PLoS Med 6(6): e1000097. doi:10.1371/journal.pmed1000097
100
Annexe B – Stratégie de recherche documentaire
This appendix details the search strategy used in the identification of relevant retrospective
cohort studies that assessed the discriminating performance of ICD-based injury severity
measures to predict in-hospital mortality. The search strategy was updated in September
2014:
1. exp "Wounds and Injuries"/
2. injur$.ti,ab,sh,kw.
3. traum$.ti,ab,sh,kw.
4. 1 or 2 or 3
5. exp "Craniocerebral Trauma"/
6. (Head or Skull$ or Brain$).ti,ab,sh,kw.
7. (Bleeding or Concussion$ or Contusion$ or Crush$ or Damag$ or Fracture$ or H?ematom$ or H?emorrhage$ or Injur$ or Laceration$ or Lesion$ or Stem$ or Trauma$ or Wound$).ti,ab,sh,kw.
8. 6 and 7
9. ("Brain concussion$" or "Brain contusion$" or "Brain lesion$" or "Brain damage$" or "Brain H?ematom$" or "Brain H?emorrhage$" or "Brain injur$" or "Brain laceration$" or "Head injur$" or "Skull fracture$" or "Skull injur$" or "Traumatic brain injur$").ti,ab,sh,kw.
10. ("Brain stem injur$" or "Diffuse axonal injur$" or "Subarachnoid H?emorrhage$ ").ti,ab,sh,kw.
11. 5 or 8 or 9 or 10
12. exp "Trauma severity indices"/
13. (Severity adj2 (Indice$ or Index$ or Scor$ or Scal$ or Measur$)).ti,ab,sh,kw.
14. ((Predic$ adj2 Model$) or (Discriminat$ adj2 (ability or capacity)) or AUC or "Area Under").ti,ab,sh,kw.
15. 12 or 13 or 14
16. (AIS or "Abbreviated injury scale" or ISS or "Injury severity score" or "ICD?map" or "ICD/AIS MAP" or "ICDMAP-90" or "ICD?based injury severity score" or "ICISS" or "TMPM" or "Trauma Mortality Prediction Model ").ti,ab,sh,kw.
17. ("Injury rat$ scal$" or "Injury scal$" or "Injury sever$" or "Trauma scal$" or "Trauma sever$ indic$" or "Trauma sever$ rat$").ti,ab,sh,kw.
101
18. 15 or 16 or 17
19. ("ICD?9" or "ICD?10" or ICD9 or ICD10).ti,ab,sh,kw.
20. (ICD adj3 (classification$ or cod$)).ti,ab,sh,kw.
21. "International Classification of Disease$".ti,ab,sh,kw.
22. 19 or 20 or 21
23. 4 or 11
24. 23 and 18 and 22
102
Annexe C – Formulaire d’extraction des données
Critères d’éligibilité
Appréciation Commentaires
Oui Non Ambigu
Participants
Admissions à l’hôpital ☐ ☐ ☐
Diagnostic de blessure ☐ ☐ ☐
Population générale ☐ ☐ ☐
Population pédiatrique ☐ ☐ ☐
Variables d’intérêts
Indice de gravité des blessures ☐ ☐ ☐
CIM-9 ou CIM-10 ☐ ☐ ☐ CIM-9 ☐ CIM-10 ☐
C Statistic ou AUC ☐ ☐ ☐
Issue de santé
Décès ☐ ☐ ☐
Décision finale Inclusion : ☐ Exclusion : ☐
Raison de l’exclusion :
Identification de l’étude IN : ☐ EX : ☐
Ref ID ID étude
ID réviseur : M ☐ C ☐ Date de révision
1er Auteur :
Autre(s) auteur(s)
Pays d’origine : Année de publication :
Type de publication : Article ☐ Résumé ☐ Chapitre ☐ Rapport ☐
Autre (spécifier) ☐
Nom de la revue :
Objectifs de l’étude :
Notes
103
Méthodologie
Données pour le développement
Nom de la BD
Contexte : Données administratives ☐
Registre de traumatologie ☐
Début de l’étude : Fin de l’étude :
Sélection des cas et nature des blessures examinées
Critères d’inclusion :
Critères d’exclusion :
Caractéristiques des participants pour la BD développement
Démographiques : Nombre total
Age (moyen, médiane, etc)
Sexe (Nb et %) Hommes Femmes
Mortalité (Nb et %)
Mécanisme de la blessure (Nb et %)
Chutes
Routiers
Autres
Données pour la validation
Nom de la BD
Contexte : Données administratives ☐
Registre de traumatologie ☐
Début de l’étude : Fin de l’étude :
Sélection des cas et nature des blessures examinées
Critères d’inclusion :
Critères d’exclusion :
Caractéristiques des participants pour la BD développement
Démographiques : Nombre total
Age (moyen, médiane, etc)
Sexe (Nb et %) Hommes Femmes
Mortalité (Nb et %)
Mécanisme de la blessure (Nb et %)
Chutes
Routiers
Autres
104
Approche statistique
Validation interne: Non ☐
Oui ☐ Data-splitting ☐ Cross-Validation ☐ Bootrapping ☐ # rep __
Note :
Validation Externe: Oui ☐
Non ☐
Discrimination : C Statistic ou AUC ☐
Autres (spécifier) ☐
Données manquantes Imputation ☐
Exclusion ☐
Ambigu ☐
Issues de santé
Dimension Définition Rapporté Nb (%)
1. Décès Statistique de l’état civil ☐
☐
Soins de courte durée ☐
☐
105
Issues de santé :
Discrimination brute Données développement Données de validation
Indice de gravité Valeur IC95% Valeur IC95%
Discrimination ajustée Données développement Données de validation
Indice de gravité Valeur IC95% Valeur IC95%
Autres informations pertinentes en lien avec les résultats rapportés (variables d’ajustement)
Age ☐ Spécification :
Sexe ☐ Spécification :
Comorbidités ☐ Spécification :
Mécanismes ☐ Spécification :
Autres ☐ Spécification :
Commentaires
107
Annexe D – Évaluation du risque de biais
Study participants : Key characteristics of the population of interest are sufficiently presented to limit
potential bias
Yes No Partly/Unsure
Population of interest is adequately described for key
characteristics§
Selection process is adequately described, (period, setting,
etc.)§
Inclusion and exclusion criteria are adequately described§
YES NO Partly/Unsure
Potential Opportunity for Bias
ICD-based injury severity measures: Adequately measured to sufficiently limit potential bias
Yes No Partly/Unsure
Clear definition and description is provided to ensure
reproducibility
(data sources, methods, references)§
YES NO Partly/Unsure
Potential Opportunity for Bias
Outcome: Adequately measured to sufficiently limit potential bias
Yes No Partly/Unsure
Clear definition or description is provided to ensure
reproducibility
(duration, extent of the outcome) §
Outcome measure and method used are adequately valid and
reliable to limit misclassification (relevant outside sources) §
Missing values and procedures for dealing with are reported§
YES NO Partly/Unsure
Potential Opportunity for Bias
Analysis and confounding measurement
Yes No Partly/Unsure
There is sufficient presentation of data to assess the
adequacy of the analysis§
Appropriate methods are used if imputation is used for
missing confounder data§
The strategy for model building (i.e., inclusion of variables) is
appropriate†§
Important potential confounders are accounted for in the
analysis†§
Unadjusted and adjusted predictor-outcome effects are
presented
Validation (e.g., internal or external) is presented and realized
with efficient procedures (e.g., bootstapping or )†
YES NO Partly/Unsure
Potential Opportunity for Bias
† : Downs & Black J 1998. Epidemiological Community Health.
: Hayden et al 2006. Ann Intern Med
108
Annexe E – Pooled AUC values for ICISS using the product of
traditional survival proportions according to the ICD version (9th
or 10th), derivation provenance of survival proportions, and type
of database used for validation across studies published before
and after 2004
Characteristics 1996 to 2003 2004 to 2014
N* AUC (95% CI) I2 N* AUC (95% CI) I2
ICD version
ICD-9 version 19 0.903 (0.890-0.915) 98.5% 6 0.804 (0.768-0.840) 99.6%
ICD-10 version - - - 6 0.799 (0.756-0.842) 99.6%
Derivation provenance of survival proportions (SPs)
Internal provenance 8 0.893 (0.873-0.913) 99.0% 6 0.829 (0.809-0.850) 99.0%
External provenance 11 0.909 (0.892-0.927) 98.1% 6 0.774 (0.724-0.824) 99.6%
Type of database used for validation
Trauma registry 17 0.899 (0.885-0.914) 98.6% 4 0.839 (0.826-0.852) 96.9%
Hospital discharge database 2 0.929 (0.874-0.984) 98.6% 8 0.783 (0.741-0.825) 99.6%
* : Number of assessments
