Principes des études diagnostiques · Définition des critères de positivit ... Si le test de référence n’est pas le même en fonction du résultat du nouveau test vérification

1

1

Principes des études diagnostiques

Caroline ElieURC Paris CentreHôpital Necker

2

Contexte

symptômes

3

Démarche diagnostique

Probabilité pré-test= prévalence de la maladie

Résultats du test

Probabilité post-test

Symptômes, histoire de la maladie, ATCD, examens

complémentaire…

4

Objectifs d’une étude diagnostique

=Evaluation d’un nouveau test diagnostique

Un préalable = fiabilité (reproductibilité) Apport informationnel = qualité du test :

augmenter la certitude de la présence ou de l’absence de maladie (validité)

Ensuite = apport décisionnel : améliorer la prise en charge clinique et l’évolution clinique

Created with novaPDF Printer (www.novaPDF.com). Please register to remove this message.

http://www.novapdf.com

2

5

Fiabilité

Fiabilité = propriété d’un test dont les résultats peuvent être reproduits aussi longtemps que les conditions du test ne changent pas

= mesure de la concordance entre deux mesures répétées (reproductibilité) : 2 mesures de deux observateurs différents

(repro inter-observateurs ) 2 mesures d’un même observateur

(repro intra-observateur)

6

Validité

Validité = propriété d’un test qui se définit par la capacité à mesurer ce qu’il est censé mesurer (ici la maladie)

Comparaison par rapport à un test de référence (appelé « gold standard »)

7

Etude diagnostique : principe général

Échantillon de patients suspectés d’avoir la maladie

Nouveau test Test de référence

Confrontation des résultats

Symptômes, histoire de la maladie, ATCD, examens…

8

Une « maladie » : le plus souvent une maladie particulière, mais aussi un stade de maladie, une mutation …

Un « test » : un examen de laboratoire, d'imagerie, des épreuves fonctionnelles, l'anatomopathologie, un signe clinique…



3

9

Un exemple

Diagnostic de corps étranger intra-bronchique chez l’enfant Test de référence = endoscopie bronchique (invasif) Nouveau test = le scanner (non invasif mais ne

permet pas l’extraction)

Évaluation des performances du scanner

10

Etude diagnostique : résultats

Nouveau test Vrais négatifs

VNFaux négatifs

FNNégatif T-

Faux positifsFP

Vrais positifsVPPositif T+

Non maladeM-

MaladeM+

Test de référence

11

Les indices informationnels

VNFNT-FPVPT+

M-M+ Nouveau test

Test de référence

Sensibilitéproportion de tests (+) chez les malades

Se=P(T+/M+)

Se=VP/(VP+FN)

Spécificitéproportion de tests (-) chez les non-malades

Sp=P(T-/M-)

Sp=VN/(FP+VN)12


7010T-3595T+

M-M+ Nouveau test

Test de référence

Sensibilitéproportion de tests+ chez les malades

Se=95/(95+10)

Se=90%

Spécificitéproportion de tests- chez les non-malades

Sp=70/(70+35)

Sp=67%



4

13

Interprétation

Sensibilité = P(T+/M+) : capacité àdétecter les malades (dépistage)

Spécificité = P(T-/M-) : capacité àdétecter les non malades

14


VNFNT-FPVPT+

M-M+ Nouveau test

Test de référence Valeur Prédictive Positiveproportion de malades parmi les patients ayant un test (+)

VPP=P(M+/T+)VPP=VP/(VP+FP)

Valeur Prédictive Négativeproportion de non-malades parmi les patients ayant un test (-)

VPN=P(M-/T-)VPN=VN/(FN+VN)

VVP = proba post-test

15


7010T-3595T+

M-M+ Nouveau test

Test de référence Valeur Prédictive PositiveVPP=95/(95+35)VPP=73%

Valeur Prédictive NégativeVPN=70/(10+70)VPN=88%

VVP = proba post-test

16

Interprétation

VPP = P(M+/T+) et VPN = P(M-/T-) Probabilités post-test



5

17

Test quantitatif (ex: dosage)

Valeurs du TestS

Sujets malades

Sujets non malades

VPVN

FN FP

FP FN

T+T-

18

Courbe ROC

Le nouveau test est une mesure continue (dosage) → trouver un seuil

19

0%

20%

40%

60%

80%

100%

0% 20% 40% 60% 80% 100%

sens

ibili

té

1-spécificité

80 40

200

Courbe ROC : exemple

20

Recherche diagnostique (Sackett, BMJ, 2002)

Exemple : diagnostic de l’insuffisance cardiaque gauche par le dosage du BNP

Phase I : les résultats du test sont-il différents chez les malades et chez les sujets normaux?



6

21


Phase II : les patients ayant un résultat positif au test sont-ils plus susceptibles d’avoir la maladie que les autres ?

22


Phase III : le test permet-il de distinguer les malades des non malades parmi les patients suspects de présenter la maladie ?

23


Phase IV : les patients bénéficiant du test seront-ils dans un meilleur état de santé que des patients similaires n’ayant pas eu le test ?

→ Essais randomisés

24

Planification de l’étude

1) Population (design, mode de recrutement, nb sujets, spectre…)

2) Le test de référence (choix, propriétés…)3) Le nouveau test (propriétés, exécution…)4) Déroulement de l’étude (vérification, critère

de jugement…)5) Interprétation des tests (modalités de

lecture)6) Analyse (analyse de sous-groupes,

précision, résultats indéterminés, seuil…)



7

25

1) La population

26

Population

Cas témoins ou étude transversale/cohorte ? Nombre de sujets Prospectif ou rétrospectif Sélection des patients :

Critères d’inclusion, de non inclusion Caractéristiques démographiques Prévalence de la maladie Sévérité de la maladie

population

27

Cas (malades) témoins (non malades)

Sens=80% Spe=60% VPP=67% VPN=75%

50

30

20

M-

4010T-

10050

6040T+

M+

10060

40

M-

7010T-15050

8040T+

M+

Sens=80% Spe=60% VPP=50% VPN=86%

population

2 témoins par cas 1 témoin par cas

28

Cas témoins: problèmes

Choix du rapport cas\témoins (ou prévalence de la maladie) modifie les performances du test

Choix des cas et des témoins : Cas très malades (the sickest of the sick) : Se Témoins très normaux (the wellest of the well) : Spe

population



8

29

Caractéristiques démographiques

Performances d’un test variables en fonction des caractéristiques de la population +++ biais de sélection

Représentativité de la population cible ++

Description de la population : au moins age, sexe, symptomatologie, stade de la maladie + variables pertinentes pour maladie étudiée donne une idée de la représentativité des sujets inclus (validité externe)

population

32

Population : résumé

Choix de la population +++ « cohorte » : échantillon représentatif de la population cible du test, patients inclus consécutivement cas témoins : biais +++

Calcul d’un nombre de sujets nécessaire Critères d’inclusion et de non inclusion pertinents Description de la population +++

population

33

2) Test de référence(« Reference standard », « gold standard »)

34

Choix du test de référence

Admis comme la référence pour établir le diagnostic final

Bonnes propriétés métrologiques (fiable) Doit pouvoir être appliqué à tous les sujets Identique pour tous les sujets et ne doit pas être

modifié en cours d’étude Modalités de réalisation standardisées Définition des critères de positivité Fait par ceux qui le font en pratique

test référence



9

35

Pas de bon test de référence

Souvent ! Si imparfait ? Erreurs de classifications Si moins bon que le nouveau test ? Erreurs de

classifications Si n’existe pas ? Dans certaines pathologies

(psychiatrie, migraine, syndrome, maladies infectieuses…)

Si existe mais très invasif ? Laparotomie pour douleurs abdominales…

test référence

36

Solutions

Critère pragmatique (exple : valeur seuil d’un questionnaire mesurant la dépression)

Panel d’experts indépendants Suivi clinique Autre ?

test référence

37

3) Le nouveau test(« Index test »)

38

Le nouveau test

Bonnes propriétés métrologiques (fiable) Doit pouvoir être appliqué à tous les sujets Identique pour tous les sujets et ne doit

pas être modifié en cours d’étude Modalités de réalisation standardisées Définition des critères de positivité Entrainement +/- nécessaire

nouveau test



10

39

4) Déroulement de l’étude

40

Test de référence et vérification

Biais de vérification (« verification bias »ou « work-up bias »)

Si les deux tests sont effectués à des temps « éloignés » : Evolution propre de la maladie Evolution liée au traitement : le traitement

est débuté sur le résultat du test effectuéen premier

vérification

41

Biais de vérification

Si absence de vérification systématique par le test de référence Si une partie des patients seulement sont

vérifiés par le test de référence (souvent pas chez les négatifs au nouveau test)

Si le test de référence n’est pas le même en fonction du résultat du nouveau test

vérification

42


Surtout quand le test de référence est invasif : Diagnostic de maladie coronarienne

Nouveau test : scintigraphie de perfusion au thallium (non invasif)

Référence : coronarographie (invasif)

Diagnostic de trisomie 21 Nouveau test : clarté nucale (non invasif) Référence : amniocentèse (invasif)

vérification



11

Effect of study design on the association between nuchaltranslucency (NT) measurement and Down syndromeMol BW, Obstetrics & Gynecology, 1999, 94(5 part 2):864-9.

NT

NT+

NT-

caryotypeT21

normal

fœtus/bébéT21

normal

Problème : si T21, fausses couches spontanées si NT+ : diagnostic posé dans 100% des cas si NT- : diagnostic posé dans <100% des cas

Nuchal translucency measurement and Down syndrome

prévspésen

1,1%96%55%sans biais de vérification0,4%97%77%avec biais de vérification

Études avec biais de vérification (n=10)Études sans biais de vérification (n=15)

45


Tous les patients doivent avoir le nouveau test ET le test de référence, dans un laps de temps minimum

Si impossible (trop coûteux ou trop risqué), obtention du diagnostic possible par le suivi, plus ou moins long, des patients

vérification

46

5) Interprétation



12

47

Lecture des tests

L’interprétation d’un test est influencée par le résultat de l’autre test (non indépendance de l’interprétation des deux tests)

Évaluations indépendantes, en « aveugle »

interprétation

48

Informations cliniques

Disponibilité et utilisation de l’information clinique pour interpréter le nouveau test et\ou le test de référence

Modifie le résultat du nouveau test (et du test de référence)… mais plus proche de la pratique Contre (évaluation des propriétés du test seul) Pour : « Accuracy of diagnostic test with and without

clinical information ». Loy CT et al, JAMA 2004

lecture

49

6) Analyse

50

Précision des indices informationnels

Toujours associer une estimation ponctuelle d’un intervalle de confiance Résultats précis : sens = 80% [78-82] Manque de précision : sens = 80% [61-99]



13

51

Résultats indéterminés

Parfois informatifs ! Nécessitent de répéter le test ou de faire

des investigations supplémentaires Ex : patients qui n’atteignent pas la FC

max lors d’une épreuve d’effort, gaz digestifs à la radio…

Fait partie des critères de qualité d’un test

analyse

52

Résultats indéterminés

Préciser leur fréquence Préciser la façon dont ils ont été analysés

(si classés + sens et spé, si classés – c’est l’inverse, exclusion des sujets) et\ou analyses de sensibilité (classés + puis -)

Pas de biais s’ils sont peu nombreux, aléatoires et que le test est répétable

analyse

53

Analyse par sous-groupes

Présenter les performances dans les sous-groupes appropriés (âge, sévérité…) àmoins que le spectre de la maladie soit réduit

Recommandé mais… Limites des analyses en sous-groupe Préférer la modélisation

analyse

54

Exempleanalyse

Courbes ROC de l’ACE dans le diagnostic de cancer colorectal



14

55

Évaluation d’une étude diagnostique

56

Évaluation d’une étude diagnostique

Grille STARD (http://www.stard-statement.org)Éléments devant figurer dans un article rapportant les résultats d’une étude diagnostique Exemple Item 4 : Décrire le recrutement des participants : le

recrutement était-il fondé sur des symptômes présentés, sur des résultats d'examens antérieurs ou sur le fait que les participants ont subi le nouvel test ou le test de référence ?

Grille QUADAS (http://www.biomedcentral.com/1471-2288/3/25)Évaluation de la qualité des études diagnostiques àinclure dans les revues systématiques

57

la collecte des données : le recueil des données a-t-il étéplanifié avant que le nouveau test et le test de référence aient été réalisés (étude prospective) ou après (étude rétrospective) ?

6

l’échantillonnage des participants : s’agissait-il d’une série consécutive de participants définis par des critères de sélection des items (3) et (4) ? Si non, spécifier la façon dont les patients ont été sélectionnés.

5

le recrutement des participants : était-il fondé sur des symptômes présentés, des résultats d’examens antérieurs ou sur le fait que le nouveau test ou le test de référence a étéréalisé chez les participants ?

4

la population étudiée : les critères d’inclusion et d’exclusion, la mise en oeuvre, les structures et les lieux où les données ont été collectées

3ParticipantsDécrireMETHODES

STARD

58

si les évaluateurs du nouveau test, respectivement du test de référence, ont réalisé en aveugle (masqués) la lecture de l’un, et de l’autre test ; et toute autre information clinique dont ils disposaient

11

le nombre, la formation et le degré d’expertise des personnes (a) réalisant et (b) interprétant le nouveau test et le test de référence

10

la définition et le rationnel pour les unités, les seuils et/ou les catégories utilisées pour exprimer les résultats du nouveau test et du test de référence

9

les spécifications techniques des matériaux et des méthodes utilisés, y compris comment et quand les mesures ont étéréalisées ou/et citer les références utilisées pour le nouveau test et pour le test de référence

8

le test de référence et son rationnel7Méthodes des tests

DécrireMETHODES

STARD


http://www.stard-statement.org)

http://www.biomedcentral.com/1471-


15

59

les estimations de la précision diagnostique et des mesures d’incertitude statistique (i.e. intervalles de confiance 95%)

21

tout événement indésirable résultant de la réalisation du nouveau test et du test de référence

20

un tableau croisé des résultats du nouveau test (incluant les données manquantes ou indéterminées) selon les résultats du test de référence ; pour les résultats de variables continues, décrire la distribution des résultats du nouveau test selon les résultats du test de référence

19

la distribution de la sévérité de la maladie (définir des critères) chez ceux qui présentent l’affection étudiée ; décrire les autres diagnostics pour les participants ne présentant pas l’affection étudiée

18

l’intervalle de temps entre la réalisation du nouveau test et du test de référence et tout traitement administrer dans l’intervalle

17Résultats des tests

NotifierRESULTATS

STARD

60

Discuter de l’applicabilité clinique des résultats de l’étude 25DISCUSSIONles estimations de la reproductibilité, le cas échéant24

les estimations de la variabilité de la précision diagnostique entre sous-groupes de participants, évaluateurs ou centres, le cas échéant

23

comment les résultats indéterminés, les réponses manquantes, et les “outliers” du nouveau test ont été pris en compte

22EstimationNotifierRESULTATS

STARD



Documents

Principes des études diagnostiques · Définition des critères de positivit ... Si le test de référence n’est pas le même en fonction du résultat du nouveau test vérification