Méthodologie d’évaluation des tests diagnostiques: comment

L Fournier, R Thiam, CA Cuénod

Service de radiologie, Hôpital Européen Georges Pompidou, Paris

Laboratoire de Recherche en Imagerie, PARCC UMR970

1

Méthodologie d’évaluation des tests diagnostiques: comment valider une nouvelle technique d’imagerie

2

Plan Phases de validation des tests diagnostiques

Phase pré-clinique (phase 0)

Phase 1: étude de cas-contrôle

Phase 2: détermination des performances

Phase 3: essais randomisés

Phase 4: impact sur l’ « outcome »

3

Validation technique

Validationclinique

Définitions Biomarqueur = indicateur mesurable de:

- processus biologique normal- processus pathologique- intervention pharmacologique

IRM dynamique de la microcirculation(vascularisation)

Exemple 1 Traitements anti-angiogéniques dans les cancers du

rein métastatiques

Etude clinique monocentrique: 51 patients sous sunitinib ou sorafenib vs interferon (traitement de référence) ou placebo

Question 1: Les paramètres initiaux permettent-ils de prédire la future réponse des patients?

Question 2: Les paramètres de perfusion peuvent ils détecter précocément la réponse au traitement?

6

Imagerie dynamique

Biodistribution d’un agent de contraste

Injection IV transport par la circulation dans les tissus (PERFUSION) diffusion à travers la barrière endothéliale dans l’espace interstitiel (PERMEABILITE)

8

Acquisition de perfusion

postcontrastprecontrast

90 s

9

Acquisition de perfusion

10

Prediction de la réponse future des paramètres initiaux

Variable*Répondeurs

N = 10StablesN = 20

Non répondeurs

N = 2P

Flux sanguin 245.3 119.5 190.5 0.04

Volume sanguin 15.5 8.2 9.6 0.02

Somme des plus grands diamètres

104 155 73 0.18

11

Effet du traitement anti-angiogénique après un cycle

Variable* Pré-traitement Cycle 1 P

Flux sanguin 162.5 76.7 0.0002

Volume sanguin 9.1 3.9 <0.0001

Somme des plus grands diamètres

157 142 n.s.

12

Corrélation à la survie?

Pourquoi? Car la plupart des techniques radiologiques ont été

implémentées sans aucune évidence de leur efficacité

Aide à la décision en fournissant des informations fiables: imager qui? comment? quand?

Aide à la gestion des ressources

IRM en neuroradiologie 156 études

1 grade A (essai randomisé), 28 grades B (patients non consécutifs ou sous-groupe) ou C (pas de test de référence pour tous), 113 grade D

3 étudiaient l’impact sur la thérapeutique

2 étudiaient l’impact sur la santé

Kent, Ann Intern Med 1994

Hollingworth, Radiology 2007

Evaluation du test Evaluation de son coût

The architecture of diagnostic research

Sackett & Haynes BMJ 2002

Etudes diagnostiques peuvent être classées en 4 phases (cliniques) et une phase pré-clinique, comme la thérapeutique

Phase pré-cliniqueQuelle type d’information fournit la

technique / le paramètre?

Etude fantômes

Reproductibilité

Répétabilité

Variabilité inter-machine

Variabilité inter-technique de traitement d’image

Phase pré-clinique Elaboration de la technique et de la méthode de

quantification

Contrôle qualité

Mon paramètre mesure-t-il bien un paramètre physiologique et non le bruit/artéfact?

Tests dans modèles biologiques contrôlés

Exemple: modélisation en imagerie de perfusion

(s)

Tissue qT = qpc + qi

(s)

Tissue qT = qpc + qi

Exemple: modélisation

Le Petit Prince, A St Exupéry

(s)

Tissue qT = qpc + qi

Interstitium

Plasma

Deux phénomènes

simultanés

Exemple: modélisation

<< (s)

Tissue qT = qpc + qi

Interstitium

Plasma

Int volume

permeability

Vasc volume

Exemple: modélisation

Contrôle qualité des résultats

information

do(t)

noise : b(t)

data

d(t)

Rejected

information

modelling

noise(reliability)

(robustness)

modelling

Information

rejected

noise (b-)e+

e-error: type 1

error: type 2

Temporal autocorrelation function

FRI CM*

theory

modelling

m(t)

r(t)

residual

practice

(parameters)

Balvay et al. MRM 2005

Results

Visualcontrols

Numericalcontrols

Contrôle qualité des résultats

Etude de phase ILes résultats du test sont-ils différents entre

les patients et les individus normaux

Etude cas-contrôle

Comparaison de valeur de marqueurs diagnostiques

Comparaison de signes radiologiques

Variabilité biologique?

Etude de phase I

Patients ayant une cirrhose documentée vs ceux avec IRM hépatique normale

Comparaison paramètres f, D*, D

Luciani, Radiology 2008

Etude de phase I

Différence entre patients normaux et malades

ADC et D* (« perfusion »)

Luciani, Radiology 2008

Etude de phase 1Premier test de pertinence d’un paramètre

Validation technique dans contexte clinique

Reproductibilité

Répétabilité

Variabilité inter-machine

Variabilité inter-technique de traitement d’image

…

(Variabilité biologique?)

18FLT-PET and ADC (1.5T and 3T)

Technical (and biological) validation

N De Souza, Institute of Cancer Research and Royal Marsden Hospital

Y Liu, EORTC

QuIC-ConCePT (Quantitative Imaging in Cancer: Connecting Cellular

Processes with Therapy) : an IMI funded project

Technical validation

Courtesy of N De SouzaPhantom

studies

Technical validation

Fat suppression

BW= 1776 Hz/px

BW=2442 Hz/px

Ghosting

ADC profile

Uniformity

Repeatability studies

Technical validation

Variability of ADC in abdomen Donati, Radiology 2009

Kim, Radiology 2010

Courtesy of N De Souza

Test-retest & repeatability studies: after

standardisation/optimisation

Technical validation

Variability of ADC in lung (1.5T)

Variability of ADC in ovarian cancer

Etude de phase 2Les patients chez qui le test est positif ont-

ils plus de chance d’avoir la maladie?

Etude cas-contrôle

Sélection d’un seuil (cut-off)

Evaluation d’exactitude (accuracy): Se, Sp

Souvent monocentrique, peu de patients

“Proof of concept”

Etude de phase II Performances de l’IRM de diffusion pour le

diagnostic de fibrose chez des patients ayant une hépatite chronique C (VHC) hospitalisés pour biopsie hépatique

54 patients + 20 volontaires sains

Score de fibrose (METAVIR) F0-F4

b = 500 3 ROI x 4 coupes foie droit

M Lewin, Hepatology 2007

Etude de phase IICut-off d’ ADC de 1,21 pour les scores F3-4:

Se = 87% Sp = 87% VPP = 72% VPN = 94%

Surveillance Interferon

M Lewin, Hepatology 2007

Etude de phase 3Etude diagnostique en aveugle avec

comparaison au test de référenceEtude prospective de cohortePatients chez qui il est raisonnable

cliniquement de suspecter la maladie (population cohérente avec la pratique clinique)

Evaluation de performance (Se, Sp)

Etude de phase 3: conditions de validité Comparaison indépendante et la plus aveugle

possible à une méthode de référence

Test de référence appliquée à TOUS les patients indépendamment du résultats du test évalué

Echantillonnage de patients approprié (identiques à ceux chez qui le test sera utilisé dans la pratique)

37

Etude de phase 3: conditions de validité Analyse de la reproductibilité intra- et inter-

observateur

Validation du résultat dans un autre échantillon (en particulier pour établissement d’un « cut-off »)

Calcul préalable de la taille de l’échantillon

38

Importance de la population cible

Bossuyt, BMJ 2006

Importance de la population cible

Patients suspects d’appendicite

Signe clinique de douleur en FID

Prévalence appendicite Urgences: 14%, Hospi Chirurgie: 63%

Incidence symptôme Urgences: 21%, Hospi Chirurgie: 82%

Spécificité symptôme Urgences: 89%, Hospi Chirurgie: 16%

Urgences: LR+ 8, Hospi Chirurgie: LR+ 1

Sackett, BMJ 2002

Etude de phase 4

Les patients qui ont eu ce nouveau test ont-ils un meilleur « outcome »?

Essai randomisé nouveau test / test de référence

Evident quand il s’agit de diagnostiquer une maladie entraînant un risque vital immédiat

Etudes lourdes…

Contre-exempleSpectro-IRM

(composition moléculaire)

Spectro-IRM

IRM classique: faire résonner les protons de l’eau

Spectro-IRM: faire résonner les protons de toutes les molécules composant un tissu

Information sur la composition et les quantités des molécules d’un tissu

Spectro-IRM

1H, 13C, 14N, 19F, 23Na, 31P

Noyau résonne en fonction de son environnement moléculaire

-C=O-CH2

Fréquence de

résonance de 1HDéplacement

chimique

ppm

Concentration

12

Spectroscopie IRM

Cancer du col

22 patientes

IRM: mesure de volume et spectro-IRM

Avant et après chimiothérapie neoadjuvante puis hysterectomie totaleGroupe traité vs. groupe contrôle

Comparé à la survie à 3 ans

de Souza NM, Br J Cancer 2004;90:2326 – 2331

Spectro-IRM

de Souza NM, Br J Cancer 2004;90:2326 – 2331

Comment procéder? Recherche pré-clinique:

Élaborer de nouvelles techniques

Améliorer la qualité des paramètres extraits: Variabilité? Répétabilité?Reproductibilité?

Facilité?

Essais cliniques

Tester le processus biologique

Tester l’effet clinique

Tester le bénéfice (qualité de vie, survie, coût)

PACS mutualisés, Bases de données partagées,

Recherche et implications éthiques

L Fournier, JF Chateil

Groupe de travail « Base de données » CERF-SFR

Implications éthiques à multiples niveaux

1. Règles éthiques générales d’utilisation des données pour la recherche et de partage des données

2. Enjeux spécifiques à l’imageriea. L’image est un vecteur de reconnaissance d’un patient

b. Gestion des découvertes fortuites

3. Utilisation et partage de la base de données a. Information des cliniciens et radiologues

b. Open data

Règles éthiques d’utilisation des données pour la recherche

Textes européens

Règles générales

• Trois types d’autorisation sont nécessaires pour réaliser une recherche :

• Autorisation éthique de réaliser la recherche CPP

• Droit de collecter les données CNIL (méthodologies de référence)

• Autorisation règlementaire ANSM

+ Information/consentement du patient

Loi Jardé et révision de la Loi Informatique et Libertés

• Décrets d’application parus novembre 2016

DISTINGUANT

• Les « recherches portant sur la personne humaine »

• avis CPP

• promoteur obligatoire

• Les recherches portant sur les données de santé à caractère personnel

• avis CEREES (ex CCTIRS)

• Les recherches portant sur les échantillons biologiques

• loi bioéthique (révisée et simplifiée)

Loi Jardé : recherches sur la personne

Recherche non interventionnelle (observationnelle)

Risque minimeRecherche

interventionnelle

Les recherches dans lesquelles tous les actes sont pratiqués et les produits utilisés de manière habituelle, sans aucune procédure supplémentaire ou inhabituelle de diagnostic ou de surveillance

Les recherches interventionnelles ne comportant que des risques et des contraintes négligeableset ne portant pas sur des médicaments Liste publiée par arrêté (imagerie non mentionnée)

Les recherches organisées et pratiquées sur l'être humain en vue du développement des connaissancesbiologiques et médicales

Prospectif UNIQUEMENT

Loi Jardé : recherches sur la personne

Recherche non

interventionnelle

Recherche

interventionnelle à

risque minime

Recherche

interventionnelle

Note d’information

individuelle

Droit d’opposition

Note d’information et

consentement exprès écrit ou

oral mais documenté (dossier

médical)

Note d’information et

consentement libre, éclairé,

écrit

• CPP

• CNIL MR003

• Notification à l’ANSM

(résumé + avis CPP)

• CPP

• CNIL MR001

• ANSM

• CPP

• CNIL MR001

• ANSM

Information et consentement

Note d’information

• Seule si recherche non interventionnelle

• Identité investigateur / promoteur

• Mention avis CEREES

• Objectif de l’étude

• Type de données recueillies

• Mentionner que cela ne demande aucune intervention de leur part

Droit d’opposition

Information et consentement

Consentement écrit

• Identité investigateur / promoteur

• Mention avis CNIL et CPP n°…

• Personne contact

• Objectif de l’étude

• Eléments spécifiques à l’étude

• Risques

• Droit de refus

• Date et signatures investigateur et patient

Information et consentement

Introduction de la possibilité de consentement global

Article L1122-1-2 : « Le promoteur peut demander à la personne se prêtant à une recherche au moment où celle-ci donne son consentement éclairé …

d'accepter que ses données soient utilisées lors de recherches ultérieures exclusivement à des fins scientifiques. La personne peut retirer son consentement à cette utilisation ultérieure ou exercer sa faculté d'opposition à tout moment. »

Procédure de soumission au CPP : tirage au sort

• Applicable à toutes les recherches Jardé

• Organisé par le secrétariat de la Commission Nationale de la DGS

• Soumission à la Commission Nationale des Recherches Impliquant la Personne Humaine (CNRIPH)

• Attribue un CPP pour chaque projet

• Sans remise; « réservation » impossible

• Pas de tirage au sort « intelligent »; appliqué indifféremment aux 3 catégories

• Phase transitoire: le fichier VRB de la DGS

• Après obtention d’un n° par l’ANSM

• Voie « allégée » (et non accélérée) pour les risques minimes et non interventionnelles

Méthodologies de référence

• Accord CPP dispense de démarche CNIL

• Le responsable de la recherche (promoteur) s’engage à respecter la règlementation sur le consentement / information, utilisation des données…

MR001:

- recherches interventionnelles ou

biomédicales, comprenant également les

recherches à risques et contraintes

minimes ;

- essais cliniques de médicaments ;

- recherches nécessitant la réalisation

d’un examen des caractéristiques

génétiques

MR003:

- essais cliniques par grappes ;

- recherches visant à évaluer les soins

courants ;

- recherches non interventionnelles

Quid de la recherche sur données?

> La loi française CNIL

> Obligation d’informer les personnes que leur données sont utilisées avec la finalité courrier individuel

> Dérogation à l’information donnée par la CNIL sous réserve d’un avis de comité

> Les revues anglosaxonnes IRB

Procédure de soumission au CEREES

• Demandes adressées à l’Institut national des données de santé (INDS)

• accompagne les demandeurs depuis le dépôt de leur dossier jusqu’à l’accès effectif aux données

• Dossiers soumis pour avis au Comité d’expertise pour les recherches, les études et les évaluations dans le domaine de la santé (CEREES)

• résumé de l'étude, recherche ou évaluation

• protocole scientifique

• déclaration(s) d’intérêt du(es) responsable(s) de traitement et/ou du responsable de la recherche

• demande d’autorisation CNIL pré-remplie +/- « Annexe CNIL hors UE »

• lettre / notice d’information aux personnes concernées, de non opposition et/ou de consentement

• liste des financeurs de l’étude, le cas échéant

• avis émis par le comité scientifique et/ ou éthique qui a / ont évalué le

CNIL: obligations

CNIL

CNIL

Enumérer- les données qui doivent êtrerecueillies- la durée de conservation

Assurer la sécurité des données

CNIL

Assurer l’information des patients:- Fiche d’information- Contacter par courrier

CNIL

Bases de données ? Deux cas distincts

• Produit d’une recherche impliquant la personne humaine

= démarche CPP, etc…

• Constitution prospective ou analyse rétrospective d’une base sans intervention sur personne humaine (sans « interaction » avec le patient)

= démarche CEREES (recherche sur données de santé à caractère personnel)

• Analyses rétrospectives

• Réutilisation des données

• Cohortes prospectives longitudinales,transversales, cas/témoin…

… cela concerne aussi bien une étude

rétrospective portant sur la réutilisation de

données qu’une étude "prospective" qui

recueillerait "au fil de l'eau" des données de

santé qui seraient de toute façon recueillies

indépendamment de l'étude, donc pour laquelle

la personne humaine n'est pas impliquée par le

recueil spécifique de données pour la finalité

de l'étude, et qui serait de ce fait assimilable à

une étude rétrospective (car il suffirait

d'attendre pour collecter les données pour

qu'elle le soit).

Enjeux spécifiques à l’imagerie

Anonymisation : Position ordinale

Anonymisation ?

Le visage peut être

reconstruit et

reconnaissable à

partir de toute

acquisition 3D

« de-facing »

AJR 2014; 202:1267–1271

Anonymisation vs Pseudonymisation ?Cryptage ?

• Anonymisation :• processus qui transforme les données personnelles de telle sorte

que ces dernières ne puissent pas être ré-identifiées après traitement. Ce procédé doit être irréversible, on ne doit pas pouvoir désanonymiser des informations

• Pseudonymisation :• Séparer les données identifiant directement les personnes des

autres données non pertinentes. Le mécanisme de pseudonymisation génère une clé d’identification qui permet d’établir le lien entre les différentes informations des personnes.

• Cryptage et tatouage : • Possibilité de donner une clé de lecture en fonction des

habilitations

• Tatouage pour authentification des données produites

Anonymisation ?=> Pseudonymisation !!

Une image est aussi unique à un patient que son visage, surtout si on

y ajoute son histoire clinique, dates, sexe… pseudonymisation

Gestion desdécouvertes fortuites

• Les images acquises dans le contexte de la recherche peuvent mener à des découvertes fortuites nécessitant un retour vers le patient (cf cas de figure en génétique)

• Questions brûlantes :

• Qui lit les images de recherche ? (Pas toujours un radiologue)

• Comment retourner vers le patient ? (Procédure d’anonymisation ou pseudonymisation réversible)

• Quelles sont les découvertes nécessitant une information du patient ?

Nécessité de mise en place de procédures pour gérer ces évènements

Gestion desdécouvertes fortuites

• Fréquence : => 2% de lésions nécessitant une prise en charge

• Fréquence ➚ avec âge ➚

• (nota bene : fréquence non connue dans les revues de données rétrospectives = diagnostics manqués !! )

Règles éthiques en génétique

Utilisation et partage de la base de données

Ethique entre confrères

• Les bases de données « images » sont accompagnées de métadonnées :

• Comment et quand informer les cliniciens qui ont participé au recueil de ces données ?

• Lors d’une analyse rétrospective :• Comment et quand informer les collègues radiologues qui

ont participé à la constitution de la base ?

• Faut-il encrypter les données images pour en limiter l’accès ?

Quid du code de déontologie ?

Open data

• Toutes les données des recherches financées par des fonds publics doivent être mises à disposition de la communauté médicale

• Après publication

• En définissant les règles et niveaux d’accessibilité

• En respectant les risques liés à la vie privée, les droits de propriétés intellectuelles…

• Tout projet de recherche doit avoir un DMP : Data Management Plan

Conclusion

• Base de données : enjeu stratégique car données = connaissance, ressources, valeur…

• Incitation à regrouper les données dans une perspective de recherche et les partager pour augmenter les nombres

• Obligation de partage (open data)

• Comment les partager et avec qui ?

• En respectant les considérations éthiques

• Information du patient, collègues…

• Nouvelles lois, plus simples (?) mais à apprendre

• Loi Jardé : portant sur la personne humaine

• LIL : portant sur les données de santé

• Règlement européen (2018) : consentement explicite de la personne

• Mettre en place de nouvelles procédures +++