Ermittlung der a-priori-Verteilung in klinischen Studien
Dirk HasencleverIMISE, Leipzig
Bayes-Workshop: MCMC Methoden in Theorie und Praxis
Leipzig, 06.12.2002
06.12.2002 Dirk Hasenclever, IMISE, Leipzig 2
MCMC: Interessenten-Gruppen
• Mathematik der MCMC-Methoden• Interesse komplexe Modellen zu rechnen
(Bayes-Formulierung wird z.T. in Kauf genommen)
• Bayessche Methoden zu Planungszwecken• Likelihoodratios und ihre Bayesianische
Interpretation als grundlegendes Paradigma zur Bewertung statistischer Evidenz.
06.12.2002 Dirk Hasenclever, IMISE, Leipzig 3
Studienprior wozu?
• Good Conceptual Practice in der Studienplanung– Präzisierung der Fragestellung /
Evidenzsynthese– Erwartbarer Unterschied / Fallzahlkalkulation– Ethische Vertretbarkeit der Studie
• Studien-Monitoring und Unterstützung von Abbruchentscheidungen
• Bayesianische Interpretation der Ergebnisse
06.12.2002 Dirk Hasenclever, IMISE, Leipzig 4
Typen von Studienprior
• Argumentationslogische Prior– Randomisierte Studie als wissenschaftliches
Argument• Studiengruppen-Prior
– Interne Überzeugungskraft der Studie• Evidenzsynthese-Prior
– Versuch der Zusammenfassung vorliegender Evidenz in einem Prior (Planungsgrundlage)
06.12.2002 Dirk Hasenclever, IMISE, Leipzig 5
Argumentationslogischer Bayes
• Stilisiere das Spektrum möglicher Prior durch seine Ränder:– Skeptischer, aber erfahrungsoffener Prior:
„Unwahrscheinlich, dass es einen relevanten Unterschied gibt, aber Studie ist sinnvoll“
– Moderat enthusiastischer Prior: „Gute Chance für einen relevanten Unterschied;
trotzdem ist die Studie ethisch noch vertretbar, um legitime Skeptiker zu überzeugen“
06.12.2002 Dirk Hasenclever, IMISE, Leipzig 6
Skeptischer / Enthusiastischer Prior
06.12.2002 Dirk Hasenclever, IMISE, Leipzig 7
Argumentationslogischer Bayes II
• Definitive Studie sollte idealiter solange laufen, bis – Der Skeptiker von einem relevanten
Unterschied überzeugt ist: pr(relevant | Daten, Skepsis) > (1-y)
oder– Der Enthusiast enttäuscht ist
pr(relevant | Daten, Enthusiast) < y • Dies liefert rationale Abruchstrategie.
06.12.2002 Dirk Hasenclever, IMISE, Leipzig 8
Bsp.: CHART-trialParmer, Griffiths, Spiegelhalter, Souhami, Altman, van
der Scheuren (2001) Lancet 358: 375-81
06.12.2002 Dirk Hasenclever, IMISE, Leipzig 9
Fragebogen auf StudientreffenVon Ihnen erwarteter Unterschied in den 3-Jahres FFTF-Ratenbei Hinzunahme von NEUESPRÄPARAT®:.
ACHTUNG: Vorzeichen positiv: NEUESPRÄPARAT® besser, Vorzeichen negativ: NEUESPRÄPARAT® schlechter
a) erwartete Differenz: ______% Differenz in 3 J. FFTFb) Obere Überraschungsgrenze: ______% Differenz in 3 J. FFTFc) Untere Überraschungsgrenze: ______% Differenz in 3 J. FFTF
( [Untere Überraschungsgrenze , Obere Überraschungsgrenze]entspricht 95% credible interval. )
06.12.2002 Dirk Hasenclever, IMISE, Leipzig 10
Study group prior on Rituximab effect
Frankfurt/M, February, 5th 2001
difference in 3 year FFTF rates
,25,20,15,10,050,00-,05-,10-,15-,20
clin
icia
ns' m
ixtu
re p
rior d
ensi
ty
12
11
10
9
8
7
6
5
4
3
2
10
95% credible interval[-0.7%, 21,5%]
Median estimate
9,9%
Pr( delta < 0%) = 3,2% Pr( delta > 10% ) = 49%
Prior der Studiengruppe zum Effekt von NEUESPRÄPARAT®
!Evidenz kommt nur aus Daten..!
06.12.2002 Dirk Hasenclever, IMISE, Leipzig 11
Fallstudie: Evidenzsynthese-Prior
• Problemkontext:– Kurative Therapie aus mehreren
Therapieblöcken– Zwischen den Blöcken Diagnostik
• Ziel: Response adapted therapy (RAT)– Stopp in bereits geheilten Patienten– Ggfl. intensivere Therapie in noch nicht
geheilten Patienten
06.12.2002 Dirk Hasenclever, IMISE, Leipzig 12
Kinder Hodgkin-Lymphom frühe Stadien (GPOH)
RT
CH
EMO
+-
CH
EMO
PET
?Stopp
Gesamtergebnisse mit RT für alle ca. 95% Heilung
Response adapted therapy (RAT) ?
06.12.2002 Dirk Hasenclever, IMISE, Leipzig 13
Evidenzsynthese
• Sammle Evidenz für vier relevante Größen:– Sensitivität– Spezifität– Rate Test(–) in gegebener Situation– Gesamterfolgsrate mit voller Therapie für alle
• Grundgleichungen für diagnostische Tests• Synthetisiere Prior für Studienergebnis
06.12.2002 Dirk Hasenclever, IMISE, Leipzig 14
Diagnostische GrundgleichungenBayes-Theorem
= negative_predictive_value ( ) − 1 prevalence specificity + ( ) − 1 prevalence specificity prevalence ( ) − 1 sensitivity
= positive_predictive_value prevalence sensitivity + prevalence sensitivity ( ) − 1 prevalence ( ) − 1 specificity
06.12.2002 Dirk Hasenclever, IMISE, Leipzig 15
Eliminiere Prävalenz durch T(+)
Die wahre Prävalenz ist eine unbeobachtbare Größe.-> Drücke Prävalenz durch die beobachtbareRate Test(+) aus:
= prevalence + − test_positive specificity 1 + − specificity sensitivity 1
[ T(+) = richtig positiv + falsch negativ ]
06.12.2002 Dirk Hasenclever, IMISE, Leipzig 16
1-specificity
sensitivity
06.12.2002 Dirk Hasenclever, IMISE, Leipzig 17
Erfolgsraten mit verkürzter Therapie
= negative_predictive_value ( ) + − test_negative sensitivity 1 specificitytest_negative ( ) + − specificity sensitivity 1
NPV ist die Erfolgsrate bei Abbruch der Therapie in Test(-)
PPV ist die Erfolgsrate bei Abbruch der Therapie in Test(+)
= positive_predictive_value ( ) + − test_positive specificity 1 sensitivitytest_positive ( ) + − specificity sensitivity 1
06.12.2002 Dirk Hasenclever, IMISE, Leipzig 18
Erfolgsrate mit voller Therapie in Test(+)
•Geheilte Patienten bleiben geheilt. •Bestimme Erfolgsrate in Test(+) so, dass Gesamterfolgsrate mit voller Therapie erreicht wird.
= success_with_full_treatment_in_true_positive + − true_positive success_rate_overall 1true_positive
•Elimination der Prävalenz:
(Versager werden mit Sensitivität in der Zwischendiagnostik positiv sein.)
= success_full_treatment_in_test_positive − 1 ( )− + success_rate_overall 1 sensitivitytest_positive
06.12.2002 Dirk Hasenclever, IMISE, Leipzig 19
Response adaptation with CT GPOH HD-95
TG 2 + 3TG 2 + 3mit / ohne RT (ohne Ereignisse unter Therapie)
keine CR ⇒ RTn=477 31 Ereign.0.92 SD=0.02CR ⇒ keine RTn=109 17 Ereign.0.82 SD=0.04
CT+ mit RT
CT- ohne RT
Wahrscheinlichkeit des krankheitsfreien Überlebens mit und ohne Radiotherapie in den Therapiegruppen 2 und 3 Ausgewertet wurden 586/1018 Patienten, die zwischen 8/95 - 7/01 in die Studie aufgenommen wurden (Stand: 15.05.02)
06.12.2002 Dirk Hasenclever, IMISE, Leipzig 20
Interpretation of HD-95Response adaption with CT
low test-negative rate= 20% -> bad NPV Assume STNF=0.97: Data with CT suggests
sensitivity=~0.91 specificity~0.28
Red: CT-neg. no RT
Green: CT-ps. with RT
06.12.2002 Dirk Hasenclever, IMISE, Leipzig 21
[sensitivity ,specificity] = [0.95,9,95] black, [0.90,9,90] green, [0.8,0.8] blue, [0.7,0.7] red
06.12.2002 Dirk Hasenclever, IMISE, Leipzig 22
PET-Studien bei LymphomenN Sens Spez FP TP FN TN
Dittmann 2001 26 ,88 ,94 1 7 1,0 17Weihrauch 2001 29 ,67 ,80 4 6 3,0 16Spaepen 2001 60 ,50 1,00 0 5 5,0 50De Wit 2001 48 ,91 ,68 12 10 1,0 25Cremerius 2001 41 ,84 ,86 3 16 3,0 19Jerusalem 1999 54 ,43 1,00 0 6 8,0 40Mikhaeel 2000 32 ,80 ,95 1 8 2,0 21Wickmann HD-95 48 ,88 ,68 10 15 2,0 21Kostakoglu 2002 23 ,45 ,92 1 5 6,0 11Naumann 2001 40 1,00 ,92 3 1 ,0 36Stumpe 1998 43 ,85 ,96 1 17 3,0 22TOTAL 440 ,739 , 885 36 96 34,0 278
06.12.2002 Dirk Hasenclever, IMISE, Leipzig 23
Diagnostic studies
SENSITIVITY
1,11,0,9,8,7,6,5,4,3,2,10,0
SPEC
IFIC
ITY
1,1
1,0
,9
,8
,7
,6
,5
,4
,3
,2
,1
0,0
Simply pooling data
Sensitivity = 73.9% [66,82]%
Specificity = 88.5% [85,92]%
06.12.2002 Dirk Hasenclever, IMISE, Leipzig 24
Pooled Estimates from “meta”-analysis
06.12.2002 Dirk Hasenclever, IMISE, Leipzig 25
Bestimmung eines „Evidenz“-Priors für die Sensitivität
model{ # Estimate Sensitivity
for (i in 1:10) {s[i]~dbin(p[i],n[i]) # raw data binomialp[i]~dbeta(a,b) # study specific sensitivities drawn
# from beta hyper distribution# to model heterogeneity
}a~dgamma(1.0E-3,1.0E-3) # vague priorsb~dgamma(1.0E-3,1.0E-3)# mean and heterogeneity from mixing distributionmy<- a/(a+b)hetero<-sqrt(a*b/(a+b)/(a+b)/(a+b+1))}
06.12.2002 Dirk Hasenclever, IMISE, Leipzig 26
Bestimmung eines „Evidenz“-Priors für die Sensitivität II
Nodestatisticsnode mean sd MC error 2.5% median 97.5% start samplea 27.25 51.93 2.432 1.681 9.521 183.6 10001 100000b 10.64 21.12 1.016 0.7205 3.756 68.08 10001 100000deviance 34.42 4.932 0.1364 26.56 33.82 44.55 10001 100000my 0.7118 0.06088 4.837E-4 0.5809 0.7153 0.8209 10001 100000hetero 0.1214 0.05839 0.001862 0.02753 0.1173 0.247 10001 100000
my sample: 100000
0.2 0.4 0.6 0.8
0.0 2.0 4.0 6.0 8.0 ≅ beta ( 40, 16 )
Idee: effektive Fallzahl
06.12.2002 Dirk Hasenclever, IMISE, Leipzig 27
Potentielle Prior (Sensitivität)
Pooled data
Pooled dataNeff=N/2
Prior for mean
Heterogeneity
06.12.2002 Dirk Hasenclever, IMISE, Leipzig 28
Spezifität
my sample: 100000
0.4 0.6 0.8
0.0 2.5 5.0 7.5 10.0 ≅ beta ( 40, 6 )
06.12.2002 Dirk Hasenclever, IMISE, Leipzig 29
Prior für Rate Test-negativspärliche Pilotdaten
TNEG
,975
,925
,875
,825
,775
,725
,675
,625
,575
,525
,475
,425
,375
,325
,275
Prior test-negative rate = BETA(8,2),10
,08
,06
,04
,02
0,00
Std.abw . = 16,35 Mittel = ,801
N = 1,00
Problem: Randbedingung:NPV in [ 0, 1 ]
Lösung:Simuliere und filtriere!
06.12.2002 Dirk Hasenclever, IMISE, Leipzig 30
NPV
1,00
,95,90,85,80,75,70,65,60,55,50,45,40,35,30,25,20,15,10,050,00
Evidenzsynthese-Prior
für Therapieergebnis mit Stopp bei PET-,3
,2
,1
0,0
Pr( Erfolg ≥ 90%) = 65%Pr( Erfolg < 80%) = 14%
-> Studie sinnvoll und vertretbar!
06.12.2002 Dirk Hasenclever, IMISE, Leipzig 31
Good conceptual practice
• Bei randomisierten Studien sollte standardmäßig – ein Studiengruppen-Prior und– ein Evidenzprior (sofern möglich)dokumentiert werden (auch falls frequentistisch formuliert..).
• Nutzen:– Transparente Dokumentation der
Relevanz und Vertretbarkeit der Studie– Grundlage zur Studienplanung– Unterstützung bei Abbruchentscheidungen– Ggfls. Motivation der Wahl argumentationslogischer Prior