Help! Statistiek!
Doel: Informeren over statistiek in klinisch onderzoek.
Tijd: Derde woensdag in de maand, 12-13 uur
21 mei multiple testing18 juni statistische aspecten van de probiotica studie17 sept …
Sprekers: Vaclav Fidler, Hans Burgerhof, Wendy Post
DG Epidemiologie
www.EpidemiologyGroningen.nl
Doorlopende serie laagdrempelige lezingen, voor iedereen vrij toegankelijk.
Multiple testing
• Wat is het (klassieke) probleem?
• “klassieke” oplossingen
• Recenter probleem
• Nieuwe oplossingen
Fouten van eerste en tweede soortbij het uitvoeren van een statistische toets
Beslissing
H0 waar H0 niet waar
Werkelijkheid H0 waar OK Fout van de eerste soort, kans hierop: α
H0 niet waar Fout van de tweede soort, kans hierop: β
OK
Hebben mannen en vrouwen gemiddeld dezelfde bloeddruk (BD)?H0: gemiddelde BD mannen = gemiddelde BD vrouwen
Het klassieke probleem van de multiple testing
• Bij een statistische toets hanteren we significantieniveau α (in de regel 0,05). Dat wil zeggen dat we een kans ter grootte van α accepteren om ten onrechte de nulhypothese te verwerpen
• Dit wordt ook wel de Comparison-wise error rate (CWER) genoemd
• Wat betekent het uitvoeren van meerdere onafhankelijke toetsen voor de totale kans om minstens één nulhypothese ten onrechte te verwerpen (als alle nulhypothesen waar zijn)?
“Overall alpha”Family-wise error rate (FWER)Kanskapitalisatie!
FWER en CWER
Als we n onafhankelijke toetsen uitvoeren, elk met een CWER = 0,05, geldt
nFWER )95,0(1
Aantal toetsen overall alphan FWER
3 0,14310 0,401100 0,994
Klassieke oplossingen
In een ANOVA worden k groepen met elkaar vergeleken met betrekking tot een normaal verdeelde responsievariabele Y.
end verschillzijn ngemiddelde tweeminstens :
... :
1
210
H
H k
Als de ANOVA significant is, willen we weten welke groepenverschillen. Als we alle paarsgewijze vergelijkingen willen
doen, moeten we toetsen uitvoeren.2
)1(*
2
kkkn
Bijvoorbeeld: 4 groepen 4*3/2 = 6 toetsen
Post-hoc toetsen• Zorg dat je de FWER (overall-alpha) beheerst na een ANOVA• Er zijn vele Post-hoc toetsen, optimaal onder verschillende
omstandigheden, o.a.- LSD: paarsgewijze t-toetsen met
SD op basis van alle groepen- Bonferroni: als LSD met aangepaste α per toets
CWER = α / (aantal uitgevoerde toetsen) (in SPSS aangepaste P-waarde)
- Bonferroni-Holm: step-down procedure op geordende P-waarden (verschillende α per toets)
- Tukey: gebaseerd op kritieke waarden uit de “studentized range statistic”
- Scheffé: voor lineaire combinaties van gemiddelden
Post-hoc toetsen in SPSS
Multiple Comparisons
Dependent Variable: syst.bloeddr.93
-1,868 4,923 ,704 -11,53 7,79-5,352 4,886 ,273 -14,94 4,23
-11,311* 5,160 ,029 -21,43 -1,191,868 4,923 ,704 -7,79 11,53
-3,484* 1,419 ,014 -6,27 -,70-9,443* 2,185 ,000 -13,73 -5,165,352 4,886 ,273 -4,23 14,943,484* 1,419 ,014 ,70 6,27
-5,959* 2,099 ,005 -10,08 -1,8411,311* 5,160 ,029 1,19 21,439,443* 2,185 ,000 5,16 13,735,959* 2,099 ,005 1,84 10,08
-1,868 4,923 1,000 -14,88 11,14-5,352 4,886 1,000 -18,26 7,56
-11,311 5,160 ,171 -24,95 2,321,868 4,923 1,000 -11,14 14,88
-3,484 1,419 ,085 -7,23 ,27-9,443* 2,185 ,000 -15,22 -3,675,352 4,886 1,000 -7,56 18,263,484 1,419 ,085 -,27 7,23
-5,959* 2,099 ,028 -11,50 -,4111,311 5,160 ,171 -2,32 24,959,443* 2,185 ,000 3,67 15,225,959* 2,099 ,028 ,41 11,50
(J) bmiklassebmi 20 - <25bmi 25 - <30bmi >= 30bmi < 20bmi 25 - <30bmi >= 30bmi < 20bmi 20 - <25bmi >= 30bmi < 20bmi 20 - <25bmi 25 - <30bmi 20 - <25bmi 25 - <30bmi >= 30bmi < 20bmi 25 - <30bmi >= 30bmi < 20bmi 20 - <25bmi >= 30bmi < 20bmi 20 - <25bmi 25 - <30
(I) bmiklassebmi < 20
bmi 20 - <25
bmi 25 - <30
bmi >= 30
bmi < 20
bmi 20 - <25
bmi 25 - <30
bmi >= 30
LSD
Bonferroni
MeanDifference
(I-J) Std. Error Sig. Lower Bound Upper Bound95% Confidence Interval
The mean difference is significant at the .05 level.*.
Multiple Comparisons
Dependent Variable: syst.bloeddr.93
-1,868 4,923 ,981 -14,53 10,80-5,352 4,886 ,692 -17,92 7,22
-11,311 5,160 ,126 -24,59 1,961,868 4,923 ,981 -10,80 14,53
-3,484 1,419 ,068 -7,14 ,17-9,443* 2,185 ,000 -15,06 -3,825,352 4,886 ,692 -7,22 17,923,484 1,419 ,068 -,17 7,14
-5,959* 2,099 ,024 -11,36 -,5611,311 5,160 ,126 -1,96 24,599,443* 2,185 ,000 3,82 15,065,959* 2,099 ,024 ,56 11,36
-1,868 4,923 1,000 -14,88 11,14-5,352 4,886 1,000 -18,26 7,56
-11,311 5,160 ,171 -24,95 2,321,868 4,923 1,000 -11,14 14,88
-3,484 1,419 ,085 -7,23 ,27-9,443* 2,185 ,000 -15,22 -3,675,352 4,886 1,000 -7,56 18,263,484 1,419 ,085 -,27 7,23
-5,959* 2,099 ,028 -11,50 -,4111,311 5,160 ,171 -2,32 24,959,443* 2,185 ,000 3,67 15,225,959* 2,099 ,028 ,41 11,50
(J) bmiklassebmi 20 - <25bmi 25 - <30bmi >= 30bmi < 20bmi 25 - <30bmi >= 30bmi < 20bmi 20 - <25bmi >= 30bmi < 20bmi 20 - <25bmi 25 - <30bmi 20 - <25bmi 25 - <30bmi >= 30bmi < 20bmi 25 - <30bmi >= 30bmi < 20bmi 20 - <25bmi >= 30bmi < 20bmi 20 - <25bmi 25 - <30
(I) bmiklassebmi < 20
bmi 20 - <25
bmi 25 - <30
bmi >= 30
bmi < 20
bmi 20 - <25
bmi 25 - <30
bmi >= 30
Tukey HSD
Bonferroni
MeanDifference
(I-J) Std. Error Sig. Lower Bound Upper Bound95% Confidence Interval
The mean difference is significant at the .05 level.*.
Multiple testing is niet alleen een ANOVA probleem
• Bij meervoudige lineaire regressie speelt eveneens het probleem van kanskapitalisatie
• Vergelijk ANOVA met lineaire regressie met een nominale verklarende variabele
• Toetsen van diverse lineaire modellen geeft ook kanskapitalisatie
1122110 * ... ** kk dummydummydummyY
Parametervrije toetsen
• Wat te doen na een significante Kruskal-Wallis?– Paarsgewijze Mann-Whitney toetsen met Bonferroni
gecorrigeerde P-waarden?– Conover (Practical nonparametric statistics, 1999):
21
21
2)
11()
1(|| 2
1jij
j
i
i
nnkN
TNSt
n
R
n
R
Recenter probleem:Micro-array analyse
• Bij toetsen op duizenden genen is de klassieke manier (beheersen van FWER) te conservatief
• Voorselectie van interessante genen: een vals positief resultaat is niet zo’n ramp terwijl een vals negatief resultaat als meer vervelend wordt ervaren– Hedenfalk e.a. (2001); 3226 genen bij vrouwen met
borstkanker (BRCA1-gen versus BRCA2-gen)
• We zoeken een ander criterium: de FDR (false discovery rate)
Sequentiële FDR(Benjamini en Hochberg, 1995)
• FDR = de verwachte proportie van de verworpen nulhypotheses die ten onrechte verworpen is
niet significant totaalsignificant
Ware nulhypothesen U V m0
Niet ware nulhypothesen T S m1
m – R R m
FDR = E(V/R)
Alleen Rwordt waargenomen!
Alleen mbekend
De FDR
niet significant totaalsignificant
Ware nulhypothesen U V m0Niet ware nulhypothesen T S m1
m – R R m
Benjamini en Hochberg (1995):
als alle nulhypothesen waar zijn, dus T = S = m1 = 0, heeft het
controleren van de FDR tot gevolg dat de FWER gecontroleerd wordt
(dus de overall-alpha blijft binnen de gedefinieerde grens)
Over de FDR
• Als er in werkelijkheid wel nulhypothesen onwaar zijn, is FDR kleiner of gelijk aan FWER. Controle van FDR betekent niet langer controle van FWER, maar geeft meer power.
• Hoe meer nulhypotheses onwaar zijn, hoe groter de winst in power
Multiple testing volgens Benjamini en Hochberg:
Sequentiële FDR procedure
• m nulhypothesen: H1, H2, … , Hm
• m P-waarden: P1, P2, … , Pm
• Geordend: P(1) ≤ P(2) ≤ … ≤ P(m)
• Zoek de grootste i waarvoor geldt
q = gekozen niveau van controle (bv 0,05)• En verwerp alle H(i) i = 1, 2, … , k
qP mi
i )(Vergelijk
Bonferroni (Holm)
Voorbeeld (Benjamini en Hochberg)
• 15 toetsen• Geordende P-waarden:
P(1) P(2) P(3) P(4) P(5) P(6) P(14) P(15)0,0001 0,0004 0,0019 0,0095 0,0201 0,0278 … 0,7590 1,00
• Vergelijk iedere P(i) met (i/15)*0,05, te beginnen met P(15) (stepup)
• 1 > (15/15)*0,05• 0,7590 > (14/15)*0,05 = 0,047• …• 0,0201 > (5/15)*0,05 = 0,017• 0,0095 < (4/15)*0,05 = 0,013
Verwerp H(1) t/m H(4)
Bonferroni:α = 0,05/15 = 0,0033
FDR nader bekeken
• Sequentiële FDR conservatief, met name als het aantal onware nulhypothesen relatief groot is
• Benjamini e.a. (2001): tweestapsprocedure waarbij na de eerste stap de proportie ware nulhypothesen (π0) wordt geschat en in de tweede wordt gebruikt om de grens q aan te passen
• Storey (2002): directe wijze om π0 te schatten
m
rm 10
Het schatten van π0
• We willen π0 = m0/m schatten
niet significant totaalsignificant
Ware nulhypothesen U V m0
Niet ware nulhypothesen T S m1
m – R R m
H0: µ = 100
x
y
60 80 100 120 140
0.0
0.0
10
.02
0.0
30
.04
Als H0 waar is
steekproef
Wat verwacht jevan de P-waarde?
H0: µ = 100
x
y
60 80 100 120 140
0.0
0.0
10
.02
0.0
30
.04
Als H0 waar is …is de P-waarde uniform verdeeld op [0,1]
Gebieden met gelijke oppervlaktes
Als de nulhypothese niet waar is
• Is de P-waarde niet uniform verdeeld op het interval [0 ; 1], maar zul je relatief vaker een kleine P-waarde vinden
1
P-waardenuit m0
P-waardenuit m1
AantalP-waarden
3226 genen (BRCA data)
)1(
}{#)(0
m
p j
Verwacht aantal P-waarden > is (1 - )*m0 + klein deel m1, dusm0 ≈ #{P>} / (1-)
π0 als functie van
Concreet voorbeeld (Hedenfalk)
• 3226 toetsen
• P < 0,001: 51 significant
• P < 0,0001: 10 significant
• Bonferroni: α = 0,05/3226 = 0,000015
• FDR (Storey): q = 0,05 geeft 160 significante genen (waarvan er vermoedelijk 8 ten onrechte)
Gebruik FDR
• FDR wordt gebruikt voor– Correctie multiple testing (sequentiële FDR,
Benjamini en Hochberg)– Variabele selectie (Ghosh)– Vergelijken van (nieuwe) statistische
methoden. Bij gelijk aantal verworpen nulhypothesen is de methode met de kleinste FDR de beste methode
literatuur• Conover, Practical nonparametric statistics (Wiley 1999)• Benjamini en Hochberg, Controlling the False Discovery Rate: a
practical and powerful approach to multiple testing (Journal Royal Stat. Soc. B, 1995)
• Benjamini, Krieger, Yekutieli: Two staged linear step up FDR controlling procedure (Technical report 2001)
• Nguyen, On estimating the proportion of true null hypotheses for false discovery rate controlling procedures in exploratory DNA microarray studies (Computational statistics and data analysis, 2004)
• Storey, A direct approach to false discovery rates (Journal Royal Stat. Soc. B, 2002)
• Ghosh e.a., the false discovery rate: a variable selection perspective (J. Stat. Plan. Infer., 2004)
Volgende lezing
18 junistatistische aspecten van de probiotica studie