View
222
Download
0
Category
Preview:
Citation preview
El problema de hipotesis multiple
Edgar AcunaUniversidad de Puerto Rico en
Mayaguez
EL problema de pruebas de hipotesis multiples
• Prueba simultanea de m hipotesis nulas, una por cada gene j (j=1,…m)
Hj: No hay relacion entre el nivel de expresion del gene j y las distintas condiciones (gene no expresados)
• Debido a que los experimentos con microarreglos monitorean simultaneamente niveles de expresion de miles de genes hay que hacer ajuste a los p-values de las hipotesis individuales.
El p-value en hipotesis simples
Resultado de la prueba (p>): No se rechaza Ho
Resultado de la prueba (p<). Se rechaza Ho
La Ho realmente es verdadera
Especificidad Error Tipo I()
(probabilidad )
La Ho no es verdadera
Error tipo II (probabilidad )
SensitividadEl p-value (nivel de significacion observado) controla la tasa de error tipo I. La probabilidad de rechazar una hipotesis por error no es mayor que (=.05). De 100 pruebas solo 5 serian significativas
Posibilidades en Hipotesis multiples
# no rechazadas
# rechazadas
total
# H ciertas U V (F +) m0
# H no ciertas
T(F-) S m1
total m - R R m
Verdad
Decision
m es fijo, mo y m1 son fijas pero desconocidas, R es aleatorio y observado,
V es aleatorio y no observado.
El problema de multiplicidad
Cuando miles de hipotesis son probadas simultaneamente se incrementa la posibilidad de los falsos positivos
Por ejemplo, en un microarray con 10,000 genes al 5% de significacion se puede esperar que 500 de ellos sean identificados como diferencialmente expresados ( es decir sus p-values serian menores que .05) simplemente por el azar.
Se ha perdido control del error tipo I y los p-values individuales no se pueden usar directamente para concluir que el gen es expresado. Necesitan ser ajustados (corregidos)
Tasas de error tipo I (Falsos Positivos) a controlar
• Tasa de error por familia
PFER = E(V): numero esperado de falsos positivos
• Tasa de error por comparacion PCER = E(V)/m: proporcion esperada de falsos
positivos
• Family-wise Error Rate
FWER = p(V ≥ 1) (probabilidad de al menos un falso positivo)
• False Discovery Rate: FDR = E(V/R)P(R>0) Proporcion esperada de falsos
positivos entre las pruebas que fueron significativas
Comparacion de tasas de error Tipo I
• En general, dado un procedimiento de prueba de hipotesis multiple
PCER FWER PFER, y
FDR FWER,
Tipos de control del error en hipotesis multiples
• Control debil. Se controla el error tipo I asumiendo que todas las hipotesis nulas ( ) son ciertas. Es decir, mo=m. No bria genes diferncialemente expresados.
• Control fuerte. Se controla el error tipo I asumiendo cualquier combinacion de hipotesis nulas y falsas. Algunos genes serian diferencialmente expresados
m
jj
Co HH
1
p-values ajustados (p*)
• Objetivo: dado una tasa de error tipo I , hay que usar un procedimiento para selecionar el conjunto de genes significantes de tal manera que error tipo I sea
• Si el interes es controlar el FWER, entonces el p-value ajustado para la hipotesis Hj is:
pj* = inf {’: Hj is rechazado al FWER }
• Hipotesis Hj es rechazada al FWER si pj*
Notacion
• Para hipotesis Hj, j = 1, …, m
prueba estadistica calculada: tj
p-value no ajustado: pj
• Ordernamiento de tj (absoluto) observado: {rj}
tal que |tr1| |tr2
| … |trm|
• Ordernamiento de pj observado: {rj}
tal que |pr1| |pr2
| … |prm|
Control de la FWER
• Metodo de Sidak
Rechazar Hj con pj1-(1-)1/m, p-value ajustado pj* = 1-(1-pj)m
• Metodo de Bonferroni
Rechazar Hj con pj/m, p-value ajustado pj* = min (mpj, 1)
Los metodos de Sidak y Bonferroni son faciles de calcular pero son muy conservativos. Para un numero grande de genes, el nivel individual de significancia por gene se vuelve bien pequeno bien rapidamente.
Estos metodos son llamados de un solo paso porque usan el mismo ajuste de multiplicidad para todas las hipotesis y no usan el ordenamiento de los p-values observados
Los p-values ajustados pueden ser obtenidos usando la funcion mt.rawp2adjp de la libreria multtest
Control de la FWER• Metodo step-down de Holm (1979)
Los p-values ajustados se definen como
p*r1=mpr1
p*ri=max(p*ri-1,(m-i+1)pri) para 2im
con p*ri 1 tomados como 1.
O sea si j*=min{j:Prj>/(m-j+1)}, rechazar Hj para j=1,…j*-1.
Los p-values ajustados estan dados por:prj* = maxk = 1…i{min ((m-k+1)prk, 1)}
Los p-values ajustados pueden ser obtenidos usando la funcion mt.rawp2adjp de la libreria multtest
Control de la FWER
Por ejemplo supongamos que los 4 primeros p-values ordenados son: 0.0006950, 0.0008659, 0.00149758, 0.00417016 de un total de m=1000 p-values. Entonces los p-values ajustados correspondientes seran: p*1=.6950,
p*2=max(.6950, 999*0.0008659)=0.86510, p*3=max(.86510,998*0.00194758)=1.494585. Luego se toma p*3 =1 pues el p-value no debe exceder a 1.
P*4=max(1,997*0.004170)==1 y todos los que siguen tambien se toman como 1.
Control de la FWER• Metodo step up de Hochberg (1988)
Los p-values ajustados se definen como
p*rm=prm
p*ri=min(p*ri+1,(m-i+1)pri) para i=m-1,…1
con p-values 1 tomados como 1.
O sea si j*=min{j:Prj/(m-j+1)}, rechazar Hj para j=1,…j*.
Los p-values ajustados vienen dados por prj* = mink = j..m {min ((m-k+1)prk, 1) }
Los p-values ajustados pueden ser obtenidos usando la funcion mt.rawp2adjp de la libreria multtest
Control de la FWERP-value ordenado
Sidak Bonferroni Holm Hochberg
pr1 1-(1-)1/m /m /m /m
pr2 1-(1-)1/m /m /(m-1) /(m-1)
…. ……… …….
prj 1-(1-)1/m /m /(m-j+1)
/(m-j+1)
…. ……….. ……
prm 1-(1-)1/m /m
Ejemplo; Aplicacion a datos de Golub
• 38 pacientes de Leucemia, 27 con leucemia aguda linfoblastica (ALL) y 11 con leucemia aguda meloide (AML). Inicialmente hay 6817 genes que se reducen a 3051 aplicando cierto criterios de exclusion para valores de expresion
Ejemplo (cont)histograma de valores t
pruebash$t
Fre
qu
en
cy
-5 0 5 10
01
00
20
03
00
40
05
00
Histogram of pvals
pvals
Fre
qu
en
cy
0.0 0.4 0.8
02
00
40
06
00
80
01
00
0
1045 genes expresados con p-values <.05
Ejemplo (cont)histograma p-values:Sidak
a1$adjp[, 2]
Fre
qu
en
cy
0.0 0.2 0.4 0.6 0.8 1.0
05
00
10
00
15
00
20
00
25
00
histograma p-values:Holm
a3$adjp[, 2]
Fre
qu
en
cy
0.0 0.2 0.4 0.6 0.8 1.0
05
00
10
00
15
00
20
00
25
00
En ambos casos se detectan 98 genes expresados
Top 10 genes
t wilcox sidak bonferroni Holm Hochberg
829 896 829 829 829 829
378 2124 378 378 378 378
2124 829 2124 2124 2124 2124
808 2670 808 808 808 808
2489 2939 2489 2489 2489 2489
394 394 394 394 394 394
2670 766 2670 2670 2670 2670
1009 808 1009 1009 1009 1009
1995 1834 1995 1995 1995 1995
937 2600 937 937 937 937
Pruebas basadas en permutacionesEstimar la distribucion conjunta de los estadisticos de prueba T1,..,Tm ,
donde m es el número de genes, mediante permutaciones de las columnas de la matriz de expression genética
Labels originales de los grupos estadistico t
Labels permutados de los grupos
1.45
1.34
1.89
-1.33
-0.78
2.17
Algoritmo de Permutación para p-values-no ajustados
• Calcular las pruebas tj para cada una de las hipótesis Hj.
• Hacer B permutaciones (B aprox 1000) de las columnas de la matriz de expresión genética
• Para la b-ésima permutacion b=1,2,….B A) Calcular las pruebas estadisticas t1,b,……tm,b
B) El p-value estimado por permutacion para la prueba de hipotesis Hj está dado por la proporcion de |t ib| ‘s que son mayores que |ti|
donde I (.) representa la función indicadoraLa libreria multtest tiene la funcion mt.sample.teststat
que calcula el test estadistico por permutaciones pero lo hace vector por vector
)|||(|1
,
* b
jbjj ttIB
p
Westfall & Young (1993) p-values ajustados
• En cada paso hace pequenos ajustes
• Toma en cuenta la distribucion conjunta (dependencia ) de la pruebas estadisticas
• Menos conservativo que los anteriores metodos de ajustar p-values.
• Puede ser estimado por remuestreo resampling pero tarda bastante (especialmente la version minP)
Metodo maxT de Westfall & Young
• Ordenar los t-values observados
• Para la b-esima (b=1…B) permutacion de las columnas del conjunto de datos calcular
a) los tj,b values para cada Hj (j=1,…m)
b) Calcular los maximos consecutivos de la prueba estadistica.
um,b=|trm,b|
uj,b=max(uj+1,b,|trj,b|) para j=m-1,……1
Calcular los pvalues ajustados usando)|||(|
1,
* b
rbjr jjtuI
Bp
Metodo maxT de Westfall & Young
Tambien es conocido como step-down maxT
Un formula equivalentemente para los p-values ajustados es
prj* = maxk = 1…j { p(maxl{rk…rm} |Tl| ≥ |trk| H0
C )}
Tl es el valor de la prueba estadistica correspondiente a la l-esima hipotesis.
Ejemplo del metodo MaxTgene
|t|
1 0.1 tr5
4 0.2 tr4
5 2.8 tr3
2 3.4 tr2
3 7.1 tr1
Gene
|tb| |ub| I(ub>|t|)
1 1.3 1.3 1
4 0.8 1.3 1
5 3.0 3.0 1
2 2.1 3.0 0
3 1.8 3.0 0
P*=/B
935 .935
876 .876
138 .138
145 .145
48 .048
Genes ordenados segun su valor t
Valores u para la b-esima permutacion
P-Values ajustados
Explicacion de los valores de la tabla
De la primera tabla hay que guardar los indices de los ordenamientos. Esto es, r1=3, r2=2,r3=5,r4=4,r5=1. Luego, de la segunda tabla ur5=|tr5,b|=1.3, Tambien
Ur4=max(ur5,|tr4|)=max(1.3,0.8)=1.3
Ur3=max(ur4,|tr3|)=max(1.3,3.0)=3.0
Ur2=max(ur3,|tr2|)=max(3.0,2.1)=3.0 y
Ur1=max(ur2,|tr1|)=max(3.0,1.8)=2.0
Metodo minP de Westfall & Young
• Tambien llamado step-down minP
En este caso los p-values ajustados vienen dados por:
p*r1=p(minl{r1…rm} Pl pr1 H0C )}
prj* = max(prj-1,p(minl{rj…rm} Pl prj H0C )} para
j=2,…m
Pl es la variable aleatoria para el p-value de la l-esima hipotesis. Por ejemplo, Pl ~U(0,1)
maxT vs. minP
• Los p-values ajustados por maxT y minP son los mismos cuando las pruebas estadisticas son identicamente distribuidas (id)
• maxT es mas rapida computacionalmente que minP
• maxT es mas poderosa en los casos en que el numero de genes m es grande y numero de arreglos n es pequeno.
Top 10 genes
maxT minP
2124 2124
829 829
896 896
766 766
2600 2600
2939 2939
1995 1995
2386 2386
717 717
2489 2489
• El criterio de controlar el FWER es demasiado conservativo esto significa que muchos genes que son diferencialmente expresados podrian no ser detectados.
• Para el ejemplo de Golub solo se detectan 98 genes como expresados con los ajusten de bonferoni y Holm. El maxT de Westfall detecta 91, pero el minP no detecta ninguno.
• El criterio FDR trata de resolver este problema
Control de la FDR• Benjamini & Hochberg (1995): step-up
Asumiendo que el FDR es de nivel , se rechaza Hj para j=1,…j* , donde j*=max{j: prj<=(j/m)}.
El p-value ajustado esta dado porprj* = mink = j…m { min ((m/k) prk, 1) }
• Benjamini & Yuketieli (2001): conservative step-up.
Se rechaza Hj para j=1,…j* , donde j*=max{j: prj<=j/ mj=1
m[1/j]}. Con p-value ajustado dado por
prj* = mink = j…m { min (mj=1m[1/j]/k] prk, 1) }
Los p-values ajustados pueden ser obtenidos usando la funcion mt.rawp2adjp de la libreria multtest
Top 10 genes
BH BY
829 829
378 378
2124 2124
808 808
2489 2489
394 394
2670 2670
1009 1009
1995 1995
937 937
Bejamini y Hocberg detecta 681 genes expresados y Bejnjamini y Yuketilei detecta 269.
Tambien se puede ajustar los p-values obtenidos con maxT o minP
res1=mt.maxT(golub,golub.cl)Rawp=res1$rawp[order(res1$index)]# Permutation adjusted p-values for simple multiple testing proceduresRes2=mt.rawp2adjp(rawp,”BH”)
Otras propuestas para multiple testing
• ‘Significance Analysis of Microarrays (SAM)’ (2 versions)– Tusher et al. (2001)– Efron et al. (2001), basada en empirical Bayes
• SAM tambien estima el ‘FDR’, pero este es definido como E(V|H0
C)/R y no como E(V/R)
• La libreria siggenes de Bioconductor encuentra los genes diferenciados por SAM
Analisis de significancia de Microarrays (SAM)
• Tusher et al. (2001) • Does not assume normal distribution – Instead, p-values computed via
values computed via permutation• Test statistic: similar to t Test
statistic: but with modified with modified variance estimate
– Improved for small experiments.
Analisis de significancia de Microarrays (SAM)
• First, compute test statistic per gene for the observed data.
donde s*p es un estimado de la desviacion estandar combinada y so es el coeficiente de variacion minimo de la expresion de todos los genes.
Compute average of test statistics distribution, over all statistics distribution, over all permutations
– This gives estimate of distribution, if treatment has no effect.• Un gen es considerado significamente diferenciado si su
distancia con respecto a la media de su distribucin excede un threshold
• SAM es facil de implementar• El estimado usa todos los genes, luego si uno deellos se afecta
por el tratamiento tambie se afectara el estimado.• No es confiable en experimentos pequenos.
op
CT
ss
xxt
*
Ejemplo de SAM
Row d.value stdev rawp q.value R.fold1 829 8.165222 0.2958251 0 0 7.27717922 2124 7.964784 0.1778697 0 0 3.39530353 2600 6.102371 0.1911219 0 0 2.66869924 2664 5.975750 0.3918749 0 0 4.72295405 766 5.970848 0.1731333 0 0 2.49722996 2489 -5.726212 0.2154975 0 0 0.34495327 717 -5.704438 0.2068956 0 0 0.34504018 1995 -5.696514 0.1933259 0 0 0.37356879 2939 -5.576921 0.1650727 0 0 0.413292510 2663 5.547021 0.4178283 0 0 5.455152311 378 5.408458 0.3024200 0 0 4.423027812 1778 5.336856 0.2215924 0 0 2.781742613 1911 5.170084 0.1897508 0 0 2.357420714 1413 5.168875 0.2809704 0 0 3.292666815 808 5.139462 0.1819399 0 0 2.4278709
SAM usando empirical Bayes (EBAM)
• Aqui se estima la probabilidad posterior p1(Z) =1-pofo(Z)/f(Z) de que un gen con score Z sea expresado. La razon fo(Z)/f(Z) es estimada usando una regresion logistica basada en las densidades relativas de los scores Zi
Ejemplo de SAM (empirical Bayes)
# El valor optimo del factor a0 is determinado, donde # los posibles valores de a0 son 0 y los quantiles 0, 0.05 y 0.1 # de la desviacion estandard de los genes. Hacer rand=123 find.out=find.a0(golub,golub.cl,alpha=c(0,0.05,0.1),rand=123) # Una vez que se establece el valor optimo de a0,se efectua #un analisis por Empirical Bayes.>ebam.out=ebam(find.out,gene.names=golub.gnames[,3])>cat("\n el numero de genes diferenciados es",length(ebam.out$row.sig.genes),"\n") el numero de genes diferenciados es 714 > cat("\n los top 10 genes son\n") los top 10 genes son> ebam.out$row.sig.genes[1:10] [1] 2489 394 1995 2939 717 1042 2702 523 1811 849
References
• Alizadeh et al. (2000) Distinct types of diffuse large B-cell lymphoma identified by gene expression profiling. Nature 403: 503-511
• Benjamini and Hochberg (1995) Controlling the false discovery rate: a practical and powerful approach to multiple testing. JRSSB 57: 289-200
• Benjamini and Yuketieli (2001) The control of false discovery rate in multiple hypothesis testing under dependency. Annals of Statistics
• Efron et al. (2000) Microarrays and their use in a comparative experiment. Tech report, Stats, Stanford
• Golub et al. (1999) Molecular classification of cancer. Science 286: 531-537
References
• Hochberg (1988) A sharper Bonferroni procedure for multiple tests of significance. Biometrika 75: 800-802
• Holm (1979) A simple sequentially rejective multiple testing procedure. Scand. J Statistics 6: 65-70
• Tusher et al. (2001) Significance analysis of microarrays applied to transcriptional responses to ionizing radiation. PNAS 98: 5116 -5121
• Westfall and Young (1993) Resampling-based multiple testing: Examples and methods for p-value adjustment. New York: Wiley
• Yuketieli and Benjamini (1999) Resampling based false discovery rate controlling multiple test procedures for correlated test statistics. J Stat Plan Inf 82: 171-196
Recommended