P y E 2012 Clase 18Gonzalo Perera1 Repaso de clase anterior Presentación, en un ejemplo, del concepto de p-valor (no llegamos a desarrollarlo completamente,

P y E 2012 Clase 18 Gonzalo Perera 1

Repaso de clase anterior

•Presentación, en un ejemplo, del concepto de p-valor (no llegamos a desarrollarlo completamente, lo veremos ahora).


El p-valor: Propiedades fundamentales. En todo test de hipótesis, dado una muestra concreta X1,...., Xn existe un valor particular de , que llamamos p-valor y denotaremos *, para el cual se cumple que: Si *, se rechaza H0 para nuestra muestra Si < *, no se rechaza H0 para nuestra muestra Suele decirse (pero puede discutirse, como veremos más adelante) que el p-valor “mide la probabilidad de rechazar erróneamente H0”.

Consecuentemente se utiliza el p-valor del modo siguiente :


Si 0 es el valor de probabilidad de error de tipo I que resulta aceptable para mí (usualmente 0 =5%, 10%, 1%, aunque depende del problema; en este curso frecuentemente emplearemos 0 =10%), entonces: Si *0, se rechaza H0 para nuestra muestra. Si *>0, no se rechaza H0 para nuestra muestra. Observación:Tener presente que *= *( X1,...., Xn), si cambian los datos cambia el p-valor.


Tests de aleatoriedad.

Dada una muestra X1,...., Xn con distribución continua, los test de aleatoriedad consideran las alternativas:

H0 : X1,...., Xn es iidH1 : No H0.

Hay distintas causas por las cuales una muestra puede no ser iid : dependencias y heterogeneidades de diverso tipo, tendencias, periodicidades, break-points, etc.

Veremos dos tests para este problema: el Test de Rachas de ascensos y descensos y el Test de correlación de rangos de Spearman.


Observaciones previas: a) Es sumamente importante utilizar ambos tests

conjuntamente y aceptar la hipótesis de iid sólo cuando ambos tests la aprueban. Estos se debe a que cada test es más eficiente que el otro para detectar cierto tipo de no-aleatoriedades (por ejemplo, el test de Spearman detecta mejor la presencia de una tendencia creciente o decreciente, mientras que Rachas detecta mejor periodicidades), por lo que la combinación de ambos resulta un mejor “detector” de no-aleatoriedad.NO SON ADEMAS ESTOS LOS UNICOS TESTS O UNICAS MANERAS DE VERIFICAR SI LOS DATOS SON iid; HAY MUCHAS OTRAS FORMAS DE HACERLO!!


b) Cuando los datos no son iid veremos con más adelante cómo continuar su análisis. La mayor parte de las técnicas que veremos en este curso son para datos iid, pero veremos también como tratar algunos tipos de datos no iid. Básicamente se trata de datos donde hay dependencias “locales”, donde los datos son dependientes de los datos “vecinos”. Para ayudar a determinar si en un problema concreta estamos o no ante una situación de dependencia tratable en nuestro curso, veremos más adelante un tercer test, que aplicaremos cuando alguno de los precedentes tests de aleatoriedad rechaza H0.

c) Veremos también más adelante que suponer que son iid datos que no lo son puede dar lugar a errores garrafales; por eso es tan importante realizar siempre estos tests.


Test de Rachas de Ascensos y Descensos(Runs up & down test):

Dada una secuencia binaria (de 0´s y 1´s), llamamos una racha a una tira de datos iguales rodeados de datos distintos.Por ejemplo, en la lista 00000011011111101110011111 hay 8 rachas: 000000|11|0|111111|0|111|00|11111 Este test se basa en dos principios muy simples:


•Una secuencia de 0´s y 1´s generada al azar, no debería tener ni muy pocas rachas (pues eso reflejaría una tendencia sistemática) ni demasiadas rachas (pues eso reflejaría una periodicidad).

En un muestra iid, el hecho de subir o bajar (que el dato siguiente sea mayor al dato presente) es algo que debería ocurrir

“al azar” , con probabilidad ½ (no son independientes dos subidas o bajadas vecinas, pero sí cuando los datos distan al

menos dos)


El procedimiento del test de rachas es muy simple: para cada datos indicaremos con un 1 cuando el dato siguiente es mayor o igual, y con un 0 cuando es menor; es decir, consideramos Ui= 1 si Xi+1>Xi, 0 si no; luego contamos el número de rachas R en la secuencia resultante de 0´s y 1´s y finalmente vamos a la tabla del test, la que nos indica, según n y R, cuál es el p-valor (en la tabla se presentan separados los valores de R según sean mayores o menores que (2n-1)/3, que es la esperanza de R bajo H0; esto ayuda a visualizar, en el caso que se rechace H0, si el rechazo se debe a tener demasiadas rachas o muy pocas, con la consecuente interpretación ya indicada).


Veamos un ejemplo “de juguete”, simplemente para visualizar la operativa.

Si los datos son 0.8, 0.3, 0.7, 0.5, 0.1 se tiene entonces que

i Xi Ui Marca de fin de racha1 0.8 0 12 0.3 1 13 0.7 0 04 0.5 0 15 0.1

R 3p-valor 0.75

Por lo que se decide que no se rechaza H0

(La tabla fue copiada como planilla EXCEL, se abre laPlanilla haciendo doble click sobre ella)


Observación: hay distintos tests de rachas, por lo cual la precisión “de ascensos y descensos” es relevante.


Test de Correlación de Rangos de Spearman:

Este test está diseñado para detectar tendencias crecientes o decrecientes superpuestas a una variación meramente aleatoria.

Dada una muestra X1,...., Xn el rango de Xi (que denotaremos R(Xi)) es el lugar que ocupa el dato Xi en la muestra al ordenarla de menor a mayor. Por ejemplo, si X1, X2, X3 = 0.55, 0.32, 0.41, entonces R(X1)=3.


Este test se basa en un principio muy simple: si la muestra es iid no debería haber ninguna relación entre i y R(Xi) (por ejemplo, todas las ordenaciones de los n datos tienen probabilidad 1/n!); si hubiera una tendencia a crecer, i y R(Xi) deberían parecerse, y si hay una tendencia a decrecer, entonces n-i y R(Xi) deberían parecerse.

Se calcula entonces el coeficiente de correlación de rangos de Spearman: rS= 1-[ 6( 1in (R(Xi)-i)2)/(n(n2-1))] (Ejercicio: si R(Xi)=i para todo i, entonces resulta que rS= 1 y, si R(Xi)=n-i para todo i, rS= -1; puede probarse - pero no es tan fácil - que bajo H0, la esperanza de rS es 0)


Finalmente se busca el valor absoluto de rS en la tabla, la que nos da el p-valor; en la caso de rechazar H0, el signo de rSindica si hay tendencia creciente (+) o decreciente (-).

Realizamos este test en el mismo ejemplo “de juguete” anterior para visualizar la operativa.

i Xi R(Xi) (R(Xi)-i)^21 0,8 5 162 0,3 2 03 0,7 4 14 0,5 3 15 0,1 1 16

Suma 34rS -0,7

p-valor 0.117

Se concluye que no se rechaza H0, y al no haberlo hecho ninguno de los dos test de aleatoriedad, no rechazamos que los datos sean iid.


Veamos ahora un ejemplo real de aplicación de ambos tests de aleatoriedad, en el contexto de un problema de Ingeniería Ambiental.

Los siguientes datos, muy similares a los que aparecen en los trabajos grupales de este curso, corresponden a los valores, en 80 puntos geográficos distintos, del máximo estival de un contaminante atmosférico (máximo valor en cada punto a lo largo de todo un verano; el contaminante se mide diariamente, por lo cual cada uno de nuestros 80 datos es el máximo de unas 100 lecturas diarias). El objetivo del estudio es conocer la distribución de éstos datos y en particular estimar la probabilidad de que el máximo estival supere el valor 50.

Veamos los datos que tenemos.


i Xi i Xi i Xi1 430.3 31 13.27 61 1582 115.7 32 538.1 62 25.463 4.48 33 804 63 462.54 26.95 34 321.6 64 35.535 72.27 35 16.11 65 876.46 206.4 36 22.05 66 462.57 22.79 37 100.2 67 53.478 25.03 38 40.76 68 23.599 226.8 39 262.7 69 38.77

10 11.1 40 19.32 70 494.211 1572 41 7.79 71 164.212 100 42 58.02 72 52.0613 104.5 43 28.02 73 54.1314 37.1 44 18.38 74 15.5315 20.22 45 13.12 75 2916 106.9 46 572.8 76 14.3517 47.2 47 44.46 77 167518 62.82 48 40.72 78 15.0119 39.3 49 25.07 79 72.0720 18.52 50 24.07 80 22.9921 41.47 51 511.822 429.5 52 38.1223 1228 53 15.8624 127.6 54 75.4825 9.93 55 24.0926 90.4 56 119.427 201.7 57 174.728 295.1 58 104.729 20.62 59 14030 20.58 60 79.67


Procedamos ahora a hacer el test de Rachas.datossubidas/bajadas marca datossubidas/bajadas marca

430.28 0 58.02 0115.66 0 1 28.02 0

4.48 1 18.38 0 126.95 1 13.12 1 172.27 1 1 572.84 0206.36 0 1 44.46 022.79 1 40.72 025.03 1 1 25.07 0 1226.79 0 1 24.07 1 1

11.1 1 1 511.79 01571.69 0 1 38.12 0 1100.03 1 1 15.86 1 1104.46 0 75.48 0 1

37.1 0 1 24.09 120.22 1 1 119.44 1 1106.86 0 1 174.65 0 1

47.2 1 1 104.73 1 162.82 0 140.02 0 139.3 0 1 79.67 1 1

18.52 1 158.02 0 141.47 1 25.46 1 1429.49 1 1 462.45 0 1

1228.43 0 35.53 1 1127.63 0 1 876.42 0

9.93 1 462.46 090.4 1 53.47 0 1

201.67 1 1 23.59 1295.1 0 38.77 1 120.62 0 494.15 020.58 0 1 164.21 0 113.27 1 52.06 1 1538.12 1 1 54.13 0 1803.99 0 15.53 1 1321.62 0 1 29 0 116.11 1 14.35 1 122.05 1 1 1674.92 0 1100.23 0 1 15.01 1 140.76 1 1 72.07 0 1262.71 0 22.9919.32 0 1 Rachas= 517.79 1 1 p-valor P(N>z), z= -0.40233

p-valor 0.65628


El test de rachas no rechaza el que los datos sean iid. Veamos ahora Spearman:

i Xi R(Xi) (R(Xi)-i)^2 i Xi R(Xi) (R(Xi)-i)^21 430.28 69 4624 42 58.02 43 12 115.66 55 2809 43 28.02 28 2253 4.48 1 4 44 18.38 12 10244 26.95 27 529 45 13.12 5 16005 72.27 46 1681 46 572.84 75 8416 206.36 63 3249 47 44.46 38 817 22.79 19 144 48 40.72 35 1698 25.03 24 256 49 25.07 25 5769 226.79 64 3025 50 24.07 22 78410 11.1 4 36 51 511.79 73 48411 1571.69 79 4624 52 38.12 32 40012 100.03 50 1444 53 15.86 10 184913 104.46 52 1521 54 75.48 47 4914 37.1 31 289 55 24.09 23 102415 20.22 15 0 56 119.44 56 016 106.86 54 1444 57 174.65 61 1617 47.2 39 484 58 104.73 53 2518 62.82 44 676 59 140.02 58 119 39.3 34 225 60 79.67 48 14420 18.52 13 49 61 158.02 59 421 41.47 37 256 62 25.46 26 129622 429.49 68 2116 63 462.45 70 4923 1228.43 78 3025 64 35.53 30 115624 127.63 57 1089 65 876.42 77 14425 9.93 3 484 66 462.46 71 2526 90.4 49 529 67 53.47 41 67627 201.67 62 1225 68 23.59 21 220928 295.1 66 1444 69 38.77 33 129629 20.62 17 144 70 494.15 72 430 20.58 16 196 71 164.21 60 12131 13.27 6 625 72 52.06 40 102432 538.12 74 1764 73 54.13 42 96133 803.99 76 1849 74 15.53 9 422534 321.62 67 1089 75 29 29 211635 16.11 11 576 76 14.35 7 476136 22.05 18 324 77 1674.92 80 937 100.23 51 196 78 15.01 8 490038 40.76 36 4 79 72.07 45 115639 262.71 65 676 80 22.99 20 360040 19.32 14 676 rS= -0.0073441 7.79 2 1521 p-valor P(N>z), z= 0.065213

p-valor 0.474002


Tampoco se rechaza que los datos sean iid.


Algunas consideraciones sobre datos dependientes.

Dada una muestra X1,...,Xn,..., diremos que es un proceso estacionario si para todo k natural y para todo t1 < ... < tk y para todo h natural se tiene que

la distribución de (Xt1,..., Xtk

) y la de (Xt1+h,..., Xtk+h) coinciden

(Las distribuciones conjuntas -es decir las marginales y su inter-dependencia- son invariantes en el tiempo, es un proceso “en régimen”)

Si las variables son iid, entonces se tiene un proceso estacionario, pero el recíproco no es cierto, hay procesos estacionarios con todo tipo de dependencias.

Un proceso estacionario se dice m-dependiente si las variables cuyos índices distan más de m son independientes.


El siguiente ejemplo muestra muy claramente qué tan grave puede ser creer que las variables son iid cuando en realidad son m-dependientes. El ejemplo muestra la reiteración de un control de calidad, realizado mediante un IdeC al nivel 95% para la media de 100 datos diarios, a lo largo de varios días.La verdadera media se sabe que es el valor de diseño 0.5 (en éste caso se trabajó sobre un patrón de referencia de media conocida), por lo que en éstos datos cada vez que el IdC deje afuera al valor 0.5 se tiene una “falsa alarma”, una detención innecesaria del proceso. Como el IdC es al 95%, debería haber, si el método empleado fuera correcto, un 5% de falsas alarmas. Podemos suponer en este caso que los datos tienen varianza finita, por lo que podemos usar métodos basados en el TCL.

Veamos qué ocurre al utilizar el IdC para la media de datos iid.


IC iid para la media al 5%

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

Extremo inferior IC

Extremo superior IC

Media teórica

El resultado es catastrófico: se tienen 7 falsas alarmas en 25 días (28% de falsas alarmas!!)


Veamos que ocurre al aplicar un IdC para datos m-dependientes que aprenderemos en un instante


IC dependiente para la media al 5%

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

Media teórica

Extremo inferior IC

Extremo superior IC

Sólo una falsa alarma en 25 días (4% de falsas alarmas!!!)


Es interesante observar que en este caso los datos eran apenas 1-dependientes: bastó que hubiera dependencia con el vecino inmediato para que el método basado en la suposición de que los datos son iid funcionara estrepitosamente mal.

Si uno sabe que los datos son estacionarios, m-dependientes, con varianza finita y se conoce el valor de m, entonces el IdeC para la media es

[Mn – (n)-1/2 n z/2, Mn + (n)-1/2 n z/2],

donde

n2 = n

2 + 2 1km rn(k),

con

rn(k) = (1/(n-k)) 1in-k (Xi - A(1,n-k)) (Xi+k - A(k+1,n))

y donde A(a,b) denota el promedio de todos los datos entre a y b, es decir

A(a,b)= (1/(b-a+1)) aib Xi


Remitimos a las páginas 212 - 217 para la fundamentación de este método (basado en el hecho de que para procesos estacionarios y m-dependientes vale el TCL; pero con una varianza asintótica distinta al caso iid)

La pregunta clave que hay que formularse previamente a aplicar este método es cómo determinar si los datos son m-dependientes y cuánto vale m. En las páginas referidas se encuentra una explicación de un tal método, basado en la observación que si los datos son m-dependientes entonces son iid las m+1 submuestras que se obtienen al separar los datos en: datos en lugares múltiplos de m, datos en lugares múltiplo de m+1, .....

Veremos aquí un método para obtener un “candidato” a m que permite aligerar sensiblemente los cálculos, sobre todo si m no es muy pequeño (Este test es en definitiva un test sobre a qué distancia los datos dejan de correlacionarse; como tal es un test de correlación y no de independencia, por lo que caben las precisiones que ya hemos repetido varias veces al respecto).


Según este método, el m “candidato” es el menor valor entero tal que

|n(k)| z/2Wn(k) / n, para todo k m,

donde

n(k) = rn(k) / n2

yWn(k) = -l(n)il(n) Vn(i,k),

Con

Vn(i,k) = n(i+k)2 - n(i-k)n(i+k)+ 2n(k)2n(i)2 - 4n(k)n(i)n(i+k),

l(n) = n(1/4),

y definiendo, para j negativo,

n(j) = n(-j)


Observación:

Obviamente, es imposible verificar la desigualdad antes estipulada para todo k mayor o igual a m, por lo que en la práctica verificamos que la desigualdad se verifique para k y algunos valores siguientes. Los cálculos de este método pueden parecer difíciles, pero son muy rápidos y fáciles de implementar en una planilla EXCEL, por ejemplo.

Documents

P y E 2012 Clase 18Gonzalo Perera1 Repaso de clase anterior Presentación, en un ejemplo, del concepto de p-valor (no llegamos a desarrollarlo completamente,