[]Y TABLA []Y - inf.utfsm.clhallende/bajadas/Cap7-05.pdf · Sabemos que y . El TCL declara que: Se pide calcular ... de que la media muestral se encuentre a no más de 4 unidades

Universidad Técnica Federico Santa María

Profesor: Hector Allende 1

Capítulo 7

Estimación de Parámetros

Estadística Computacional

II Semestre 2005

Prof. Héctor AllendePágina : www.inf.utfsm.cl/~hallendee-mail : [email protected]

H. Allende, R. Salas2

Consideraciones Previas� Conceptos Básicos � Distribuciones usadas en Inferencia� Teoremas relevantes� Estimación Puntual� Métodos de Evaluación de

Estimadores Puntuales� Estimación por Intervalos

3

)(2

1

2 ~ n

n

iiXY χ∑

=

=

Distribuciones usadas en Inferencia1.- Ji-Cuadrado con “n” grados de libertad.Sea X1, X2, ..., Xn n v.a. continuas independientes tal que Xi ~ N (0,1) i = 1, …, n (i.i.d.)

)()( yIn

eyyf Rn

yn

Y +

Γ=

−−

22 2

21

2

4

donde es la función gammaademás,

OBS:1.

2.

3.

4.

( ) ∫∞

−=+Γ0

1 dyey yαα

[ ] nYE =

[ ] nYVar 2=

Γ⇔ 22

2 ;)(n

nχ

2)21()(n

Y tt−

−=ϕ

TABLA

( ) ( ) 0,1 >Γ⋅=+Γ αααα

[ ] nYE =

[ ] nYVar 2=

y

)( yfY

5

Distribuciones usadas en Inferencia2.- t-StudentSea X v.a.c. tal que X ~ N (0,1)

Y v.a.c. tal que Y ~ χχχχ2(n)Sea ~ )(nStudentt

nY

XT −=

)()( tInn

ntn

tf R

n

T

Γ

+

+Γ=

+−

2

12

1 21

2

π6

t

)(yfT

OBS:

1.

2.

3.

[ ] 0=TE

[ ]2−

=n

nTVar

existenotT )(ϕ



7

Distribuciones usadas en Inferencia3.- F-de FisherSea X v.a.c. tal que X ~ χχχχ2(n)

Y v.a.c. tal que Y ~ χχχχ2(m) independientes

Sea ),(~ mnF

mYnX

Z =

)()( zI

zmn

zKzf Rmn

n

Z ++

−

+

= •

2

12

1

8[ ]2−

=m

nZE z

)(zfZ

donde la constante

OBS:1.

2.

3.

2

22

2n

mn

mn

mn

K

Γ

Γ

+Γ=

[ ] 2,2

>−

= mm

nZE

[ ] 4,)4()2(

22

2

>−−+

−= m

mnmn

mmZV

existenotZ )(ϕ

9

Teoremas Límites

• Convergencia en Distribución (CD):Una sucesión de v.a. X1,X2,…,Xn converge en

distribución a una v.a. X si

∀x donde es continua.

Note que la convergencia se efectúa sobre las cdfs y no en las variables aleatorias, las cuales no requieren ser i.i.d., como en una muestra.

)()( xFxFlim XXn n=∞→ XX D

n →)(xFX

Notación:

10

Teoremas Límites• A partir de la CD nace uno de los teoremas más importantes en estadística:

Teorema Central de Límite (TCL):

Sea X1, X2, …, Xn una secuencia de v.a.i.i.d.,con y finitas. Sea .Sea Entonces, :

Es decir:

[ ] µ=iXE [ ] 2σ=iXV

−=

n

XY nn σ

µ

∑ == n

i in XnX1

)/1(

)1,0(NY Dn →

ℜ∈∀y

∫∞−

−

∞→ =y t

Yn dteyFlimn

2

2

21)(π

11

Teoremas Límites• El TCL es útil cualquiera sea el modelo de probabilidad a partir del cual se generaron las v.a. Xi.• No obstante, si este modelo es semejante a la distribución Normal, la aproximación será buena aun para pequeñas muestras; mientras que si el modelo de la población es poco parecido a una Normal, la aproximación resultará adecuada sólo para muestras grandes, es decir, n > 30.• La v.a. Yn se emplea para hacer inferencia sobre, cuando se conoce el valor de la varianza poblacional.• Como desventaja, no existe forma de evaluar la calidad de la aproximación.

2σµ

12

Teoremas Límites• Ejemplo 1:

Suponga que X1, X2, …, Xn es una secuencia de v.a.i.i.d. de una distribución Binomial Negativa(r,p). Entonces, Sabemos que y .

El TCL declara que:

Se pide calcular . Es mucho más fácil computar esta probabilidad mediante el TCL con N(0,1) que utilizar directamente la función de probabilidad de la distribución Binomial Negativa.

[ ] 2/)1( pprXV i −=[ ] pprXE i /)1( −=

( ) )1,0(/)1(

/)1(2

Nppr

pprXn Dn →−

−−

)11( ≤XP



13

Teoremas Límites

• Considere r = 10, p = 1/2 y n = 30.• Cálculo directo:

• Usando el TCL:

≤=≤ ∑=

330)11(30

1iiXPXP

8916.21

211300 300330

0

=

−+=∑

=

x

x xx Obs:

es una BN(nr,p)∑ iX

−≤−=≤20

)1011(3020

)10(30)11( XPXP

( )8888.

2247.1=

≤≈ YP14

Teoremas Límites• Ejemplo 2:

Se tiene una muestra de 64 datos de cierta v.a., se sabe que la desviación estándar es igual a 16. Calcule la probabilidad de que la media muestral se encuentre a no más de 4 unidades del verdadero valor.

n > 30 Y ~ N(0,1).

( )4≤− µXP

( )

9544.)2()2(

22/4

//4

/4

/

=−−=≤≤−=

≤−≤−=

≤

−=

YY FFYP

nnX

nP

nn

XP

σσµ

σ

σσµ

15

Teoremas Límites

• Convergencia en Probabilidad (CP):Una sucesión de v.a. X1,X2,…,Xn converge en

probabilidad a una v.a. X si, ,

ó

Note que las v.a. no requieren ser i.i.d.Además,

XX Pn →

Notación:0>∀ε

( ) 0=≥−∞→ εXXPlim nn

( ) 1=<−∞→ εXXPlim nn

XXXX Dn

Pn →⇒→

16

Teoremas Límites• A partir de la CP nace otro importante resultado:

Ley Débil de los Grandes Números (LDGN):

Sea X1,X2,…,Xn una secuencia de v.a.i.i.d.,con y finitas. Sea .Entonces, :

es decir:

[ ] µ=iXE [ ] 2σ=iXV ∑ == n

i in XnX1

)/1(0>∀ε

( ) 1=<−∞→ εµnn XPlim

µ→ PnX

17

Desigualdad de Chebyshev (Tchebysheff):

Sea X una v.a. con un función (densidad) de probabilidad tal que y son finitas.Entonces :

equivalentemente, si :

Entrega una cota de la probabilidad de que una v.a. se aleje a lo más ‘k’ desviaciones estándar de su media.

Teoremas Límites

( ) 2

2

εσεµ ≤≥−XP

• Para demostrar el resultado anterior, debemos recurrir a otro teorema muy utilizado en estadística:

[ ] µ=XE [ ] 2σ=XV

σε k=0>∀ε

( ) 21k

kXP ≤≥− σµ

)(xf

18

Teoremas Límites• Demo LDGN: Se quiere demostrar que:

Ya que es una v.a. tal que ydel Teo. Chebyshev se tiene que

como tiene valor finito, tomando límite en esta expresión conforme , se tiene que

ó

( ) 1=<−∞→ εµnn XPlim

[ ] µ=nXE [ ] nXV n /2σ=nX

( ) 2

2

εσεµn

XP n ≤≥−

2σ∞→n

( ) 0=≥−∞→ εµnn XPlim ( ) 1=<−∞→ εµnn XPlim



19

Teoremas Límites• La LDGN es útil para estimar el tamaño necesario de una muestra para asegurar con determinar probabilidad que la media no se alejará más allá de una cantidad específica de la media poblacional.

• Ejemplo: Considere un proceso aleatorio de varianza conocida y media desconocida. ¿Cuál debe ser el tamaño de la muestra para que la media se encuentre dentro de un intervalo igual a dos unidades respecto de la media poblacional, con probabilidad de al menos 0.9?

102 =σ µnX

20

Teoremas Límites• Ejemplo…:

Por Chebyshev tenemos que

( ) 2

2

εσεµn

XP n ≤≥−

( ) 9.012

102 2 −=≤≥−n

XP n µ

251.0*4

10 ==n

21

Teoremas Límites

• Convergencia Casi Segura (CCS):También conocida como convergencia con

probabilidad 1. Es el tipo de convergencia más dura. Una sucesión de v.a. X1,X2,…,Xn converge casi seguramente a una v.a. X si, ,

ó

Note que las v.a. no requieren ser i.i.d.Además,

XX CSn →

Notación:0>∀ε

( ) 0=≥−∞→ εXXlimP nn

( ) 1=<−∞→ εXXlimP nn

XXXX Pn

CSn →⇒→

22

Teoremas Límites• A partir de la CCS nace otro importante resultado:

Ley Fuerte de los Grandes Números (LFGN):

Sea X1,X2,…,Xn una secuencia de v.a.i.i.d.,con y finitas. Sea .Entonces, :

es decir:

[ ] µ=iXE [ ] 2σ=iXV ∑ == n

i in XnX1

)/1(0>∀ε

( ) 1=<−∞→ εµnn XlimP

µ→ CSnX

23

El objetivo de la estimación de parámetros es proveer de métodos que permitan determinar con cierta precisión, el vector de parámetros desconocidos ϑ, de un modelo estadístico f(x ; ϑ) a partir de una muestra aleatoria de una población bajo estudio.

1. Método de estimación Puntual2. Método de estimación por Intervalos


24

1. Método de estimación Puntual:Se busca un estimador ϑ que, con base en los datos muestrales, dé origen a una estimación univaluada del valor del parámetro.

2. Método de estimación por Intervalos:Se determina un intervalo aleatorio I(ϑ), donde

con cierta probabilidad, se encuentra el valor del parámetro ϑ.




25

La idea detrás de la estimación puntual es bastante simple. Cuando muestreamos desde una población descrita por su función de densidad o cuantía, conocer significa conocer la población entera.

Por lo tanto, es natural contar con métodos para encontrar buenos estimadores del parámetro .

Estimación Puntual

)|( θxfθ

θ

26

Un estimador es una regla que nos indica cómo obtener un parámetro de un modelo, basándose en la información contenida en una muestra ( M={ f ( x | θθθθ ) : θθθθ ∈∈∈∈ ΘΘΘΘ }}}} modelo )

T : χ τ ⊂ Θx T (x) = T (X1, X2,...., Xn)

T (x) : Estimador de θ, variable aleatoria, función de la muestra, que no depende del parámetro θ.

(T (x) es una estadística basada en la Información χχχχ)χ={x : x es una muestra aleatoria} Espacio de Información

♦ En lo que sigue = T (X1, X2,..., Xn) estimador de θ.

Definición de Estimador

θ̂

27

Métodos de Estimación Puntual

♦Método de Momentos

♦Método de Máxima Verosimilitud

♦Método de Estimación de Bayes

28

Método de Momentos

Quizá este sea el método de estimación puntual más antiguo (Karl Pearson, 1800’s).

Sea X1, X2, …, Xn, una muestra desde una población con pdf o pmf . Los estimadores de los k parámetros se encuentran igualando los primeros k momentos muestrales con los correspon-dientes k momentos poblacionales. Resolviendo el sistema de ecuaciones encontramos el vector de estimación:

),...,,|( 21 kxf θθθ

)ˆ,...,ˆ,ˆ(ˆ21 kθθθθ =

29

Momentos Observados

krm rr ,...,1, == µ

Método de Momentos

][,/1

][,/1

][,/1

1

22

1

22

11

1

11

kk

n

i

kik

n

ii

n

ii

XEXnm

XEXnm

XEXnm

==

==

==

∑

∑

∑

=

=

=

µ

µ

µ

mmm

y resolvemos el sistema de ecuaciones:

Momentos Observados(centrados en cero)

30

Ejemplo: Se tiene una muestra X1,X2,…,Xn iid que se supone siguen una distribución . Encuentre los parámetros de la Gaussiana.

Solución: Según la notación anterior, los parámetros de la distribución son y .

Tenemos que y

La fgm de una v.a. X Gaussiana es , entonces y

Método de Momentos

),( 2σµN

2/22

)( ttX et σµφ +=

µθ =12

2 σθ =

XXn

mn

ii == ∑

=1

11

1∑=

=n

iiX

nm

1

22

1

µµ =122

2 σµµ +=



31

...Ejemplo: resolviendo el sistema de ecuaciones:

Método de Momentos

µ=X

22

1

21 σµ +=∑=

n

iiX

n

X=µ̂

)ˆ,ˆ()ˆ,ˆ(ˆ 221 σµθθθ ==),(),( 2

21 σµθθθ ==Encontramos que el estimador del verdadero valor de es tal que:

∑=

−=n

ii XX

n 1

22 )(1σ̂

32

El método de MV es la técnica más popular para derivar estimadores. Sea X1,X2,…,Xn, una muestra desde una población con pdf o pmf .

La función de verosimilitud se define como:

Para cada punto Xi de la muestra, es el estimador de los parámetros en el cual alcanza su valor máximo como función del verdadero valor .

Método de Máxima Verosimilitud

),...,,|( 21 kxf θθθ

)|( θxLθ�

θ

∏ === n

i kikn xfxxxLθxL1 212111 ),...,,|(),...,,|,...,,()|( θθθθθθ

33

Si la función de verosimilitud es diferenciable (en ), el estimador de máxima verosimilitud (EMV) del verdadero valor es aquel que resuelve:

No obstante, habría que chequear que se cumple:


kiθxLi

,...,1,0)|( ==∂∂θ

θ�

iθ

θ

kiθxLi

,...,10,)|( ˆ2

2

=<∂∂

=θθθ

34

Dependiendo de la pdf o pmf, puede resultar muy complicada la función de verosimilitud, es por ello que es más fácil trabajar con la función de log-verosimilitud, definida como:

Equivalentemente, el EMV es el valor de para el cual se cumple:


∑ === n

i kixfθxLθx1 21 ),...,,|(ln)|(ln)|( θθθ�

kiθxi

,...,1,0)|( ==∂∂

�θ

θθ̂

35


∑ =

−−= n

iixθx

1 2

2

2)(exp

21ln)|(

σµ

σπ�

Ejemplo: Se tiene una muestra X1,X2,…,Xn iid que se supone siguen una distribución . Encuentre los parámetros de la Gaussiana.

Solución: Según la notación anterior, los parámetros de la distribución son: .

),( 2σµN

),(),( 221 σµθθθ ==

∑ =−−−−= n

i ixnn1

22

2 )(2

1ln2

2ln2

µσ

σπ

36

...Ejemplo: resolviendo el sistema de ecuaciones:

Encontramos que el estimador del verdadero valor de es tal que:

X=µ̂

∑=

−=n

ii XX

n 1

22 )(1σ̂

)ˆ,ˆ()ˆ,ˆ(ˆ 221 σµθθθ ==),(),( 2

21 σµθθθ ==

0)|( =∂∂ θx�µ

0)|(2 =∂∂ θx�σ




37

Método de Estimación de Bayes

En los enfoques previos consideramos al parámetro es considerado como una cantidad desconocida, pero fija. Trabajábamos con una muestra aleatoria (m.a.) proveniente de una población caracterizada por y, basándonos en los valores observados de la muestra, obteníamos conocimiento sobre el valor de , es decir, computábamos una cantidad aproximada .

En el enfoque bayesiano es considerado una cantidad cuya variación puede ser descrita por una distribución de probabilidad, llamada Probabilidad a Priori.

θ�

θ

θ

θ

θ

38


La distribución a priori es subjetiva, basada sobre la opinión del analista, y es formulada antes de que los datos sean vistos (de ahí su nombre).

Entonces, se toma una muestra desde una población caracterizada por , y la probabilidad a priori es actualizada con la información muestral. La probabilidad a priori actualizada se denomina Probabilidad a Posteriori, cuya actualización se realiza a través de la regla de Bayes. Es la probabilidad a posteriori la que se utiliza para hacer inferencia sobre .

θ

θ

39


Si denotamos la distribución a priori por y la distribución de muestreo por , entonces la distribución a posteriori, que es la distribución condicional de dada la muestra , está dada por:

donde es la distribución marginal de , esto es:

)(θπ)|( θxf

)()()|()|(

xxxm

f θπθθπ =

)(xm

∫= θθπθ dfm )()|()( xx

θ x

x

)),()()|(( θθπθ xx ff =

40


Note que la distribución a posteriori es una distribución condicional, condicionada sobre las observaciones de la muestra. Esta distribución será utilizada para hacer inferencia sobre , la cual se considera como una cantidad aleatoria. Por ejemplo, la media de la distribución a posteriori puede ser usada como estimador puntual de .

θ

θ

41


Ejemplo: Considere la muestra X1,X2,…,Xn iid Bernoulli(p). Entonces es una Binomial(n,p). Asumiremos que la distribución a priori de p es Encuentre la distribución a posteriori de p.

∑= iXY),( βαBeta

La distribución conjunta de Y y p es:

condicional x marginal

)()|(),( ppyfpyf π=

42


...Ejemplo:

−ΓΓ+Γ

−

= −−− 11 )1()()()()1(),( βα

βαβα pppp

yn

pyf yny

11 )1()()()( −+−−+ −

ΓΓ+Γ

= βα

βαβα yny pp

yn

y la marginal de Y es:

)()()(

)()()(),()(

1

0 βαβα

βαβα

++Γ+−Γ+Γ

ΓΓ+Γ

== ∫ nyny

yn

dppyfyf



43


...Ejemplo:La marginal de Y calculada previamente se conoce con el nombre de Beta-Binomial. Luego, la distribución a posteriori de p dado y es:

que es una distribución .Recuerde que p es la variable, mientras que y es tratada como fija en la actualización.

11 )1()()(

)()(

),()|( −+−−+ −+−Γ+Γ

++Γ== βα

βαβα yny ppyny

nyfpyfypf

),( βα +−+ ynyBeta

44


...Ejemplo:Una estimación natural para el parámetro p es la media de la distribución condicional, la cual nos entregaría en estimador de Bayes de p:

Esta cantidad combina información proveniente de la distribución a priori, así como también de la muestra.

nypB +++=βααˆ

45


...Ejemplo:En efecto, el estimador de Bayes obtenido puede reescribirse como combinación lineal de la media a priori y la media muestral, con coeficientes determinados por y n.

+

++++

++=

βαα

βαβα

βα nny

nnpBˆ

βα ,

Bp̂

media muestral media a priori46

Métodos de Evaluación de E.PuntualLos métodos discutidos previamente proveen herramientas para encontrar estimadores puntuales de parámetros. Una dificultad se presenta, no obstante, cuando podemos aplicar varias de estas técnicas a una situación particular, y nos encontramos con la tarea de escoger entre diversos estimadores.

Es probable que diferentes técnicas entreguen el mismo resultado, pero frecuentemente esto no ocurre. A continuación examinaremos algunos criterios que faciliten la tarea de seleccionar un determinado estimador.

47

Métodos de Evaluación de E.PuntualError Cuadrático Medio (ECM):El ECM de un estimador del parámetro es la función de definida por .El ECM mide el promedio de las diferencias cuadradas entre el estimador y el verdadero valor del parámetro, una medida razonable del desempeño de un estimador puntual.

Una medida alternativa podría ser . No obstante, la medida cuadrática que utiliza ECM tiene dos ventajas sobre otras medidas de distancia: primero que es bastante tratable analíticamente, y segundo que tiene la siguiente interpretación:

θθ

θ̂≡T2][ θ−TE

|][| θ−TE

48

Métodos de Evaluación de E.PuntualError Cuadrático Medio (ECM):

]2[][)( 222 θθθ +−=−= TTETETECM

2

2

22

22

))((][)][(][

][2])[(][][2][

TSesgoTVTETV

TETETVTETE

+=−+=

+−+=+−=

θθθ

θθ

θ−= ][)( TETSesgo

Donde se define el Sesgo (Bias) de un estimador puntualcomo:



49

Métodos de Evaluación de E.PuntualError Cuadrático Medio (ECM):El ECM incorpora dos componentes, una que mide la variabilidad del estimador (precisión) y la otra que mide su sesgo (cercanía al verdadero valor).

Un estimador con buenas propiedades de ECM tiene varianza y sesgo pequeños. Parece razonable entonces escoger como el mejor estimador de , la estadística que tenga el ECM más pequeño posible de entre todos los estimadores factibles de …

θ

θ

50

Métodos de Evaluación de E.PuntualError Cuadrático Medio (ECM):… No obstante, no existe ningún estimador que minimice el ECM para todos los posibles valores de . Es decir, un estimador puede tener un ECM mínimo para algunos valores de , mientras que otro estimador tendrá la misma propiedad, pero para otros valores de .

θ

θθ

Ejemplo: Considere la m.a. X1,X2,…,Xn de alguna distribución tal que y . Considere las estadísticas (estimadores):

como posibles estimadores de .

XXn

Tn

ii == ∑

=11

1

[ ] µ=iXE [ ] 2σ=iXV

∑=+

=n

iiX

nT

12 1

1

µ

y

51

Métodos de Evaluación de E.PuntualError Cuadrático Medio (ECM):Ejemplo: … Obtener los ECM de T1 y T2 y demostrar que ECM(T2) < ECM(T1) para algunos valores de , mientras que la proposición inversa es cierta para otros valores de .µ

µ

Solución:• Para T1 :El sesgo de T1 es cero, dado que [ ] [ ] µ== XETE 1

[ ]n

TVTECM2

11)( σ==

52

Métodos de Evaluación de E.PuntualError Cuadrático Medio (ECM):Solución:• Para T2 :

[ ] [ ]11

11

111

2 +=

+=

+= ∑∑

== nnXE

nXE

nTE

n

ii

n

ii

µ

2

222

2

2

2 )1(1)1()(

++=

−+

++

=n

nnn

nnTECM µσµµσ

[ ] [ ] 2

2

12

12 )1()1(

11

1+

=+

=

+= ∑∑

== nnXV

nX

nVTV

n

ii

n

ii

σ

53

Métodos de Evaluación de E.PuntualError Cuadrático Medio (ECM):Solución: … Si y , entonces

Al igualar ambas expresiones y resolviendo para , se tiene que:

En base a esto podemos afirmar que se deben examinar ciertos criterios adicionales para la selección de los estimadores.

10=n

10)( 1 =TECM121

1000)(2

2µ+=TECMy

1002 =σ

µ

ECM(T2) < ECM(T1) para 210<µ

210>µECM(T1) < ECM(T2) para

54

Métodos de Evaluación de E.PuntualEstimadores Insesgados:Recordemos que en el ECM de un estimador se definió el Sesgo o Bias. Se dice que la estadística es un estimador insesgado de , si para todos los valores posibles de .

En otras palabras, es deseable que la media del estimador sea igual al parámetro que se está estimando.

De esta forma, para cualquier estimador insesgado de , la distribución de muestreo de se encuentra centrada alrededor de y .

)X,...,X,T(X n21=Tθ θ=][TE

θ

Tθ

θ ][)( TVTECM =



55

Métodos de Evaluación de E.PuntualEstimadores Insesgados:Ejemplo: Sean X1,X2,X3 y X4 una m.a. de tamaño 4 proveniente de una población exponencial de parámetro θ.Demuestre quey son estimadores insesgado y sesgado, respectivamente, del parámetro θ.

3/)(6/)( 43211 XXXXT +++=5/)432( 43212 XXXXT +++=

Solución: Sabemos que E[Xi] = θ (exponencial)

3/])[][(6/])[][(][ 43211 XEXEXEXETE +++=θθθ =+= 3/26/2

5/])[4][3][2][(][ 43212 XEXEXEXETE +++=θθ 25/10 ==

insesgado

sesgado56

Métodos de Evaluación de E.PuntualEstimadores Consistentes:Es razonable esperar que un buen estimador de un parámetro sea cada vez mejor conforme crece el tamaño de la muestra.

Esto es, conforme la información de una v.a. se vuelve más completa, la distribución de muestreo de un buen estimador se encuentra cada vez más centrada alrededor del parámetro .

θ

θ

57

Métodos de Evaluación de E.PuntualEstimadores Consistentes:Sea el estimador del parámetro , y sea una secuencia de estimadores que representan a con base en muestras de tamaño 1,2,…,n, respectivamente. Se dice que es un estimador consistente para si

para todo valor de y .( ) 1|| =≤−∞→ εθnn TPlim

θT nTTT ,...,, 21T

θ

Obs.: Esta definición proviene del concepto de Convergencia en Probabilidad. Como ejemplo, anteriormente demostramos que la media muestral es un estimador consistente de la media poblacional .

0>εθ

T

µnX

58

Métodos de Evaluación de E.PuntualEstimadores Insesgados de Varianza Mínima:Como ya vimos, es difícil determinar un estimador con mínimo ECM para todo valor de . Sin embargo, podemos efectuar esta búsqueda dentro de la clase de estimadores insesgados. Si un estimador se encuentra dentro de esta clase, se tiene que:

y

Entonces, dentro de la clase de estimadores insesgados, podemos comparar éstos según su varianza.

θ

T

][)( TVTECM =θ=][TE

59

Métodos de Evaluación de E.PuntualEstimadores Insesgados de Varianza Mínima:Sea X1,X2,…,Xn una m.a. de una distribución cuya densidad tiene la forma . Sea un estimador de tal que y es menor que la varianza de cualquier otro estimador insesgado de para todos los valoresposibles de . Se dice entonces que es un estimador insesgado de varianza mínima de .

θ ][TVθ=][TE)|( θxf )X,...,X,T(X n21=T

θθ

θT

¿Cómo encontrar, si existe, un estimador de varianza mínima? Sería iluso calcular todos los estimadores posibles para cierto parámetro y escoger aquel de varianza más pequeña. Para evitar dicha operatoria, recurrimos a un resultado que recibe elnombre de cota inferior de Cramér-Rao.

θ

60

Métodos de Evaluación de E.PuntualEstimadores Insesgados de Varianza Mínima:Sea X1,X2,…,Xn una m.a. de una distribución cuya densidad tiene la forma . Si es un estimador insesgado de , entonces la varianza de debe satisfacer la siguiente desigualdad:

Esta desigualdad establece un límite inferior para la varianza de un estimador de (cota inferior de Cramér-Rao).

θ)|( θxf TT

12)|(ln][−

∂∂≥

θθXfnETV

θ



61

Métodos de Evaluación de E.PuntualEstimadores Eficientes:Si es cualquier estimador insesgado del parámetro , se dice que es un estimador eficiente si se cumple que:

12)|(ln][−

∂∂=

θθXfnETV

θTT

Por lo tanto, el estimador eficiente de es el estimador de mínima varianza, cuyo valor corresponde a la cota inferior de Cramér-Rao.El estimador eficiente de , si se puede encontrar, es el mejor estimador insesgado de en el contexto de la inferencia estadística.

θ

θ

θ62

Métodos de Evaluación de E.PuntualEstimadores Eficientes:Ejemplo: Sean X1,X2,…,Xn una m.a. de una distribución Poisson de parámetro . Encuentre el estimador eficiente de .λ

λ

Solución: Sabemos que la pmf de una distribución Poissonestá dada por , y su esperanza y varianza están dadas por y . Luego:

!/)|( xexp xλλ λ−=λµ ==][XE λσ == 2][XV

)!ln()ln()|(ln xxxp −−= λλλ

λλ

λλλ −=−=

∂∂ xxxp 1)|(ln

63

Métodos de Evaluación de E.PuntualEstimadores Eficientes:...Ejemplo:Entonces:

Y por la definición de eficiencia, el estimador eficiente T de debe ser tal que se cumpla:

De aquí inferimos que el estimador eficiente de es la media muestral: .

22)|(ln

−=

∂∂

λλ

λλ xExpE

[ ]λλ

λλ

1][12

22 ==−= XVxE

nnnTV

2

/1][ σλλ

===

λ

λXT =

64

Métodos de Evaluación de E.PuntualEficiencia Relativa:Se define la eficiencia relativa del estimador T2 respecto del estimador T1 como:

La varianza de un estimador insesgado es la cantidad más importante para decidir qué tan bueno es. Si T1 y T2 son dos cualesquiera estimadores insesgados de :

Se dice que T1 es más eficiente que T2 si .][][ 21 TVTV ≤

θ

)()(),(

2

112 TECM

TECMTTef =

][][),(

2

112 TV

TVTTef =

65

Métodos de Evaluación de E.PuntualEstimadores Suficientes:Una estadística suficiente para un parámetro es aquella que utiliza toda la información contenida en la muestra aleatoria con respecto a .Por ejemplo, suponga que la m.a. X1,X2,…,X50 de 50 observaciones proviene de una función de densidad caracterizada por el parámetro .Con una estadística suficiente para , lo que se tiene es una manera de resumir todas las mediciones de los datos de la muestra en un valor en el que toda la información de la muestra con respecto a se encuentre contenida en este valor.

θ

θ

θθ

θ

66

Métodos de Evaluación de E.PuntualEstimadores Suficientes:• Por ejemplo, el estimador T = (X1+X3+…+X49)/25 ¿contiene toda la información pertinente con respecto a ?A pesar que el estimador proporciona un solo valor, no es posible que éste contenga toda la información muestral con respecto a , dado que se ha excluido la mitad de los datos.

• ¿Qué se puede decir acerca de la media muestral? Que contiene todos los datos, pero significa esto que toda información muestral con respecto a se extrae considerando

θ

θ

θ X



67

Métodos de Evaluación de E.PuntualEstimadores Suficientes:Se dice que un estimador T = T(X1,X2,…,Xn) es suficiente para un parámetro si la distribución conjunta de X1,X2,…,Xndado T, se encuentra libre de ; es decir, si se afirma T,entonces X1,X2,…,Xn no tiene nada más que decir con respecto a .

La importancia de este concepto radica en el hecho de que si existe un estimador eficiente de , se encontrará que éste es una estadística suficiente.

θ

θ

θ

θ

68

Métodos de Evaluación de E.PuntualEstimadores Suficientes:Sea X1,X2,…,Xn una m.a. de una distribución con densidad de probabilidad . Se dice que la estadística T = T(X1,X2,…,Xn) es suficiente para sí y sólo si la función de verosimilitud puede factorizarse de la siguiente forma:

para cualquier valor t = T(x1,x2,…,xn) de T (realización) y en donde no contiene al parámetro .

θ)|( θxf

),...,()|()|,...,,()|( 111 nn xxgthxxxLθxL θθ ==

θ),...,( 1 nxxg

69

Métodos de Evaluación de E.PuntualEstimadores Suficientes:Ejemplo: Sea X1,X2,…,Xn una m.a. de una distribución Poisson con pdf .Demostrar que el estimador eficiente de es a su vez suficiente.

!/)|( xexp xλλ λ−=λ

Solución:)|()|()|()|,...,,( 2111 λλλλ nn xpxpxpxxxL �=

∏=

−

−−−

∑=

⋅⋅⋅=

=

n

ii

nx

nxxx

xe

xexexen

i i

n

1

21

!/

!/!/!/

1

21

λ

λλλ

λ

λλλ �

70

Métodos de Evaluación de E.PuntualEstimadores Suficientes:…Solución:

con( ) ),...,,(|)|,...,,( 21111 n

n

i in xxxgxhxxxL λλ ∑ ==

( ) λλλ nxn

i i exhn

i i −=

∑= =∑ 1|1

Entonces es una estadística suficiente para . Dado que el estimador eficiente es una función uno a uno de esta estadística, también es suficiente para .

∑ =

n

i ix1 λ

XX λ

71

Propiedades de los Estimadores Máximo Verosímiles

Los estimadores máximo verosímiles son:

�Asintóticamente insesgados�Asintóticamente normales�Asintóticamente eficientes�Invariantes bajo transformaciones biunívocas�Si ∃∃∃∃ estimador suficiente, es suficienteMVθ̂

72

Estimación por Intervalos

En la práctica, interesa no sólo dar una estimación de un parámetro, sino que además, un intervalo que permita precisar la incertidumbre existente en la estimación.Definición: Sea x m.a. ∝∝∝∝ f ( x , θθθθ ). Sean θθθθ1=T1(x), θθθθ2=T2(x) dos estadísticas de θθθθ : T1 ≤≤≤≤ T2 ∧∧∧∧ ∀∀∀∀x ∈∈∈∈χχχχ ; P [θ[θ[θ[θ1 ≤≤≤≤ θθθθ ≤≤≤≤ θθθθ2]]]] = 1 - αααα = γγγγ

Entonces el I = [θ[θ[θ[θ1 ; θθθθ2]]]] se llama intervalo aleatorio de confianza del 100 γγγγ% para θθθθ ( 0 < αααα < 1 ).



73

Fijado αααα, el problema de determinar θθθθ1 y θθθθ2 puede resolverse encontrando una variable aleatoria Q(x,θθθθ) cuya distribución esté totalmente definida, que sea independiente de θθθθ.

La variable Q(x,θθθθ) se denomina “Cantidad Pivotal”.

La construcción del intervalo de confianza se efectúa con base en el mejor estimador del parámetro desconocido θθθθ.


74

1. Encontrar una cantidad Q.2. P [[[[q1 ≤≤≤≤ Q ≤≤≤≤ q2]]]] = 1 - αααα = γγγγ3. Invertir P [θ[θ[θ[θ1 ≤≤≤≤ θθθθ ≤≤≤≤ θθθθ2]]]] = γγγγ , obteniendo así un intervalo I=[θ[θ[θ[θ1 ; θθθθ2]]]] de confianza para θθθθ de nivel 100 γγγγ%.

Observación: Para muestras grandes la v.a. Q siempre existe, ya que si , entoncestiene distribución normal estándar.

MVθ̂ ( )MV

MVZθσθθˆ

ˆ−=

Método de la Cantidad Pivotal

( )[ ]MVMV zI θσθ αˆˆ

21−±=El intervalo para θθθθ estaría dado por:donde el cuantil puede obtenerse de la tabla de ladistribución Normal estándar.

2/1 α−z

75

I.Confianza para cuando se muestrea una distribución normal con varianza conocida:Considerando como estimador de la media poblacional como la media muestral , deseamos construir un intervalo de confianza tal que:

donde

Estimación por Intervalosµ

αµµ −=<< 1)]()([ 21 gXgP

2/);()(1

αµµ

=∫∞−

g

xdxf 2/);()(2

αµµ

=∫∞

g

xdxfy

);( µxf es la función de densidad de la distribución de muestreode , y y son funciones de , las cualesno contienen a ningún otro parámetro desconocido.

X

X )(1 µg )(2 µg

µ

µ

1)

76

I.Confianza para cuando se muestrea una distribución normal con varianza conocida:

Puesto que , la v.a. ,entonces:


ασ

µµσ

µµµµ −=

−<<−=<< 1/)(

/)()]()([ 21

21 ngZ

ngPgXgP

),(~ σµNX )1,0(~)//()( NnXZ σµ−=

considerando y ,además de se tiene:

2/1

/)(

ασµµ z

ng =−

2/12

/)(

ασµµ

−=− zn

g

ασµσαα −=

+<<− −− 12/12/1 nzX

nzXP

2/12/ αα −−= zz

1)

77

I.Confianza para cuando se muestrea una distribución normal con varianza conocida:

Luego, el intervalo de confianza del para la media poblacional es:


)%1(100 α−

donde el cuantil puede obtenerse de la tabla de ladistribución Normal estándar.

±=

+−= −−− nzx

nzx

nzxI σσσ

ααα 2/12/12/1 ,

2/1 α−z

1)

78

I.Confianza para cuando se muestrea una distribución normal con varianza desconocida:

Es sabido que cuando se muestrea una v.a. , donde tanto como son desconocidos, la v.a.

sigue una distribución t-Student con (n-1) gl.,donde S es la desviación estándar y n es el

tamaño de la muestra.

Por lo tanto, es posible determinar el valor del cuantilde T, para el cual:


ααα −=<<− −−−− 1][ 1,2/11,2/1 nn tTtP

µ σ),(~ σµNX

nSXT

/µ−=

1,2/1 −− nt α

2)



79

I.Confianza para cuando se muestrea una distribución normal con varianza desconocida:

Entonces:

Estimación por Intervalosµ2)

αµ αα −=

+<<− −−−− 11,2/11,2/1 nStX

nStXP nn

Luego, el intervalo de confianza del para la mediapoblacional es:

)%1(100 α−

donde el cuantil puede obtenerse de la tabla de ladistribución t-Student con (n-1) grados de libertad.

±=

+−= −−−−−− nstx

nstx

nstxI nnn 1,2/11,2/11,2/1 , ααα

1,2/1 −− nt α

80

I.Confianza para la diferencia de medias cuando se muestrean dos distribuciones normales independientes:

Sean X1,X2,…,Xnx y Y1,Y2,…,Yny dos m.a. de dos distribuciones normales independientes, con medias y y varianzas y , respectivamente.

Se desea construir un intervalo de confianza para la diferencia , con el supuesto que se conocen las varianzas. Es sabido que la v.a.

Estimación por Intervalos3)

Xµ Yµ2Xσ 2

Yσ

)1,0(~)(22

N

nn

YXZ

Y

Y

X

X

YX

σσµµ

+

−−−=

YX µµ −

81


Por lo tanto, es posible determinar el valor del cuantilpara el cual


ααα −=<<− −− 1][ 2/12/1 zZzP2/1 α−z

3)

ασσµµσσαα −=

++−<−<+−− −− 1

22

2/1

22

2/1Y

Y

X

XYX

Y

Y

X

X

nnzYX

nnzYXP

+±−= −

Y

Y

X

X

nnzyxI

22

2/1σσ

α

Entonces:

donde el cuantil puede obtenerse de la tabla de ladistribución Normal estándar.

2/1 α−z

El intervalo está dado por:

82


Si las varianzas se desconoce, pero son iguales, entonces la v.a.


donde el estimado combinado de la varianza común es:


)(~11

)( kStudentt

nnS

YXZ

YXp

YX −+

−−−= µµ 2−+= YX nnk

ksnsns YYXX

p

222 )1()1( −+−=

gl

+±−= −

YXpk nn

styxI 11,2/1 α

83

I.Confianza para cuando se muestrea una distribución normal con media desconocida:

Es sabido que cuando se muestrea una v.a. , donde tanto como son desconocidos, la v.a.

sigue una distribución Ji-cuadrada con (n-1) gl.,donde S es la desviación estándar y n es el

tamaño de la muestra.

Por lo tanto, es posible determinar el valor de los cuantilesy tales que

Estimación por Intervalos2σ

αχχχ αα −=<< −−− 1][ 1,2/12

1,2/2

nnP

µ σ),(~ σµNX

2

2)1(σ

χ Sn −=

1,2/2

−nαχ

4)

1,2/12

−− nαχ

84

I.Confianza para cuando se muestrea una distribución normal con media desconocida:


Luego, el intervalo de confianza del para la varianza, con base en los datos de una muestra de tamaño nes:

)%1(100 α−

donde los cuantiles y se obtienen de la tabla de la distribución Ji-Cuadrada con (n-1) gl.

−−=−−− 1,2/

2

2

1,2/12

2 )1(,)1(nn

snsnIαα χχ

2σ

1,2/2

−nαχ 1,2/12

−− nαχ



85

I.Confianza para el cuociente de dos varianzas cuando se muestrean dos distribuciones normales independientes:

Sean X1,X2,…,Xnx y Y1,Y2,…,Yny dos m.a. de dos distribuciones normales independientes, con medias y y varianzas y , respectivamente.

Se desea construir un intervalo de confianza para el cuociente .

Es sabido que la v.a.


Xµ Yµ2Xσ 2

Yσ

)1,1(~/ 2

2

2

2

−−= YXY

Y

X

X nnFSSFσσ

22 / XY σσ

86

I.Confianza para el cuociente de dos varianzas cuando se muestrean dos distribuciones normales independientes:

Por lo tanto, es posible determinar los cuantiles a y b tales que:


[ ] α−=<< 1ba FFFP

5)

donde1,1,2/1

1

−−−

=XY nn

a fF

α 1,1,2/1

1

−−−

=YX nn

b fF

α

y

= 2

2

2

2

,X

Yb

X

Ya s

sFssFI

donde los cuantiles Fa y Fb pueden obtenerse de la tabla de ladistribución F con (nX-1) y (nY-1) grados de libertad.


Documents

[]Y TABLA []Y - inf.utfsm.clhallende/bajadas/Cap7-05.pdf · Sabemos que y . El TCL declara que: Se pide calcular ... de que la media muestral se encuentre a no más de 4 unidades