Statystyka Matematyczna

Anna Janicka

wykład V, 21.03.2016

WŁASNOŚCI ESTYMATORÓW, CZ. I

Plan na dzisiaj

1. Podstawowe własności estymatorów:

� obciążenie estymatora

� estymatory nieobciążone

2. Mierniki jakości: porównywanie estymatorów

� ryzyko estymatora

� nieporównywalne estymatory

� estymator nieobciążony o minimalnej wariancji

3. Informacja Fishera

Własności estymatorów

� Czy nie robimy za dużych błędów? Czy

estymujemy to, co chcemy?

� ma przybliżać θ.

Ogólniej: ma przbliżać g(θ ).

� Chcemy: mały błąd przybliżenia. Ale

� błąd jest zmienną losową (dane są losowe)

→ możemy badać wartość oczekiwaną błędu

� błąd zależy od nieznanego θ.

→ trudno...

θ)(ˆ Xg

Obciążenie estymatora

Jeśli statystyka jest estymatorem θ :

obciążenie estymatora to

Jeśli statystyka jest estymatorem g(θ ):

obciążenie estymatora to

Estymator / jest nieobciążony,

jeśli

inne oznaczenia, np:

)(ˆ Xθ

)()(ˆ))()(ˆ()( θθθ θθ gXgEgXgEb −=−=

θθθθθ θθ −=−= )(ˆ))(ˆ()( XEXEb

)(ˆ Xg

)(ˆ Xg)(ˆ XθΘ∈∀= θθ dla 0)(b

)ˆ(gBθ

Przypomnienie z wykładu 3: model normalny

Model normalny: X1, X2, ..., Xn są próbką z

rozkładu N(µ, σ2). µ, σ nieznane.

Tw. W modelu normalnym, statystyki i

S2 są niezależnymi zmiennymi

losowymi, t. że

W szczególności:

X

),(~2

nNX σµ)1(~ 221

2 −χ− nSn

σ

)1(2 Varoraz ,

42

,

22

, −==n

SSE σσ σµσµ

nXXE

2

,, Varoraz , σµ σµσµ ==

Obciążenie estymatora – Przykład 1

W modelu normalnym:

� Estymator jest nieobciążonym

estymatorem µ:

� Podobnie, jest nieobciążonym

estymatorem µ:

� Estymator jest obciążony:

obciążenie:

X=µ

µµµ σµσµσµ ==== ∑ =nXEXEXE

n

n

i in1

1

1,,, )(ˆ

11ˆ X=µ

µµ σµσµ == 1,1, )(ˆ XEXE

5ˆ2 =µ2 dla np. 55)(ˆ ,2, =≠== µµµ σµσµ EXE

µµ −= 5)(b

dowolnym, o nieznanym µ:

Obciążenie estymatora – Przykład 1 cd.

� Estymator jest

obciążonym estymatorem σ2:

� Zaś estymator

jest nieobciążonym estymatorem σ2 :

∑ =−=

n

i inXXS

1

212 )(ˆ

( ) 222221

22

,1

1

21,

2

,

22

)()(

)()()(ˆ

σσµσµ σσ

σµσµσµ

≠−=+−+=

−=−= ∑∑ =

nnn

in

n

i in

nn

XnXEXXEXSE

∑ =− −=n

i inXXS

1

2

112 )(

( ) ( ) 22

11222

11

22

,11

1

2

11

,

2

,

)1()()(

)()()(

2 σσµσµ σ

σµσµσµ

=−=+−+=

−=−=

−−

−=− ∑∑nnn

XnXEXXEXSE

nnn

in

n

i in

analogicznie: nie tylko dla modelu normalnego

Obciążenie estymatora – Przykład 1 cd (2)

Obciążenie estymatora

to

gdy n → ∞, obciążenie dąży do 0, a więc

ten estymator też jest OK dla dużych

prób

∑ =−=

n

i inXXS

1

212 )(ˆ

nb

2

)(σ

σ −=

dla dowolnego rozkładu

mającego wariancję

Asymptotyczna nieobciążoność

� Estymator parametru g(θ ) jest

asymptotycznie noeobciążony, jeśli

0)(lim : =Θ∈∀∞→

θθ bn

)(ˆ Xg

Jak porównywać estymatory?

� Chcemy minimalizować błąd

estymatora; estymator, który mniej się

myli jest lepszy.

� Błąd może być na + albo na -, stąd

standardowo patrzy się na kwadrat

błędu (średni kwadrat odchylenia

estymatora od wartości estymowanej)

Ryzyko estymatora (ryzyko kwadratowe)

Jeśli statystyka jest estymatorem θ :

ryzyko estymatora to funkcja

Jeśli statystyka jest estymatorem g(θ ):

ryzyko estymatora to funkcja

My rozważać będziemy tylko ryzyko kwadratowe (błąd

średniokwadratowy). Możliwe też inne (np. z modułem)

)(ˆ Xθ

2))()(ˆ()ˆ,( θθ θ gXgEgR −=

2))(ˆ()ˆ,( θθθθ θ −= XER

)(ˆ Xg

)(ˆ Xθ

)(ˆ Xg

Własności ryzyka kwadratowego

Mamy:

A zatem dla estymatorów nieobciążonych

ryzyko to wariancja estymatora

)ˆ(Var)()ˆ,( 2 gbgR += θθ

Ryzyko estymatora – Przykład 1

Model: X1, X2, ..., Xn są próbką z rozkładu o

średniej µ, wariancji σ2. µ, σ nieznane.

� Ryzyko estymatora (nieobc.):

� Ryzyko estymatora (nieobc.):

� Ryzyko estymatora (obc.):

X=µ

nXVarXEXR

2

,

2

, )(),,(σ

µσµ σµσµ ==−=

11ˆ X=µ

5ˆ2 =µ

2

1,

2

1,1 )(),,( σµσµ σµσµ ==−= XVarXEXR

22

, )5()5()5,,( µµσµ σµ −=−= ER

Ryzyko estymatora – Przykład 1 cd.

� Ryzyko estymatora

� Ryzyko estymatora ∑ =−=

n

i inXXS

1

212 )(ˆ

∑ =− −=n

i inXXS

1

2

112 )(

1

2)(),,(

42

,

222

,

2

−==−=

nSVarSESR

σσσµ σµσµ

4

2

4

2

2

2

4

2

,

2222

,

2

12

1

2)1(

ˆ)()ˆ()ˆ,,(

σσσ

σσσµ σµσµ

n

n

nn

n

n

SVarbSESR

−=

−−

+=

+=−=

)ˆ,,(),,( 22 SRSR σµσµ >w modelu dowolnym:

analogicznie, tylko inne wzory

Ryzyko i obciążenie estymatora – Przykład 2.

Model Poissona: X1, X2, ..., Xn są próbką z

rozkładu Poissona z nieznanym

parametrem θ.

XNW == ...θ0)( =θb

nXXXR

n

i in

θθ θθ === ∑ =1

1VarVar),(

Porównywanie estymatorów

Estymator jest lepszy od , jeśli

oraz

a zatem: jeden estymator jest lepszy od drugiego tylko

jeśli cały wykres funkcji ryzyka jednego leży pod

wykresem drugiego; jeśli wykresy się krzyżują, to

estymatory są nieporównywalne

)(ˆ1 Xg )(ˆ

2 Xg

)ˆ,()ˆ,( 21 gRgR θθθ ≤Θ∈∀

)ˆ,()ˆ,( 21 gRgR θθθ <Θ∈∃

Porównywanie estymatorów – cd.

Z uwagi na to, że bardzo wiele

estymatorów jest nieporównywalnych,

porównywanie byle czego nie ma sensu;

trzeba się ograniczyć do pewnej klasy

estymatorów.

Jeśli porównujemy dwa estymatory

nieobciążone, to lepszy będzie ten, który

ma mniejszą wariancję.

Porównanie estymatorów – Przykład 1.

W modelu dowolnym:

� Spośród estymatorów

lepszy jest (dla n>1) estymator

� Estymatory są

nieporównywalne, tak samo jak

estymatory

� Spośród estymatorów

lepszy jest

11ˆ oraz ˆ XX == µµµ

5ˆ oraz ˆ 2 == µµ X

5ˆ oraz ˆ 211 == µµ X22 ˆ oraz SS

2S

Estymator nieobciążony o minimalnej wariancji

Ograniczamy poszukiwania/porównania do

estymatorów nieobciążonych. W tej klasie

często da się znaleźć estymator najlepszy:

Statystyka g*(X) jest estymatorem nieobciążonym o minimalnej wariancji dla g(θ), jeśli

� g*(X) jest nieobciążonym estymatorem g(θ),

� dla każdego nieobciążonego estymatora

dla θ∈Θ)(ˆ Xg

)(ˆ)(* XgVarXgVar θθ ≤

Jak stwierdzić, że estymator ma minimalną wariancję?

� W ogólności nie da się dowolnie

zmniejszać wariancji estymatorów

nieobciążonych – dla wielu modeli

probabilistycznych istnieje pewna

granica zmniejszania wariancji. Zależy

ona od konkretnego rozkładu i od

wielkości próby.

Informacja Fishera

Jeśli model statystyczny z obs. X1, X2, ..., Xn i

p-stwem fθ spełnia warunki regularności, tzn.:

1. Θ jest przedziałem otwartym 1-wymiarowym.

2. Nośnik rozkładu {x: fθ(x)>0} nie zależy od θ.

3. Istnieje pochodna .

to można zdefiniować Informację Fishera zawartą w obserwacjach X1, X2, ..., Xn:

nie zakładamy tu niezależności X1, X2, ..., Xn

θθ

d

df

( )221 ),...,,(ln)( ndd

n XXXfEI θθθθ =

Informacja Fishera – co oznacza

� Miara tego, jak wiele może powiedzieć

próba wielkości n (uśredniona) o

wartości nieznanego parametru θ.

� Np. jeśli funkcja gęstości wokół θ jest

płaska, to informacja zawarta w (jednej)

obserwacji nie będzie pozwalała

różnicować naszych przewidywań co do

θ. Jeśli jednak funkcja gęstości wokół θnie jest płaska, to info o wynikach wnosi

wiele.

Informacja Fishera – cd.

Wzory dla różnych przypadków:

� jeśli rozkład ciągły

� jeśli rozkład dyskretny

� jeśli fθ dwukrotnie różniczkowalna

dxxfxf

I d

xdf

n )()(

)(

2)(

θθ

θθ

θ ∫

=

X

∑∈

=

Xx

d

xdP

n xPxP

I )()(

)(

2)(

θθ

θθ

θ

( )),...,,(ln)( 212

2

nd

dn XXXfEI θθθθ −=

Informacja Fishera – cd. (2)

� Jeśli próba składa się z niezależnych

zmiennych losowych o identycznych

rozkładach, to wówczas z uwagi na

multiplikatywność prawdopodobieństwa

oraz własności logarytmu

I1(θ) jest informacją Fishera zawartą w pojedynczej

obserwacji

)()( 1 θθ nIIn =

Informacja Fishera – przykład

� Rozkład wykładniczy exp(λ)

21

1...)(

λλ ==I