STATYSTYKARafał Kucharski

Uniwersytet Ekonomiczny w Katowicach 2015/16ROND, Finanse i Rachunkowość, rok 2

Rachunek prawdopodobieństwaRzucamy 10 razy monetą, dla której prawdopodobieństwo wyrzuceniaorła w pojedynczym rzucie wynosi 1/2.

Jakie jest prawdopodobieństwo wyrzucenia 5 orłów?

Statystyka matematycznaW 10 rzutach monetą wypadło 5 orłów.

Jakie jest prawdopodobieństwo wypadnięcia orła wpojedynczym rzucie?

Czy moneta jest sprawiedliwa?

Model statystyczny

I X = (X1, . . . ,Xn) – ciąg zmiennych losowych – wynikeksperymentu, pomiaru, obserwacji,

I X – przestrzeń próby – zbiór wszystkich możliwych wartości X ,I P = {Pθ : θ ∈ Θ} – rodzina rozkładów prawdopodobieństwa na

przestrzeni prób X ,I θ – parametr, Θ – zbiór możliwych wartości parametru θ,I (X ,P) – model statystyczny (przestrzeń statystyczna),I f : X → R – statystyka (nie zależy bezpośrednio od θ),I prościej: statystka z próby to zmienna losowa będąca funkcją

obserwowanych w próbie zmiennych losowych,I Próba prosta (z rozkładu Pθ): X = (X1,X2, . . . ,Xn) – niezależne

zmienne losowe o tym samym rozkładzie (Pθ).

I X1,X2, . . . ,Xn – próba (zmienne losowe),I statystyki z próby (zmienne losowe):

X̄ =1n

n∑i=1

Xi , S2 =1n

n∑i=1

(Xi − X̄ )2,

I x1, x2, . . . , xn – realizacje próby (wartości przyjęte przez zmiennelosowe),

I oceny statystyk (liczby):

x̄ =1n

n∑i=1

xi , s2 =1n

n∑i=1

(xi − x̄)2,

Estymacja

I estymacja parametryczna – szacowanie nieznanych wartościparametrów rozkładu cechy statystycznej w populacji generalnej,

I estymacja nieparametryczna – szacowanie nieznanego rozkładubadanych cech w populacji generalnej,

I estymacja punktowa – za ocenę wartości przyjmujemy jednąwartość (dodając błąd szacunku),

I estymacja przedziałowa – wyznaczamy przedział, w którym z dużymprawdopodobieństwem znajduje się wartość szacowanegoparametru.

Estymator

I Estymator to statystyka, która służy oszacowaniu parametru(ów)rozkładu.

I Estymatorem parametru θ rozkładu zmiennej losowej X nazywamystatystykę θ̂n = fn(X1, . . . ,Xn), której rozkład prawdopodobieństwazależy od θ.

I Liczbę fn(x1, . . . , xn) jaką przyjmuje estymator θ̂n dla realizacjipróby (x1, . . . , xn) nazywamy oceną parametru θ.

Pożądane cechy estymatorówI Liczbę B(θ̂n) = E(θ̂n − θ) nazywamy obciążeniem estymatora,I Estymator nazywamy nieobciążonym, jeśli

B(θ̂n) = 0, czyli E(θ̂n) = θ.

I Estymator nazywamy asymptotycznie nieobciążonym, jeśli

limn→∞B(θ̂n) = 0, czyli limn→∞E(θ̂n) = θ.

I Estymator nazywamy zgodnym, jeśli (zbieżność wedługprawdopodobieństwa (stochastyczna))

limn→∞

P(|θ̂n − θ| < ε) = 1 dla każdego ε > 0.

I Jeśli estymator jest zgodny, to jest asymptotycznie nieobciążony.I Jeśli estymator jest asymptotycznie nieobciążony i jego wariancja

maleje wraz ze wzrostem liczebności próby do zera, to jest zgodny.

Prawo wielkich liczb BernoulliegoJeśli k oznacza liczbę sukcesów w n próbach Bernoulliego, to

limn→∞

P(∣∣∣∣kn − p

∣∣∣∣ < ε) = 1, dla każdego ε > 0,gdzie p jest prawdopodobieństwem sukcesu w pojedynczymdoświadczeniu.

Prawo wielkich liczb ChinczynaJeśli (Xn) jest ciągiem niezależnych zmiennych losowych o tym samymrozkładzie i skończonej wartości oczekiwanej E(X1) = µ, to

limn→∞

P(∣∣∣∣∣1n

n∑i=1

Xi − µ∣∣∣∣∣ < ε

)= 1, dla każdego ε > 0.

Średnia z próby

Niech (X1,X2, . . . ,Xn) będzie próbą prostą, E(X1) = µ, D2(X1) = σ2.

X̄ =1n

n∑i=1

Xi ,

E(X̄ ) = E(1n

n∑i=1

Xi

)=1n

n∑i=1

E(Xi ) =1nnµ = µ,

D2(X̄ ) = D2(1n

n∑i=1

Xi

)=1n2

n∑i=1

D2(Xi ) =1n2nσ2 =

σ2

n,

D(X̄ ) =σ√n.

Wariancja z próbyNiech (X1,X2, . . . ,Xn) będzie próbą prostą, E(X1) = µ, D2(X1) = σ2.

S2 =1n

n∑i=1

(Xi − X̄ )2 =1n

n∑i=1

X 2i −(1n

n∑i=1

Xi

)2,

E(S2) = E

1n

n∑i=1

X 2i −(1n

n∑i=1

Xi

)2 ==1n

n∑i=1

E(X 2i)− 1n2

E

n∑i ,j=1

XiXj

==1nn(σ2 + µ2)− 1

n2

n∑i=1

E(X 2i)

+n∑

i ,j=1,i 6=jE (XiXj)

== σ2 + µ2 − 1

n2

(n(σ2 + µ2) + (n2 − n)µ2

)=

= σ2 + µ2 − 1n2

(nσ2 + n2µ2

)=

(1− 1n

)σ2 =

n − 1n

σ2.

Nieobciążony estymator wariancjiNiech (X1,X2, . . . ,Xn) będzie próbą prostą, E(X1) = µ, D2(X1) = σ2.

Ŝ2 =1n − 1

n∑i=1

(Xi − X̄ )2 =nn − 1

S2,

E(Ŝ2) =nn − 1

E(S2) =nn − 1

· n − 1n

σ2 = σ2.

Ale dla statystyki S2µ =1n∑ni=1(Xi − µ)2 mamy

E(S2µ) =1nE(n∑i=1

X 2i − 2µn∑i=1

Xi + nµ2)

=

=1n

n∑i=1

E(X 2i )− 2µ1n

n∑i=1

E(Xi ) + µ2 =

=1n

n∑i=1

(σ2 + µ2)− 2µ2 + µ2 =

= σ2 + µ2 − µ2 = σ2.

Pożądane cechy estymatorów c.d.

I Wariancja estymatora:

D2(θ̂n) = E(θ̂n − E(θ̂n))2.

I Błąd średniokwadratowy estymatora:

MSE (θ̂n) = E(θ̂n − θ)2

I MamyMSE (θ̂n) = D2(θ̂n) + [B(θ̂n)]2

I Jeśli estymator jest nieobciążony, to MSE (θ̂n) = D2(θ̂n).I D(θ̂n) nazywamy wówczas średnim (standardowym) błędem

szacunku parametru θ,I D(θ̂n)/θ jest względnym błędem szacunku.

Pożądane cechy estymatorów c.d.

I Estymator nazywamy najefektywniejszym w danej klasieestymatorów, jeśli ma w tej klasie najmniejszą wariancję.

I Zwykle efektywność rozważamy w klasie estymatorównieobciążonych.

I Estymator efektywny w sensie Rao-Cramera: estymatornieobciążony realizujący dolne ograniczenie w nierównościRao-Cramera

D2(θ̂n) (nE[(

∂ ln f (x ; θ)∂θ

)2])−1,

gdzie f (x ; θ) jest funkcją gęstości lub funkcją prawdopodobieństwapopulacji generalnej.

Xi ∼ N(µ, σ2),

f (x ;µ) =1√2πσ2

exp

(−(x − µ)

2

2σ2

),

ln f (x ;µ) = − ln(√2πσ2)− (x − µ)

2

2σ2,

∂ ln f (x ;µ)∂µ

=2(x − µ)2σ2

=x − µσ2

,

E[(

∂ ln f (x ;µ)∂µ

)2]= E

[(x − µσ2

)2]=

E((x − µ)2)σ4

=σ2

σ4=1σ2,

(nE[(

∂ ln f (x ;µ)∂µ

)2])−1=σ2

n.

Metody uzyskiwania estymatorów

I metoda najmniejszych kwadratów,I metoda momentów,I metoda największej wiarygodności,

I Funkcją wiarygodności próby nazywamy wyrażenie:

L(x1, . . . , xn; θ) =n∏i=1

f (xi ; θ).

I Za θ̂ przyjmujemy wielkość maksymalizującą funkcję wiarygodności(lub jej logarytm),

I Przy dość ogólnych założeniach estymatory MNW są zgodne,asymptotycznie normalne, asymptotycznie nieobciążone iasymptotycznie najefektywniejsze.

Własności rozkładu normalnegoJeśli X1,X2, . . . ,Xn są niezależne o rozkładach normalnych:Xi ∼ N(µi , σ2i ), to:

n∑i=1

Xi ∼ N(n∑i=1

µi ,n∑i=1

σ2i

).

Jeśli X1,X2, . . . ,Xn jest próbą prostą z rozkładu normalnego N(µ, σ2),to:

n∑i=1

Xi ∼ N(nµ, nσ2

),

X̄ =1n

n∑i=1

Xi ∼ N(µ,σ2

n

),

X̄ − µσ

√n ∼ N(0, 1).

Rozkłady t-Studenta, χ2 oraz FJeśli X1,X2, . . . ,Xn jest próbą prostą z rozkładu normalnego N(µ, σ2),to:

nS2

σ2=1σ2

n∑i=1

(Xi − X̄ )2 ∼ χ2n−1,

X̄ − µS

√n − 1 = X̄ − µ

Ŝ

√n ∼ tn−1,

Jeśli X1, . . . ,Xn1 oraz Y1, . . . ,Yn2 są niezależnymi próbami prostymi zrozkładu normalnego, odpowiednio: N(µ1, σ2) i N(µ2, σ2) (σ2 jestnieznane, ale takie samo w obu rozkładach!), to:

Ŝ2XŜ2Y∼ Fn1−1,n2−1.

Przypomnienie: Centralne Twierdzenie GraniczneLindeberga-Levy’ego

Jeśli (Xn)n∈N jest ciągiem niezależnych zmiennych losowych ojednakowym rozkładzie, E(X1) = µ, D2(X1) = σ2

Estymacja przedziałowaI Jerzy Spława-Neyman (1894.04.16 – 1981.08.05)I cecha X ma w populacji rozkład z nieznanym parametrem θ,I na podstawie wylosowanej z tej populacji próby (X1, . . . ,Xn)

wyznaczamy

θ = θ(X1, . . . ,Xn), θ = θ(X1, . . . ,Xn)

aby dla przyjętego prawdopodobieństwa 1− α zachodził warunek

P(θ(X1, . . . ,Xn) < θ < θ(X1, . . . ,Xn)

)= 1− α.

I losowy przedział (θ, θ) nazywamy przedziałem ufności parametru θ,I liczbę 1− α nazywamy współczynnikiem (poziomem) ufności,I długość przedziału ufności θ − θ określa dokładność estymacji,I zależy nam na największej dokładności – szukamy najkrótszych

przedziałów ufności.

Przedział ufności dla średniej w populacji normalnej oznanej wariancji

I Cecha X ma rozkład N(µ, σ2), gdzie wariancja σ2 jest znana.I Wyznaczymy przedział ufności dla nieznanej wartości parametru µ.

I X̄ =1n∑ni=1 Xi ∼ N

(µ, σ

2

n

)⇐⇒ Z = X̄ − µ

σ

√n ∼ N(0, 1).

I Niech zα będzie taką liczbą, że

P(−zα < Z < zα) = 1− α.

I Wówczas

1− α = P(−zα <

X̄ − µσ

√n < zα

)=

= P(−X̄ − zα

σ√n< −µ < −X̄ + zα

σ√n

)=

= P(X̄ − zα

σ√n< µ < X̄ + zα

σ√n

).

Przedział ufności dla średniej w populacji normalnej oznanej wariancji, c.d.

I otrzymaliśmy

θ = X̄ − zασ√n, θ = X̄ + zα

σ√n.

I zauważmy, że długość przedziału ufności wynosi tutaj 2zασ√n

i niezależy od wartości w próbie,

I mamy

P(−zα < Z < zα) = 1− α ⇐⇒ zα = Φ−1(1− α2

).

Przedział ufności dla średniej w populacji normalnej znieznaną wariancją

I Cecha X ma rozkład N(µ, σ2), gdzie wariancja σ2 jest nieznana.I Wyznaczymy przedział ufności dla nieznanej wartości parametru µ.

I t =X̄ − µS

√n − 1 ∼ tn−1 (gdzie S =

√1n

∑ni=1(Xi − X̄ )2).

I Niech tα,n−1 będzie taką liczbą, że

P(−tα,n−1 < t < tα,n−1) = 1− α.

I Wówczas

1− α = P(−tα,n−1 <

X̄ − µS

√n − 1 < tα,n−1

)=

= P(−X̄ − tα,n−1

S√n − 1

< −µ < −X̄ + tα,n−1S√n − 1

)=

= P(X̄ − tα,n−1

S√n − 1

< µ < X̄ + tα,n−1S√n − 1

).

Przedział ufności dla średniej w populacji o nieznanymrozkładzie

I Cecha X ma dowolny rozkład, ze znaną wariancją σ2.I Wyznaczymy przedział ufności dla nieznanej wartości parametru µ.

I Z =X̄ − µσ

√n n→∞−−−→ N(0, 1).

I Zatem, jeśli n jest dostatecznie duże, to

1− α = P(X̄ − zα

σ√n< µ < X̄ + zα

σ√n

),

gdzie zα jest taką liczbą, że

P(−zα < Z < zα) = 1− α.

I Jeśli σ2 jest nieznane, to dla dużego n możemy przyjąć σ = S ,otrzymując przedział ufności

1− α = P(X̄ − zα

S√n< µ < X̄ + zα

S√n

).

PrzykładI Zmierzono wytrzymałość 10 losowo wybranych elementów i

otrzymano następujące wyniki:

383, 284, 339, 340, 305, 386, 387, 335, 344, 346 [Pa].

Przy założeniu, że wytrzymałość tych elementów jest zmiennąlosową N(µ, σ2) o nieznanych parametrach µ i σ2, wyznaczyć napodstawie tej próbki 95% realizację przedziału ufności dla µ.

I Ponieważ

x̄ = 344, s210 = 986.8, s10 = 31.13, t0.05,9 = 2.26,

więc szukana realizacja przedziału ufności ma postać(344− 2.26 · 31.13

3, 344+ 2.26 · 31.13

3

)= (320.5, 367.5).

Przedział ufności dla wariancji w populacji normalnejI Cecha X ma rozkład N(µ, σ2), z nieznanymi parametrami µ i σ2.I Wyznaczymy przedział ufności dla parametru σ2.

I χ2 =nS2

σ2∼ χ2n−1.

I Wyznaczamy takie liczby χ2α/2,n−1, χ21−α/2,n−1, dla których

P(χ2 χ2α/2,n−1) =α

2, P(χ2 ¬ χ21−α/2,n−1) =

α

2,

skądP(χ21−α/2,n−1 ¬ χ

2 ¬ χ2α/2,n−1) = 1− α.I Wówczas

P(χ21−α/2,n−1 ¬

nS2

σ2¬ χ2α/2,n−1

)= 1− α,

czyli

P(nS2

χ2α/2,n−1¬ σ2 ¬ nS

2

χ21−α/2,n−1

)= 1− α.

Przykład

I W celu zbadania jakości miernika wykonano nim n = 12 pomiarówtego samego wzorca. Otrzymano następujące wyniki:

275, 273, 279, 267, 276, 272, 271, 269, 270, 265, 268, 277.

Przy założeniu, że wyniki pomiarów mają rozkład normalny onieznanych µ i σ2, gdzie µ jest prawdziwą wartością wzorca, a σ2jest wariancją błędu pomiaru) należy wyznaczyć 90% realizacjęprzedziału ufności dla σ.

I W wyniku obliczeń otrzymujemy x̄ = 271.8333, s = 4.119736.Znajdujemy χ20.05,11 = 19.67514, χ20.95,11 = 4.574813.

I Podstawiając do powyższego wzoru otrzymujemy przedział ufnościdla wariancji σ2: (10.35147, 44.51912), a stąd dla odchyleniastandardowego σ: (3.217371, 6.672265).

Przedział ufności dla wariancji w populacji normalnej,duża próba

I Niech X1, . . . ,Xn będzie próba prostą z rozkładu N(µ, σ2) gdzie µi σ2 są nieznane, natomiast n > 30.

I Możemy skorzystać z faktu, iż statystyka Sn ma asymptotycznyrozkład N(σ, σ/

√2n), więc

Z =Sn − σσ

√2n n→∞−−−→ N(0, 1).

I Zatem dla zα = Φ−1(1− α/2) mamy

P(−zα <

Sn − σσ

√2n < zα

)≈ 1− α,

więc przedział ufności dla σ na poziomie ufności 1− α ma postać

P(Sn

1+ zα√2n

< σ <Sn

1− zα√2n

)= 1− α,

lub w przybliżeniu

P(Sn(1− zα√

2n

)< σ < Sn

(1+ zα√

2n

))= 1− α.

Przedział ufności dla frakcjiI Cecha ma rozkład zero-jedynkowy z nieznanym parametrem p.I Niech X oznacza liczbę sukcesów w próbie n-elementowej.I Jeśli n jest dostatecznie duże oraz 0.04 ¬ p ¬ 0.96, to w

przybliżeniu

W =Xn∼ N

p,√p(1− p)n

⇐⇒ Z = W − p√W (1−W )n

∼ N(0, 1).

I Jeśli zα jest taką liczbą, że P(−zα < Z < zα) = 1− α, to

1− α = P

−zα < W − p√W (1−W )n

< zα

== P

W − zα√W (1−W )n

< p

Problem minimalnej liczebności próbyI d∗ =

θ − θ2

– maksymalny błąd szacunku.I Dla ustalonej wartości d dobieramy liczebność próby, aby d∗ ¬ d .I W przypadku średniej w populacji normalnej ze znaną wariancją

mamy d∗ = zασ√n

, więc

zασ√n¬ d ⇐⇒ zα

σ

d¬√n ⇐⇒ n z

2ασ2

d2.

I W przypadku frakcji d∗ = zα

√p(1− p)n

, zatem

zα

√p(1− p)n

¬ d ⇐⇒ zα√p(1− p)d

¬√n ⇐⇒ n z

2αp(1− p)d2

.

I Jeśli nie mamy informacji o wielkości p, to zawsze możemyszacować z góry

p(1− p) ¬ 14.

PrzykładI Przypuśćmy, że w badaniach (poparcia dla kandydata w wyborach)

interesuje nas liczność próby wystarczająca do wyznaczeniaprzedziału ufności na poziomie ufności 0.9, którego dopuszczalnadługość nie przekracza 5% = 0.05.

I Otrzymujemy warunekz0.95√4n¬ 0.052⇐⇒ n z

20.95

4 · 0.0252=1.6448542

4 · 0.0252= 1083.

I Zazwyczaj po przeprowadzeniu badania długość przedziału ufnościbędzie mniejsza.

I Na przykład, gdy n = 1083, X = 345, to W = 3451083 = 0.3185596,√W (1−W )n = 0.01415778, a realizacja przedziału ufności dla p ma

postać:(0.2952721, 0.341847).

I Możemy wówczas powiedzieć, że na danego kandydatazdecydowanych jest głosować 31.9% wyborców (z dopuszczalnymbłędem statystycznym ln/2 = 2.3%, na poziomie ufności 0.9).

I Uniwersalny (dla dowolnego rozkładu) przedział ufności dlawartości oczekiwanej otrzymujemy z nierówności Czebyszewa:

P(|X − E(X )| < ε) 1− D2(X )ε2

.

I Stąd dla 1− α = 1− D2(X )ε2

⇐⇒ ε = D(X )√α

mamy

P(X − D(X )√

α< E(X ) < X +

D(X )√α

) 1− α.

I Jeśli X1, . . . ,Xn jest próba prostą, E(X1) = µ, D2(X1) = σ2, towynikający z nierówności Czebyszewa przedział ufności ma postać:

P(X̄ − σ√

nα< µ < X̄ +

σ√nα

) 1− α.

I Na przykład dla 1− α = 0.99 otrzymujemy

P(X̄ − 10σ√

n< µ < X̄ +

10σ√n

) 0.99.