Elementy statystyki matematycznejrybka/misdomp/MISMP_konspekt.pdf · R.J. Nowak 3 Elementy statystyki matematycznej Rachunek prawdopodobie ństwa: • J. Jakubowski, R. Sztencel -

R.J. Nowak 1

Elementy statystyki matematycznej

Program kursu:1. Podstawy rachunku prawdopodobieństwa

1.1 Zdarzenia elementarne i losowe - zmienna losowa

1.2 Rozkłady zmiennych losowych

1.3 Rozkłady wielowymiarowe

1.4 Rozkłady brzegowe i warunkowe

1.5 Momenty zmiennych losowych

2. Estymatory momentów i parametrów zmiennej losowej

2.1 Wartość średnia i niepewność standardowa

2.2 Średnia waŜona

2.3 Współczynnik korelacji

2.4 Moda, mediana i kwartyle

3. Estymacja

3.1 Metoda momentów

3.2 Metoda największej wiarogodności

3.3 Przedział ufności

R.J. Nowak 2

Elementy statystyki matematycznej4. Testy hipotez

4.1 Wprowadzenie

4.2 Poziom istotności

4.3 Test istotności

4.4 Wartość p testu

4.5 Statystyka ilorazu wiarogodności

4.6 Test Studenta dla jednej próbki

4.7 Test parametru σ rozkładu Gaussa

4.8 Test Studenta dla dwóch próbek niepowiązanych

4.9 Test F

4.10 Test Studenta dla próbek powiązanych

4.11 Test współczynnika korelacji

4.12 Test jednorodności w tablicach wielodzielczych

4.13 Test dokładny Fishera

4.14 Test niezaleŜności w tablicach wielodzielczych

4.15 Testy nieparametryczne - wprowadzenie

4.16 Test zgodności χ2 Pearsona

R.J. Nowak 3

Elementy statystyki matematycznejRachunek prawdopodobieństwa:• J. Jakubowski, R. Sztencel - Wstęp do teorii prawdopodobieństwa, SCRIPT,

Warszawa 2001

• W. Feller, Wstęp do rachunku prawdopodobieństwa, tom 1, PWN, Warszawa

1966, tom 2, Warszawa 1969

Statystyka matematyczna:• A. Łomnicki, Wprowadzenie do statystyki dla przyrodników, Wydawnictwo

Naukowe PWN, Warszawa 1999

• A. Plucińska, E. Pluciński, Probabilistyka, Wydawnictwo Naukowo-

Techniczne, Warszawa 2000

• L.T. Kubik, Zastosowanie elementarnego rachunku prawdopodobieństwa do

wnioskowania statystycznego, Wydawnictwo Naukowe PWN, Warszawa 1998

• J. Kornacki, J. Mielniczuk, Statystyka dla studentów kierunków technicznych

i przyrodniczych, Wydawnictwo Naukowo-Techniczne, Warszawa 2001

• M. Fisz, Rachunek prawdopodobieństwa i statystyka matematyczna, PWN,

Warszawa, 1969

• R. Zieliński, Siedem wykładów wprowadzających do statystyki

matematycznej, PWN, Warszawa, 1990 (www.impan.pl/~rziel/7all.pdf)

R.J. Nowak 4

1.1 Zdarzenia elementarne i losowe

Nun - נ

Gimmel - ג

Hei - ה

Szin - ש

„Nes Gadol Haja Szam” czyli: „wielki cud zdarzył się tam”

Drejdel - urządzenie do „produkowania” zdarzeń elementarnych

R.J. Nowak 5

1.1 Zdarzenia elementarne i losowe

Zmienna losowa - dyskretna lub ciągła - to funkcja liczbowa, skalarna lub

wektorowa, przyporządkowująca zdarzeniu elementarnemu pojedynczą liczbę(naturalną, całkowitą, rzeczywistą...), czyli skalarną zmienną losową lub zespół

takich liczb, czyli wektorową zmienna losową.

Przyporządkowanie to leŜy w wyłącznej gestii badacza i odbywa się na jego

odpowiedzialność.

Przeliczalne zdarzenia elementarne:

• drejdel,

• gatunek złapanego chrząszcza,

• wiek męŜa i Ŝony.

Continuum zdarzeń elementarnych:

• ruletka w kolorze tęczy,

• oczekiwanie na karetkę pogotowia,

• kolor oczu i włosów.

Wybór przestrzeni zdarzeń elementarnych to zadanie spoczywające na barkach

badacza stosującego metody rachunku prawdopodobieństwa i statystyki

matematycznej w swoich badaniach.

Zdarzenie elementarne: w uproszczeniu - wynik pojedynczego eksperymentu.

Przestrzeń zdarzeń elementarnych Ω to zbiór wszystkich moŜliwych wyników

eksperymentu.

R.J. Nowak 6

1.1 Zdarzenia elementarne i losowePrzestrzeń zdarzeń losowych: zbiór wszystkich podzbiorów zdarzeńelementarnych wraz ze zdarzeniem pewnym, czyli zdarzeniem złoŜonym

z całej przestrzeni zdarzeń elementarnych i zdarzeniem niemoŜliwym,

reprezentowanym zbiorem pustym. Od przestrzeni zdarzeń losowych

wymagamy, aby jeśli naleŜy do niej pewne zdarzenie, to takŜe naleŜy do niej

zdarzenie przeciwne, jak równieŜ powinna zawierać wszystkie sumy i iloczyny

zdarzeń losowych.

Zdarzenie losowe: element przestrzeni zdarzeń losowych.

PRZYKŁAD:

• zdarzenia dyskretne: losowanie totolotka - przestrzeń zdarzeń elementarnych

to zbiór wszystkich „numerków”, a zdarzenie losowe to np. trafienie „trójki”;

• continuum zdarzeń elementarnych: czas oczekiwania na autobus kursujący

co kwadrans - przestrzeń zdarzeń elementarnych to odcinek [0;900] s na osi

rzeczywistej, zdarzenie elementarne to np. czas oczekiwania 5 min i 3 s,

a zdarzenie losowe to czas oczekiwania dłuŜszy niŜ np. 3 min, lub np.

dłuŜszy niŜ 5 min i jednocześnie krótszy niŜ 7 min.

R.J. Nowak 7

1.1 Zdarzenia elementarne i losowePewniki Kołmogorowa:

• istnieje miara P(A) zdarzenia losowego A taka, Ŝe: 0 ≤ P(A) ≤ 1,

• P(Ω) = 1,

• jesli A i B są zdarzeniami losowymi takimi, Ŝe zdarzenie A∩B jest

zdarzeniem niemoŜliwym (zbiorem pustym), to P(A∪B) = P(A) + P(B).

Z tych trzech pewników, uzupełnionych o szereg dodatkowych pojęć, wynika

cała teoria prawdopodobieństwa, a w szczególności otrzymujemy z nich dwa

podstawowe prawa:

( ) ( )( ) ( ) ( ) ( )

1 , gdzie jest zdarzeniem przeciwnym do

, jesli zdarzenia i nie wykluczają się.

P A P A A A,

P A B P A P B P A B A B

= −

∪ = + − ∩

Teoria prawdopodobieństwa nigdy nie podpowiada nam, jak mamywybrać ową miarę P w kaŜdym konkretnym przypadku. Wybór tenpozostawiony jest badaczowi wykorzystującemu rachunekprawdopodobieństwa i statystykę matematyczną w swej pracy.

Sytuacja jest analogiczna do tej, jaką spotykamy w nauce geometrii, w której

nigdzie nie jest powiedziane jak naleŜy mierzyć odległość.

R.J. Nowak 8

1.2 Rozkład jednostajny - totolotek

Losowanie "numerków" w totku, N = 25482

0,000

0,005

0,010

0,015

0,020

0,025

0 3 6 9 12 15 18 21 24 27 30 33 36 39 42 45 48

wylosowany "numerek" k

częs

tość

Zmienna losowa o wartości k = 1, 2, 3, ..., n (= 49) i prawdopodobieństwo:

( ) 1P k

n= rozkład jednostajny

Jednostajny charakter rozkładu oznacza rzetelny charakter maszyny losującej

- załoŜenie to odzwierciedla mniemanie budującego model probabilistyczny

badanego zjawiska.

R.J. Nowak 9

1.2 Rozkład jednostajny - wulkany3380 erupcji w latach 1700 - 1999, zgrupowanych w 12 „miesiącach”;

zmienna losowa o wartości k = 1, 2, 3, ..., n (= 12)

( ) 1P k

n= rozkład jednostajny

Jednostajny charakter rozkładu domniemuje jednakowe prawdopodobieństwo

erupcji w kaŜdym miesiącu - załoŜenie to odzwierciedla opinię budującego

model probabilistyczny badanego zjawiska.

0,00

0,02

0,04

0,06

0,08

0,10

I II III IV V VI VII VIII IX X XI XIImiesiąc

częs

tość

Mason, B. G., D. M. Pyle, W. B. Dade, and T. Jupp (2004), Seasonality of volcanic eruptions, J. Geophys. Res., 109,B04206

R.J. Nowak 10

Interludium - prawdopodobieństwo warunkowe

Prawdopodobieństwo P(A|B) warunkowe zdarzenia losowego A pod

warunkiem wystąpienia zadanego (nielosowego) zdarzenia B:

( ) ( )( )

| .P A B

P A BP B

∩=

zdrowi daltoniści suma

męŜczyźni N MZ N MD N M

kobiety N KZ N KD N K

suma N Z N D N

( ) KNP K

N= - jest kobietą

( ) DNP D

N= - cierpi na daltonizm

Prawdopodobieństwo, Ŝe przypadkowo wybrana osoba:

( ) ( )( )

|

KD

KD

KK

NP K DN NP D K

NN P K

N

∩= = =

prawdopodobieństwo, Ŝe kobieta

jest daltonistką - to nie to samo, co

P(K∩D) - prawdopodobieństwo, Ŝekobieta i jednocześnie daltonistka

←

Jeśli prawdopodobieństwo warunkowe P(A|B) zdarzenia losowego A nie

zaleŜy od zdarzenia B, czyli:

( ) ( )( )

( ) ( ) ( ) ( )|P A B

P A B P P A B P BA AP

PB

∩ =∩

= = ⇒

to zdarzenia A i B nazywamy statystycznie (stochastycznie) niezaleŜnymi.

R.J. Nowak 11

1.2 Rozkład dwumianowyPróba Bernoulliego: pojedynczy eksperyment, wynikiem którego jest

zdarzenie poŜądane, zwane sukcesem lub zdarzenie niechciane, czyli poraŜka.

p: prawdopodobieństwo sukcesu,1 − p: prawdopodobieństwo poraŜki,

( )( )

( )!, 1 , 1,2,3,..., 0,1,2,..., , 0 1

! !

n kk

k

nn p p p n k n p

k n k

−= − = = < <−

B

( ) ( )11, 1 , 0,1

kk

k p p p k−= − =B rozklad Bernoulliego

Schemat Bernoulliego: seria statystycznie niezaleŜnych i identycznych prób

Bernoulliego, czyli wielokrotnie powtórzenie, z zachowaniem stałej wartości

prawdopodobieństwa p sukcesu, tego samego eksperymentu w taki sposób, aby

wynik jednego eksperymentu nie miał wpływu na wynik któregokolwiek

innego eksperymentu (nie uczymy się niczego w trakcie wykonywania

eksperymentów!). Rozkład opisujący liczbę k sukcesów uzyskanych

w schemacie Bernoulliego złoŜonym z n prób, to tzw. rozkład dwumianowy:

Rozkład dwumianowy podaje prawdopodobieństwo liczby sukcesów bez

zwracania uwagi na porządek tych sukcesów w kolejnych próbach!

R.J. Nowak 12

1.2 Rozkład dwumianowy - liczba chłopców (1)A. Geissler, Beiträge zur Frage des Geschlechtsverhältnisses der Geborenen, Z. Köngl. Sächs. Statist. Bur., 35, (1889) 1-24

0,00

0,05

0,10

0,15

0,20

0,25

0 1 2 3 4 5 6 7 8 9 10 11 12

liczba k chłopców

częs

tość

Rozkład liczby chłopców w rodzinie z 12 dzieci, N = 6115

6115 rodzin, kaŜda z 12 dzieci ⇒ 73380 dzieci, w tym 38100 chlopców ⇒38100

ˆ 0,519273380

p = ≈

R.J. Nowak 13

1.2 Rozkład dwumianowy - liczba chłopców (2)„Prostowanie” rozkładu dwumianowego:

( ) ( )1

ln , ln ln 1 .1

k

n pn p k n p

k p

− = + − −

B

nk − liczba rodzin z liczbą k chłopców,

0

n

k

k

N n=

=∑ łączna liczba rodzin,

ˆ kk

n

N=B ocena prawdopodobieństwa Bk ,

1

ˆlnk k

nu

k

− =

Bw przybliŜeniu powinna być liniową funkcją zmiennej

k, jeśli zmienna ta podlega rozkładowi dwumianowemu

Oznaczenia:

Jak widzimy, mamy do czynienia z liniową funkcją zmiennej k.

R.J. Nowak 14

11,0

11,5

12,0

12,5

13,0

13,5

14,0

0 2 4 6 8 10 12

liczba k chłopców

zmie

nn

a

uk

1.2 Rozkład dwumianowy - liczba chłopców (3)

R.J. Nowak 15

1.2 Rozkład dwumianowy - dziewczyny do ścisłych (1)

0,00

0,05

0,10

0,15

0,20

0,25

0,30

0,35

0 2 4 6 8 10

liczba k kobiet w grupie

częs

tość

25

27

29

31

33

35

37

39

0 1 2 3 4 5 6 7 8

liczba k kobiet w grupie

zmie

nn

a u

k

Dane własne

2000 kandydatów na studia na Wydziale Fizyki - 549 kobiet i 1451 męŜczyzn.

Uporządkowanie alfabetyczne nazwisk i podzielenie na grupy po 10 osób daje

200 grup. Zmienna losowa k = 1, 2, ..., 10 opisuje liczbę kobiet w grupie, a

ocena prawdopodobieństwa, Ŝe przypadkowo wybrana osoba to kobieta, to:

5490,2745.ˆ

2000p = =

R.J. Nowak 16

1.2 Rozkład geometryczny - dziewczyny do ścisłych (2)Spójrzmy na listę kandydatów z innej strony. Ile kolejnych osób na liście musimy

sprawdzić, aby natknąć się na kobietę?MODEL:

p - nieznane prawdopodobieństwo, Ŝe przypadkowo wybrana osoba

na liście to kobieta,

k = 1, 2, ... - zmienna losowa opisująca liczbę kolejnych osób na liście, które

musimy sprawdzić, aby spotkać kobietę,G1 = p - prawdopodobieństwo, Ŝe pierwsza osoba na liście to kobieta,

G2 = (1 –p)p - prawdopodobieństwo, Ŝe dopiero druga osoba na liście to kobieta,

...Gk = (1 –p)k – 1p - prawdopodobieństwo, Ŝe dopiero k-ta osoba na liście to kobieta.

( ) ( ) 11 , 1,2,..., 0 1

k

k p p p k p−

= − = < <G rozkład geometryczny

Dane wlasne

warunek unormowania( )1

1k

k

p∞

=

=∑G

liczba k osób 1 2 3 4 5 6 7 8 9 10 11 12 >12 suma

krotność nk 178 100 60 50 39 28 33 20 11 9 6 4 11 549

R.J. Nowak 17

1.2 Rozkład geometryczny - dziewczyny do ścisłych (3)

Oczekiwnie na kandydatkę

0,00

0,05

0,10

0,15

0,20

0,25

0,30

0,35

1 2 3 4 5 6 7 8 9 10 11 12

liczba k osób do nastepnej kandydatki

czę

stość

R.J. Nowak 18


14

1

k

k

N n=

=∑

ˆ kk

n

N=G − ocena prawdopodobieństwa Gk ,

( ) ( )ln ln ln 1 .k p k p p= + −G

Widzimy, Ŝe jest on liniową funkcja zmiennej k.

( )ˆlnk ku p= G − oczekujemy, ze w przybliŜeniu wielkość uk będzie liniową funkcją zmiennej k, jeśli rozkład ma charakter geometryczny.

nk − krotność, czyli liczba określająca ile razy spotkaliśmy się z sytuacją, w której sprawdziliśmy k osób i ostatnia była kobietą,

Oznaczenia:

– suma krotności, czyli liczba kobiet na liście,

Obliczmy logarytm rozkładu:

R.J. Nowak 19


Oczekiwnie na kandydatkę

0,001

0,01

0,1

1

1 2 3 4 5 6 7 8 9 10 11 12liczba k osób do następnej kandydatki

ln(c

zęs

tość

)

R.J. Nowak 20

1.2 Rozkład ciągłej zmiennej losowej - skacząca kulka (1)Kulka spuszczona z wysokości h na doskonale spręŜyste podłoŜe - ruch:

( ) 21, 0

2 2 2

T hz t h gt t

g= − ≤ ≤ =

z(t)h

t

T

∆z

∆t

Zdjęcie w losowej chwili czasu - szansa znalezienia kulki w punkcie z?

Wykonajmy N takich zdjęć i narysujmy histogram uzyskanych wartości z.

W przedziale [zi, zi + ∆z] znajdziemy liczbę ni zdjęć. Zdefiniujmy częstość:

ˆ ,ii

nP

N∆ =

z jaką wartości z trafiają do przedziału [zi, zi + ∆z].

R.J. Nowak 21

1.2 Rozkład ciągłej zmiennej losowej - skacząca kulka (2)Wykonajmy to samo rozumowanie, korzystając z zaleŜności modelowej.

Prawdopodobieństwo zdefiniujmy jako

( ) ( )1 1, ,

t t dtP z z z z O z

T T z T dz

∆ ∆∆ ∆ = = ∆ = ∆ + ∆

∆gdzie ∆t to czas, jaki kulka spędza w przedziale ∆z wokół punktu z:

( )( )

( )( )

( )2 1, .

2 2

dt zt h z P z z O z

g dz g h z h h z

∆= − ⇒ = ⇒ ∆ ∆ = + ∆

− −

Gęstość prawdopodobieństwa:

Warunek unormowania:

( ) ( )( )0

, 1lim

2z

P z zf z

z h h z∆ →

∆ ∆= =

∆ −

( )( )0 0

12

h hdz

f z dzh h z

= =−∫ ∫

f(z)

z

h

UWAGA! Dla zmiennej ciągłej mamy gęstość, a nie prawdopodobieństwo!!!

Analogia z gęstością masy - ilość masy w punkcie = 0, ale gęstość ≠ 0.

R.J. Nowak 22

1.2 Rozkład wykładniczyRozkład geometryczny:

( ) ( ) 11 , 1,2,3,...,

k

k p p p k−

= − =G

zwany teŜ rozkładem dyskretnych czasów oczekiwania na sukces, opisuje liczbęprób, które trzeba wykonać, aby pojawił się pierwszy sukces. Wprowadźmy

ciągły czas t, podzielmy go na bardzo duŜą liczbę k „kroków” i zdefiniujmy

tp t

kλ λ= ∆ =

prawdopodobieństwo p sukcesu w pojedynczej próbie jako proporcjonalne do

czasu trwania tej próby. Prawdopodobieństwo sukcesu w k-tej próbie:

( )1 1

1 1 , 0.

k k

k

t t tp t

k k k

λ λ λλ λ

− − = − = − ∆ >

G

Przechodząc do granicy k → ∞, otrzymujemy:

gęstość rozkładu wykładniczego, opisującego czas oczekiwania na zdarzenie,

jeśli zdarzenia są statystycznie niezaleŜne.

( ) 1

1

k

k

k

p t

t k

λλ

−

→ ∞

= − → ∆

G ( ) ( ); exp , 0, 0t t tλ λ λ λ= − ≥ >E

R.J. Nowak 23

1.2 Rozkład wykładniczy - czekanie na samochód (1)Histogram danych o rozkładzie wykładniczym ma charakter geometryczny:

( )

( ) ( ) ( )1 1

1

1 , 1,2,3,...

k tk t k tt k t t

k

k t

P e dt e e e e kλ λλ λ λλ

∆− − ∆ − − ∆− − ∆ − ∆

− ∆

= = − = − =∫

Dane własne

0,00

0,05

0,10

0,15

0,20

0 5 10 15 20 25 30

czas t oczekiwania (s)

gęs

tość

(1/s

)

Czekanie na samochód, N = 1000

0,001

0,010

0,100

1,000

0 5 10 15 20 25 30


gęs

tość

(1/s

)


R.J. Nowak 24

1.2 Rozkład Poissona - czekanie na samochód (2)

( ) , 0,1,2,..., 0!

k

k e kk

µµµ µ−= = >P rozkład Poissona

Jeśli czas t oczekiwania na zdarzenie określony jest rozkładem wykładniczymE(t;λ), to liczba k zdarzeń, które pojawią się w zadanym przedziale czasu T,

rządzona jest rozkładem Poissona z parametrem µ = λT:

Dane własne

0,00

0,05

0,10

0,15

0,20

0,25

0,30

0,35

0 1 2 3 4 5 6 7 8

liczba k samochodów

częs

tość


R.J. Nowak 25

1.2 Rozkład Poissona - czekanie na samochód (3)

( )( )ln ! lnkk kµ µ µ= −P : liniowa funkcja zmiennej losowej k,

( )( )ˆln !k ku k µ= P w przybliŜeniu liniowa funkcja zmiennej k, jeśli rozkład

tej zmiennej to rozkład Poissona

-3

-2

-1

0

1

2

3

4

0 2 4 6 8

liczba k samochodów

zmie

nn

a u

k


Dane własne

R.J. Nowak 26

Interludium - twierdzenie Poissona

0,00

0,05

0,10

0,15

0,20

0,25

0,30

0,35

0,40

0 5 10 15 20

liczba k sukcesów

pra

wd

opo

dob

ieńs

two dwumianowy

PoissonSerie3

n = 10, p = 0,1

n = 50, p = 0,1

n = 100, p = 0,1

Jeśli w rozkładzie dwumianowym n jest duŜe, a p małe to

( ) ( ), 0,

, ,k kn p npn p µ µ

→ ∞ → →→B P

dlatego rozkład Poissona czasami zwany jest rozkładem rzadkich zdarzeń.

R.J. Nowak 27

Interludium - twierdzenie de Moivre’a - Laplace’a

0,00

0,05

0,10

0,15

0,20

0,25

0 10 20 30 40 50

liczba k sukcesów

pra

wd

op

odo

bieńs

two dwumianowy

GaussSerie3

n = 16

n = 32

n = 64

n = 128

Dla duŜych wartości np i dla argumentu k w okolicy np:

( ) ( ) ( )2

2

1, exp , , 1 .

22k

kn p np np p

µµ σ

σπ σ

−≈ − = = −

B

R.J. Nowak 28

Interludium - rozkład Poissona i krzywa GaussaPodobnie, dla duŜych wartości µ i w okolicy k = µ:

( ) ( )2

2

1exp , .

22k

k µµ σ µ

σπ σ

−≈ − =

P

0,00

0,02

0,04

0,06

0,08

0,10

0,12

0,14

0 10 20 30 40

liczba k zdarzeń

pra

wd

op

odo

bieńs

two

PoissonGaussSerie5

µ = 10

µ = 20

µ = 30

R.J. Nowak 29

1.2 Rozkład normalnyMODEL: pomiar wielkości µ zaburzany przez n niezaleŜnie działających

„agentów”, kaŜdy zwiększający lub zmniejszający, z tym samym

prawdopodobieństwem p = 1/2, wynik pomiaru o addytywną wartość ε, co

prowadzi do n + 1 moŜliwych wyników pomiaru:

( ) ( )2 , 0,1,2, , ,kx k n k n k k nµ ε ε µ ε= + − − = + − + = …

( )( )

! 1, 0,5 .

! ! 2

n

k

nn p

k n k

= = − B

( ) ( )( )

( )( )

21

, 1 exp ,2 12 1

n kk

k

n k npn p p p

k np pnp pπ− −

= − ≈ − −− B

( ) ( ) ( )2 212

214

2 2, exp exp ,

2 2 2 22 2

kkk

k n xx nn p k

n nn n

µµ εε επ π ε

− −−≈ − = = + = −

B

( )( ) ( )

2 2

2

2, 0,

, 1; , exp .

2 22k

k

n nx x

n p xx

ε ε σ

µµ σ

ε σπσ→→∞ →→

−→ = −

BN

a wykonując przejście graniczne, otrzymujemy rozkład Gaussa:

Korzystamy z twierdzenia de Moivre’a-Laplace’a:

przy czym prawdopodobieństwo kaŜdego z nich określa rozkład dwumianowy

R.J. Nowak 30

1.2 Rozkład normalnyRozkład normalny, zwany teŜ rozkładem Gaussa:

( ) ( )2

2

2

1; , exp , , , 0.

22

xx x

µµ σ µ σ

σπ σ

−= − − ∞ < < ∞ − ∞ < < ∞ >

N

34,135% 34,135%

13,59% 13,59%2,14% 2,14%

99,73%

68,27%

µ − 3σ µ − 2σ µ − σ µ µ + 3σµ + 2σµ + σ

N(z;µ,σ 2)

95,45%

R.J. Nowak 31

1.2 Rozkład normalny - masa monety 1 € (1)

Masa monety o nominale 1 €, N = 2000

0

2

4

6

8

10

12

7,38 7,4 7,42 7,44 7,46 7,48 7,5 7,52 7,54 7,56 7,58 7,6 7,62 7,64masa m monety (g)

gęs

tość

(g-1

)

m = 7,521 g

s x = 0,034 g

Journal of Statistics Education Vol. 14, Number 2 (2006), www.amstat.org/publications/jse/v14n2/datasets.aerts.html

R.J. Nowak 32

1.3 Rozkład wielowymiarowyi, j - losowe liczby z przedziału 0 ÷ 9

0

3

6

9

0 1 2 3 4 5 67

8

0

1

2

3

4

kro

tność

nkm

jedn

ostk

i

dziesiątki

10i j k m⋅ = + ⇒ k, m - losowe liczby

( ),81

kmnP k m = rozkład dwuwymiarowy

8 9

0 0

81km

k m

n= =

=∑∑

R.J. Nowak 33

1.3 Rozkład wielowymiarowy

10i j k m⋅ = +

P (k,m ) m = 0 1 2 3 4 5 6 7 8 9 suma

k = 0 0,000 0,012 0,025 0,025 0,037 0,025 0,049 0,025 0,049 0,037 0,284

1 0,025 0,000 0,049 0,000 0,025 0,025 0,037 0,000 0,049 0,000 0,210

2 0,049 0,025 0,000 0,000 0,049 0,012 0,000 0,025 0,025 0,000 0,185

3 0,025 0,000 0,025 0,000 0,000 0,025 0,037 0,000 0,000 0,000 0,111

4 0,000 0,000 0,025 0,000 0,000 0,025 0,000 0,000 0,025 0,012 0,086

5 0,000 0,000 0,000 0,000 0,025 0,000 0,025 0,000 0,000 0,000 0,049

6 0,000 0,000 0,000 0,025 0,012 0,000 0,000 0,000 0,000 0,000 0,037

7 0,000 0,000 0,025 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,0258 0,000 0,012 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,012

suma 0,099 0,049 0,148 0,049 0,148 0,111 0,148 0,049 0,148 0,049 1,000

R.J. Nowak 34

1.4 Rozkład brzegowy i warunkowy

0,00

0,05

0,10

0,15

0,20

0 1 2 3 4 5 6 7 8 9

liczba m jednostek

pra

wdo

pod

ob

ieńs

two

0,00

0,10

0,20

0,30

0 1 2 3 4 5 6 7 8

liczba k dziesiątek

pra

wdo

pod

obieńs

two

( ) ( )8

0

,m

k

P m P k m=

=∑

( ) ( )9

0

,k

m

P k P k m=

=∑

Rozkład brzegowy zmiennej losowej m:

Rozkład brzegowy zmiennej losowej k:

R.J. Nowak 35


( ) ( )( )

( ) ( )( )| |

, ,| , |k m m k

m k

P k m P k mP k m P m k

P m P k= =

Rozkład warunkowy dyskretnych zmiennych losowych k i m:

Rozkład warunkowy ciągłych zmiennych losowych x i y:

( ) ( )( )

( ) ( )( )| |

, ,| , |x y y x

y x

f x y f x yf x y f y x

f y f x= =

( ) ( ) ( ) ( ), , ,y xf y f x y dx f x f x y dy

∞ ∞

−∞ −∞

= =∫ ∫

Rozkład brzegowy zmiennych losowych x i y:

Zmienne losowe nazywamy statystycznie (stochastycznie) niezaleŜnymi,wtedy i tylko wtedy, gdy łączny rozkład tych zmiennych jest iloczynemrozkładów brzegowych:

( ) ( ) ( ) ( ) ( ) ( ), , ,k m x yP k m P k P m f x y f x f y= =

PRZYKŁAD: zmienna losowa m określająca liczbę jednostek i zmienna

losowa k określająca liczbę dziesiątek są statystycznie zaleŜne, bo np.:

( ) ( ) ( )2, 3 0 0,185 0,049k mP k m P k P m= = = ≠ = ⋅

R.J. Nowak 36

1.4 Rozkład brzegowy i warunkowyDwuwymiarowy rozkład normalny:

R.J. Nowak 37

1.4 Rozkład brzegowy i warunkowyDwuwymiarowy rozkład normalny (Gaussa):

( )

( )( )( )

2 2

22

22

, ; , , , ,

1 1exp 2 ,

2 12 1

, , , , 0 , , 1 1.

x y x y

x y yx

x x y yx y

x y x y

x y

x y yx

x y

µ µ σ σ ρ

µ µ µµρ

σ σ σ σρπσ σ ρ

µ µ σ σ ρ

− − − − = − − + − − −∞ < < ∞ − ∞ < < ∞ < < ∞ − < <

N

Rozkłady brzegowe to jednowymiarowe rozkłady normalne:

( )( )( )

2

2 2

2

; ,, ; , , , ,

; ,

x x

x y x y

y y

xdyx y

dx y

µ σµ µ σ σ ρ

µ σ

∞

−∞

=

∫

NN

N

Rozkłady warunkowe to takŜe jednowymiarowe rozkłady normalne:

( )( )

( ) ( ) ( )( )2 2

2 2

| 2

, ; , , , ,; , 1 ,

; ,

y

x

x y x y

y x y x y

x x

x yf y y x

x

σσ

µ µ σ σ ρµ ρ µ ρ σ

µ σ= = + − −N

NN

i podobnie dla rozkładu fx|y(x) po zmianie symboli x i y miejscami. Jak widać,wartości centralne zaleŜą liniowo od zmiennej warunkującej. Własność tadostarcza natchnienia i stanowi podstawę waŜnej metody statystycznej analizy

danych, zwanej analizą regresji, której zadaniem jest ocena wartości i istotności

współczynników tej zaleŜności.

R.J. Nowak 38

1.4 Rozkład brzegowy i warunkowyElipsa kowariancji (wykładnik rozkładu Gaussa bez czynnika –1/2):

-2 -1 0 1 2

-1,0

-0,5

0,0

0,5

1,0

ρ = −0,9

ρ = −0,5

ρ = 0,0

ρ = 0,5

ρ = 0,9

oś

y (σ

y =

1)

oś x (σx = 2)

( )( ) 22

2

12 1

1

x y yx

x x y y

x y yx µ µ µµρ

ρ σ σ σ σ

− − − − − + = −

Wszystkie elipsy zawarte we wnętrzu prostokąta (2σx) ×(2σy).

R.J. Nowak 39

Mackowiak, P. A., Wasserman, S. S., and Levine, M. M. (1992), "A Critical Appraisal of 98.6 Degrees F, the Upper Limit of

the Normal Body Temperature, and Other Legacies of Carl Reinhold August Wunderlich," Journal of the American Medical

Association, 268, 1578-1580, dane za: http://www.amstat.org/publications/jse/jse_data_archive.html


Korelacja temperatura - tętno

96

97

98

99

100

101

55 60 65 70 75 80 85 90tętno

tem

per

atura

cia

ła

(F)

męŜczyźni

kobiety

R.J. Nowak 40

1.5 Momenty zmiennych losowychWartość oczekiwana, definicja:

[ ] ( ) [ ] ( )0

,k

k k kP k x x xf x dxµ µ∞∞

= −∞

≡ ≡ = ≡ ≡ =∑ ∫E E

Wariancja, definicja:

[ ] [ ] ( ) ( ) ( )

[ ] [ ] ( ) ( ) ( )

2 2 22 2 2

0

2 2 22 2 2

k

k

x

k k k k k k P k k k

x x x x x x f x dx x x

σ

σ

∞

=

∞

−∞

≡ ≡ ≡ − = − = −

≡ ≡ ≡ − = − = −

∑

∫

V D

V D

( )( )

( ) [ ] ( )

( ) [ ]

( ) [ ]

( ) ( ) [ ]

2

2

2

2 2

2

!, 1 1

! !

!

1 1 1; exp

1; , exp

22

n kk

k

k

k

x

nn p p p k np k np p

k n k

e k kk

tx e x x

xx x x

µ

λ

µµ µ µ

λ λ τ ττ τ λ λ

µµ σ µ σ

σπ σ

−

−

−

= − = = −−

= = =

= = − = = = =

−= − = =

B V

P V

E V

N V

PRZYKŁADY:

R.J. Nowak 41

1.5 Momenty zmiennych losowychDefinicja kowariancji:

[ ] ( )( ) ( )( ) ( )

[ ] ( )( ) ( )( ) ( )

0 0

cov , , ,

cov , , .

k m

k m k k m m k k m m P k m km k m

x y x y x y dx dy x x y y f x y xy x y

∞ ∞

= =

∞ ∞

−∞ −∞

≡ − − = − − = −

≡ − − = − − = −

∑∑

∫ ∫Definicja Pearsona wspólczynnika ρρρρ korelacji liniowej:

[ ] [ ][ ] [ ]

[ ] [ ][ ] [ ]

cov , cov ,, , , .

k m x yk m x y

k m x yρ ρ= =

D D D D

Własności współczynnika korelacji ρ:

a) niezmienniczy względem skalowania i translacji

b) niezmienniczy względem liniowej zamiany zmiennych

c) ograniczony w zakresie wartości: −1 ≤ ρ ≤ 1

d) ρ = ±1 wtedy i tylko wtedy, gdy:

( )y

y x

x

y xσ

µ µσ

= ± − i dlatego zwany jest liniowym

PRZYKŁAD: dla dwuwymiarowego rozkładu normalnego:

[ ] [ ] [ ][ ] [ ]

cov ,cov , , .

x y

x y

x y

x yx y x y

x y

ρσ σρσ σ ρ ρ

σ σ= ⇒ = = =

D D

R.J. Nowak 42

µx

x

y

[ ] ( )|y

x x

x

y x xσ

µ ρ µσ

= + −E

( )y

x x

x

y xσ

µ µσ

= + −

µy

[ ] ( )| xy y

y

x y yσ

µ ρ µσ

= + −E

prosta regresji y względem x

prosta regresji x względem y

1.5 Momenty zmiennych losowych

R.J. Nowak 43

Interludium - wykres kwantyli

Dla uporządkowanej próbki x1 ≤ x2 ≤ ... ≤ xn zmiennych losowych zachodzi:

Definicja dystrybuanty:

( ) ( )0 0F x P x x≡ −∞ < ≤

( ) .1

i i

iF x p

n= =

+Dla danych sądzimy, Ŝe:

PRZYKŁAD:

( ) ( ) ( ) ( )

( ) ( )

0 0

exp exp exp 1

1ln 1 ln 1 ,

i ix q

i i i

i i i i i

p F x x dx q x q dq q

q p x p q

λ λ λ

τ τ τλ

≈ = − = = = − = − −

⇒ ≈ − − ⇒ ≈ − − = =

∫ ∫

Kwantyl xp i jego rząd p definiujemy związkiem:

( ) .pF x p=

( ) .i iF x p≈

i oczekujemy, Ŝe punkty wyznaczone przez współrzędne (qi, xi) ułoŜą się,w przybliŜeniu, na linii prostej o nachyleniu zadanym parametrem τ, którego

ocenę moŜna odczytać z wykresu.

R.J. Nowak 44

Interludium - wykres kwantyli - oczekiwanie na samochód (4)

t = 5,1526q + 0,0545

0

10

20

30

40

50

0 1 2 3 4 5 6 7 8

kwantyl q wykładniczy

czas

t o

czek

iwan

ia (

s)


Dane własne

R.J. Nowak 45

Interludium - impulsy nerwowe (1)

Oczekiwanie na impuls nerwowy

0

20

40

60

80

100

120

140

0,00 0,25 0,50 0,75 1,00 1,25


kro

tność

nk

Oczekiwanie na impuls nerwowy

0,1

1

10

100

1000

0,00 0,25 0,50 0,75 1,00 1,25


kro

tność

nk

D.R. Cox i P.A.W. Lewis, The Statistical Analysis of Series of Events, Chapman and Hall, London, 1966, s. 252

Interludium - wykres kwantyli - impulsy nerwowe (2)

Impulsy nerwowe - wykres kwantyli wykładniczych

t = 0,2449q - 0,0176

-0,2

0,0

0,2

0,4

0,6

0,8

1,0

1,2

1,4

1,6

0 1 2 3 4 5 6

kwantyl q wykładniczy

czas

t o

czek

iwan

ia (

s)

R.J. Nowak 46


R.J. Nowak 47

Impulsy nerwowe - rozkład Poissona

0,00

0,05

0,10

0,15

0,20

0,25

0,30

0 1 2 3 4 5 6 7

liczba k impulsów

częs

tość


R.J. Nowak 48

Impulsy nerwowe

-3

-2

-1

0

1

2

3

4

5

6

0 2 4 6 8

liczba k impulsów

ln(k

! P

k)

R.J. Nowak 49

Interludium - wykres kwantyli - masa monety 1 € (2)

Masa monety o nominale 1 €, N = 2000

m = 0,034q + 7,521

7,1

7,2

7,3

7,4

7,5

7,6

7,7

7,8

-4 -3 -2 -1 0 1 2 3 4kwantyl q normalny

mas

a m

mo

net

y (

g)

( ) ( ) ( )2; , ;0,1i ix q

i i i i

xp x dx q q dq F q x q

µµ σ µ σ

σ−∞ −∞

−≈ = = = = ⇒ ≈ +∫ ∫N N

Journal of Statistics Education Vol. 14, Number 2 (2006), www.amstat.org/publications/jse/v14n2/datasets.aerts.html

R.J. Nowak 50

Statystyka matematyczna - zadania i metodyZadania statystyki matematycznej:

• estymacja parametryczna i przedziałowa: ocenianie, szacowanie,

wartości rozmaitych wielkości będących obiektem zainteresowania badacza,

• testowanie hipotez: weryfikacja stwierdzeń o parametrach i rozkładach.

Warunkiem wypełnienia tego zadania są dane, czyli próbka. Sumienne

wywiązanie się z niego wymaga rzetelnej próbki, a więc będącej miniaturąpopulacji, tj. odzwierciedlającej wszelkie relacje, jakie w populacji występują,co w prasie określane jest mianem „reprezentatywnej”, a w statystce

matematycznej: „losowej”.

Próbka losowa prosta: zbiór wartości xi, i = 1, 2, ..., n, zmiennych losowych,

uzyskany w wyniku wielokrotnego i wiernego powtórzenia tego samego

eksperymentu ⇒ zestaw statystycznie niezaleŜnych zmiennych losowych,

kaŜda o rozkładzie f(x) (znanym lub nie) i łącznym rozkładzie:

( ) ( )1

.n

i

i

L f x=

= ∏x

R.J. Nowak 51

Statystyka matematyczna - terminologia

Statystyka: zmienna losowa zadana jako dowolna funkcja zmiennych

losowych i innych znanych wielkości; musi przyjmować wartość liczbową po

podstawieniu wartości zmiennych losowych (nie moŜe zawierać nieznanych

wielkości).

Estymator: statystyka z „ambicjami” – szacuje, ocenia, przybliŜa, estymujewartość nieznanego parametru.

PRZYKŁAD: x, y - para zmiennych losowych opisująca zbiór moŜliwych

wartości uzyskiwanych w wyniku pomiaru boków prostokąta:

S = xy - estymator określający pole prostokąta.

Estymata: wartość, jaką przyjmuje estymator po podstawieniu w miejsce

argumentów wartości liczbowych zmiennych losowych (wyników pomiarów).

PRZYKŁAD: jeśli x = 5 cm, a y = 6 cm, to:

S = xy = 30 cm2 - estymata wartości pola prostokąta.

Relacja między estymatorem a estymatą jest analogiczna do relacji między

funkcją f(x), widzianą jako zestaw wartości dla wszystkich wartości argumentu

x, a wartością f(x0) funkcji w zadanym punkcie x0.

R.J. Nowak 52

MODEL: próbka prosta wartości xi, i = 1, 2, ..., n, z nieznanego rozkładu f(x):

( ) ( )2

1 1

1min .ˆ

n ni

i

i i

xR R x x

nµ

µµ µ

σ= =

− = ⇒ ⇒ = =

∑ ∑

Dygresja 1. Wartość oczekiwana liniowej kombinacji zmiennych losowych.

Próbka xi, i = 1, 2, ..., n, zmiennych losowych z łącznego rozkładu f(x), zmienna

losowa: z = a1x1 + a2x2 + ... + anxn i jej wartość oczekiwana:

( ) ( )1 1 1

n n n

i i i i i i i i i

i i i

z a x f d a x f x dx a x

∞ ∞

= = =−∞ −∞

= = =∑ ∑ ∑∫ ∫x x

( ) ( ) 1 1 1... ...i i i i nf x f dx dx dx dx

∞

− +

−∞

= ∫ x

1.

1

nx x

in i

µ= =∑=

Podstawowa własność – jeśli pomiary są nieobciąŜone, czyli ⟨xi⟩ = µ, to:

Wartość średnia jest nieobciąŜonym estymatorem wartości oczekiwanej.

[ ] 2, ,i ix xµ σ= =V µ oraz σ nieznane

2.1 Średnia arytmetyczna i niepewność standardowa

PRZYKŁAD: x - zmienna losowa opisująca wynik pomiaru boku kwadratu

o nieznanej długości µ. Poszukujemy pola S = µ 2 tego kwadratu. Niech

estymatorem pola będzie x 2. Oczekujemy, Ŝe wielokrotnie mierząc bok

kwadratu, co dostarcza wartości xi, i = 1, 2, ..., n, i obliczając średnią pól xi2,

w granicy otrzymamy „prawdziwą” wartość µ 2 pola powierzchni:

Estymator parametru θ nazywamy nieobciąŜonym, jeśli:

( )ˆ .θ θ=x

R.J. Nowak 53

( )θ x

[ ]2 2 2 2 2 2 .x x xµ µ µ µ= − + = + >V

2 2

1

1.

n

i ni

xn

µ→ ∞=

→∑

Sprawdźmy:

Widzimy, Ŝe zaproponowany estymator jest obciąŜony: przeciętnie będzie on

dawał wartość większą niŜ wartość pola kwadratu.

Dygresja 2. Prawo wielkich liczb - interpretacja sensu średniej:

( )1

10, gdzie

n

n n kn nk

P x x x xn

ε →=

− > → = ∑

Czy to aby jest prawda???


R.J. Nowak 54


Wariancja średniej dla próbki statystycznie niezaleŜnych zmiennych losowych:

Dygresja 3. Wariancja liniowej kombinacji zmiennych losowych

Dla próbki statystycznie niezaleŜnych zmiennych losowych:

co daje:

[ ] ( ) ( ) ( )

( )( ) ( ) [ ] [ ]

2 2

1 1 1

, 1 , 1

cov ,

n n n

i i i i i i i

i i i

n n

i k i i k k i i k k

i k i k

z a x a x f d a x x f d

a a x x x x f d a x x a

∞ ∞

= = =−∞ −∞

∞

= =−∞

= − = − =

= − − = =

∑ ∑ ∑∫ ∫

∑ ∑∫ V

V

T

x x x x

x x a x a

[ ] [ ]cov , ,i k ik ix x xδ= V

[ ] [ ]2

1

.n

i i

i

z a x=

=∑V V

[ ] [ ]21

1,

n

i

i

x xn =

= ∑V V

a dla próbki prostej:

[ ] [ ]1.x x

n=V V

R.J. Nowak 55


980

990

1000

1010

1020

1030

średnie

dane

0,00

0,05

0,10

0,15

0,20

0,25gęs

tość

ciśnienie (

hPa)

Pomiar ciśnienia - dane i średnie

Dane własne

R.J. Nowak 56


ma wartość oczekiwaną:

( ) ( ) ( )( )

( ) ( )( ) ( )( ) ( ) ( )

22

2 21 1

2 2 2 2

2 21 1

1 1

1 12

n n

i i

i i

n n

i i i

i i

R x x x x x

x x x x x n x

µ µσ σ

µ µ µ µ µ µσ σ

= =

= =

= − = − − −

= − − − − + − = − − −

∑ ∑

∑ ∑

Minimalna suma kwadratów reszt:

( ) ( ) ( )2

2 2 2

2 21 1

1 11.

n n

i

i i

R x x n x n nn

σµ µ σ

σ σ= =

= − − − = − = −

∑ ∑

Stąd otrzymujemy nieobciąŜony estymator wariancji zmiennej losowej:

[ ] ( )22

1

1ˆ1

n

x i

i

x s x xn =

≡ = −− ∑V

i nieobciąŜony estymator wariancji średniej arytmetycznej:

[ ]( )

( )2

22

1

1ˆ1

n

xx i

i

sx s x x

n n n =

≡ = = −− ∑V

Dzielenie przez n − 1 (zamiast przez n), to tzw. poprawka Bessela.

R.J. Nowak 57

2. Estymatory momentów - nomenklatura

- odchylenie standardowe,

odchylenie standardowe zmiennej losowej,

dyspersja.

[ ] [ ]x x σ= =V D

sx - niepewność standardowa,

odchylenie standardowe eksperymentalne,

odchylenie standardowe z próbki,

odchylenie standardowe eksperymentalne zmiennej losowej x,

niepewność standardowa pojedynczego pomiaru (b. popularne),

RMS (root mean square) - uŜywanie niewskazane,

błąd - nazwa niepoprawna (spadek po poprzednich pokoleniach),

błąd to róŜnica między wynikiem x pomiaru a wartością prawdziwą µ:

- niepewność standardowa średniej arytmetycznej

oraz pozostałe nazwy z dodatkiem: „średniej arytmetycznej”.xs

x µ= −błąd

R.J. Nowak 58

2.2 Średnia waŜonaMODEL: próbka statystycznie niezaleŜnych zmiennych losowych xi, kaŜda

z innego rozkładu fi(x) o wspólnej wartości oczekiwanej: ⟨xi⟩ = µ, ale róŜnych

wartościach wariancji V[xi] = σi2.

Średnia waŜona - nieobciąŜony estymator wartości oczekiwanej µ: .wx µ=

Wartość oczekiwana sumy kwadratów reszt: ( ) 1,wR x n= −Na mocy Dygresji 3: [ ] 2 .w wx σ=V

co pozwala wyznaczyć nieobciąŜony estymator wariancji:2

2

1

2 2

2

.1

n

w iz

i i

z wsx

sn

σ µσ

σ=

−= ⇒

−=

∑

W praktyce:

222 2 2 2

1

21

1,

1 1

nw i

w w zni i

i i

s xs s s

n s

s

µσ

=

=

−→ = → = −

∑∑

( ) ( )2

2 2

21 1

1

1 1min , , .

n n

iw w i i w in

i ii ii

i

xR R x w x w

wµ

µµ σ σ

σ σ= =

=

−= ⇒ ⇒ = = =

∑ ∑

∑

Nomenklatura: σz - dyspersja wewnętrzna, sz - niepewność zewnętrzna.

R.J. Nowak 59

2.2 Średnia waŜonaDwie wielkości: σw oraz sz określające rozrzut danych, umoŜliwiają kontrolękonsystencji danych. Jej brak moŜe wynikać z powodu:

• błędnych ocen xi wartości centralnych,

• błędnych ocen si niepewności,

• fluktuacji statystycznej.

Dwa standardowe sposoby oceny tej konsystencji - wizualny, czyli ideogram:

( ) ( )2

1

; , .n

i i

i

f x x x s=

=∑N„Wielogarbność” ideogramu moŜe sugerować brak konsystencji i jednocześnie

wskazywać na „winną” temu daną liczbową.

Liczbowa ocena to wartość R sumy kwadratów reszt w minimum i jej składniki.

PoniewaŜ wartość oczekiwana sumy kwadratów reszt w minimum wynosi n − 1,

wiec wartość sumy nie powinna odbiegać nadmiernie od tej wartości.

Jednoczesnie kaŜda indywidualna dana winna wnosić, w przybliŜeniu, jednostkędo sumy kwadratów reszt. Dana, od której przyczynek jest istotnie większy od

jedności staje sie automatycznie „podejrzaną”.

UWAGA! Demokratyczne glosowanie nie decyduje o poprawnej wartosci!!!

R.J. Nowak 60

Interludium - rozkład χχχχ 2 (1)MODEL: zmienna x z rozkładu Gaussa N(x;µ,σ 2):

( ) ( ) 2 2

2

2

1 11 ; , exp exp ,

2 22 2

x x zx dx dx z dz

µ µµ σ

σ σπ σ π

∞ ∞ ∞

−∞ −∞ −∞

− −= = − = = = − ∫ ∫ ∫N

( )21

;0,1 exp22

zz

π

= −

N - standaryzowany rozkład normalny

2 2

2

0 0

1 2 1 11 exp exp exp .

2 2 22 2 2

z z udz dz u z du

uπ π π

∞ ∞ ∞

−∞

= − = − = = = − ∫ ∫ ∫

( )

1 2 11 21 2

2 20 1 2

0 0 0

, ,1 1 11 exp

, ,2 2

1 1 1exp exp

2 2 2 2

u

u u u u u vu udu du

v u u vu u

u udu dv du

v u v

π

π

∞

∞ ∞

= + = − + = − = ⇒ = =

= − = − −

∫

∫ ∫ ∫

Zmienna u ma rozkład X1(u), zwany χ 2, o jednym stopniu swobody:

Zmienna u ma rozkład X2(u) o dwóch stopniach swobody:

( )1

1 1exp .

22

uu

uπ = −

X

( )2

1exp .

2 2

uu

= −

X

R.J. Nowak 61

Interludium - rozkład χχχχ 2 (2)MODEL: próbka licząca n statystycznie niezaleŜnych zmiennych losowych xi

z rozkładów normalnych N(xi;µi,σi2). Statystyka:

( )( ) ( )

12

2

21

1exp , 0, 1,2,3, ,

22ma rozkład :

n

i in

i

n

n

in

xu

uu u u n

µσ=

− −=

= − ≥ = Γ

∑ …X

nosi nazwę zmiennej losowej χχχχ 2 i ma własności: [ ], 2 .u n u n= =V

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0 1 2 3 4 5 6 7 8 9 10

wartość χ 2

gęs

tość

pra

wd

op

od

ob

ieńs

twa

n = 1

n = 2

n = 3n = 4 n = 5 n = 6

n = 7

0,00

0,02

0,04

0,06

0,08

0,10

0,12

0,14

0 20 40 60

wartość χ 2

gęs

tość

pra

wo

po

do

bieńs

twa

n = 7

n = 15

n = 30rozkład Gaussa,

µ = 30, σ 2 = 60

R.J. Nowak 62

Interludium - rozkład χχχχ 2 (3)Kiedy pojedynczy składnik ui standaryzowanej sumy R kwadratów reszt

2

1 1

n n

i ii

i i i

xR u

µσ= =

−= =

∑ ∑

jest „nadmierny” albo „istotnie większy” od jedności? Czy np. wartość u0 = 4

jest „nadmierna”? Zapytajmy inaczej: ile wynosi prawdopodobieństwo

p = P(u ≥ u0), Ŝe zmienna χ 2 o jednym stopniu swobody będzie, na mocy

przypadku, większa bądź równa wartości 4?

( ) ( )1

4 4

1 14 exp 0,045

22

uP u u du du

uπ

∞ ∞ ≥ = = − ≈ ∫ ∫X

Tak więc w około 5% przypadków zobaczymy, z powodów czysto losowych,

odchylenie wyniku pomiaru od wartości prawdziwej o dwa lub więcej

odchylenia standardowe. Czy obserwacja taka będzie wystarczającym

powodem od podejrzeń, Ŝe wynik reprezentuje sobą pomiaru innej wielkości,

niŜ tej, w której jesteśmy zainteresowani? Jak duŜe powinno być takie

odchylenie, abyśmy bezpiecznie dotarli do takiej konkluzji?

u0 1 (→ 1σ) 4 (→ 2σ) 9 (→ 3σ) 16 (→ 4σ) 25 (→ 5σ)

p = P(u ≥ u0)0,317

≈1/3

0,045

≈1/20

0,027

≈ 1/370

1,07⋅10–4

≈ 1/10 000

5,73⋅10–7

≈ 1/1 750 000

R.J. Nowak 63

Interludium - rozkład χχχχ 2 (4)

0,001

0,01

0,1

0 10 20 30 40 50 60u 0

pra

wdo

podobieńs

two p

3 4 5 6 7 8 10 12 14 16 18 20 22 24 26 28 30n = 1 2 9

R.J. Nowak 64


Ideogram wieku Całunu Turyńskiego

0,000

0,005

0,010

0,015

0,020

0,025

0,030

550 600 650 700 750 800 850wiek x Całunu (liczba lata przed rokiem 1950)

x = (646 ± 31) lat, R A = 1,94

x = (676 ± 24) lat, R Z = 0,30

x = (750 ± 30) lat, R O = 4,12

suma: R = 6,35, P (u ≥ R ) = 0,042Zurich

Arizona Oxford

x w = 689 lat

s w = 16 lat,

s = 28 lat

P.E. Damon, D.J. Donahue, B.H. Gorke i inni, Nature, 337, (1989), 661

2

1

n

i w

i i

x xu

σ=

−=

∑

Jeśli zmienne xi pochodzą z rozkładów normalnych N(xi;µ,σi2), to statystyka

ma rozkład χ 2 z liczbą n – 1 stopni swobody.

R.J. Nowak 65


0

5

10

15

20

0 5 10 15 20numer pomiaru

wart

ość

0

5

10

15

20


wart

ość

R.J. Nowak 66

2.3 Pearsona współczynnik korelacjiPróbka (xi,yi), i = 1, 2, ..., n, nieskorelowanych par zmiennych losowych.

NieobciąŜony estymator kowariancji:

( )( )1

1

1

n

xy i i

i

C x x y yn =

= − −− ∑

i obciąŜony estymator r Pearsona współczynnika ρ korelacji liniowej:

.xy

x y

Cr

s s=

Dla próbek z rozkładu normalnego, rozkład f(r;ρ) współczynnika r jest,

w ogólnym przypadku bardzo złoŜony i mimo, Ŝe ze wzrostem liczebności próbki

zbiega on do rozkładu normalnego, to zbieŜność ta jest bardzo wolna i wymaga

próbek liczących setek, jeśli nie tysięcy danych, zwłaszcza gdy współczynnik

korelacji ρ jest bliski jednej z wartości skrajnych. Tzw. transformacja Fishera

1 1ln

2 1

rz

r

+=

−pozwala odwołać się do rozkładu normalnego N(z;µ,σ 2) z parametrami:

juŜ przy próbkach liczących kilkadziesiąt par (xi,yi) danych.

( )21 1 1

ln , .2 1 2 1 3n n

ρ ρµ σ

ρ+

= + =− − −

R.J. Nowak 67

0

1

2

3

4

5

6

7

8

9

10

-1 -0,5 0 0,5 1

ρ = 0

ρ = 0,75

n = 10

n = 20

n = 50

n = 50

n = 20

n = 10r

0,0

0,2

0,4

0,6

0,8

1,0

1,2

1,4

1,6

1,8

-1 0 1 2

ρ = 0 ρ = 0,75

n = 10

n = 20

z

Najczęściej potrzebujemy postaci rozkładu f(r;ρ) dla szczególnej wartości

ρ = 0, kiedy to:

( )( )( )( )

( ) ( )1142 2 2

12

11 , 1 1.

1

nnf r r r

nπ

−Γ −= − − < <

Γ −

2.3 Pearsona współczynnik korelacji

R.J. Nowak 68

http://www.kutsyy.com/classes/lab/ancova.html

Katedry angielskie

0

100

200

300

400

500

600

700

40 50 60 70 80 90 100 110

wysokość (stopy)

dłu

gość

(st

op

y)

romańska

gotycka

r = 0,64


R.J. Nowak 69

Ciśnienie krwi

40

50

60

70

80

90

100

110

120

130

70 120 170 220ciśnienie rozkurczowe

ciśn

ien

ie s

ku

rczo

we

r = 0,79

http://hesweb1.med.virginia.edu/biostat/s/data/index.html


R.J. Nowak 70

Statistical Abstract for the United kongdom, Cmd 5903, 1939; lata 1924 - 38;

dane za: G.U. Yule i M.G. Kendall, Wstep do teorii statystyki, PWN, Warszawa 1966, s. 325

5

10

15

20

25

0 2000 4000 6000 8000 10000

liczba radioodbiorników (w tyś.)

licz

ba

cho

rych

um

ysł

ow

o

(na

10

000

lu

dn

ośc

i)

r = 0,992

Pamietajmy: korelacja nie implikuje przyczynowości!!!


R.J. Nowak 71

2.3 Spearmana współczynnik korelacji rangGdy mówimy o współczynniku korelacji, mamy na myśli współczynnik

Pearsona, niekiedy spotykamy jednak dwa inne współczynniki: Spearmana

i Kendalla.

RozwaŜmy próbkę par (xi,yi), i = 1, 2, ..., n, którą uporządkujmy

względem pierwszej współrzędnej pary w ciąg rosnący, a następnie zastąpmy

kaŜdą ze współrzędnych xi kolejnymi liczbami całkowitymi, poczynając od 1.

Następnie wyznaczmy w rosnącym ciągu wszystkich wartości yi pozycję na

której znajduje się kaŜda ze współrzędnych yi i zastąpmy ich wartość numerami

ich pozycji, a w miejsce par (xi,yi) otrzymamy pary (k, nk), k = 1, 2, ..., n, liczb

naturalnych, gdzie na drugiej pozycji w parze mamy pewna permutację liczb

naturalnych. Numer pozycji, którą zajmuje liczba w uporządkowanym rosnąco

ciągu wszystkich liczb próbki nazywamy rangą tej liczby - liczba najmniejsza

ma rangę 1, a największa rangę n. Spearmana współczynnikiem korelacji rS

nazywamy Pearsona współczynnik korelacji dla rang:

( )( )

( ) ( )( )1

2 2

1 1

1, 1 .

2

n

k

kS

n n

k

k k

k n

r n

k n

µ µµ

µ µ

=

= =

− −= = +

− −

∑

∑ ∑

R.J. Nowak 72

2.3 Spearmana współczynnik korelacji rangWielkość µ to średnia arytmetyczna z liczb naturalnych od 1 do n. Występujące

w mianowniku obie sumy kwadratów są identyczne i kaŜda z nich wynosi

( )( )2

2

1

1,

12

n

k

n nk µ

=

−− =∑

gdyŜ róŜnią się jedynie kolejnością wyrazów. Jeśli wprowadzimy róŜnice rang

k – nk, to Spearmana współczynnik moŜna zapisać w formie:

( ) ( )2

21

61 .

1

n

S k

k

r k nn n =

= − −−∑

PoniewaŜ współczynnik Spearmana to Pearsona współczynnik korelacji, więcprzejmuje on jego wszystkie własności, w szczególności jego wartości

ograniczone są do przedziału [–1;1].

Współczynnik Spearmana mierzy siłę monotonicznego związku

między pierwotnymi zmiennymi: przyjmuje wartość rS = +1 jeśli nk = k,

a rS = –1, gdy nk = n – k + 1 oraz wartość rS = 0, gdy zmienne xi oraz yi sąnieskorelowane. W tym ostatnim przypadku:

[ ] 10, .

1S Sr r

n= =

−V

a dla próbek liczących kilkadziesiąt danych, współczynnik ten moŜna, z niezłymprzybliŜeniem, opisać rozkładem normalnym N(rS;0,V[rS]).

R.J. Nowak 73

2.3 Kendalla współczynnik korelacjiDla próbki (xi,yi), i = 1, 2, ..., n, rozwaŜmy wszystkie pary xi oraz xj, a takŜewszystkie pary yi oraz yj i utwórzmy wielkości

1 gdy , 1 gdy ,

0 gdy , 0 gdy ,

1 gdy , 1 gdy ,

i j i j

ij i j ij i j

i j i j

x x y y

u x x v y y

x x y y

> >

= = = = − < − <

( )1

12 2

, 1 , 1

22

,1

n n

ij ij n ni j i

ij ijn n

i j i

ij ij

i j i j

u v

u vn n

u v

τ = >

= >

= =

= =−

∑∑∑∑

∑ ∑gdyŜ kaŜda z podwójnych sum w mianowniku wynosi n(n – 1), jako Ŝe nie

zaleŜy ona od uporządkowania i określa liczbę róŜnych od zera róŜnic xi – xj

oraz yi – yj. Jeśli obie wartości w parach (xi,yi) narastają monotonicznie, wtedy

uij = vij, licznik jest równy mianownikowi i współczynnik τ przyjmuje

maksymalną, jednostkową, wartość. Gdy porządek wartości yi jest odwrotny do

porządku wartości xi, to uij = –vij i τ = –1. W pozostałych sytuacjach Kendalla

współczynnik korelacji przyjmie wartość między –1 a 1.

oraz obliczmy Kendalla współczynnik ττττ korelacji

R.J. Nowak 74

2.3 Kendalla wspólczynnik korelacji

a dla próbek liczących kilkanaście danych, rozkład współczynnika moŜna,z niezłym przybliŜeniem, opisać rozkładem normalnym N(τ;0,V[τ]).

Interpretacja Kendalla współczynnika korelacji. Wyobraźmy sobie, Ŝedwóch sędziów ustala ranking n zawodników (kandydatek to tytułu Miss

Świata), co daje parę (xi,yi). Jeśli dla dowolnej pary zawodników, znak róŜnicy

xi – xj jest taki sam jak dla róŜnicy yi – yj, to mówimy, Ŝe ranking pary jest

zgodny, a w przeciwnym razie niezgodny. Podwójna suma w liczniku

definiującym współczynnik τ opisuje róŜnicę liczby C zgodnych i liczby D

niezgodnych par w rankingu, przy czym maksymalna liczba zarówno par

zgodnych jak i niezgodnych wynosi n(n – 1)/2, więc wartość 2C/n(n – 1) opisuje

prawdopodobieństwo, Ŝe dowolna para zawodników w rankingu zostanie

sklasyfikowana zgodnie, a 2D/n(n – 1) prawdopodobieństwo, Ŝe niezgodnie.

Dlatego teŜ róŜnica obu prawdopodobieństw zawiera się w przedziale [–1;1].

Gdy między cechami brak jest współzaleŜności, to oczekujemy, Ŝe w typowych

sytuacjach połowa z wielkości uijvij przyjmie wartość 1, a połowa –1, co daje

⟨τ⟩ = 0. MoŜna takŜe obliczyć wariancję, która wynosi:

[ ] ( )( )

2 2 5,

9 1

n

n nτ

+=

−V

R.J. Nowak 75

2.4 Parametry zmiennej losowejModa - wartość zmiennej losowej, przy

której rozkład przyjmuje wartośćmaksymalną.Mediana xm - kwantyl rzędu 1/2.

Próbkę xi, i = 1, 2, ..., n, ciągłej zmiennej

losowej porządkujemy, otrzymując ciągx(1) ≤ x(2) ≤ ... ≤ x(n). Jeśli n = 2k + 1, to

mediana xm = x(k + 1), a dla n = 2k to dowolna

liczba między wartościami x(k) oraz x(k + 1),

w praktyce xm = (x(k) + x(k + 1))/2.

f(x)

x

modamediana

wartość oczekiwana

Kwartyl dolny qd - kwantyl rzędu 1/4.

Kwartyl górny qu - kwantyl rzędu 3/4.

k-ty kwintyl - kwantyl rzędu k/5.

k-ty decyl - kwantyl rzędu k/10.

k-ty percentyl - kwantyl rzędu k/100.

Rozstęp międzykwartylowy: qu – qd.

f(x)

x

xmediana

górny

kwartyldolny

kwartyl

95%5%

Wykres pudełkowy

R.J. Nowak 76

3.1 Estymacja parametryczna - metoda momentówPRZYKŁAD: próbka prosta xi, i = 1, 2, ..., n, zmiennych losowych z rozkładu:

( ) ( )1; 1 , 1 1, 1 1.

2f x x xθ θ θ= + − ≤ ≤ − ≤ ≤

NaleŜy wyznaczyć ocenę parametru θ. Obliczamy wartość oczekiwaną:

( ) ( )1 1 1 1

2

1 1 1 1

1 1 1; 1 ,

2 2 2 3x xf x dx x x dx xdx x dx

θθ θ θ

+ + +

− − − −

= = + = + =∫ ∫ ∫ ∫a poniewaŜ średnia arytmetyczna ocenia wartość oczekiwaną, więc:

1 1

1 ˆ ˆ 3 .3

x xθ θ= ⇒ =

MoŜemy jednak obliczyć wartość oczekiwaną statystyki x3:

( )1 1 1

3 3 3 4

1 1 1

1 1 11 ,

2 2 2 5x x x dx x dx x dx

θθ θ

+ + +

− − −

= + = + =∫ ∫ ∫więc:

3 3 3

3 3

1

1 1 ˆ ˆ 5 .5

n

i

i

x x xn

θ θ=

= = ⇒ =∑

Jak widać, kaŜda średnia z nieparzystej potęgi dostarcza estymatora parametru θ.

Który z tych estymatorów mamy wybrać?

R.J. Nowak 77

3.1 Estymacja parametryczna - metoda momentów

RozwaŜmy wariancję uzyskanych estymatorów:

PoniewaŜ:

więc:

[ ] [ ] [ ]1

9ˆ 3 9x x xn

θ = = = V V V V

Podobnie:

a obliczając:

Wybieramy estymator o mniejszej wariancji!!!

[ ] ( ) ( )1

22 2 2 2 2

1

1 1 1 1 11 3 ,

2 9 3 9 9x x x x x dxθ θ θ θ

−

= − = + − = − = −∫V

( )2

1

1ˆ 3 .n

θ θ = − V

3 3 3

3

25ˆ 5 25 ,x x xn

θ = = = V V V V

23 6 3 21 25,

25 7x x x θ = − = −

V

otrzymujemy:2

3

1 25ˆ .7n

θ θ = − V

R.J. Nowak 78

3.1 Metoda momentów - podsumowanieRozkład f(x;θ1,θ2,...,θm) wyznaczony przez m nieznanych parametrów.

Obliczamy m wartości średnich:

oraz m wartości oczekiwanych:

Przyrównując wartości średnie do wartości oczekiwanych:

1

1, 1,2,...,

nk k

i

i

x x k mn =

= =∑

( ) ( )1 2 1 2; , ,..., , ,..., .k k

m k mx x f x dx gθ θ θ θ θ θ∞

−∞

= =∫

( )1 2ˆ ˆ ˆ, ,...,k

k mx g θ θ θ=

otrzymujemy układ m równań na m niewiadomych parametrów. Rozwiązanie

tych równań wyznacza estymatory poszukiwanych parametrów.

Brak ogólnych twierdzeń odnośnie własności estymatorów – są one zazwyczaj

obciąŜone, a równania nieliniowe powodują dodatkowe kłopoty.

Metoda momentów często jest wykorzystywana do wyznaczenia wygodnych

wartości startowych do zastosowania w innych metodach estymacji.

R.J. Nowak 79

3.2 Metoda największej wiarogodności - ideaPoniewaŜ w wyniku pomiarów Natura daje nam wartości rozsądne - zbliŜone

do typowych, bardzo prawdopodobne - dobierzmy tak wartości nieznanych

parametrów rozkładu, aby uzyskane z doświadczenia wartości były najbardziej

prawdopodobne.

Rozkład f(x;θ) o znanej formie matematycznej i nieznanej wartości parametru θ.

Dana jest próbka prosta zmiennych xi, i = 1, 2, ..., n, o łącznym rozkładzie

( ) ( )1

; ; .n

i

i

L f xθ θ=

= ∏x

Podstawmy znane wartości xi do funkcji L i potraktujmy ją jako funkcjęnieznanego parametru θ, a otrzymamy funkcję wiarogodności parametru θ:

( ) ( )1

; , zadane.n

i i

i

f x xθ θ=

= ∏L

Poszukujemy takiej wartości parametru θ, aby wyniki pomiarów były

najbardziej prawdopodobne ⇒ maksymalizujemy funkcje wiarogodności

względem parametru. Tak uzyskaną ocenę parametru nazywamy ocenąnajwiększej wiarogodności.

Nie jest to ocena najbardziej prawdopodobna!!!

θ

R.J. Nowak 80

3.2 Metoda największej wiarogodności - motywacjaPRZYKŁAD, w którym wszystkie obliczenia moŜna wykonać analitycznie:

2000 kandydatów na studia na Wydziale Fizyki - 549 kobiet i 1451 męŜczyzn.

Uporządkujmy wszystkie nazwiska alfabetycznie i na początek wybierzmy

pierwszy tysiąc (n = 1000) kandydatów. W liczbie tej znajdujemy k = 281

kobiet. Niech p oznacza prawdopodobieństwo, Ŝe przypadkowo wybrana

osoba to kobieta, zaś 1 − p to prawdopodobieństwo „trafienia” męŜczyzny.

Wyznaczmy funkcję wiarogodności: wybieramy kolejne nazwiska i jeśli jest to

kobieta to do funkcji wiarogodności dopisujemy czynnik p, a jeśli męŜczyzna

to czynnik 1 − p. Prowadzi to do funkcji wiarogodności:

( ) ( )1 .n kk

p p p−

= −L

Poszukując maksimum, zazwyczaj wygodniej jest pracować z logarytmem

funkcji wiarogodności (logarytm nie zmienia połoŜenia maksimum), więc:

( ) ( ) ( ) ( )lnln ln ln 1 .

1ˆ

d p k n kp k p n k p

dp

k

np pp

−= + − − ⇒ − ⇒

−==

LL

Otrzymaliśmy bardzo rozsądny, oczywisty, estymator wyznaczający wartość:

0,281.p =

R.J. Nowak 81

3.2 Największa wiarogodność - dziewczyny do ścisłych (6)

Dziewczyny do ścisłych

0,0

0,2

0,4

0,6

0,8

1,0

0,22 0,24 0,26 0,28 0,30 0,32 0,34parametr p

wia

rogo

dność

L(p

)pierwszy 1000

drugi 1000

razem

Dane własne

R.J. Nowak 82

3.2 Największa wiarogodność - dziewczyny do ścisłych (7)

Dziewczyny do ścisłych

-400

-300

-200

-100

0

100

200

300

400

0,24 0,25 0,26 0,27 0,28 0,29 0,3 0,31

parametr p

d l

nL

(p)/

dp

Dane własne

R.J. Nowak 83

3.2 Największa wiarogodność - jeden parametr - własnościEstymatory z metody największej wiarogodności są:

• współzmiennicze wraz ze zmianą parametru, tj. jeśli interesuje nas

parametr ϕ(θ), który jest funkcja parametru θ, to:

• z reguły obciąŜone, choć nie asymptotycznie (obciąŜenie znika ze

wzrostem liczebności próbki),

• asymptotycznie najefektywniejsze (dla duŜych próbek maja mniejsząwariancję niŜ estymatory uzyskane na innej drodze),

• asymptotycznie gaussowskie (ze wzrostem liczebności próbki nabierająrozkładu gaussowskiego):

( ) ( )ˆϕ θ ϕ θ=

• ekonomiczne - wykorzystują całą informacje zgromadzoną w próbce

(estymatory uzyskane na innej drodze mogą tracić część informacji, co

prowadzi do ich większej wariancji).

( ) ( )2ˆ

1ˆ ˆ; , exp ,ˆˆ 22

θ θθ θ θ

θπ θ

− = −

N VVV

R.J. Nowak 84

3.2 Największa wiarogodność - jeden parametr - własnościFunkcja wiarogodności ze wzrostem liczebności próbki przyjmuje kształt

gaussowski:

( )( )2

max

ˆ

exp .ˆ2

θ θθ

θ

− = −

L LV

Pamiętajmy, Ŝe jest to funkcja poszukiwanego parametru θ, a nie funkcja

zmiennych losowych lub estymatora.

Gaussowski kształt prowadzi do waŜnej konkluzji. Obliczmy logarytm funkcji

wiarogodności:

( )( )2

max

ˆ

ln lnˆ2

θ θθ

θ

−= −

L LV

a takŜe pierwszą pochodną względem parametru:

( ) ˆln.

ˆ

d

d

θ θ θθ θ

−=

L

V

Odstępstwa na wykresie tej pochodnej od liniowości, jako funkcji parametru θ,

pozwalają wizualnie ocenić na ile znajdujemy się w reŜimie asymptotycznym.

R.J. Nowak 85

3.2 Największa wiarogodność - jeden parametr - własnościObliczmy równieŜ drugą pochodną:

( )2

2

ln 1

ˆ

d

d

θ

θ θ= −

L

V

która prowadzi do wyraŜenia na wariancję:

( )1

2

2

lnˆ .d

d

θθ

θ

−

= −

LV

PoniewaŜ wielkość ta, dla skończonych próbek, zaleŜy od parametru θ, więc:

( )1

2

2

ˆ

lnˆˆ .d

dθ θ

θθ

θ

−

=

= −

LV

Konwencjonalnie cytowane są niepewności wyznaczane z tego wzoru, nawet

jeśli próbka jest mała i kształt funkcji wiarogodności odbiega od gaussowskiego.

Do dobrej praktyki naleŜy podawanie wykresu logarytmu funkcji wiarogodności.

R.J. Nowak 86

Interludium - własności krzywej i rozkładu Gaussa

( )( )

( )( )2 2

max max

ˆ ˆ

exp ln lnˆ ˆ2 2

θ θ θ θθ θ

θ θ

− − = − ⇒ = −

L L L LV V

Jednocześnie, poniewaŜ asymptotycznie estymator największej wiarogodności

ma rozkład normalny:

( ) ( )2ˆ

1ˆ ˆ; , expˆ ˆ2 2

θ θθ θ θ

π θ θ

− = −

N VD V

więc:

( ) ( )0,5, 1,

ˆ ˆ ˆln ln 2, 2,

4,5, 3.

n

n n

n

θ θ θ θ θ

= = − = ± = = =

L L D

( )0,683 2 3, 1,

ˆ ˆ ˆ 0,945 19 20, 2,

0,997, 3.

n

P n n n

n

θ θ θ θ θ

≈ = − ≤ ≤ + ≈ ≈ = =

D D

Własność ta pozwala łatwo wyznaczyć odchylenie standardowe ˆ :θ D

R.J. Nowak 87

3.2 Największa wiarogodność - dziewczyny do ścisłych (8)Dziewczyny do ścisłych

-5

-4

-3

-2

-1

0

0,24 0,25 0,26 0,27 0,28 0,29 0,30 0,31

parametr p

lnL

(p)

[ ] ( ) ( )1

22

2

ˆ

lnˆ 0,010ˆ

p p

d pp

dp

−

=

= − =

LV

R.J. Nowak 88

3.2 Największa wiarogodność - dwa parametry

PRZYKŁAD: próbka xi, i = 1,2,..., n, z rozkładu Gaussa N(x;µ,σ 2). Funkcja

wiarogodności:

( )( )

( )

( ) ( )

2

21

2

21

1 1, exp ,

22

1ln , ln ln 2 .

2 2

n

inn

i

n

i

i

x

nn x

µ σ µσπ σ

µ σ σ µ πσ

=

=

= − −

= − − − −

∑

∑

L

L

RóŜniczkujemy:

( ) ( )

( ) ( ) ( )

21 1

2 22 2

31 1

1 1ˆln , 0 ,

1 1ˆln , 0 .

n n

i i

i i

n n

i x i

i i

x x xn

nx S x x

n

µ σ µ µµ σ

µ σ µ σσ σ σ

= =

= =

∂= − = ⇒ = =

∂

∂= − + − = ⇒ = = −

∂

∑ ∑

∑ ∑

L

L

Otrzymaliśmy dobry estymator parametru µ i obciąŜony parametru σ 2 (na

mocy własności: estymator funkcji parametru to funkcja estymatora parametru,

„daszek” zapisaliśmy nad symbolem σ a nie nad symbolem σ 2).

R.J. Nowak 89

3.2 Największa wiarogodność - wiele parametrówDana jest próbka zmiennych losowych xi, i = 1,2,..., n, z rozkładu L(x;θθθθ )

o znanym kształcie matematycznym, lecz nieznanych wartościach parametrówθi, i = 1,2,..., m. Rozkład ten traktujemy jako funkcję L(θθθθ ) parametrów

i poszukujemy takich ich wartości, przy których funkcja ta ma maksimum:

( )ln 0, 1,2,..., .i

i mθ∂

= =∂

L θ

Własności uzyskanych na tej drodze estymatorów pozostają takie same, jak

w przypadku jednego parametru, z tym, Ŝe asymptotycznie funkcja

wiarogodności ma m-wymiarowy kształt gaussowski:

( ) ( ) ( )1

max

1 ˆ ˆexp ,2

− = − − −

TVL Lθ θ θ θ θ

a estymatory asymptotycznie podlegają m-wymiarowemu rozkładowi Gaussa:

( )( )

( ) ( )1

2

1 1ˆ ˆ ˆ; , exp .2

2 detn

π

− = − − −

TV V

VN θ θ θ θ θ θ

Estymator macierzy V kowariancji znajdujemy ze związku:

( )2

1

ˆ

ˆˆ , ln .ij

i j

Uθ θ

−

=

∂ = = − ∂ ∂V U L

θ θ

θ θ

R.J. Nowak 90

Interludium - wielowymiarowy rozkład i kształt Gaussa

( ) ( )1 2 1 2ˆ ˆ ˆˆ , , , , , , , .m mθ θ θ θ θ θ= =… …θ θgdzie:

a V to macierz kowariancji, której elementy mają postać:

ˆ ˆ ˆ ˆcov , , 1 1, 1.ij i j ij i j ij i j ij iiθ θ ρ θ θ ρ σ σ ρ ρ = = = − ≤ ≤ = V V V

( )( )

( ) ( )1

2

1 1ˆ ˆ ˆ; , exp ,22 det

n

π

− = − − −

TV V

VN θ θ θ θ θ θ

róŜnica wartości logarytmu liczba prawdopodobieństwo ograniczone konturem

funkcji wiarogodności dyspersji jeden parametr dwa parametry

0,5 1 68,3% 39,3%

2,0 2 94,5% 86,5%

4,5 3 99,7% 98,9%

Własności asymptotycznej funkcji wiarogodności dla dwóch parametrów,

wynikające z rozkładu Gaussa dla dwóch zmiennych (dla porównania podane sątakŜe własności asymptotycznej funkcji wiarogodności z jednym parametrem):

Wartość oczekiwana i wariancja indywidualnej zmiennej losowej:2ˆ ˆ, ,i i i iVθ θ θ σ = =

R.J. Nowak 91

3.2 Największa wiarogodność - bliźnięta (1)Bliźnięta monozygotyczne są tej samej płci i wyglądają „jak dwie krople

wody”, a dwuzygotyczne mogą być róŜnej płci i nie róŜnią się niczym od

dzieci urodzonych z dwóch róŜnych ciąŜ. Wprowadźmy oznaczenia:

p - prawdopodobieństwo urodzenia chłopca,

q - prawdopodobieństwo ciąŜy monozygotycznej.

Zdefiniujmy prawdopodobieństwa:

PCC - urodzenia się dwóch chłopców,

PCD - urodzenia się bliźniaków o mieszanej płci,

PDD - urodzenia się dwóch dziewczynek:

( ) ( )( )( )( )

( ) ( ) ( ) ( ) ( )( )( )

2

2

1 1 ,

2 1 1 ,

1 1 1 1 1 1 .

CC

CD

DD

P pq p q p q p q

P p p q

P p q p q p q p q

= + − = + −

= − −

= − + − − = − + − −

Zdefiniujmy teŜ liczebności róŜnych par bliźniaczych:

c = 321: liczba par chłopców bliźniaków,

m = 317: liczba par bliźniaków o mieszanej płci,

d = 328: liczba par dziewczynek bliźniaczek.

P. Lichtenstein i P. Annas, Heritability and

Prevalence of Specific Fears and Phobias in

Childhood, Journal of Child Psychology and

Psychiatry, 41 (7) (2000), 927-937

R.J. Nowak 92

3.2 Największa wiarogodność - bliźnięta (2)Funkcja wiarogodności:

( )

( )( )( ) ( )( )( ) ( ) ( )( )( )( )( )( ) ( ) ( ) ( )( )( )

,

1 2 1 1 1 1 1

2 1 1 1 1 1 ,

c m d

CC CD DD

c dm

c dm d mm c m

p q P P P

p q p q p p q p q p q

p q p q p q q p q++

=

= + − − − − + − −

= + − − − + − −

L

( )( ) ( )( ) ( ) ( ) ( ) ( )( )( )ln ,

ln ln 1 ln 1 ln 1 ln 1 1

p q

c m p c q p q m d p m q d q p q

=

+ + + − + + − + − + + − −

L

( ) ( )( )

( )( )( )

( ) ( )( ) ( )( )

1 1ln , 0,

1 1 1 1

1ln , 0,

1 1 1 1

c q d qc m m dp q

p p q p q p q p q

c p m dpp q

q q p q q q p q

− −∂ + += + − − =

∂ + − − + − −

−∂= − + =

∂ + − − + − −

L

L

jej logarytm:

i równania wyznaczające ekstremum:

których nie moŜna rozwiązać analitycznie, więc musimy się uciec do metod

numerycznych, z których otrzymujemy:

ˆ 0,496 0,013ˆ 0,0021.

ˆ 0,344 0,030pq

p

qρ

= ±=

= ±

R.J. Nowak 93

3.2 Największa wiarogodność - bliźnięta (3)

0,46 0,48 0,50 0,52

0,25

0,30

0,35

0,40

prawdopodobieństwo p urodzenia chłopca

pra

wdop

od

ob

ieńs

two q

bliźn

iąt

mon

ozy

goty

czny

ch

Poziomice funkcji wiarogodności - bliźnięta

R.J. Nowak 94

3.2 Największa wiarogodność - grupy krwi (1)Grupa krwi zdeterminowana jest przez allele A lub B lub ich brak czyli 0. Krew

• grupy A mamy, gdy od rodziców otrzymamy allele A i A lub A i 0,

• grupy B mamy, gdy od rodziców otrzymamy allele B i B lub B i 0,

• grupy AB mamy, gdy od rodziców otrzymamy allele A i B oraz

• grupy 0 mamy, gdy od rodziców otrzymamy 0 i 0.

Wprowadźmy oznaczenia:

p: prawdopodobieństwo występowania allela A,

q: prawdopodobieństwo występowania allela B,

r = 1 – p – q: prawdopodobieństwo braku obu alleli.

Wyznaczmy prawdopodobieństwa występowania poszczególnych grup krwi:

2 2 2

02 , 2 , 2 , ,A B ABP p pr P q qr P pq P r= + = + = =

oraz wprowadźmy liczebności grup osób o róŜnych grupach krwi:

a = 182: liczba osób z grupą krwi A,

b = 60: liczba osób z grupą krwi B,

c = 17: liczba osób z grupą krwi AB,

z = 176: liczba osób z grupą krwi 0.

C.R. Rao, Modele liniowe statystyki matematycznej,

PWN, Warszawa, 1982, s. 382

R.J. Nowak 95

3.2 Największa wiarogodność - grupy krwi (2)Funkcja wiarogodności:

( ) ( ) ( ) ( )

( )( ) ( )( ) ( )

2 2 2

0

2

, 2 2 2

2 2 1 2 1 1 ,

a b ca b c z z

A B AB

a b zc a c b c

p q P P P P p pr q qr pq r

p q p p q q p q p q+ +

= = + +

= + − − + − − − −

L

jej logarytm:

( )( ) ( ) ( )( ) ( )( ) ( )ln ,

ln ln ln 2 1 ln 2 1 2 ln 1

p q

a c p b c q a p p q b q p q z p q

=

+ + + + + − − + + − − + − −

L

i równania na ekstremum:

( )( ) ( )

( )( ) ( )

2 2ln , 0,

2 1 2 1 1

2 2ln , 0,

2 1 2 1 1

a c a b zp q

p p p p q q p q p q

b c a b zp q

q q p p q q p q p q

∂ += − − − =

∂ + − − + − − − −

∂ += − − − =

∂ + − − + − − − −

L

L

których nie moŜna rozwiązać analitycznie, więc musimy się uciec do metod

numerycznych, z których otrzymujemy:

ˆ 0,264 0,016ˆ 0,17.

ˆ 0,093 0,010pq

p

qρ

= ±= −

= ±

R.J. Nowak 96

3.2 Największa wiarogodność - grupy krwi (3)

0,22 0,24 0,26 0,28 0,30 0,32

0,06

0,07

0,08

0,09

0,10

0,11

0,12

prawdopodobieństwo p allela A

pra

wdop

od

ob

ieńs

two q

all

ela

B

Poziomice funkcji wiarogodności - allele A i B grup krwi

R.J. Nowak 97

( )ln 0, 1,2,..., .i

i mθ∂

= =∂

L θ

a otrzymasz estymatory tych parametrów.

• Estymator macierzy V kowariancji estymatorów wyznacz ze związku:

( )2

1

ˆ

ˆˆ , ln .ij

i j

Uθ θ

−

=

∂ = = − ∂ ∂V U L

θ θ

θ θ

• Uzupełnij swoje obliczenia graficzną prezentacją, w stosownej formie,

logarytmu funkcji wiarogodności

3.2 Największa wiarogodność - podsumowanie• Ustal łączny rozkład L(x;θθθθ ) prawdopodobieństwa dla Twojej próbki xi,

i = 1, 2, ..., n, danych - w metodzie największej wiarogodności postać tego

rozkładu jest dana a priori, jedynie parametry θi, i = 1, 2, ..., m, są nieznane.

• Potraktuj ten rozkład jako funkcję L(θθθθ ) parametrów θi przy zadanych

wartościach xi.

• RozwiąŜ równania wiarogodności względem nieznanych parametrów:

R.J. Nowak 98

3.3 Przedział ufności - wprowadzenieUbezpieczenie samochodu od trafienia piorunem - kwerenda archiwów

policyjnych, zapisów szpitalnych i gazet wykazała k = 3 takie przypadki na

przestrzeni roku. Zapewne bardzo dobrym modelem do opisu takiegozdarzenia będzie rozkład Poissona Pk(µ) z nieznaną wartością parametru µi jego oceną . Czy wartość np. µ = 5 lub µ = 0,5 jest akceptowalna?ˆ 3µ =

( )( )( )

( )( )( )

3 | 5 0,265, 3 | 1,00 0,082,

3 | 10 0,010, 3 | 0,44 0,010,

3 | 13 0,001, 3 | 0,20 0,001.

P k P k

P k P k

P k P k

µ µµ µ

µ µ

≤ = ≈ ≥ = ≈

≤ = ≈ ≥ = ≈

≤ = ≈ ≥ = ≈

Jeśli wybierzemy wartość µ = 13, prawdopodobieństwo 0,001 obserwacji

3 lub mniej przypadków wydaje się być bardzo małe, więc nie powinniśmy

ufać moŜliwości, Ŝe µ ≥ 13. Podobnie, jeśli parametr µ = 0,2, to

prawdopodobieństwo obserwacji 3 lub więcej przypadków jest takŜe małe,

więc winniśmy podejść z ostroŜnością do mniemania, Ŝe parametr ma taką lub

nawet jeszcze mniejszą wartość. Jeśli przyjmiemy, Ŝe prawdopodobieństwa

P(k ≤ 3|µ = 10) i P(k ≥ 3|µ = 0,44) są dostatecznie wysokie dla naszej

kondycji psychicznej, to powiemy, Ŝe znaleźliśmy przedział ufnościµ ∈ [0,44;10] na poziomie ufności 1 − α = 1 − 0,01 − 0,01 = 0,98.

R.J. Nowak 99

3.3 Przedział ufności - wprowadzenie

0,0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0 1 2 3 4 5 6 7 8 9 10 11 12parametr µ

pra

wdo

pod

obieńs

two

P (k ≤ 3|µ )

P (k ≥ 3|µ )

R.J. Nowak 100

3.3 Przedział ufności - konstrukcja NeymanaStatystyka x o rozkładzie L(x;θ), ustalona wartość θ i zadane dwa rzędy

β = P(x ≤ xβ|θ) i γ = P(x ≤ xγ|θ) kwantyli, takie Ŝe 0 < β < γ < 1, a takŜe liczba

α spełniająca warunek: γ – β = 1 – α.

x

1 − α

1 − α

1 − α

1 − α

1 − α

θ

β = P(x ≤ xβ|θ )

γ = P(x ≤ xγ|θ )

R.J. Nowak 101

3.3 Przedział ufności - konstrukcja NeymanaObserwacja: x0. Rozwiązania równań:

( ) ( )0 0| , |P x x P x xθ β θ γ≤ = ≤ =

wyznaczają przedział ufności [θθθθmin ≤≤≤≤ θθθθ ≤≤≤≤ θθθθmax] na poziomie ufności 1 – αααα..

x

θ β = P(x ≤ xβ|θ )

γ = P(x ≤ xγ|θ )

x0

θmin

θmax

R.J. Nowak 102

3.3 Przedział ufności - rozkład wykładniczyPRZYKŁAD: rozkład wykładniczy; obserwacja t = t0:

( )( )

0

00 max

0

1| exp

ln 1

tt t

P t t dtτ β ττ τ β

≤ = − = ⇒ = − − ∫oraz

( )( )

0

00 min

0

1| exp

ln 1

tt t

P t t dtτ γ ττ τ γ

≤ = − = ⇒ = − − ∫

t β t γt 0

t

t max

t min

R.J. Nowak 103

3.3 Przedział ufności - centralny przedział ufnościIm większa jest wartość 1 – α, tym przedział ufności jest dłuŜszy. PoniewaŜchcemy z duŜą ufnością twierdzić, Ŝe prawdziwa wartość parametru znajduje

się we wnętrzu tego przedziału, wartość 1 – α wybieramy bliską jedności.

Typowe wartości 1 – α to 0,9, 0,95, 0,99 lub 0,997, a czasami nawet 1 – 10–7.

Ustalenie wartości parametru α pozostawia swobodę w wyborze

prawdopodobieństw β oraz γ związanych relacją γ – β = 1 – α. Najczęściej

stosowaną konwencją jest konwencja centralnego przedziału ufności:

, 1 .2 2

α αβ γ= = −

Inne, rzadziej spotykane konwencje, to konwencja przedziału:

• najkrótszego geometrycznie:

( ) ( )( ) ( )

( )1

0 max 0

max min1

0 min 0

| 1 |1 ,min ,

| | ,

P x x P x

P x x P x β

θ α β θ α βθ θ

θ β θ β

−

−

≤ = − − ⇒ = − +⇒ −

≤ = ⇒ = • symetrycznego:

min maxˆ ˆ ˆ, gdzie to estymator parametru ,θ θ θ θ θ θ− = −

( ) ( ) ( )1

1; ; , przy warunku: ; 1 .

x

x

L x L x L x dx

α β

β

β α βθ θ θ α− +

− += = −∫

• równej gęstości (L(x;θ ) to gęstość statystyki x uŜytej do wyznaczenia

parametru):

R.J. Nowak 104

3.3 Przedział ufności - parametr µµµµ rozkładu GaussaPRZYKŁAD: rozkład Gaussa, znana wartość parametru σ, poszukiwany

przedział ufności parametru µ. Konstruujemy pasmo ufności:

( ) ( ) ( )2; ,

x z

xx dx z z dz z x z

β β

β β βµ

β µ σ µ σσ−∞ −∞

−= = = = = Φ ⇒ = −∫ ∫N N

oraz

( ) ( ) ( )2; ,

x z

xx dx z z dz z x z

γ γ

γ γ γµ

γ µ σ µ σσ−∞ −∞

−= = = = = Φ ⇒ = −∫ ∫N N

µ = xβ − zβσ

µ = xγ − zγσ

x

x = x0

µmin

µ

µmax

R.J. Nowak 105

PRZYKŁAD: znana wartość parametru σ, poszukiwany przedział ufnościparametru µ; obserwacja próbki prostej xi ⇒x o rozkładzie N(x;µ,σ 2/n):

( ) ( ) ( )

( ) ( ) ( )

2

1 1

max

; ,

x zn x

x dx z z dx zn

n xz x x z

n nβ

µσβ µ

σ

µ σ σβ µ β

σ

−∞ −∞

− −

− = = = = = Φ

−⇒ = = Φ ⇒ = − Φ = −

∫ ∫N N

oraz:

Centralny przedział ufności:

2 1 2 22 1, 0.zx z x zn n

zα α α α

σ σµ − −

− ≤ ≤ − = − <

( ) ( ) ( )

( ) ( ) ( )

2

1 1

max

; ,

.

x zn x

x dx z z dx zn

n xz x x z

n nγ

µσγ µ

σ

µ σ σγ µ γ

σ

−∞ −∞

− −

− = = = = = Φ

−⇒ = = Φ ⇒ = − Φ = −

∫ ∫N N

Kwantyle rozkładu Gaussa dla kilku poziomów ufności 1 – α:

3.3 Przedzial ufnosci - parametr µµµµ rozkladu Gaussa

1 − α 0,900 0,945 0,950 0,990 0,997 0,999

z 1 − α /2 1,645 1,919 1,960 2,576 2,968 3,290

R.J. Nowak 106

3.3 Przedział ufności - parametr σσσσ rozkladu GaussaPRZYKŁAD: próbka prosta xi, i = 1, 2, ..., n, z rozkładu Gaussa;

poszukiwana wartość parametru σ ; obserwacja: łączny rozkład zmiennych xi:

( )( )

( )22

21

1 1; , exp

22

n

in

i

L xµ σ µσπ σ =

= − −

∑x

Spójrzmy na sumę w wykładniku

Widzimy, Ŝe rozkład faktoryzuje się na iloczyn rozkładów statystycznie

niezaleŜnych zmiennych: średniej i S 2. Wiemy, Ŝe zmienna u = nS 2/s 2 ma

rozkład χ 2 o liczbie n – 1 stopni swobody:

gdzie un – 1;α/2 oraz un - 1;1 - α/2 to kwantyle rozkładu χ 2 o n – 1 stopniach swobody.

( ) ( )( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( )

22 2 2

1 1 1 1

2 2 2 22 2

1 1

2

1, .

n n n n

i i i i

i i i i

n n

i i

i i

x x x x x x x x x n x

x x n x nS n x S x xn

µ µ µ µ

µ µ

= = = =

= =

− = − + − = − + − − + −

= − + − = + − = −

∑ ∑ ∑ ∑

∑ ∑

( )

( )

22

max

1;

2

1 1; 2

0

2

1 1;

2

22

min

1;10 2

2

,

,

u

n n

u

n

n

n

n

Su du u n

Su du u

Sn

un

Sn

u

β

γ

β

αγ

α

βσ

γ

σ

σσ

− −

−

−

− −−

= ⇒ = ⇒

=

=

⇒ = ⇒ =

∫

∫

X

X

R.J. Nowak 107

Interludium - rozkład StudentaStatystyka Studenta:

,

x

tu

n

µσ−

=

gdzie zmienna x opisana jest rozkładem Gaussa N(x;µ,σ 2),

a statystycznie niezaleŜna od niej zmienna u rozkłademXn(u) o n stopniach swobody. Zmienna t ma tzw. rozkładStudenta Sn(t) o liczbie n stopni swobody:

0

0,1

0,2

0,3

0,4

-3 -2 -1 0 1 2 3zmienna t

n = 10n = 2

n = 1

rozkład Gaussa

( )( )( )

( )

( )1 121 22

,12

11 1,2,..., .

n

n

n tt n t

nn nπ

− +Γ +

= + = − ∞ < < ∞ Γ S

R.J. Nowak 108

( ) 2

2

1

1

x x

n

n s

x

tx

s

n

σ

σ

µ

µ−

=

−

−

−

=

ma rozkład Studenta o n – 1 stopniach swobody. Centralny przedział ufności:

MODEL: próbka prosta xi, i = 1, 2, ..., n, z rozkładu Gaussa o nieznanych

wartościach µ i σ ; poszukujemy przedziału parametru µ; statystyka t

3.3 Przedział ufności - parametr µµµµ rozkładu Gaussa

1;1 21; 2 1;1 2 1; 2, ,n x n x n nx t s x t s t tαα ααµ− − − − − −= − ≤ −≤ − gdzie tn – 1;α/2 oraz tn – 1;1 – α/2 to kwantyle rzędu α/2 i 1 – α/2 rozkładu Studenta

o n – 1 stopniach swobody.

t n ;1 − α /2 1 − α = 0,9 1 − α = 0,95 1 − α = 0,99 1 − α = 0,999

n = 1 6,314 12,706 63,656 636,578

n = 5 2,015 2,571 4,032 6,869

n = 10 1,812 2,228 3,169 4,587

n = 20 1,725 2,086 2,845 3,850

n = 30 1,697 2,042 2,750 3,646

n = ∞ 1,645 1,960 2,576 3,290

R.J. Nowak 109

3.3 Przedział ufności - losowy charakterKrańce θmin(x0) i θmax(x0) przedziałów ufności są zadane przez wartość x0

uzyskaną z pomiaru, wiec są one zmiennymi losowymi – dla róŜnych wyników

przedziały będą róŜne i powinniśmy się liczyć z tym, Ŝe niektóre z przedziałów

nie będą zwierały prawdziwej wartości θ0 parametru. Ile wynosi

prawdopodobieństwo, Ŝe dolny kraniec θmin będzie mniejszy od wartości

prawdziwej i jednocześnie górny kraniec θmax będzie od niej większy?

Z konstrukcji przedziału ufności prawdopodobieństwo to wynosi 1 – α, więcw takim ułamku przypadków prawdziwa wartość parametru znajdzie się we

wnętrzu przedziału. Dokładnie z tego powodu przedziały ufności nazywamy

losowymi, a konwencjonalny zapis:

( ) ( )( )min 0 max 0 1P x x xθ θ α≤ ≤ = −

( )min 0 max 1 ,P θ θ θ α≤ ≤ = −błędnie sugerujący losowy charakter parametru θ0 nalezy rozumiec jako:

i oznacza, Ŝe:

przedział [θθθθmin, θθθθmax] zawiera prawdziwą wartość θθθθ0 parametruz prawdopodobieństwem 1 – αααα , a nie:

1 – αααα określa prawdopodobieństwo znalezienia prawdziwej wartości θθθθ 0

w przedziale [θθθθmin, θθθθmax].

R.J. Nowak 110

Autor dysponuje wynikami Ti, i = 1, 2, ..., 216, pomiarów okresu drgańwahadła, o którym z dobrym przybliŜeniem moŜna powiedzie, Ŝe jest

matematyczne. Przy załoŜeniu adekwatności tego modelu, z wartości okresu T

oraz długości L wahadła moŜna wyznaczyć przyspieszenie ziemskie

2

24 ,

Lg

Tπ=

o którym wiemy, Ŝe w Warszawie wynosi ono 9,81 m/s2. Sprawdźmy, na ile

zadany poziom ufności 1 – α zgadza się z częstością, z jaką przedział zawiera

znaną wartość g. Aby tego dokonać, musimy znać probabilistyczny model

pomiaru. Zazwyczaj dobrym modelem opisującym takie pomiary jest rozkład

Gaussa. Sprawdzenie tego załoŜenia wymaga przeprowadzenia statystycznego

testu zgodności, my jednak odwołamy się do weryfikacji wizualnej

i wykorzystamy wykres kwantyli.

3.3 Przedział ufności - losowy charakter

R.J. Nowak 111


g = 0,1622q + 9,8023

9,2

9,4

9,6

9,8

10,0

10,2

10,4

-3 -2 -1 0 1 2 3

kwantyl q normalny

prz

ysp

iesz

enie

[m

/s2]

Wykres kwantyli wyników pomiaru przyspieszenia ziemskiego

Dane własne

R.J. Nowak 112

Przedziały ufności przyspieszenia ziemskiego, 1 − α = 0,68

9,2

9,6

10,0

10,4


prz

ysp

iesz

en

ie [

m/s

2]


Wśród 216 pomiarów znajdują się 73 takie, których przedział ufności nie objąłznanej wartości przyspieszenia ukazanego czerwoną linią. Daje to ocenę73/216 ≈ 0,34 ± 0,03 parametru α = 0,32.

R.J. Nowak 113

4.1 Testy hipotez - wprowadzenieZadanie polega na wyznaczeniu koloru jednej ukrytej w urnie kuli, o której

wiemy, Ŝe jest ona białego lub czarnego koloru. Wydobycie kuli z urny

rozstrzygnęłoby o kolorze kuli, jednak taki „pomiar” odpowiadałby

nierealistycznemu pomiarowi, np. długości stołu, w wyniku którego zawsze

otrzymujemy prawdziwą wartość tej długości. Aby upozorować warunki

charakteryzujące kaŜdy pomiar, do urny dodajemy dwie kule: jedną białąi jedną czarną, których zadaniem jest wprowadzenie błędów statystycznych

w indywidualnym ”pomiarze” koloru. Pomiar polega na losowaniu, ze

zwracaniem, jednej kuli z urny, a wykorzystując wyniki losowania chcemy

rozstrzygnąć o pierwotnej zawartości urny. Wprowadźmy oznaczenia:

• B - zdanie: pierwotnie w urnie była biała kula,

• C - zdanie: pierwotnie w urnie była czarna kula,

• bi - zdarzenie losowe: w i-tym losowaniu z urny wydobyto białą kulę,• ci - zdarzenie losowe: w i-tym losowaniu z urny wydobyto czarną kulę.

Przypuśćmy, Ŝe w wyniki losowania wydobyliśmy białą kulę. Co moŜemy

powiedzieć o pierwotnej zawartości urny? Czy moŜemy wypowiedzieć zdanie

typu: P(B) = 1/2? A jeśli powtórzymy losowanie i ponownie wydobędziemy

białą kulę, to co będziemy mogli powiedzieć o P(B)?

R.J. Nowak 114

4.1 Testy hipotez - wprowadzeniePotrafimy obliczać prawdopodobieństwa zdarzeń losowych, a hipotezy B i C

nie są zdarzeniami losowymi – pierwotnie urna zawierała kulę o ustalonym,

acz nieznanym, kolorze i w kaŜdym losowaniu kolor był ten sam, tak jak

mierzony przez nas stół ma pewną nieznaną prawdziwą długość i w kaŜdym

pomiarze długość ta jest taka sama. To co jest przypadkowe w naszym

eksperymencie, to kolor wydobytej kuli, a nie kolor pierwotnej kuli w urnie.

W klasycznej statystyce matematycznej mamy obiekty, które zmieniają się od

pomiaru do pomiaru, tzw. zmienne losowe, oraz wielkości stałe: wartościprawdziwe (np. wartości wielkości fizycznych, ...). W naszym eksperymencie

jedyne, co moŜemy obliczyć, to prawdopodobieństwa warunkowe P(⋅⋅⋅|B)

i P(⋅⋅⋅|C) sekwencji kolorów wydobytych kul przy załoŜeniu, Ŝe w urnie była

pierwotnie kula biała lub czarna, np.

P(b1|B) = 2/3 lub P(b1|C) = 1/3 po pierwszym losowaniu lub

P(b2b1|B) = 4/9, P(b2b1|C) = 1/9 po drugim losowaniu,

które nazywamy wiarogodnościami hipotez B i C. Obserwując bb jako wynik

dwóch kolejnych losowań, moŜemy powiedzieć, Ŝe hipoteza B jest 4 razy

bardziej wiarogodna niŜ hipoteza C, co nie oznacza, Ŝe jest 4 razy bardziej

prawdopodobna.

R.J. Nowak 115

4.1 Testy hipotez - wprowadzenieJeśli w urnie pierwotnie była biała kula, to w dowolnym losowaniu

prawdopodobieństwo p jej wylosowania wynosi 2/3, a jeśli była to kula czarna,

to prawdopodobieństwo q wydobycia białej kuli wynosi 1/3. Jeśli w ciągu n

losowań wydobędziemy k białych kul, to prawdopodobieństwo takiegozdarzenia rządzone jest rozkładem dwumianowym Bk(n,p) lub Bk(n,q)

w zaleŜności od tego, jaką kulę zawierała pierwotnie urna.

Kryterium decyzyjne – jeśli w n = 20 losowaniach liczba k ≥ n/2 = 10 = kkrt,

to przyjmujemy hipotezę B, w przeciwnym razie hipotezę C. Na jakie ryzyko

wystawiamy się?

Decyzja Prawdziwa hipoteza H0(B) Prawdziwa hipoteza H1(C)

Przyjąć B(k ≥ kkrt)

( )

( )

| 1

, 0,962krt

krt

n

k

k k

P k k B

n p

α

=

≥ = −

= ≈∑ B

( )

( )

|

, 0,092,krt

krt

n

k

k k

P k k C

n q

β

=

≥ =

= ≈∑ B

błąd drugiego rodzajuPrzyjąć C(k < kkrt)

α ≈ 0,038,

błąd pierwszego rodzaju1 – β ≈ 0,908,

moc testu

Dobry test to test, w którym prawdopodobieństwo ββββ jest male!!!

R.J. Nowak 116

0,00

0,05

0,10

0,15

0,20

0 2 4 6 8 10 12 14 16 18 20

pra

wd

op

od

ob

ieńs

two

0,00

0,05

0,10

0,15

0,20

0 2 4 6 8 10 12 14 16 18 20

liczba k wylosowanych białych kul

pra

wd

op

od

ob

ieńs

two

α

β

biała kula w urnie,

p = 2/3

czarna kula w urnie,

p = 1/3

4.1 Testy hipotez - wprowadzenie

R.J. Nowak 117

4. Testy hipotez - nomenklatura (1)• Hipoteza zerowa H0 - testowana hipoteza.

• Hipoteza alternatywna H1 - kontrhipoteza.

• Statystyka testowa - zmienna losowa słuŜąca podejmowaniu decyzji.

• Błąd pierwszego rodzaju - odrzucenie hipotezy zerowej, gdy jest

prawdziwa (kula w urnie była biała i taką hipotezę postawiliśmy, lecz jąodrzuciliśmy - karygodna poraŜka).

• Prawdopodobieństwo αααα błędu pierwszego rodzaju a takŜe poziomistotności testu lub rozmiar testu - prawdopodobieństwo odrzucenia

hipotezy zerowej, gdy jest ona prawdziwa.

• Błąd drugiego rodzaju - przyjęcie hipotezy zerowej, gdy jest ona fałszywa

(kula w urnie była czarna, postawiliśmy hipotezę zerową o białej kuli i jąprzyjęliśmy - kompromitacja).

• Prawdopodobieństwo ββββ błędu drugiego rodzaju - prawdopodobieństwo

zaakceptowania hipotezy zerowej, gdy jest ona fałszywa.

• Wartość krytyczna - wartość statystyki testowej wyznaczona poziomem

istotności α.

• Obszar krytyczny, obszar wykluczania - zestaw wartości statystyki

testowej, których otrzymanie oznacza odrzucenie hipotezy zerowej.

R.J. Nowak 118

4. Testy hipotez - nomenklatura (2)Dlaczego błąd „pierwszego” i „drugiego” rodzaju? Konwencjonalnie, błądpierwszego rodzaju, to błąd, popełnienie którego prowadzi do znacznie

powaŜniejszych konsekwencji, niŜ popełnienie błędu drugiego rodzaju.

Dlatego za hipotezę zerową naleŜy przyjmować taką, która będąc prawdziwą,odrzucona przywiedzie do skutków znacznie bardziej waŜkich niŜ gdybyśmy

zaakceptowali fałszywa hipotezę.PRZYKŁAD: nowy, proponowany lek moŜe mieć, zamiast poŜądanych

następstw, fatalne skutki, dlatego hipoteza zerowa powinna orzekać, Ŝe jest on

szkodliwy, a od tego mniemania powinniśmy odstąpić dopiero wtedy, jeślinazbieramy solidnych dowodów, Ŝe tak nie jest. W ten sposób unikniemy

fatalnej pomyłki - błędu pierwszego rodzaju - o dobrej jakości leku, mimo jego

szkodliwości, która to decyzja mogłaby być znacznie bardziej bolesna, niŜgdybyśmy dobry lek uznali za szkodliwy.

Gdy wybory nie są tak dramatyczne, zazwyczaj hipoteza zerowa

sankcjonuje zastany porządek rzeczy, a hipoteza alternatywna to rodzaj

pomysłu rewolucjonizującego nasze kanony. Sytuacja jest tu analogiczna do tej

z sali sadowej: dopóki nie mam Ŝelaznych dowodów, nie odstępujemy od

utartych poglądów.

R.J. Nowak 119

4.2 Testy hipotez - poziom istotnościKaŜdy test to hazard!!! O jego skali decyduje wartość poziom α istotności

testu, który na długą metę i w warunkach prawdziwości hipotezy zerowej

decyduje o ułamku błędnych decyzji. I tak, wybierając wartość α = 0,05,

godzimy się z faktem, Ŝe na kaŜde 20 decyzji jedna będzie niepoprawna, co

moŜe być spowodowane tylko i wyłącznie kaprysem Natury, która z powodów

losowych raczyła obdarzyć nas danymi, w naszym mniemaniu, nadto

odbiegającymi od typowych wartości i, w konsekwencji, uznaliśmy to za

wskaźnik czegoś nowego.

Chroniąc się przed moŜliwością odrzucenia prawdziwej hipotezy,

poziom α wybieramy małym: 0,05 lub 0,01, przy czym wartości większe

wybierze badacz o postawie „ryzyk-fizyk”, a mniejsze „dmuchający na zimne”.

Konsekwencją takiego podejścia moŜe być znaczące prawdopodobieństwo βzaakceptowania testowanej hipotezy nawet wtedy, gdy jest ona fałszywą.Musimy bowiem pamiętać o zaleŜności między wartościami α i β. Jeślihipoteza alternatywna jest wyspecyfikowana, to prawdopodobieństwo β jest

zdefiniowane przez poziom istotności testu: przy zadanej statystyce testowej

wartość α wyznacza jej wartość krytyczną, a rozkład tej statystyki przy

załoŜeniu słuszności hipotezy alternatywnej wyznacza wartość β.

R.J. Nowak 120

4.3 Testy hipotez - test istotnościAnaliza testu parametru sformułowanego w postaci dyskretnej alternatywy ma

walor dydaktyczny – słuŜy wprowadzeniu i wyjaśnieniu pojęć. W typowym

teście sprawdzającym wartości parametru pytamy czy przyjmuje on zadanąwartość i zazwyczaj nie mamy zbyt rozbudowanej opinii co do jego

alternatywnej wartości. Jeśli np. sprawdzamy rzetelność monety, to chcemy

wiedzieć czy prawdopodobieństwo p uzyskania “orła” wynosi 0,5 i nie mamy

upatrzonej Ŝadnej alternatywnej wartości tego parametru, więc nasza hipoteza

alternatywna to po prostu p ≠ 0,5. Spotykamy takŜe testy, w których jesteśmy

zainteresowani jedynie porównaniem wartości parametrów, np. sprawdzeniem,

czy są sobie równe i nie specyfikujemy ich konkretnej wartości, a wtedy

alternatywna hipoteza głosi, iŜ są one róŜne.

Test hipotezy parametrycznej bez wskazywania definitywnej,

alternatywnej wartości parametru nazywamy testem istotności.Prowadząc test istotności, nie potrafimy podać rozkładu statystyki

testowej przy załoŜeniu słuszności hipotezy alternatywnej, więc pozbawiamy

się moŜliwości oceny ryzyka β błędu drugiego rodzaju. Prowadzi to do braku

moŜliwości pozytywnego zweryfikowania hipotezy: moŜemy jedynie jąodrzucić lub stwierdzić, Ŝe nie jest sprzeczna z danymi.

R.J. Nowak 121

4.4 Testy hipotez - wartość p testuWróćmy do przykładu z losowaniem kul z urny. Przypuśćmy, Ŝe w wyniku

losowania w n próbach otrzymaliśmy k0 białych kul. Obliczmy

prawdopodobieństwo

uzyskania wyniku takiego jak nasz, bądź jeszcze bardzie niesprzyjającego

hipotezie H0(B) o pierwotnej zawartości urny. Im wartość p jest mniejsza, tym

mniej wiarogodną jest hipoteza H0(B).

Ogólnie, wartość p testu definiujemy jako prawdopodobieństwo, Ŝestatystyka testowa przyjmie obserwowaną lub teŜ bardziej niekorzystną dla

hipotezy zerowej wartość.Najczęściej popełnianym błędem jest interpretowanie wartości p testu

jako prawdopodobieństwa hipotezy zerowej. PoniewaŜ hipoteza zerowa odnosi

się do wartości parametru, który nie jest zmienną losową, więc wartości p testu

nie moŜe być traktowana jako prawdopodobieństwo takiej czy innej wartości

tego parametru, a więc i hipotezy - wartość p testu wypowiada się tylko

i wyłącznie na temat statystyki testowej.

Wartość p testu jest „rozwinięciem” poziomu istotności α - dostarcza

więcej informacji, niŜ fakt, Ŝe hipoteza została przyjęta bądź odrzucona.

( ) ( )0

20 3

0

,k

k

k

p P k k B n p=

= ≤ = =∑

4.5 Testy hipotez - statystyka ilorazu wiarogodnościMODEL: próbka x o znanym łącznym rozkładzie L(x;θθθθ;ϕϕϕϕ ), w którym

parametr θθθθ = (θ1,θ2,...,θm) podlega testowi, a parametr ϕϕϕϕ = (ϕ1,ϕ2,...,ϕk) ma

niewyspecyfikowane wartości i nie jest obiektem testu, przez co utrudnia nam

nasze zadanie, dlatego nazywany jest parametrem zakłócającym.

Statystyka ilorazu wiarogodności ma postać:

( )( )( )0

0

ˆ ˆ, ;; ,

, ;λ =

L

L

xx

x

θ ϕθ ϕθ ϕθ ϕθθθθ

θ ϕθ ϕθ ϕθ ϕ

gdzie L oznacza funkcję wiarogodności, θθθθ0 to testowana wartość parametru,

wielkości to standardowe estymatory największej wiarogodności

parametrów θθθθ oraz ϕϕϕϕ, a estymator maksymalizuje funkcję wiarogodnościL(θθθθ0,ϕϕϕϕ ;x). W liczniku występuje wielkość zbierająca niczym nie ograniczoną

informację na temat parametrów θθθθ oraz ϕϕϕϕ, a mianownik to wielkość sumująca

wiedzę związaną weryfikowaną hipotezą zerową. Wielkość λ jest większa od

jedności i im jest ona większa, tym bardziej dane nie zgadzają się z hipoteząθθθθ = θθθθ0. Otrzymując z doświadczenia punkt x0, hipotezę tę winniśmy odrzucić,jeśli punkt ten znajdzie się w obszarze wyznaczonym warunkiem λ (x) ≥ λkrt,

gdzie λkrt jest wartością krytyczną statystyki λ.

ˆ ˆ,θ ϕθ ϕθ ϕθ ϕϕϕϕϕ

R.J. Nowak 122

4.6 Test parametru µµµµ rozkładu Gaussa

R.J. Nowak 123

TEST STUDENTA DLA JEDNEJ PRÓBKI: próbka prosta xi, i = 1, 2, ..., n,z rozkładu N(x;µ,σ 2), w którym parametr µ jak i σ są nieznane. Hipoteza

zerowa: H0(µ = µ0), a hipoteza alternatywna: H1(µ ≠ µ0), poziom istotnosci: α.

Bezwarunkowa maksymalizacja funkcji wiarogodnosci prowadzi do

( )22 2

1

1, ,ˆ ˆ

n

x i

i

x S x xn

µ σ=

= = = −∑a warunkowa, z warunkiem µ = µ0 narzuconym przez hipotezę zerową, daje:

( ) ( ) ( )2 2 22

0 0

1 1

1 1.

n n

i i

i i

x x x xn n

σ µ µ= =

= − = − + −∑ ∑

Statystyka ilorazu wiarogodności:

( )( ) ( )

( )

( )( )

22 220 22 2

010 2

2

1

; 1 11 1ˆ

nn

n nn i

i

n

xi

i

x x n xn x t

n s nx x

µµσ

λ µσ

=

=

− + − − = = = + = + − − −

∑

∑

x

jest wyraŜona przez statystykę Studenta dla średniej arytmetycznej :

0 .x

xt

s

µ−=

o n − 1 stopniach swobody.

4.6 Test parametru µµµµ rozkładu Gaussa

R.J. Nowak 124

Wyznaczyliśmy statystykę testową λ ilorazu wiarogodności przez statystykęStudenta, której rozkład znamy. Gdy jej wartość bezwzględna jest większa niŜustalona poziomem istotności α wartość krytyczna tkrt zdefiniowanąkwantylem tn – 1;1 – α/2 rzędu 1 – α/2 rozkładu Studenta o liczbie n – 1 stopni

swobody, hipotezę zerowa odrzucamy, a gdy jej wartość zawarta jest między

kwantylami tn – 1;α/2 oraz tn – 1;1 – α/2 , nie widząc sprzeczności z danymi,

zgadzamy się z nią. Tak zbudowany test nazywamy testem Studenta dlajednej próbki.

Gdy hipoteza alternatywna ma charakter jednostronny: H1(µ < µ0) lub

H1(µ > µ0), to obszar krytyczny wyznaczony jest warunkami:

( ) ( )1;1 1 0 1; 1 0gdy lub teŜ gdy ,n nt t H t t Hα αµ µ µ µ− − −> < < >gdzie tn – 1;α oraz tn – 1;1 – α to kwantyle rzędu α oraz 1 – α rozkładu Studenta

o liczbie n – 1 stopni swobody,

tn−1;1−α/2tn−1;α/2

t tt

Sn−1(t)

tn−1;αtn−1;1−α

H1(µ < µ0)Sn−1(t) Sn−1(t)H1(µ ≠ µ0)H1(µ > µ0)

4.7 Test parametru σσσσ rozkładu Gaussa

R.J. Nowak 125

TEST: próbka prosta xi, i = 1, 2, ..., n, z rozkładu N(x;µ,σ 2), w którym

parametr µ jak i σ są nieznane. Hipoteza zerowa: H0(σ = σ0), a hipoteza

alternatywna: H1(σ ≠ σ0), poziom istotnosci: α. Bezwarunkowa

maksymalizacja funkcji wiarogodnosci prowadzi do estymatorów:

( )22 2

1

1, ,ˆ ˆ

n

i

i

x S x xn

µ σ=

= = = −∑a warunkowa, z warunkiem narzuconym przez hipotezę zerową, daje: .xµ =

Statystyka ilorazu wiarogodności wynosi:

( ) ( )( )2 2 22 20 2

0 2 2 2

0 0

; exp 1 exp 1 , ,

n nnS n u nS

g u uS u n

σλ σ

σ σ = − = − = =

x

gdzie zmienna u, gdy słuszną jest hipoteza zerowa, podlega rozkładowi Xn-1(u)

z liczbą n – 1 stopni swobody.

Dygresja 4. W uproszczonym podejściu, test realizowany jest przez

wyznaczenie obszaru un – 1;α/2 < u < un – 1;1 – α/2 ograniczonego dwoma

kwantylami: rzędu α/2 i 1 – α/2 rozkładu χ 2 z liczbą n − 1 stopni swobody

i sprawdzenie, czy obserwowana wartość statystyki u mieści się w tym

obszarze. Jeśli tak, hipoteza H0(σ = σ0) jest akceptowana.


R.J. Nowak 126

Funkcja g(u) osiąga minimum w punkcie

u = n i rośnie do nieskończoności zarówno

gdy zmienna u zbiega do zera jaki do

nieskończoności. Obszar krytyczny

wyznaczony jest warunkiem: g(u) > ca,

gdzie wartość ca wynika z przyjętego

poziomu istotności a. Obszar krytyczny

statystyki u zadają dwie nierówności: u ≤ a

oraz u ≥ b zdefiniowane układem równań:g(a) = g(b), P(u < a) + P(u > b) = α.

g(u)

u

cα

Xn−1(u)

α1α2

a = un − 1;α1

b=un − 1;1 − α2

PRZYKŁAD: niech n = 6, a dla klarowności wizualizacji a = 0,25. Wtedy

a = 2,442 natomiast b = 11,99, przy czym α1 = 0,215 oraz α2 = 0,035.

RozwaŜmy prawdopodobieństwo β błędu drugiego rodzaju. Jeśli hipoteza H0

jest prawdziwa, to statystyka u ma rozkład Xn-1(u). Gdy hipoteza H1 jest

prawdziwa, to statystyka w = θ u, gdzie θ = σ 2/σ02 i σ to pewna alternatywna

wartość dyspersji, ma rozkład Xn-1(w). Prawdopodobieństwo β wynosi:

( )1 .

b

n

a

w dw

θ

θ

β −= ∫ X


R.J. Nowak 127

0,60

0,65

0,70

0,75

0,80

0,50 0,75 1,00 1,25 1,50parametr θ

pra

wdo

pod

obieńs

two

β 1 − α = 0,75

W obszarze alternatywnych wartości dyspersji σ, takich, Ŝe 0,7 ≤ θ ≤ 1,0,

prawdopodobieństwo przyjęcia hipotezy H0, gdy jest ona prawdziwa, jest

mniejsze, niŜ prawdopodobieństwo przyjęcia hipotezy H1, gdy ta jest prawdziwa.


R.J. Nowak 128

Jeśli relację 1 – α < β przeniesiemy do przykładu z dwiema urnami, to

odpowiada ona nonsensownemu kryterium decyzyjnemu, które orzeka, Ŝehipotezę o pierwotnie białej kuli w urnie naleŜy zaakceptować, gdy liczba

białych kul jest mniejsza niŜ połowa liczby wylosowanych kul z urny.

Gdybyśmy zastosowali się do takiego kryterium, to zazwyczaj byśmy

odrzucali hipotezę o białej kuli w urnie, gdy jest ona prawdziwa,

a przyjmowali ją, gdy jest fałszywa. Test o takiej własności nazywamy

obciąŜonym. W sytuacji testu obciąŜonego częściej byśmy dochodzili do

trafnej decyzji i rzadziej popełniali błąd, gdybyśmy w ogóle zrezygnowali

z pomiarów i, jeśli α = 0,25, zdali się na urządzenie losowe, np. drejdel,

i odrzucali zerową hipotezę zawsze, gdy wypadłaby nam np. litera ש.

Opisana trudność wynika z wykorzystania obciąŜonego estymatora wariancji

σ 2 i moŜemy łatwo się jej wyzbyć, jeśli funkcję g(u) wybierzemy w postaci:

( ) 1exp 1 ,

1

n ug u

u n

− = − − czyli odwołamy się do nieobciąŜonego estymatora sx

2 wariancji, a dalsząprocedurę wyznaczania obszaru krytycznego pozostawimy bez zmiany.

4.8 Test równości parametrów µµµµ rozkładu Gaussa

R.J. Nowak 129

TEST STUDENTA DLA DWÓCH PRÓBEK NIEPOWIĄZNYCH:próbka prosta xi, i = 1, 2, ..., n, z rozkładu Gaussa N(x;µx,σ 2) oraz niezaleŜna

od niej statystycznie próbka prosta yi, i = 1, 2, ..., m, takŜe z rozkładu GaussaN(y;µy,σ 2) o być moŜe róŜnych wartościach oczekiwanych, ale równych, acz

nieznanych, dyspersjach; hipoteza H0(µx = µy), a H1(µx ≠ µy); poziom

istotności: α. Funkcja wiarogodności:

Maksimum bezwarunkowe wyznacza:

( )( )

( ) ( )22

21 1

1 1, , ; , exp .

22

n n

x y i x i yn mn m

i i

x yµ µ σ µ µσπ σ

++ = =

= − − + −

∑ ∑L x y

( )( )

2 2

2 2 1, , , , , ; , exp .ˆ ˆ ˆ ˆ

22 ˆ

x y

x y n m

nS nS n mx y x y

n mµ µ σ σ

π σ+

+ + = = = = − + L x y

Maksimum warunkowe, z warunkiem µ = µx = µy, wyznacza:

( )

( )( )

22 2 2

2

1, ,

1, , ; , exp .

22

x y

n m

nx my nmnS nS x y

n m n m n m

n mx y

µ σ

σπ σ

+

+ = = + + − + + +

+ = −

L x y

4.8 Test równości parametrów µµµµ rozkładu Gaussa

R.J. Nowak 130

Statystyka ilorazu wiarogodności:

gdzie statystyka

ma rozkład Studenta Sn + m – 2(t) o n + m – 2 stopniach swobody, jeśli hipoteza

zerowa H0(µx = µy) jest słuszna. Problem się uprasza, poniewaŜ statystykętestową wyraziliśmy przez statystykę Studenta, której rozkład znamy.

( )( ) ( )

( ) ( )11 1

2 222 2

2 2 2, 1 1

2ˆ

n mn m n m

x y

x ynm t

n m nS mS n m

σλ

σ

++ + −

= = + = + + + + −

x y

( ) ( )

( )

( )

22 2

2

22 2

2

1 ,

,1 1

1 ,22

x y

xx

x y

x y yx y y

x y

su n

x yn mtu u n m n m s

s s u mn m m nn m

µ µ

σ σσµ µ

σ

− − −

= −+ −= = = =

+ + − −+ = −

+ −+ −

tn+m−2;1−α/2tn+m−2;α/2

t

Sn+m−2(t)H1(µx ≠ µy)

tt

Sn+m−2(t) Sn+m−2(t)

tn+m−2;αtn+m−2;1−α

H1(µx > µy) H1(µx < µy)

4.9 Test równości parametrów σσσσ rozkładu Gaussa

R.J. Nowak 131

TEST F: próbka prosta xi, i = 1, 2, ..., n, z rozkładu Gaussa N(x;µx,σx 2) oraz

niezaleŜna od niej statystycznie próbka prosta yi, i = 1, 2, ..., m, takŜez rozkładu Gaussa N(y;µy,σ

y2) o być moŜe róŜnych wartościach oczekiwanych

i nieznanych dyspersjach. Testujemy hipotezę H0(σx = σy) przy H1(σx ≠ σy) na

poziomie istotności α.

Funkcja wiarogodności ma postać:

( )( ) ( )( ) ( ) ( ) ( )

1 11

2 2 2 22 2 2 22

2 2

1 1 1 1, 1 1 .

1 1

nn m n m

n mnx y x x

n m

x y y y

n s m s s n s nF F

s s s m s mλ

+ − + +−− + − − − ∝ ∝ + = + − −

x y

Maksymalizacja z warunkiem σ = σx = σy, daje te same wyniki, co

maksymalizacja bezwarunkowa w teście równości wartości oczekiwanych

i prowadzi do statystyki testowej

( )( )

2 2 2 2 2 2 1, , , , , , , ; , exp .ˆ ˆ ˆ ˆ ˆ ˆ

22x y x x y y x y n m

n m

x y

n mx y S S x y

S Sµ µ σ σ σ σ

π+

+ = = = = = −

L x y

( )( )

( ) ( )222 2

2 21 1

1 1 1, , , ; , exp ,

2 22

n n

x y x y i x i yn mn m

i ix yx y

x yµ µ σ σ µ µσ σπ σ σ

+= =

= − − − −

∑ ∑L x y

a jej maksymalizacja bezwarunkowa prowadzi do

Interludium - rozkład F Snedecora

R.J. Nowak 132

Niech u1 będzie zmienną z rozkładu Xn(u1), a zmienną u2, niezaleŜnąstatystycznie od zmiennej u1, podlega rozkładowi Xm(u2). Statystyka F

Snedecora zdefiniowana jest związkiem:

1

2

u nF

u m=

i ma rozkład Snedecora:

( ) ( )( ) ( )

( )1

2 2 2 2 2

2 2

, 0, , 1,2,...n m nn m n m

nm n mF n m F m nF F n m

+ +− −Γ= + ≥ =

Γ ΓF

określony parą (n,m) liczb stopni swobody.

0,0

0,2

0,4

0,6

0,8

1,0

0 0,5 1 1,5 2zmienna F

gęs

tość

Fnm

(F)

(n ,m )=(1,1) (n ,m )=(5,1)

(n ,m )=(5,10)

(n ,m )=(10,5)

(n ,m )=(10,10)


R.J. Nowak 133

Jeśli, zgodnie z hipotezą zerową, σ = σx = σy, to zmienne

( ) ( ) 22

1 22 2

11,

yxm sn s

u uσ σ

−−= =

mają rozkład χ2 o liczbie, odpowiednio, n – 1 oraz m – 1 stopni swobody, więc( )( )2

2

2

1 1

1

x

y

u n

u m

sF

s

−= =

−ma rozkład Fn – 1,m – 1(F) Snedecora, a statystyka testowa λ wyraŜona jest,

w całości, zmienną Snedecora F. Dalsza procedura sugeruje postępowanie

identyczne do tego, które prowadziliśmy w teście wartości dyspersji σrozkładu Gaussa. W tym celu definiujemy nową statystykę testową:

( )( )1

22

11 ,

1

n mnn

g F F Fm

+− − = + −

proporcjonalną do statystyki λ, która zarówno dla F → 0 jaki i F → ∞ dąŜy do

nieskonczonosci, wyznaczamy kwantyl a = Fn – 1,m – 1;a1 rzędu α1 oraz drugi

b = Fn – 1,m – 1;1– a2, rzędu α2, takie Ŝe: g(a) = g(b) oraz α1 + α 2 = α, a obszar

krytyczny określamy warunkiem: F ≤ a oraz F ≥ b. Niestety, test taki jest

obciąŜony. Rozwazmy przykład z (n,m) = (5, 40) i α = 0,25.


R.J. Nowak 134

0,50

0,55

0,60

0,65

0,70

0,75

0,80

0,50 0,75 1,00 1,25 1,50

parametr θ

pra

wd

op

odo

bieńs

two β

1 − α = 0,75

Jeśli hipoteza H0 jest prawdziwa, to statystyka F ma rozkład Fn – 1,m – 1(F). Gdy

hipoteza H1 jest prawdziwa, to statystyka w = θ F, gdzie θ = σy2/σx

2 ma rozkładFn – 1,m – 1(w). Prawdopodobieństwo β, ilustrowane rysunkiem, wynosi:

( )1, 1 .

b

n m

a

w dw

θ

θ

β − −= ∫ F


R.J. Nowak 135

ObciąŜenie usuniemy, jeśli inaczej rozdzielimy prawdopodobieństwa

( ) ( )1 2; 1, 1 , 1 ; 1, 1F a n m F b n mα α= − − = − − −F F

gdzie FF (x;n – 1,m – 1) to dystrybuanta rozkładu Snedecora, niŜ to wynika ze

statystyki testowej g(F), domagając się przy tym, aby test nie był obciąŜony.

W warunkach słuszności hipotezy alternatywnej moc test wynosi:

( ) ( ) ( )1 ; 1, 1 1 ; 1, 1 .M F a n m F b n mθ β θ θ= − = − − + − − −F F

Moc ta osiąga minimum w punkcie θ będącym rozwiązaniem równania

( ) ( ) ( )1, 1 1, 1 0.n m n m

dM a a b b

dθ θ θ

θ − − − −= − =F F

Aby moc osiągała minimum w punkcie θ = 1, kwantyle a oraz b musząspełniać układ równań:

( ) ( )( ) ( )

1, 1 1, 1 0,

; 1, 1 1 ; 1, 1 .

n m n ma a b b

F a n m F b n m α− − − −− =

− − + − − − = F F

F F

ZauwaŜmy, Ŝe drugie równanie wyznacza minimalną moc α, czyniąc test

nieobciąŜonym. Test przeprowadzony według tej procedury nazywamy testem F.


R.J. Nowak 136

Dygresja 5. PowyŜsza procedura jest na tyle absorbująca numerycznie, Ŝebardzo często stosuje się uproszczone podejście. Polega ono na równym

podziale prawdopodobieństwa α miedzy oba ogony rozkładu Snedecora,

czyli wyznaczenie kwantyli Fn–1,m–1;α/2 oraz Fn–1,m–1;1–α/2 i ustanowieniu

obszaru krytycznego hipotezy zerowej H0(σx = σy) w postaci: F < Fn–1,m–1;α/2

lub F > Fn–1,m–1;1–α/2. Test taki jest, oczywiście, obciąŜony.

W przypadku testów jednostronnych, zadanych hipotezami alternatywnymi

H1(σx > σy) lub teŜ H1(σx > σy), procedura upraszcza się znacznie. Wystarczy,

Ŝe wyznaczymy kwantyl Fn – 1,m – 1;1 – α i odrzucimy hipotezę H0(σx = σy) na

korzyść hipotezy H1(σx > σy), jeśli tylko F > Fn – 1,m – 1;1 – α lub teŜ wybierzemy

hipotezę H1(σx < σy), gdy F < Fn – 1,m – 1;α.

F F

Fn−1,m−1(F)

Fn−1,m−1;1−α

H1(σx > σy) H1(σx < σy)

Fn−1,m−1(F)

Fn−1,m−1;α

4. Testy hipotez - próbki powiązane

R.J. Nowak 137

Do tej pory rozwaŜane testy odnosiły się do wielkości opisujące populacje,

które nie miały Ŝadnego związku między sobą.PRZYKŁAD.

• Przypuśćmy, Ŝe badamy chore oko u człowieka i mierzymy grubośćrogówki. By mieć porównanie, identyczny pomiar wykonujemy na

zdrowym oku. W tym przypadku zarówno pomiary są niezaleŜne jak

i mierzone obiekty są róŜne, ale osoba jest ta sama.

• Przypuśćmy, Ŝe wykonujemy pomiar pewnej wielkości, np. zuŜycia opony

samochodowej dwiema metodami: mierząc głębokość bieŜnika i waŜącoponę, a następnie „tłumaczymy” oba wyniki pomiarowe na pewnąwielkość, tak aby porównanie wyników było moŜliwe. Oba pomiary sąniezaleŜne od siebie, ale obiekt mierzony jest za kaŜdym razem ten sam.

W oby przykładach powinniśmy przyjąć model probabilistyczny, który

dopuszcza moŜliwość korelacji między uzyskanymi wynikami. Korelacjętaką moŜe wprowadzić cecha osoby, której oczy badamy - generalnie grubośćrogówki u róŜnych osób moŜe być inna (tak jak róŜne są ciśnienia skurczowe

i rozkurczowe), albo typ (masa) opony.

R.J. Nowak 138

TEST STUDENTA DLA PRÓBEK POWIĄZANYCH. Próbka (xi,yi),

i = 1, 2, ..., n, par zmiennych losowych z dwuwymiarowego rozkładu GaussaN(x,y;µx,µy,σx,σy,ρ); hipoteza H0(µx = µy), natomiast H1(µx ≠ µy); poziom

istotności: α. Gdybyśmy odwołali się do testu Studenta dla próbek

niepowiązanych, zastosowalibyśmy statystykę Studenta

( )22

1

1, , ,

1

n

z i i i i

iz

zt s z z z y x

s n =

= = − = −− ∑

czyli testu Studenta dla jednej próbki Tak zbudowany test nazywamy testemStudenta dla próbek powiązanych. Pozwala on wyeliminowaćprzypadkowość związaną z cechami osobniczymi. ZauwaŜmy, Ŝe test dla

próbek powiązanych nie wymaga równości dyspersji.

Zamiast tego, wprowadzamy zmienną z = y – x, która ma rozkładN(z;µ,σ 2), gdzie µ = µy– µx, a σ 2 = σx

2 + σy2 – 2ρσxσy, przy czym w warunkach

słuszności hipotezy zerowej µ = 0. Statystyka największej wiarogodności

prowadzi natychmiast do statystyki testowej

2 2

.1 1

2x y

x yt

n m n ms s

n m m n

−=

+ − −+

+ −

4.10 Próbki powiązane - test równości parametrów µµµµ

4.10 Próbki powiązane - test równości parametrów µµµµ

R.J. Nowak 139

PRZYKŁAD. Badano liczby Di oraz Li godzin dodatkowego snu u dziesięciu

pacjentów, którym podawano dwie stereoizomeryczne odmiany hydrobromku

histocyjaminy: dextro (wiersz Di) i leavo (wiersz Li).

Jeśli przeprowadzimy test Studenta

hipotezy o równości wartości oczekiwanej

liczby dodatkowych godzin snu dla dwóch

próbek niepowiązanych, wartość p testu

znajdziemy równą 0,060 i wynik nie jest

znaczący statystycznie, natomiast ten sam

test dla próbek powiązanych daje wartośćp = 0,002, która definitywnie rozstrzyga na

korzyść odmiany leavo.

Pacjent 1 2 3 4 5 6 7 8 9 10 średnia s x

D i [h] 0,7 -1,6 -0,2 -1,2 -0,1 3,4 3,7 0,8 0,0 2,0 0,65 1,74

L i [h] 1,9 0,8 1,1 0,1 -0,1 4,4 5,5 1,6 4,6 3,4 2,33 2,00

L i − D i 1,2 2,4 1,3 1,3 0,0 1,0 1,8 0,8 4,6 1,4 1,68 1,25

Student, The Probable Error on the Mean, Biometrika, 6, (1908), 1

2σx

2σ y

2 σz

xy z

4.11 Test współczynnika korelacji ρρρρ

R.J. Nowak 140

TEST. Próbka (xi,yi), i = 1, 2, ..., n, par zmiennych losowych z rozkładu

binormalnego; hipoteza H0(ρ = 0), a H1(ρ ≠ 0); poziom istotności: α.

Znamy rozkład Pearsona współczynnika korelacji r z próby, więcmoŜemy przeprowadzić test, wyznaczając dwa kwantyle rn;α/2 oraz rn;1 – α/2

tego rozkładu. Łatwiej jest jednak odwołać się do statystyki:

2

1

1,

r nt

r

−=

−która ma rozkład Studenta o liczbie n - 2 stopniach swobody, jako Ŝe kwantyle

tego rozkładu są powszechnie dostępne.

Gdy testowana hipoteza ma postać H0(ρ = ρ0), a jej alternatywa to

H1(ρ ≠ ρ0), wtedy powinniśmy odwołać się do przekształcenia Fishera

i rozwaŜyć statystykę

0 0

0

3 1 1ln ln ,

2 1 1 1

n rz

r n

ρ ρρ

− + += − − − − −

która, juŜ dla próbek liczących kilkadziesiąt par (xi,yi) danych, z dobrymprzybliŜeniem ma rozkład normalny N(z;0,1).

Interludium - rozkład wielomianowy (1)

R.J. Nowak 141

RozwaŜmy histogramowanie danych. Dysponujemy próbką xi, i = 1, 2, ..., n,

zmiennych losowych z rozkładu f(x), które rozdzielamy wśród m przedziałów

histogramowania i otrzymujemy liczebności ni, i = 1, 2, ..., m, przypadków

w tych przedziałach. Jakiemu rozkładowi podlega układ liczb ni? Niech

prawdopodobieństwo trafienia do i-tego przedziału wynosi pi.

Prawdopodobieństwo realizacji ciągu liczebności ni, wynikającego

z uzyskanego doświadczalnie ciągu wartości xi, wynosi:1 2

1 2 ,mnn n

mp p p⋯

przy czym przestawienie kolejności pojawiania się wartości xi w ramach tego

samego przedziału histogramu prowadzi do tego samego wyraŜenia. Aby to

uwzględnić, musimy uzyskane wyraŜenie uzupełnić o czynnik

kombinatoryczny, co wiedzie do rozkładu wielomianowego:

( ) 1 2

1 2

1

, ,..., 1 2 1 2

1 21

,!, , , , 0,1,..., ,

! ! ! 1,

m

m

m

iinn n

n n n m m i mm

ii

n nnn p p p p p p n n

n n n p

=

=

== =

=

∑∑

… ⋯⋯

M

o własnościach:

[ ] ( ), 1 , cov , .i i i i i i j i jn np V n np p n n np p= = − = −

Interludium - rozkład wielomianowy (2)

R.J. Nowak 142

Postępując podobnie jak przy wyprowadzaniu twierdzenia de Moivre’a-

Laplace’a, znajdujemy, Ŝe przy duŜych wartościach liczb npi oraz w okolicy

ni = npi, rozkład m-mianowy moŜna aproksymować m – 1 wymiarowym

rozkładem normalnym (tak jak rozkład dwumianowy jednowymiarowym

rozkładem Gaussa):

gdzie:

( )( )

( )

( )( ) ( )

1 2

2

, ,..., 1 2 11

1 2

1

1

1 2

1 1, , , exp

22

1 1exp

22

m

mi i

n n n m m

i im

T

m

m

n npn p p p

npnp p p

np p p

π

π

−=

−−

−≈ −

= − − −

∑

V

…

⋯

⋯

M

n n n n

( )( )

( )

1 1 1 2 1 11 1

1 2 2 2 2 12 2

1 1 2 1 1 11 1

1

1, .

1

m

m

m m m mm m

np p np p np pn np

np p np p np pn np

np p np p np pn np

−

−

− − − −− −

− − −− − − −− − = = − − −−

V

⋯

⋯

⋮ ⋮ ⋱ ⋮⋮

⋯

n n

Macierz V to macierz kowariancji zmiennych ni oraz nj z wykreślonym

ostatnim wierszem i ostatnią kolumną, a forma kwadratowa w wykładniku ma,

asymptotycznie, rozkład χ 2 z liczba m – 1 stopni swobody.

Interludium - tablice wielodzielcze

R.J. Nowak 143

MODEL. W pojedynczym elementarnym eksperymencie określamy wartośćcechy, która moŜe przyjmować jedną z m wartości. Wykonując pewną liczbęstatystycznie niezaleŜnych elementarnych eksperymentów, otrzymujemy układ

krotności wystąpienia kaŜdej z m wartości cechy. Następnie powtarzamy, takŜew sposób statystycznie niezaleŜny, całą procedurę k razy, otrzymując układ nij,

i = 1, 2, ..., k, j = 1, 2, ..., m, krotności pojawienia się cechy o numerze j

w i-tym powtórzeniu procedury. Schemat taki podsumowuje tablica, zwana

tablicą wielodzielczą:grupa krotność wartości cechy suma

1 n11 n12 ... n1m n1•

2 n21 n22 ... n2m n2•

... ... ... ... ... ...

k nk1 nk2 ... nkm nk•

suma n•1 n•2 ... n•m n••

Rozkład krotności nij w kaŜdym z wierszy tabeli rządzony jest rozkładem

wielomianowym z układem prawdopodobieństw pj.


R.J. Nowak 144

TEST JEDNORODNOŚCI - znane wartości prawdopodobieństw pj. Dana

jest tablica wielodzielcza k×m. Ustalamy symbolem pij prawdopodobieństwo

wystąpienia j-tej cechy w i-tej grupie. Hipoteza zerowa:

H0(p1j = p2j = … = pkj ≡ pj), j = 1, 2, ..., m, stwierdza, Ŝe z j-tą kolumną tabeli

wielodzielczej skojarzona jest wspólna i znana wartość pj

prawdopodobieństwa. Funkcja wiarogodności:

Hipoteza alternatywna utrzymuje, Ŝe prawdopodobienstwa pij

przyporządkowane róŜnym wierszom w tej samej kolumnie mogą być róŜne.

Funkcję wiarogodności:

( ) ( )1 2

1 2, ,...,1

, , , , .i i im

k

i mn n n

i

n p p p•=

= ∏ …L Mn p

( ) ( )1 2

1 2, ,...,1

, , , ,i i im

k

i i i imn n n

i

n p p p•=

= ∏ …L Mn p

maksymalizuja oceny:ˆ

ij

ij

i

np

n •

=

a statystyka ilorazu wiarogodność przyjmuje postać:

( )1 1 1 1

ˆ.

ij ijn nk m k m

ij ij

i j i jj i j

p n

p n pλ

= = = = •

= =

∏∏ ∏∏n


R.J. Nowak 145

RozwaŜmy logarytm statystyki testowej. PoniewaŜ w przypadku słuszności

hipotezy zerowej ⟨nij⟩ = ni•pj, wiec wprowadźmy odchylenie ∆ij = nij – ni•pj:

Spodziewamy się, Ŝe w warunkach słuszności hipotezy zerowej, wielkość ∆ij

będzie mała w stosunku do ni•pj, więc rozwińmy, do wyrazów kwadratowych,

kaŜdy ze składników wokół punktu x = ∆ij/(ni•pj) = 0, a uzyskamy

( )1 1 1 1 1 1

ln ln ln 1 ln 1 .

ijnk m k m k m

ij ij ij ij

ij i j

i j i j i ji j i j i j i j

n nn n p

n p n p n p n pλ •

= = = = = =• • • •

∆ ∆= = = + +

∑∑ ∑∑ ∑∑n

( )2 2

1 1 1 1 1 1 1

1 1ln .

2 2

k m m k m k mij ij

ij ij

i j j i j i ji j i jn p n pλ

= = = = = = =• •

∆ ∆≈ ∆ + = ∆ +

∑∑ ∑ ∑∑ ∑∑n

Jednocześnie, skoro spełniony jest związek

1 1 1 1 1 1 1 1 1

0,k m k m k m k m k

ij ij i j i j i

i j i j i j i j i

n n p n n p n n n n• •• • •• • •• ••= = = = = = = = =

∆ = − = − = − = − =∑∑ ∑∑ ∑∑ ∑ ∑ ∑

więc( )

( )22

1 1 1 1 1 1

2ln 2 ln .k m k m k m

ij i jij ij

ij

i j i j i ji j i j i j

n n pnn u

n p n p n pλ •

= = = = = =• • •

−∆= ≈ = =∑∑ ∑∑ ∑∑n

Statystyka u, a takŜe 2lnλ, podlega, asymptotycznie i w warunkach słuszności

hipotezy zerowej, rozkładowi χ 2 z liczbą k(m – 1) stopni swobody (bo Σpj = 1).


R.J. Nowak 146

TEST JEDNORODNOŚCI - nieznane wartości prawdopodobieństw pj.

Jeśli prawdopodobieństwa pj są nieznane, wtedy maksymalizacja funkcji

wiarogodności hipotezy zerowej prowadzi do ocen:

która asymptotycznie przyjmuje postać:

( )

2

1 1 1 1

2ln 2 ln .

iij

k m k mjij

iji ji j i ji j

nn n

nn nn u

n nn n

n

λ

•••

•••

• •= = = =• •

••

−

= ≈ =∑∑ ∑∑n

Statystyka u, a takŜe 2lnλ, ma, asymptotycznie i w warunkach słuszności

hipotezy zerowej, rozkład χ 2 z liczbą (k – 1)(m – 1) stopni swobody.

Zastosowania: porównanie kilku histogramów.

j

j

np

n

•

••

=

i do statystyki testowej

( )1 1 1 1

ˆ,

ij ijn nk m k m

ij ij

i j i jj i j

p n n

p n nλ ••

= = = = • •

= =

∏∏ ∏∏n


R.J. Nowak 147

Jeśli tablica wielodzielcza ma postać 2×2, to statystyka testowa przyjmuje

prostą formę: ( )2

11 22 12 21

1 2 1 2

n n n nu n

n n n n••

• • • •

−=

i asymptotycznie opisuje się rozkładem χ 2 o jednym stopniu swobody.

PRZYKŁAD. Gdy w Hong Kongu pojawiła się epidemia SARS,

kierownictwo szpitali zalecało personelowi medycznemu dwie formy ochrony:

maski i rękawiczki. Czy obie metody ochrony są równie efektywne?

Sposób Liczba osób, które

ochrony zachorowały uchroniły sięsuma

maska n11 = 2 n12 = 169 n1• = 171

rękawiczki n21 = 4 n22 = 117 n2• = 121

suma n•1 = 6 n•2 = 286 n•• = 292

W.H. Set i inni, Effectiveness of Precautions against Droplet and Contacts in Prevention of Nosocomial Transmission of

Severe Acute Respiratory Syndrome (SARS), The Lancet, 361, (2003), 1519.

Wartość u = 1,61, a wartość p testu to 0,20, tak więc nie wydaje się, Ŝe któraśz metod ochrony jest skuteczniejsza. Ale czy tak mała liczba danych (n11 = 2)

uzasadnia wykorzystanie rozkładu χ 2, który pojawia się asymptotycznie?


R.J. Nowak 148

Jak obfite powinny być krotności występujące w poszczególnych komórkach

tablicy wielodzielczej, abyśmy mogli korzystać z asymptotycznego charakteru

rozkładu statystyki u, jak równieŜ statystyki 2lnλ? Problem ten był przedmiotem

wielu analiz, które doprowadziły badaczy do następującej praktycznej konkluzji:

asymptotyczną postać rozkładu tych statystyk moŜemy stosować, gdy

indywidualne krotności nij liczą przynajmniej 5 przypadków, a całkowita liczba

n•• danych nie jest mniejsza niŜ 20.

Jak powinniśmy postąpić, jeśli warunki te nie są spełnione?

Przypomnijmy: w dotychczasowych rozwaŜaniach rozkład krotności w kaŜdym

wierszu tablicy wielodzielczej był zadany rozkładem wielomianowym, a więcsuma tych krotności była ustalona. Dodajmy dodatkowy warunek, ustalający

sumy krotności w kolumnach i utwórzmy tablicę:liczba

grupasukcesów poraŜek

suma

1 j1 n1 – j1 n1

2 j2 n2 – j2 n2

suma j n − j n

w której nie tylko wartości n1 i n2 (a więc i n), ale równieŜ wartość j jest ustalona.


R.J. Nowak 149

Konstrukcja ta powoduje, Ŝe wśród czterech liczb tablicy wielodzielczej, jedna

jest swobodna, np. j1, a jej rozkład opisuje tzw. rozkład hipergeometryczny

( ) [ ]

1 1 1 2

1 1 1 2 1 1 11 1 1 1

1 2

1 2

; , , , , 1 .1

n n n n n

j j j j j n n n n jj j n n j j j j

n n n n n n n

j j j

− − − = = = = − + −

+

H V

tablica6 165

0 121

5 166

1 120

4 167

2 119

3 168

3 118

2 169

4 117

1 170

5 116

0 171

6 115suma

szansa 0,0389 0,1700 0,3054 0,2884 0,1510 0,0416 0,0047 1,0000

RozwaŜmy teraz wszystkie moŜliwe wartości zmiennej j1. Ukazują je tabela.

Skoro hipoteza zerowa nie rozróŜnia między sposobami ochrony, test powinien

być dwustronny i w obliczaniu wartości p testu powinniśmy uwzględnić takŜetablice bardziej „niezwykłe” niŜ ta, którą obserwujemy w doświadczeniu, a więcte, którym odpowiada prawdopodobieństwo mniejsze niŜ prawdopodobieństwo

układu obserwowanego. Tablice te wyróŜnione są wytłuszczeniem (na

czerwono).

Suma tych prawdopodobieństw wynosi (około) 0,24, co nie wyklucza hipotezy.


R.J. Nowak 150

Często dana jest tablica wielodzielcza k×m, ale jej sens jest zupełnie inny niŜten, który do tej pory rozwaŜaliśmy, kiedy to kaŜdy jej wiersz opisywał

oddzielny eksperyment. Tym razem rozwaŜmy elementarny eksperyment,

który jednocześnie mierzy wartość Ai, i = 1, 2, ..., k, cechy A oraz Bj,

j = 1, 2, ..., m, cechy B. Jeśli ten eksperyment powtórzymy n•• razy,

otrzymamy krotności nij jednoczesnego wystąpienia wartości Ai oraz Bj. Niech

symbol pij opisuje prawdopodobieństwo wystąpienia kombinacji AiBj cech.

cecha B1 B2 ... Bm suma

A1n11 n12 ... n1m n1•

A2 n21 n22 ... n2m n2•

... ... ... ... ... ...

Ak nk1 nk2 ... nkm nk•

suma n•1 n•2 ... n•m n••

cecha B1 B2 ... Bm suma

A1p11 p12 ... p1m p1•

A2 p21 p22 ... p2m p2•

... ... ... ... ... ...

Ak pk1 pk2 ... pkm pk•

suma p•1 p•2 ... p•m 1

Układ km zmiennych nij opisany jest jednym rozkładem wielomianowym:

( )1 1

; .!

ijnk m

ij

i j ij

pn

n••

= =

= ∏∏M n p


R.J. Nowak 151

TEST wartości prawdopodobieństw pij. Jeśli hipoteza zerowa ustala wartości

prawdopodobieństw pij, hipotezę tę moŜemy zweryfikować odwołując się do

statystyki

która asymptotycznie ma rozkład χ 2 z liczbą km – 1 stopni swobody, jako Ŝeprawdopodobieństwa pij sumują się do jedności.

Rozkład M(n;p) moŜna wyrazić w formie iloczynu trzech czynników:

( ) 1 1

1 1 1 1

!1

; ,! ! !

ijji

k m

nn i jnk k k mj i j iji

i i i ji j ij i j

n np pp

n nn n n n p p

••• •

• = =••• ••

= = = =• • •• • •

=

∏ ∏∏ ∏ ∏∏M n p

( )( )2

1 1

2ln ,k m

ij ij

i j ij

n n pu

n pλ ••

= = ••

−≈ =∑∑n

gdzie pierwszy czynnik to wielomianowy rozkład brzegowy cechy A, drugi

dotyczy cechy B, a trzeci to wielomianowy rozkład zmiennych nij przy

ustalonych sumach brzegowych. Jeśli cechy są statystycznie niezaleŜne, czyli

pij = pi• p•j, to czynnik ten sprowadza sie do wielowymiarowego rozkładu

hipergeometrycznego stosowanego w wielowymiarowej wersji testu

dokładnego Fishera.


R.J. Nowak 152

TEST MIEZALEśNOŚCI dwóch cech. Procedura testu niezaleŜności cech,

czyli testu relacji pij = pi• p•j, zaleŜy od tego czy hipoteza zerowa wyznacza

prawdopodobieństwa brzegowe pi• oraz p•j czy teŜ nie.

Gdy prawdopodobienstwa te są znane, statystka u przyjmuje postać

i moŜemy rozłoŜyć ja na sumę trzech składników odpowiadających trzemczynnikom w rozkładzie M(n;p):

( )( )2

1 1

2lnk m

ij i j

i j i j

n n p pu

n p pλ •• • •

= = •• • •

−≈ =∑∑n

gdzie pierwszy składnik podlega rozkładowi χ 2 z liczbą k – 1 stopni swobody

i opisuje zgodność z rozkładem brzegowym cech A, drugi ma rozkład χ 2

z liczbą m – 1 stopni swobody i dotyczy cechy B, a trzeci składnik, z podwójnąsumą, o rozkładzie χ 2 z liczbą (k – 1)(m – 1) stopni swobody, określaoddziaływanie cech między sobą, czyli ich zaleŜność statystyczną. Rozbicie to

daje nam głębszy wgląd w kwestię statystycznej niezaleŜności cech.

( ) ( ) ( )2 22

1 1 1 1 1 1

k m k m k mj j ij i j j i i ji i

i j i j i ji j i j

A B AB

n n p n n p n p n p pn n pu

n p n p n p p

u u u

• •• • • • • • •• • •• •• •

= = = = = =•• • •• • •• • •

− − − +−= + +

= + +

∑∑ ∑∑ ∑∑


R.J. Nowak 153

PRZYKŁAD. Wyniki doświadczeń W. Batesona, sprawdzających prawa

dziedziczenia Mendla, a polegające na badaniu korelacje między kształtem

pyłku, a kolorem kwiatów groszku podane są w tabeli. Wedle praw

dziedziczenia, częstości brzegowe powinny wypadać w proporcji 1:3, a jeślicechy są statystycznie niezaleŜne, prawdopodobieństwa róŜnych kombinacji

podane sa w tabeli.

Statystyka testowa u ma wartość 222,12 i przy 3 stopniach swobody wyznacza

wartość p testu równą (około) 10–47, co absolutnie wypowiada się przeciw

prawdopodobieństwom podanym tabeli. Jeśli jednak obliczymy kolejne

składniki, kaŜdy o 1 stopniu swobody, tej statystyki, to otrzymamy: uA = 0,09,

wartość p = 0,76, uB = 0,34, p = 0,56 i w końcu uAB = 221,69 co daje p = 10–50.

kolor kwiatukształt

pyłku purpurowy czerwonysuma

podłuŜny 296 27 323

okrągły 19 85 104

suma 315 112 427

W. Bateson, The Facts of Heredity in the Light of Mendel's Discovery, Report of the Evolution Committee of the

Royal Society, 1, (1902), 125, za C.R. Rao, Modele liniowe statystyki matematycznej, PWN, Warszawa, 1982

kolor kwiatukształt

pyłku purpurowy czerwonysuma

podłuŜny 9/16 3/16 12/16

okrągły 3/16 1/16 4/16

suma 12/16 4/16 1


R.J. Nowak 154

TEST MIEZALEśNOŚCI dwóch cech - ciąg dalszy. Gdy

prawdopodobienstwa pij są nieznane, to z danych wyznaczamy oceny

prawdopodobieństw brzegowych

odwołujemy się do statystyki ilorazu wiarogodności i otrzymujemy statystykętestową:

,ji

i j

nnp p

n n

••• •

•• ••

= =

asymptotycznie rządzoną rozkładem χ 2 z liczbą (k – 1)(m – 1) stopni swobody,

co wynika z następującego rozliczenia: gdyby wszystkie prawdopodobieństwa

były znane, mielibyśmy km – 1 stopni swobody. Wyznaczając oceny

prawdopodobieństw pi•, wprowadzamy dodatkowa liczbę k – 1 związków na

liczby nij i podobnie, wyznaczając oceny p•j, mamy nastepne m – 1 więzów, co

daje właśnie (k – 1)(m – 1) stopni swobody.

Warto zauwaŜyć, Ŝe statystyka ta jest identyczna ze statystką testu jednorodności

w tablicy wielodzielczej, gdy nie są znane prawdopodobieństwa pij.

( )

2

1 1

2ln ,

iij

k mj

i ji j

nn n

nu

n n

n

λ

•••

•

• •= =

••

−

≈ =∑∑n

R.J. Nowak 155

4. Testy hipotez - nomenklatura (3)• hipoteza prosta: testowana hipoteza całkowicie określona - znana jest

postać rozkładu wraz z wartościami wszystkich parametrów - jeśli podamy

wartość zmiennej losowej, to potrafimy obliczyć prawdopodobieństwo lub

jego gęstość. Przykład 1: prawdopodobieństwo urodzenia chłopca p = 1/2.

Przykład 2: prawdopodobieństwo erupcji wulkanu w kaŜdej z 4 pór roku

jest identyczne.

• hipoteza złoŜona: kaŜda hipoteza, która nie jest prosta.

Przykład 1: wyniki pomiarów gi przyspieszenia ziemskiego rządzone sąrozkładem Gaussa N(g;G,σ 2). Hipoteza H(G = 981 cm/s2), ale wartość σjest nieznana (nie potrafimy obliczyć gęstości, bo nie znamy parametru σ).

Przykład 2: liczba śmiertelnych zatruć muchomorem sromotnikowymw roku rządzona jest rozkładem Poissona Pk(µ) - przedmiotem hipotezy jest

rozkład Poissona, przy czym nie znamy wartości parametru µ tego rozkładu.

Przykład 3: zmienne losowe są skorelowane - nie precyzujemy formy

rozkładu, z których wylosowano próbki - chcemy jedynie sprawdzić, czy

zmienne są skorelowane.

R.J. Nowak 156

4. Testy hipotez - nomenklatura (4)• Hipoteza parametryczna: hipoteza dotyczy wartości parametru rozkładu.

Przykład 1: hipoteza parametryczna prosta - prawdopodobieństwo

urodzenia chłopca p = 1/2; rozkład to rozkład Bernoulliego z jednym

parametrem p w pełni zadany hipotezą - testujemy wartość tego parametru.

Przykład 2: hipoteza parametryczna złoŜona - wyniki pomiarów gi

przyspieszenia ziemskiego opisuje rozkład Gaussa N(g;G,σ 2) - testujemy

hipotezę H(G = 981 cm/s2), ale wartość σ jest nieznana.

• Hipoteza nieparametryczna: kaŜda hipoteza, która nie jest parametryczna.

Przykład 1: hipoteza nieparametryczna prosta - prawdopodobieństwo

erupcji wulkanu w kaŜdej z 4 pór roku jest identyczne - w pełni zadany

rozkład jednostajny, testujemy adekwatność tego rozkładu.

Przykład 2: hipoteza nieparametryczna złoŜona - testujemy hipotezęo poissonowskim rozkładzie Pk(µ) liczby śmiertelnych zatruć muchomorem

sromotnikowym w roku, przy czym nie znamy wartości parametru µ.

• Test zgodności: test istotności hipotezy nieparametrycznej.

• Test zgodności dopasowania - test opisu danych zaleŜnością funkcyjną, np.

osłabienie światła przez roztwór zaleŜy wykładniczo od stęŜenia roztworu.

• Poziom zgodności testu - poziom istotności α hipotezy nieparametrycznej.

R.J. Nowak 157

4.15 Testy nieparametryczne - wprowadzenieDyskutując momenty zmiennej losowej rozwaŜaliśmy Pearsona współczynnik

korelacji z próbki wylosowanej z rozkładu Gaussa. Choć rozkład tego

współczynnika asymptotycznie takŜe dąŜy do rozkładu Gaussa to, przy kaŜdej

skończonej liczebności próbki, jego rzeczywista postać zaleŜy od rozkładu,

z którego wylosowano próbkę.Obok Pearsona współczynnika korelacji, zdefiniowaliśmy Spearmana

współczynnik korelacji rang. Dzięki zastąpieniu faktycznych zmiennych

losowych zmiennymi losowymi wyraŜonymi rangami, oderwaliśmy się od

konkretnej postaci rozkładu tych zmiennych i przeszliśmy do nowego świata,

świata zmiennych losowych wyraŜonych liczbami naturalnymi od 1 do n.

Współczynnik Spearmana pozwala się nam uwolnić od konkretnego rozkładu

pierwotnych zmiennych i rozwaŜyć kwestię korelacji w sposób uniwersalny -

niezaleŜny do rozkładu. W szczególności, dla kaŜdej liczebności próbki,

moŜemy prostymi metodami kombinatorycznymi wyznaczyć dokładny rozkład

tego współczynnika i zweryfikować hipotezę o braku korelacji.

Testy odwołujące się do metod niezaleŜnych od rozkładu mają jednak

swoją cenę - nie wykorzystują pełnej informacji niesionej przez dane, więcłatwiej akceptują fałszywą hipotezę.

R.J. Nowak 158

4.16 Test zgodności χχχχ 2 PearsonaZajmiemy się testem zgodności danych z modelowym rozkładem i na

początek, dla ustalenia uwagi, rozwaŜmy dane opisujące liczbę osób na liście

kandydatek i kandydatów na studia na Wydziale Fizyki, a powtórzone poniŜej

wraz z krotnościami kaŜdej z wartości zmiennej losowej.

Oczekiwnie na kandydatkę178

100

6050

3928 33

2011 9 6 4

0

50

100

150

200

1 2 3 4 5 6 7 8 9 10 11 12

liczba k osób do nastepnej kandydatki

kro

tność

nk n k > 12 = 11

R.J. Nowak 159

4.16 Test zgodności χχχχ 2 PearsonaNiech nk oznacza krotność wystąpienia wartości k zmiennej losowej

w próbce, czyli liczbę sytuacji, w której naleŜało odliczyć k osób na liście, aby

napotkać kobietę, n oznacza liczebność zebranej próbki, tj. sumę wartości nk,

czyli liczbę wszystkich kobiet, a N liczbę wartości zmiennej losowej k

występujących w próbce, czyli liczbę słupków histogramu. Dyskretny charakter

zmiennej losowej dostarcza naturalnego sposobu grupowania danych i czyni

zestaw krotności nk próbką z rozkładu wielomianowego. Zdefiniujmy

symbolami Pk, k = 1, 2, ..., N, parametry tego rozkładu wielomianowego, które,

przypomnijmy, oznaczają prawdopodobieństwa trafienia z daną do k-tego

słupka histogramu. Niech hipoteza zerowa zadaje w znanej formie

matematycznej rozkład πk(θθθθ ) zmiennej k, ale nie jest znana wartośćwektorowego parametru θθθθ = (θ1, θ2,..., θm) liczącego m elementów, więchipoteza ma charakter złoŜony. Roboczo przyjmiemy, Ŝe ów rozkład dany jestrozkładem geometrycznym, czyli πk(θθθθ ) = Gk(p) = p(1 – p)k – 1 z jednym

nieznanym parametrem p. Hipoteza alternatywna orzeka, Ŝe rozkład zmiennej kjest róŜny od rozkładu Gk(p) i jest to takŜe hipoteza złoŜona.

R.J. Nowak 160

4.16 Test zgodności χχχχ 2 PearsonaWiemy, Ŝe funkcja wiarogodności hipotezy alternatywnej

( )1

k

Nn

k

k

P=

= ∏L P

( ) ( )( )1

k

Nn

k

k

π=

= ∏L θ θθ θθ θθ θ

osiąga maksimum w punktach

( )1

ˆ ˆ ,knN

k kk

k

n nP

n n=

= ⇒ =

∏L P

podczas gdy funkcja wiarogodności hipotezy zerowej

osiąga maksimum w punktach będących rozwiązaniem układu m równań:

( )( )

( )1

1ln 0.

Nk

k

ki k i

nπ

θ π θ=

∂∂= =

∂ ∂∑Lθθθθ

θθθθθθθθ

Statystyka ilorazu wiarogodności

( )( ) ( )1 1

ˆ2 ln 2 ln 2 ln

N N

k kk k

k kk k

P nn n

nλ

π π= =

= =∑ ∑ nθ θθ θθ θθ θ

( )( )( )

( )

2

1

2lnN

k k

k k

n nu

n

πλ

π=

−≈ =∑

nθθθθ

θθθθma uniwersalny rozkład χ 2 z liczbą N – 1 – m stopni swobody.

ma rozkład zaleŜny od liczebności próbki, jednakŜe asymptotycznie

i w warunkach słuszności hipotezy zerowej, zmienna

R.J. Nowak 161

4.16 Test zgodności χχχχ 2 PearsonaZajmijmy się teraz wyznaczeniem prawdopodobieństw πk(θθθθ ), uwzględniajączalecenia odnośnie liczebności klas, co pozwoli odwołać się do asymptotycznego

rozkładu zmiennej u. Klasy od k = 1 do k = 11 mają wystarczające liczebności,

więc dla nich πk(p) = p(1 – p)k – 1, ale klasa k = 12 jest zbyt uboga, więcpołączymy ją z klasą k > 12, o łącznej liczebności n12 = 15, co daje:

( ) ( ) ( ) ( ) ( ) ( )1 11 11

12

12 12 0

1 1 1 1 .k i

k

k k i

p p p p p p p pπ∞ ∞ ∞

−

= = =

= = − = − − = −∑ ∑ ∑G

Maksymalizacji funkcji wiarogodności hipotezy zerowej

( ) ( ) ( ) ( )( ) ( ) ( )

1111

12 1211

12 1111 1 1 11

1 1

1 1 1k

kkk k

k

nnn k k n nn

k

k k

p p p p p p pπ ==

− − +

= =

∑ ∑= = − − = −∏ ∏L

wyznacza ocenę parametru p 11

1

11

12

1

0,2764,

11

k

k

k

k

n

p

kn n

=

=

= ≈+

∑

∑

a stąd otrzymujemy:( )2ln 17,9, 18,5uλ ≈ ≈n

Przy liczbie stopni swobody 12 – 1 – 1 = 10 wartość p testu dla statystyki 2lnλwynosi 0,057 oraz 0,047 dla statystyki u, a więc nie mamy podstaw do

odrzucenia hipotezy o geometrycznym charakterze rozkładu.

R.J. Nowak 162

4.16 Test zgodności χχχχ 2 PearsonaW przypadku ciągłej zmiennej losowe nie mamy naturalnego sposobu

grupowania danych i decyzja o tym, jak to uczynić, czyli jak histogramowaćdane, spoczywa na nas. Jedyne wskazanie, do którego musimy się dostosować towymaganie minimalnej liczby 5 danych w kaŜdym z przedziałów histogramu.

Przedziały te mogą być róŜnej długości, a gdy zakres zmiennej losowej sięga

nieskończoności, powinny objąć takŜe i ten obszar. Nie wolno nam jednak tak

manipulować przedziałami, aby statystyka testu była najmniejsza.

Pozostaje wyznaczenie prawdopodobieństw πk(θθθθ ). Niech f(x;θθθθ) będzie

weryfikowanym rozkładem zmiennej x, wartości xk, k = 1, 2,..., N, oznaczajądolne krawędzie kolejnych przedziałów histogramu, a ∆k, k = 1, 2,..., N, ich

szerokości. Prawdopodobieństwa πk(θθθθ ) obliczamy jako

( ) ( ); ,k k

k

x

k

x

f x dxπ+∆

= ∫θ θθ θθ θθ θ

a statystyka testowa, jej rozkład i liczba stopni swobody nie ulega zmianie:

( )( )( )

( )

2

1

2ln ,N

k k

k k

n nu

n

πλ

π=

−≈ =∑

θθθθ

θθθθn

gdzie oceny parametrów wyznaczamy metodą największej wiarogodności dla

danych zgrupowanych w przedziałach histogramu.

R.J. Nowak 163

4.16 Test zgodności χχχχ 2 PearsonaMetoda testu zgodności Pearsona rozkładu ciągłej zmiennej losowej wymaga

dwóch komentarzy.

Pierwszy dotyczy wyznaczania ocen nieznanych parametrów metodąnajwiększej wiarogodności dla danych zgrupowanych w tych samych

przedziałach, dla których budujemy statystykę testu. Wiemy, Ŝe ocenienie

parametrów z danych bez grupowania jest bardziej dokładne, ale okazuje się, Ŝewykorzystanie statystyki testowej z tak wyznaczonymi estymatami parametrów

prowadzi do częściowego odzyskania, utraconej grupowaniem, liczby stopni

swobody tej statystyki. Stopień tej naprawy nie jest znany, więc procedura taka

prowadzi do zafałszowania wyniku testu i naleŜy się jej wystrzegać.Drugi komentarz odnosi się do pewnej słabości testu Pearsona. OtóŜ,

gdy liczba stopni swobody statystyki testowej jest duŜa, test ten łatwo akceptuje

fałszywą hipotezę.Wynika stąd następująca recepta: jeśli chcemy przetestować hipotezę

o kształcie rozkładu, dane naleŜy grupować w mniejszą liczbę przedziałów, niŜmogłoby to wynikać z liczebności próbki. Dopiero po udanym teście, parametry

powinniśmy oceniać metodą największej wiarogodności wykorzystując kaŜdądaną indywidualnie.

Documents

Elementy statystyki matematycznejrybka/misdomp/MISMP_konspekt.pdf · R.J. Nowak 3 Elementy statystyki matematycznej Rachunek prawdopodobie ństwa: • J. Jakubowski, R. Sztencel -