Upload
leanh
View
305
Download
2
Embed Size (px)
Citation preview
4 Testiranje statistickihhipoteza
1
4.1. Statisticka hipoteza
Promatramo statisticko obiljezje X.
Statisticka hipoteza je (bilo koja) pretpostavka o
(populacijskoj) razdiobi od X.
Kazemo da je statisticka hipoteza jednostavna uko-
liko jednoznacno odreduje razdiobu od X. U suprot-
nom kazemo da je slozena.
2
Primjeri.
• H1 : X ima normalnu razdiobu
→ slozena hipoteza
• H2 : X ∼ N(170,64)
→ jednostavna hipoteza
3
4.2. Statisticki test
Neka je µ = E[X].
Na primjer, pretpostavimo da nas zanima je li tocna
hipoteza:
H0 : µ ≤ 50.
Preciznije, zelimo na osnovi realizacije slucajnog u-
zorka za X donijeti odluku hocemo li odbaciti ili ne
odbaciti tu hipotezu.
4
Postupak donosenja odluke o odbacivanju ili ne odbaci-
vanju statisticke hipoteze zove se testiranje statistickih
hipoteza.
Primijetimo da uz osnovnu ili nul - hipotezu, npr.:
H0 : µ ≤ 50,
postoji njoj alternativna hipoteza:
H1 : µ > 50.
5
Buduci da sve odluke bazirane na uzorcima iz po-
pulacije nisu 100% pouzdane, ni zakljucak (odluka)
statistickog testa nije 100% pouzdan.
Dakle, moze se dogoditi da je zakljucak testa pogresan.
Prema tome, imamo sljedecu situaciju:
6
zakljucaktocno je ne odbaciti H0 odbaciti H0
H0√
pogresno! (I)H1 pogresno! (II)
√
Pogreska koju cinimo kada odbacujemo H0, a ona
je istinita, je pogreska prve vrste.
Pogreska koju cinimo kada ne odbacujemo H0, a
istinita je H1, je pogreska druge vrste.
7
Test ce u potpunosti biti sproveden ako mozemo
procijeniti vjerojatnosti mogucih pogresaka u za-
kljucku testa.
Razumno je zahtjevati test kojemu se mogu kontroli-
rati vjerojatnosti obiju pogresaka. To nije moguce
jer smanjivanjem vjerojatnosti pogreske prve vrste
povecava se vjerojatnost pogreske druge vrste i o-
bratno.
8
S druge strane, u velikoj vecini slucajeva moguce je
za zadanu razinu znacajnosti testa α (α ∈ 〈0,1〉)medu testovima kojima vjerojatnost pogreske prve
vrste ne prelazi broj α naci (konstruirati) test s naj-
manjom vjerojatnosti pogreske druge vrste.
9
Neka je X1, X2, . . . , Xn slucajni uzorak za X i
X := (X1, X2, . . . , Xn).
Tada su realizacije x = (x1, x2, . . . , xn) tog uzorka
elementi od Rn.
Definicija. Test (hipoteze H0 u odnosu na alterna-
tivu H1) je preslikavanje τ : Rn → {0,1}.
Interpretacija. Ako je za realizaciju x uzorka X
τ(x) = 1, tada odbacujemo H0 u korist H1, a ako je
τ(x) = 0, tada ne odbacujemo H0 u korist H1.
10
Tada je
C := τ−1(1) = {x ∈ Rn : τ(x) = 1}podrucje realizacija uzoraka za koje se H0 odbacuje
u korist H1.
C se naziva kriticno podrucje za test τ .
11
Populacijska razdioba: X ∼ f(x|θ), θ ∈ Θ
Vjerodostojnost od θ: L(θ|x) =∏n
i=1 f(xi|θ)
Preslikavanje γ : Θ → [0,1] def. sa:
γ(θ) := Eθ[τ(X)] = Pθ(X ∈ C) =∫
C
L(θ|x) dx
zove se jakost testa τ .
Interpretacija. Ukoliko je θ1 vrijednost parametra za
koju je H1 istinito, jakost testa γ(θ1) je sposobnost
testa da odbaci H0 ako je H0 neistinita hipoteza.
12
Neka su:H0: θ ∈ Θ0H1: θ ∈ Θ1.
Preslikavanje α : Θ0 → [0,1] def. sa:
α(θ) := γ(θ) = Pθ(X ∈ C)
je vjerojatnost pogreske 1. vrste.
ατ := supθ∈Θ0
α(θ)
je znacajnost testa τ . Kazemo da test ima razinuznacajnost α ukoliko mu je znacajnost manja ili jed-naka α.
13
H0: θ ∈ Θ0
H1: θ ∈ Θ1.
Preslikavanje β : Θ1 → [0,1] def. sa:
β(θ) := 1− γ(θ) = Pθ(X /∈ C)
je vjerojatnost pogreske 2. vrste.
14
Definicija. Kazemo da je test τ uniformno najjaci
ako za svaki drugi test τ ′ takav da je ατ ′ ≤ ατ , vrijedi
da je γτ ′(θ) ≤ γτ(θ) za sve θ.
Ukoliko postoji, kako naci uniformno najjaci test?
15
Pretpostavimo da zelimo testirati:
H0: θ = θ0H1: θ = θ1
gdje su θ0 6= θ1 dvije vrijednosti parametra.
Nadalje, neka su
L(θ0|x) =n∏
i=1
f(xi|θ0), L(θ1|x) =n∏
i=1
f(xi|θ1)
vjerodostojnosti od θ0 i θ1.
16
Lema. (Neyman, Pearson)Neka je k > 0 takav broj da za skup
C = {x ∈ Rn : L(θ0|x) ≤ kL(θ1|x)}vrijedi da je
∫C
L(θ0|x) dx = α za zadani α ∈ 〈0,1〉.Ako za neki drugi B ⊆ Rn vrijedi da je∫
B
L(θ0|x) dx ≤ α,
tada je nuzno∫
B
L(θ1|x) dx ≤∫
C
L(θ1|x) dx.
(Dokaz.)
17
Interpretacija.
Test τ(x) := 1C(x) za C iz N-P leme je uniformno
najjaci test za testiranje jednostavne hipoteze H0 u
odnosu na jednostavnu alternativu H1.
18
Primjer 4.1. Za varijablu X poznato je da je
X ∼ N(µ,9) i µ ∈ {13.8,15.0}.
Na osnovi uzorka za X duljine n = 70 treba testiratinul-hipotezu
H0 : µ = 15.0
u odnosu na alternativu
H1 : µ = 13.8
uz razinu znacajnosti od α = 5%.
19
Konstrukcija testa sastoji se od odredivanja testne
statistike na osnovi cijih vrijednosti se donose od-
luke, i (slike) kriticnog podrucja koji je skup onih
mogucih vrijednosti testne statistike za koje se od-
bacuje H0 u korist H1. Takav skup takoder zovemo
kriticnim podrucjem.
(Izvod optimalnog (tj. uniformno najjaceg testa).)
20
Dakle, za ovaj primjer, testna statistika (optimalnog)testa je
Z =X − 15.0
3
√70.
Kriticno podrucje uz uvjet da vjerojatnost pogreskeprve vrste bude jednaka α = 0.05:
P(Z ≤ −u |H0) = 0.05
ZH0∼ N(0,1) ⇒ u = z0.05 = (tablice) = 1.64
⇒ kriticno podrucje je interval 〈−∞,−1.64]
Dakle, H0 odbacujemo ako je z ≤ −1.64.
21
Ako je z > −1.64 ne odbacujemo H0. U tom slucaju
je vjerojatnost pogreske druge vrste
β = P(Z > −1.64 |H1) =
= P(X − 13.8
3
√70 >
15.0− 13.8
3
√70− 1.64 |H1) =
= P(X∗ > 1.71) =
= 1−Φ(1.71) =
= 0.5−Φ0(1.71) =
= 0.0436.
22
Jakost testa je
γ = P(Z ≤ −1.64 |H1) =
= 1− P(Z > −1.64 |H1) =
= 1− β = 1− 0.0436 =
= 0.9564.
23
Zadatak 1. (jednostrani z-test)
Pokazite da je za X ∼ N(µ, σ20), gdje je σ2
0 poznato,uniformno najjaci test za testiranje hipoteza
H0 : µ = µ0H1 : µ < µ0,
na razini znacajnosti α, dan testnom statistikom
Z =X − µ0
σ0
√n
i kriticnim podrucjem z ≤ −zα.
(µ0 je zadani broj, z je vrijednost od Z)
24
Zadatak 2. (jednostrani z-test, 2. put)
Pokazite da je za X ∼ N(µ, σ20), gdje je σ2
0 poznato,uniformno najjaci test za testiranje hipoteza
H0 : µ = µ0H1 : µ > µ0,
na razini znacajnosti α, dan testnom statistikom
Z =X − µ0
σ0
√n
i kriticnim podrucjem z ≥ zα.
(µ0 je zadani broj, z je vrijednost od Z)
25
Zadatak 3. (dvostrani z-test)
Neka je X ∼ N(µ, σ20), gdje je σ2
0 poznato. Je li testhipoteza
H0 : µ = µ0H1 : µ 6= µ0,
dan testnom statistikom
Z =X − µ0
σ0
√n
i kriticnim podrucjem |z| ≥ zα/2 (na razini znacajnostiα), uniformno najjaci?
(µ0 je zadani broj, z je vrijednost od Z)
26
Primijetimo da nam je u primjeru 4.1. racun bioolaksan jer su obje hipoteze (osnovna i alternativna)bile jednostavne. U praksi to nije slucaj.
Na primjer, ako za X ∼ N(µ,9) zelimo testirati
H0 : µ ≥ 15H1 : µ < 15,
onda su obje hipoteze slozene.
Pretpostavimo da je testna statistika ista kao u pri-mjeru 4.1:
Z =X − 15
3
√n.
27
I kriticno podrucje je istoga oblika kao u primjeru
4.1: 〈−∞,−u]. Odredimo u > 0 t.d. je za zadanu
razinu znacajnosti α
P(Z ≤ −u |µ = 15 + δ) ≤ α za sve δ ≥ 0
⇔ P(X − µ
3
√n ≤ −u− δ
3
√n) ≤ α za sve δ ≥ 0
⇔ Φ(−u− δ
3
√n) ≤ α za sve δ ≥ 0.
Buduci da je za sve δ ≥ 0, Φ(−u− δ3√
n) ≤ Φ(−u),
u odredimo tako da je Φ(−u) = 0.5−Φ0(u) = α.
28
Dakle, konstrukcija kriticnog podrucja je ista ako
originalnu (slozenu) hipotezu H0 zamijenimo sa (jed-
nostavnom) hipotezom
H0: µ = 15,
odnosno, ako testiramo
H0 : µ = 15H1 : µ < 15.
Dakle, sada smo problem testiranja sveli na z-test
opisan u zadatku 1.
29
U pravilu, za nul-hipotezu uvijek se uzimaju jednos-
tavne hipoteze ili hipoteze koje jednoznacno odreduju
razdiobu testne statistike.
U interpretaciji, za nul-hipoteze uzimamo one hipoteze
za koje zelimo kontrolirati vjerojatnost da cemo ih
odbaciti ako su istinite, odn. vjerojatnost pogresaka
prve vrste.
30
Primjer 4.2. (Primjer 1.4.) Kockar je optuzen da je
koristio namjestenu kocku. Koju osnovnu hipotezu
koristi statisticar kada sprovodi odgovarajuci test za
sud?
31
H0: Kocka je simetricna.
Trebamo kontrolirati vjerojatnost da cemo pogrijesiti
ako odbacimo H0, tj. da se proglasi krivim nevini
covjek.
32
Primjer 4.3. Tvornica je proizvela novu seriju pado-
brana. Kontrolor kvalitete mora statistickim meto-
dama (statisticki test) odluciti hoce li padobrane
propustiti na trziste ili ne. Koju hipotezu treba uzeti
za osnovnu?
33
H0: Padobran nije ispravan.
34
4.3 Testovi omjera vjerodostojnosti
Neka je X1, X2, . . . , Xn slucajni uzorak za X i neka
je populacijska gustoca od X: f(x|θ), θ ∈ Θ.
Cilj: konstrirati test za testiranje
H0 : θ ∈ Θ0H1 : θ ∈ Θ1.
35
Neka je x = (x1, x2, . . . , xn) opazeni uzorak.
Vjerodostojnost:
L(θ|x) =n∏
i=1
f(xi|θ), θ ∈ Θ
Pretpostavimo da postoje:
θ0 = θ0(x) ∈ Θ0 i θ = θ(x) ∈ Θ
t.d. da vrijedi
L(θ0|x) = maxθ∈Θ0
L(θ|x), L(θ|x) = maxθ∈Θ
L(θ|x).
36
Definicija. Omjer vjerodostojnosti je funkcija:
x 7→ λ(x) :=L(θ0|x)
L(θ|x).
Test za testiranje nevedenih hipoteza kojemu je kri-
ticno podrucje oblika
C = {x ∈ Rn : λ(x) ≤ c},za neku realnu konstanu c < 1, zovemo testom om-
jera vjerodostojnosti (engl. likelihood ratio test ili
LR-test).
37
Zadatak 4. (dvostrani z-test)
Neka je X1, X2, . . . , Xn slucajni uzorak za X s nor-
malnom populacijskom distribucijom N(µ, σ20) (σ2
0 je
poznato). Odredite test omjera vjerodostojnosti za
testiranje nul-hipoteze H0: µ = µ0 u odnosu na
dvostranu alternativu H1: µ 6= µ0.
38
Zadatak 5. (t-test) Neka je X1, X2, . . . , Xn slucajni
uzorak za X s normalnom populacijskom distribuci-
jom N(µ, σ2) (oba parametra su nepoznata). Odre-
dite test omjera vjerodostojnosti za testiranje nul-
hipoteze H0: µ = µ0 u odnosu na
(a) jednostranu alternativu H1: µ < µ0;
(b) jednostranu alternativu H1: µ > µ0;
(c) dvostranu alternativu H1: µ 6= µ0.
39
4.4 Test o ocekivanju normalno distribuirane
populacije (t-test)
Neka je X1, . . . , Xn slucani uzorak za X ∼ N(µ, σ2).
Zelimo testirati hipoteze o parametru µ (σ2 je nepoz-
nat).
Od sada pa nadalje, neka µ0 oznacava neki unaprijed
zadani broj.
40
Razlikujemo tri slucaja:
(1) : (2) : (3) :
H0 : µ = µ0 H0 : µ = µ0 H0 : µ = µ0H1 : µ > µ0 H1 : µ < µ0 H1 : µ 6= µ0
Alternative u (1) i (2) su jednostrane
→ jednostrani testovi
dok je alternativa u (3) dvostrana
→ dvostrani test.
41
U sva tri slucaja, testna statistika je jednaka:
T =X − µ0
S
√n
H0∼ t(n− 1)
Kriticna podrucja se razlikuju.
Neka je α zadana razina znacajnosti.
42
(1):
H0 : µ = µ0H1 : µ > µ0
P(T ≥ tα(n− 1) |H0) = α
⇒ kriticno podrucje:
[tα(n− 1),+∞〉
43
(2):
H0 : µ = µ0H1 : µ < µ0
P(T ≤ −tα(n− 1) |H0) = α
⇒ kriticno podrucje:
〈−∞,−tα(n− 1)]
44
(3):
H0 : µ = µ0H1 : µ 6= µ0
P(|T | ≥ tα/2(n− 1) |H0) = α
⇒ kriticno podrucje:
〈−∞,−tα/2(n− 1)] ∪ [tα/2(n− 1),+∞〉
45
Primjer 4.4. (Primjer 3.13)U svrhu istrazivanja toksicnosti jedne vrste plijesnina urod kukuruza, mjeri se kolicina toksicne tvari umg. Uzorak od 9 ekstrakata te plijesni:
1.2, 0.8, 0.6, 1.1, 1.2, 0.9, 1.5, 0.9, 1.0
Pretpostavka je da mjereno obiljezje ima normalnurazdiobu.Iz uzorka je izracunano: x = 1.02 i s = 0.28.
Uz 5% znacajnosti testirajte
H0 : µ = 1.00H1 : µ > 1.00.
46
Jednostrani t-test:
Testna statistika: T = X−1.00S · 3
Kriticno podrucje: [t0.05(8),+∞〉 = [1.86,+∞〉
Vrijednost testne statistike:
t =x− 1.00
s· 3 =
1.02− 1.00
0.28· 3 = 0.214
47
Buduci da je t = 0.214 < 1.86, tj. t ne pripada
kriticnom podrucju, ne odbacujemo H0 u korist al-
ternative.
Preciznije, uz znacajnost od 5%, ne odbacujemo
pretpostavku da je µ manje ili jednako od 1.00, odn.
ne mozemo tvrditi da je ocekivana kolicina toksicne
tvari u ekstraktu plijesni veca od 1.00.
48