Upload
others
View
9
Download
0
Embed Size (px)
Citation preview
Testiranje statisti£kih hipoteza
Vjeºbe - StatistikaPraktikum
Testiranje statisti£kih hipoteza
Testiranje statisti£kih hipoteza
Testiranje statisti£kih hipoteza
Statisti£ka hipoteza je pretpostavka o populacijskoj razdiobipromatrane varijable.
U statisti£kom modelu P statisti£ka hipoteza H izdvaja podskupH ⊆ PU parametarskim modelima to ¢e biti izjava o vrijednostimanepoznatog parametra - parametarska hipoteza pa je moºemoidenti�cirati s nekim podskupom prostora parametata H = Θ0 ⊆ Θ.
Kaºemo da je statisti£ka hipoteza jednostavna ako je njome ujednozna£no odre�ena populacijska distribucija, u suprotnom jesloºena.
Npr.
H : θ = 2 - jednostavna
H : θ > 2 - sloºena
Testiranje statisti£kih hipoteza
Statisti£ke hipoteze skra¢eno zapisujemo
H0 : nulta hipoteza HH1 : alternativna hipoteza H̄ = P \ H
Npr.
H0 : θ ≤ 2
H1 : θ > 2
Testiranje statisti£kih hipoteza
Statisti£ki test je pravilo temeljeno na realizaciji slu£ajnog uzorka izpopulacije koje koristimo da bi donijeli odluku o odbacivanju ili neodbacivanju hipoteze H0.
To pravilo dijeli skup svih mogu¢ih realizacija na dva disjunktnaskupa Cr i CC
r .
Cr - kriti£no podru£je - ako realizacija pripada Cr ondaodbacujemo H0.
Hipoteze se uvijek postavljaju tako da se prije provo�enja testasmatra da vrijedi nulta hipoteza H0. Ako ne odbacimo H0, ni²ta sene¢e dogoditi.
To moºemo usporediti sa su�enjem: Nitko nije kriv dok mu se nedokaºe krivnja.U tom slu£aju hipoteze su
H0 : optuºeni nije kriv
H1 : optuºeni je kriv
Testiranje statisti£kih hipoteza
Uvijek govorimo o odbacivanju (postoji dovoljno dokaza za krivnju)ili ne odbacivanju (ne postoji dovoljno dokaza za krivnju) nultehipoteze.
Nije dobro re¢i prihva¢amo nultu hipotezu - to bi zna£ilo da je onato£na samo zato jer je nismo uspjeli opovrgnuti (nije dokazano da jeosoba nevina, ve¢ samo da ne postoji dovoljno dokaza da se proglasikrivom)
Kod odbacivanja, £esto kaºemo odbacujemo hipotezu H0 u koristhipoteze H1
Testiranje statisti£kih hipoteza
Sve odluke temeljene na uzorcima iz populacije nisu 100%pouzdane, pa ni zaklju£ak testa ne mora biti 100% pouzdan.
istinazaklju£ak testa
ne odbaciti H0 odbaciti H0
H0 dobra odluka pogre²ka I. tipaH1 pogre²ka II. tipa dobra odluka
pogre²ka I. tipa - odbaciti hipotezu onda kada je ona istinita, tj.x ∈ Cr , ali H0 istinita
pogre²ka II. tipa - ne odbaciti hipotezu onda kada ona nije istinita,tj. x /∈ Cr , ali H0 nije istinita
za primjer:pogre²ka I. tipa - optuºiti nevinu osobupogre²ka II. tipa - osloboditi osobu koja je stvarno kriva
Testiranje statisti£kih hipoteza
U pravilu, za nultu hipotezu se uvijek uzimaju jednostavne hipoteze.
Za nulte hipoteze uzimamo one hipoteze za koje ºelimo kontrolirativjerojatnost da ¢emo ih odbaciti ako su istinite (vjerojatnostpogre²aka prve vrste).
Primjer 1.Kockar je optuºen da je koristio namje²tenu kocku. Koju nultuhipotezu koristi statisti£ar kada provodi odgovaraju¢i test za sud?
H0 : kocka je simetri£na
Trebamo kontrolirati vjerojatnost da ¢emo pogrije²iti ako odbacimoH0, tj. da se proglasi krivim nevini £ovjek.
Primjer 2.Tvornica je proizvela novu seriju padobrana. Kontrolor kvalitetemora statisti£kim testom odlu£iti ho¢e li padobrane propustiti natrºi²te ili ne. Koju hipotezu treba uzeti kao nultu?
H0 : padobran nije ispravan
Trebamo kontrolirati vjerojatnost da ¢emo pogrije²iti ako odbacimoH0, tj. da padobran proglasimo ispravnim, a on to nije.
Testiranje statisti£kih hipoteza
Idealan statisti£ki test bi bio
X ∈ Cr ⇔ H nije istinita
X /∈ Cr ⇔ H istinita
Nemogu¢e!
Testiranje statisti£kih hipoteza
Funkcija jakosti testa odre�enog kriti£nim podru£jem Cr
π(θ) = Pθ(X ∈ Cr ), θ ∈ Θ.
(vjerojatnost odbacivanja H)Uo£imo:za θ ∈ H, π(θ) je vjerojatnost pogre²ke prve vrsteza θ /∈ H, 1− π(θ) = Pθ(X /∈ Cr ) je vjerojatnost pogre²ke drugevrste
Razina zna£ajnosti testa se de�nira s
α = supθ∈H
π(θ) = supθ∈H
Pθ(X ∈ Cr ).
Testiranje statisti£kih hipoteza
Uniformno najja£i test razine zna£ajnosti α je test de�nirankriti£nim podru£jem C∗r za koje vrijedi(i) sup{Pθ(X ∈ C∗
r ) : θ ∈ H} ≤ α(ii) πC∗
r(θ) ≥ πCr
(θ), ∀θ ∈ H̄, za svako drugo kriti£no podru£je Cr razinezna£ajnosti α
Ideja Neyman-Pearsonovog pristupa kreiranju statisti£kog testa je�ksirati razinu zna£ajnosti α, a zatim de�nirati kriti£no podru£jekoje ¢e imati minimalnu vrijednost
β = supθ∈H̄
(1− π(θ)) = supθ∈H̄
Pθ(X /∈ Cr ).
Testiranje statisti£kih hipoteza
Lema 1 (Neyman-Pearson).
Neka je dan statisti£ki model P = {f (x; θ) : θ ∈ {θ0, θ1}} i hipoteza
H0 : θ = θ0
H1 : θ = θ1
Kriti£no podru£je Cr (k) = {x : f (x; θ0) ≤ kf (x; θ1)} za neki k > 0 jenajja£e kriti£no podru£je razine zna£ajnosti
α = Pθ0(X ∈ Cr (k)}.
Testiranje statisti£kih hipoteza
Ukoliko se kriti£no podru£je moºe izraziti u terminima neke statistikeT (X), onda tu statistiku zovemo test statistika.
Neyman-Pearsonov pristup moºe se pro²iriti na sloºene hipoteze i pritome nam je vaºan sljede¢i pojam:
De�nicija 1.
Neka je {L(x; θ) : θ ∈ Θ ⊆ R} familija funkcija vjerodostojnosti. Kaºemoda ona ima monotoni kvocijent vjerodostojnosti u statistici T (X) ako se∀θ1, θ2 ∈ Θ takve da je θ1 > θ2 moºe
L(x; θ1)
L(x; θ2)
izraziti kao neopadaju¢a funkcija od T (x) i to za sve x za koje je
L(x; θ1) > 0, L(x; θ2) > 0.
Testiranje statisti£kih hipoteza
Teorem 1.
Neka je {L(x; θ) : θ ∈ Θ ⊆ R} familija koja ima monotoni kvocijentvjerodostojnosti u t(x). Neka je
Cr = {x : L(x; θ0) ≤ kL(x; θ1)
kriti£no podru£je razine zna£ajnosti α za testiranje hipoteza
H0 : θ = θ0
H1 : θ = θ1
(i) Ako je θ0 < θ1 tada je Cr uniformno najja£e kriti£no podru£je nivoazna£ajnosti α za testiranje
H0 : θ = θ0
H1 : θ > θ0
(ii) Ako je θ0 > θ1 tada je Cr uniformno najja£e kriti£no podru£je nivoazna£ajnosti α za testiranje
H0 : θ = θ0
H1 : θ < θ0
Testiranje statisti£kih hipoteza
Primjer
Na sljede¢em primjeru promotrimo dosad de�nirane pojmove.
Neka osoba tvrdi da je vidovita. Odlu£ili smo to provjeritistatisti£kim testom. Odabrali smo 25 karata okrenutih na pole�inu,te dali osobi da poga�a koje su boje (karo, pik, herc, tref). Uo£imoda tada imamo slu£ajan uzorak (X1, . . . ,X25) iz Bernoullijevedistribucije pri £emu je 1 pogo�ena boja karte (s vjerojatno²¢u p), a0 nije pogo�ena boja (s vjerojatno²¢u 1− p)
Ozna£imo ukupan broj pogo�enih karata S =∑
25
i=1Xi . O£igledno
S ∼ B(25, p) - binomna distribucija.
Postavljamo hipoteze
H0 : p =14
osoba nije vidovita - slu£ajno poga�a
H1 : p >14
osoba je vidovita - ne radi se samo o sre¢i
Testiranje statisti£kih hipoteza
NP pristup nam sugerira da kriti£no podru£je odredimopromatranjem kvocijenta funkcija vjerodostojnostiOzna£imo p0 = 1/4 i p1 > p0
L(x; p0)
L(x; p1)=
∏25
i=1pxi0
(1− p0)1−xi∏25
i=1pxi1
(1− p1)1−xi
=p∑25
i=1 xi
0(1− p0)25−
∑25i=1 xi
p∑25
i=1 xi
1(1− p1)25−
∑25i=1 xi
=
(p0(1− p1)
p1(1− p0)
)∑25i=1 xi
(1− p01− p1
)25
, xi ∈ {0, 1}
L(x; p0)
L(x; p1)≤ k ⇔
25∑i=1
xi lnp0(1− p1)
p1(1− p0)≤ k1,
(p0(1− p1)
p1(1− p0)< 1)⇔
25∑i=1
xi ≥ K .
Testiranje statisti£kih hipoteza
Dakle, kriti£no podru£je treba odrediti tako da odredimo broj karataK koje osoba mora pogoditi da bi je mogli proglasiti vidovitom(odbaciti H0).
Kako odrediti K?
Primjerice, ako je K = 25, vjerojatnost pogre²ke I. tipa iznosi
P( odbaciti H0 | H0 istinita ) = P(S = 25|p =14
)
= P(B(25, 1/4) = 25) =1425≈ 0.89 10−16
To je dobro, vrlo je mala vjerojatnost da nekog proglasimo vidovitimako on to nije, me�utim, vjerojatnost pogre²ke II. tipa je
P( ne odbaciti H0 | H0 nije istinita ) = P(S < 25|p > 14
)
= 1− P(B(25, p) = 25) = 1− p25
npr. za p = 1/2 to je ≈ 0.9999999701976776
Neprihvatljivo velika vjerojatnost da za uistinu vidovitu osobu neodbacimo nultu hipotezu (da nije vidovita)
Testiranje statisti£kih hipoteza
NP pristup nam govori da za izvedeno kriti£no podru£je treba jo²samo odabrati ºeljenu razinu zna£ajnosti i tako odrediti K .
Drugim rije£ima, traºimo K tako da je
P(S ≥ K |p =14
) = P(B(25, 1/4) ≥ K ) = α.
Odaberimo α. Budu¢i S ima diskretnu distribuciju, jednakostvjerojatno ne¢emo mo¢i posti¢i za bilo koji α, pa onda biramo takavda gornja jednakost vrijedi za neki K .
Izra£unamo
P(B(25, 1/4) ≥ 10) = 0.0713283
P(B(25, 1/4) ≥ 11) = 0.0296699
P(B(25, 1/4) ≥ 12) = 0.0107343
Odabrat ¢emo razinu zna£ajnosti α = 0.02967 ≈ 0.03.Pripadni K je onda K = 11.
Testiranje statisti£kih hipoteza
Kriti£no podru£je je Cr = {11, 12, . . . , 24, 25}.Ako osoba pogodi 11 ili vi²e karata, onda odbacujemo nultuhipotezu, tj. zaklju£ujemo osoba je vidovita, s vjerojatno²¢u 97%.Ako osoba pogodi manje od 11 karata, ne odbacujemo nultuhipotezu s vjerojatno²¢u 97%, tj. nemamo dovoljno dokaza da jeosoba vidovita.
To zna£i da kada bi ovaj test ponovili primjerice 100 puta na nekojosobi koja nije vidovita, tada bi u pribliºno 97 pokusa test pokazaoda osoba nije vidovita. U pribliºno 3 slu£aja, osoba bi se uspjelaprovu¢i kao vidovita.
Testiranje statisti£kih hipoteza
Pretpostavimo sada da smo napravili testiranje na nekoj osobi i da jeona pogodila 12 karata.
Budu¢iP(B(25, 1/4) ≥ 12) = 0.0107343,
£ak i uz razinu zna£ajnosti 0.0107343, H0 bi bila odba£ena, tj.osobu bi proglasili vidovitom.
To je najmanja razina zna£ajnosti uz koju bi H0 bila odba£ena, jerve¢ za α = 0.01 broj 12 ne bi bio u kriti£nom podru£ju.
Ta vrijednost naziva se p-vrijednost.
�to je p-vrijednost manja to je dokaz protiv H0 ja£i.
Testiranje statisti£kih hipoteza
Intuitivan pristup kreiranju statisti£kog testa
1 Prona¢i test statistiku £ija se distribucija u H razlikuje oddistribucije u H̄. Kori²tenjem te razlike de�nira se kriti£no podru£je.
2 Test statistiku odabiremo kori²tenjem teorije procjene i dobrihprocjenitelja za parametre o kojima testiramo hipoteze. Timstatistikama potrebno je poznavati distribucije, ili barem asimptotskedistribucije u H, a dobro ih je znati i u H̄.
3 Neka je T (X) odabrana test statistika. Ako se dio skupa vrijednostiod T (X) moºe podijeliti na Cr i CC
r tako da
Pθ(T (X) ∈ Cr ) ≤ α, θ ∈ H,
moºe se de�nirati test zna£ajnosti α.4 Ako se moºe analizirati Pθ(T (X) ∈ Cr ) i za θ ∈ H̄, onda se moºe
dosta toga re¢i o testu, iako ovim pristup ne znamo da li jeoptimalan.
Testiranje statisti£kih hipoteza
Test o o£ekivanju normalne distribucije uz poznatu varijancu(z-test)
X = (X1, . . . ,Xn) jednostavan slu£ajan uzorak iz N (µ, σ2), σ2
poznato.
�elimo testirati je li o£ekivanje slu£ajnog uzorka jednako nekojzadanoj vrijednosti µ0.
Dvostrani test
Hipoteze testa:
H0 : µ = µ0
H1 : µ 6= µ0
Treba nam statistika £ija distribucija se razlikuje u H0 i u H1
Promotrimo
T (X) =X̄n − µ0
σ√n
Testiranje statisti£kih hipoteza
U uvjetima H0, tj. µ = µ0 je T (X) ∼ N (0, 1)
U uvjetima H1, tj. µ 6= µ0, T (X) ¢e biti normalno distribuirana, alinjeno o£ekivanje nije 0 i ovisi o µ
Kriti£no podru£je traºimo u obliku komplementa intervalasimetri£nog oko 0, i to tako da kontroliramo gre²ku I. tipa (odredimounaprijed njenu vjerojatnost):
Pµ0(|T (X)| ≥ zα/2
)= α.
Budu¢i je T (X) ∼ N (0, 1) u uvjetima H0, od prije znamo da je zα/2upravo (1− α/2)-kvantil standardne normalne distribucije.
Kriti£no podru£je
Cr ={x : T (x) ∈ (−∞,−zα/2] ∪ [zα/2,∞)
}.
Testiranje statisti£kih hipoteza
Uo£imo da je komplement kriti£nog podru£ja upravo pouzdaniinterval za o£ekivanje normalno distribuirane populacije uz poznatuvarijancu (test statistika = pivotna veli£ina)
T (x) ∈ [−zα/2, zα/2]⇔ µ0 ∈[X̄n − zα/2
σ√n, X̄n + zα/2
σ√n
].
Pojednostavljeno, ako za danu realizaciju µ0 pripada dvostranom(1− α) pouzdanom intervalu, onda ne odbacujemo nultu hipotezu.U suprotnom je odbacujemo, sve na razini zna£ajnosti α.
Testiranje statisti£kih hipoteza
Intuitivno:Neka je α = 0.05. Ako je nulta hipoteza istinita, tada je svjerojatno²¢u 0.95 realizacija test statistike T (x) u intervalu[−zα/2, zα/2]. Ako se dogodi takva realizacija, nemamo razlogaodbaciti nultu hipotezu.Ako se pak dogodi da T (x) /∈ [−zα/2, zα/2], vjerojatnost togdoga�aja je samo 0.05 pod uvjetom da je H0 istinita. Onda na nivouzna£ajnosti 0.05 moºemo odbaciti H0, jer vjerojatnost da se dogoditakva realizacija uz uvjet da je H0 istinito je manja od 0.05.
Testiranje statisti£kih hipoteza
Jednostrani test (1)
Hipoteze testa:
H0 : µ = µ0
H1 : µ > µ0
Opet koristimo istu test statistiku
U uvjetima H0, tj. µ = µ0 je T (X) ∼ N (0, 1)
U uvjetima H1, tj. µ > µ0, T (X) ¢e biti normalno distribuirana, alinjeno o£ekivanje ¢e biti ve¢e od 0 (jer µ− µ0 > 0)
Stoga kriti£no podru£je traºimo u obliku intervala [zα,∞), i to takoda kontroliramo gre²ku I. tipa (odredimo unaprijed njenuvjerojatnost):
Pµ0 (T (X) ≥ zα) = α.
zα je upravo (1− α)-kvantil standardne normalne distribucije
Kriti£no podru£je je oblika
Cr = {x : T (x) ∈ [zα,∞)} .
Testiranje statisti£kih hipoteza
Jednostrani test (2)
Hipoteze testa:
H0 : µ = µ0
H1 : µ < µ0
Opet koristimo istu test statistiku
U uvjetima H0, tj. µ = µ0 je T (X) ∼ N (0, 1)
U uvjetima H1, tj. µ < µ0, T (X) ¢e biti normalno distribuirana, alinjeno o£ekivanje ¢e biti manje od 0 (jer µ− µ0 < 0)
Stoga kriti£no podru£je traºimo u obliku intervala (∞, zα], i to takoda kontroliramo gre²ku I. tipa (odredimo unaprijed njenuvjerojatnost):
Pµ0 (T (X) ≤ −zα) = α.
−zα je upravo α-kvantil standardne normalne distribucije
Kriti£no podru£je je oblika
Cr = {x : T (x) ∈ (−∞,−zα]} .
Testiranje statisti£kih hipoteza
U ra£unalnim programima (pa i u R-u), ve¢ina testova daje kaorezultat i p-vrijednost.
p-vrijednost - vjerojatnost da test statistika poprimi vrijednosti kojesu, uz pretpostavku da je H0 istinita, manje ili jednako vjerojatne odopaºene vrijednosti test statistike. (jednake ili ekstremnije odopaºene vrijednosti)
Ako smo testirali
H0 : µ = µ0
H1 : µ > µ0
na uzorku za koji je vrijednost test statistike t, onda je p-vrijednost
p = P(T ≥ t|H0).
Za H1 : µ < µ0 je p = P(T ≤ t|H0).
Za dvostrani test p-vrijednost je p = P(|T | ≥ |t||H0) = .
Budu¢i znamo distribuciju test statistike pod H0, te vjerojatnosti nijete²ko izra£unati.
Testiranje statisti£kih hipoteza
Pomo¢u p-vrijednosti moºemo zaklju£iti sljede¢e:
♣ ako je p ≤ α odbacujemo H0 na nivou zna£ajnosti α (jer je tada t ukriti£nom podru£ju)
♣ ako je p > α ne odbacujemo H0 na nivou zna£ajnosti α (jer tada tnije u kriti£nom podru£ju)
Testiranje statisti£kih hipoteza
Zadaci
Zadatak 1.
Neki proizvoda£ proizvodi sajle £ija je izdrºljivost u prosjeku jednaka 1800kg uz standardnu devijaciju od 100 kg i normalno distribuirana. Nedavnoje proizvo�a£ uveo novu tehniku proizvodnje i tvrdi da se na taj na£inmogu dobiti sajle ve¢e izdrºljivosti. Odabran je slu£ajni uzorak od 50 sajliproizvedenih novom tehnikom i izra£unata je prosje£na izdrºljivost od1850 kg. Uz pretpostavku da je izdrºljivost sajli normalno distribuirana,moºe li se na nivou zna£ajnosti od 1% zaklju£iti da se novom tehnikommogu dobiti izdrºljivije sajle?
Testiranje statisti£kih hipoteza
Zadatak 2.
Rezultati standardiziranog IQ testa na op¢oj populaciji imaju o£ekivanuvrijednost 100 i standardnu devijaciju 15 po normalnoj distribuciji. Zaneku populaciju od 50 osoba ºeli se utvrditi ima li o£ekivanu IQ manji odprosjeka cijele populacije. Tih 50 osoba je ostvarilo prosje£an rezultat 98.Moºemo li na nivou zna£ajnosti 0.05 tvrditi da su ispodprosje£nointeligentni? Na kojem nivou zna£ajnosti bi mogli?
Testiranje statisti£kih hipoteza
Test o o£ekivanju normalne distribucije - nepoznatavarijanca (t-test)
X = (X1, . . . ,Xn) jednostavan slu£ajan uzorak iz N (µ, σ2), σ2
nepoznato.
Dvostrani test
Hipoteze testa:
H0 : µ = µ0
H1 : µ 6= µ0
Za test statistiku sad uzimamo
T (X) =X̄n − µ0
S̃n√n−1
.
Testiranje statisti£kih hipoteza
U uvjetima H0, tj. µ = µ0 je T (X) ∼ tn−1
U uvjetima H1, tj. µ 6= µ0, T (X) ne¢e imati t distribuciju
Kriti£no podru£je traºimo tako da
Pµ0(|T (X)| ≥ tn−1,α/2
)= α.
Budu¢i je T (X) ∼ tn−1, od prije znamo da je tn−1,α/2 upravo(1− α/2)-kvantil t distribucije s n − 1 stupnjeva slobode.
Kriti£no podru£je
Cr ={x : T (x) ∈ (∞,−tn−1,α/2] ∪ [tn−1,α/2,∞)
}.
Testiranje statisti£kih hipoteza
Jednostrani test (1)
Hipoteze testa:
H0 : µ = µ0
H1 : µ > µ0
U uvjetima H0, tj. µ = µ0 je T (X) ∼ tn−1
U uvjetima H1, tj. µ > µ0, T (X) ne¢e imati t distribuciju ipomaknuta je udesno (zbog µ > µ0)
Kriti£no podru£je traºimo u obliku intervala [tn−1,α,∞) tako da
Pµ0 (T (X) ≥ tn−1,α) = α.
tn−1,α je upravo (1− α)-kvantil t distribucije s n − 1 stupnjevaslobode
Kriti£no podru£je
Cr = {x : T (x) ∈ [tn−1,α,∞)} .
Testiranje statisti£kih hipoteza
Jednostrani test (2)
Hipoteze testa:
H0 : µ = µ0
H1 : µ < µ0
U uvjetima H0, tj. µ = µ0 je T (X) ∼ tn−1
U uvjetima H1, tj. µ < µ0, T (X) ne¢e imati t distribuciju ipomaknuta je ulijevo (zbog µ > µ0)
Kriti£no podru£je traºimo u obliku intervala (∞,−tn−1,α] tako da
Pµ0 (T (X) ≤ −tn−1,α) = α.
−tn−1,α je upravo α-kvantil t distribucije s n − 1 stupnjeva slobode
Kriti£no podru£je
Cr = {x : T (x) ∈ (∞,−tn−1,α]} .
Testiranje statisti£kih hipoteza
Zadaci
Zadatak 3.
U£itajte paket BSDA. U bazi podataka Aids nalaze se podaci opacijentima za koje se sumnja da su zaraºeni HIV-om preko transfuzijekrvi. Varijabla duration sadrºi podatke o vremenu inkubacije virusa ipretpostavimo da je normalno distribuirana. Testirajte je li prosje£novrijeme 30 dana ili dulje na razini zna£ajnosti 0.05.
Testiranje statisti£kih hipoteza
Zadatak 4.
Proizvo�a£ tvrdi da je prosje£no maksimalno optere¢enje ºice kojuproizvodi 60kg. Na slu£ajan na£in izabran je uzorak od 14 ºica iizra£unate su procjene za o£ekivanje 59 i za standardnu devijaciju 0.92, adistribucija je normalna. Konkurent tvrdi da su ºice slabije. Testirajte tkoje u pravu na nivou zna£ajnosti 0.05.
Testiranje statisti£kih hipoteza
Zadatak 5.
U datoteci cokolada.txt nalaze se podaci o teºini £okolade jednogproizvo�a£a koja je deklarirana kao 100g i pretpostavimo da su normalnodistribuirani. Inspekcija je uzela uzorak i ºeli provjeriti na razinizna£ajnosti 0.05 da li proizvo�a£ vara svoje potro²a£e.
Testiranje statisti£kih hipoteza
Zadatak 6.
U£itajte paket BSDA. U bazi podataka Chesapea nalaze se podaci oizmjerenoj slano¢i mora u jednom zaljevu i pretpostavimo da su normalnodistribuirani. Testirajte je li prosje£na slano¢a 7 ili nije na razinizna£ajnosti 0.01.
Testiranje statisti£kih hipoteza
Test o varijanci normalne distribucije
X = (X1, . . . ,Xn) jednostavan slu£ajan uzorak iz N (µ, σ2).
�elimo testirati je li varijanca jednaka nekoj zadanoj vrijednosti σ20
Dvostrani test
Hipoteze testa:
H0 : σ2 = σ20
H1 : σ2 6= σ20
Za test statistiku uzimamo
T (X) =(n − 1)S̃2
n
σ20
.
Testiranje statisti£kih hipoteza
U uvjetima H0, tj. σ2 = σ20je T (X) ∼ χ2
n−1
U uvjetima H1, tj. σ2 6= σ20, T (X) ne¢e imati χ2 distribuciju
Kriti£no podru£je traºimo tako da
Pµ0
(T (X) ∈ [0, hn−1,α/2] ∪ [h′
n−1,α/2,∞))
= α.
Budu¢i je T (X) ∼ χ2n−1, od prije znamo da je hn−1,α/2 je α/2
kvantil, a h′n−1,α/2 je 1− α/2 kvantil χ2
n−1 distribucije
Kriti£no podru£je
Cr ={x : T (x) ∈ [0, hn−1,α/2] ∪ [h′
n−1,α/2,∞)}.
Testiranje statisti£kih hipoteza
Jednostrani test (1)
Hipoteze testa:
H0 : σ2 = σ20
H1 : σ2 > σ20
U uvjetima H0, tj. σ2 = σ20je T (X) ∼ χ2
n−1
U uvjetima H1, tj. σ2 > σ20, T (X) ne¢e imati χ2 distribuciju, a
distribucija ¢e biti pomaknuta udesno
Kriti£no podru£je traºimo u obliku intervala [h′n−1,α,∞) tako da
Pµ0(T (X) ≥ h′n−1,α
)= α.
h′n−1,α je upravo (1− α)-kvantil χ2 distribucije s n − 1 stupnjeva
slobode
Kriti£no podru£je
Cr ={x : T (x) ∈ [h′n−1,α,∞)
}.
Testiranje statisti£kih hipoteza
Jednostrani test (2)
Hipoteze testa:
H0 : σ2 = σ20
H1 : σ2 < σ20
U uvjetima H0, tj. σ2 = σ20je T (X) ∼ χ2
n−1
U uvjetima H1, tj. σ2 < σ20, T (X) ne¢e imati χ2 distribuciju, a
distribucija ¢e biti pomaknuta ulijevo
Kriti£no podru£je traºimo u obliku intervala [0, hn−1,α] tako da
Pµ0 (T (X) ≤ hn−1,α) = α.
hn−1,α je upravo α-kvantil χ2 distribucije s n − 1 stupnjeva slobode
Kriti£no podru£je
Cr = {x : T (x) ∈ [0, hn−1,α]} .
Testiranje statisti£kih hipoteza
Zadaci
Zadatak 7.
Standardna devijacija godi²njih temperatura u nekom gradu mjerena uperiodu od 100 godina je bila 8◦C. Mjerena je srednja dnevnatemperatura 15. dana u mjesecu u zadnjih 15 godina i izra£unata jestandardna devijacija godi²njih temperatura od 5◦C. Uz pretpostavku onormalnosti temperatura, moºemo li na razini zna£ajnosti 0.01 zaklju£itida je temperatura u zadnjih 15 godina postala manje varijabilna?
Testiranje statisti£kih hipoteza
Testovi o parametru o£ekivanja na osnovu velikih uzoraka
Ovdje ne pretpostavljamo da je populacija normalno distribuirana,ali pretpostavljamo da je varijanca kona£na.
Neka je X = (X1, . . . ,Xn) jednostavan slu£ajan uzorak, µ = EX1 iVar(X ) = σ2 <∞Po centralnom grani£nom teoremu, test statistika
T (X) =X̄n − µ0
σ
√n ∼A N (0, 1).
Za velike uzorke (barem n > 30), testiranje o parametru o£ekivanja snultom hipotezom
H0 : µ = µ0,
provodimo jednako kao i z-test za normalno distribuiranu populaciju
Testiranje statisti£kih hipoteza
Zadaci
Zadatak 8.
Proizvo�a£ tvrdi da njegove po²iljke sadrºe najvi²e 7% defektnihproizvoda. Uzet je slu£ajni uzorak od 200 proizvoda iz jedne velikepo²iljke i ustanovljeno je da je u njemu 22 defektna prozivoda. Ima liproizvo�a£ pravo? (α = 0.05)
Testiranje statisti£kih hipoteza
Zadatak 9.
U datoteci golovi.txt nalazi tablica o broju golova u 380 utakmica.Gra�£ki pokaºite da podaci imaju Poissonovu distribuciju. Treba testiratihipotezu da je o£ekivani broj golova po utakmici jednak 2.5 na nivouzna£ajnosti 0.05
1
Vježbe 4. – testiranje statističkih hipoteza
########################################################################### # z-test - Test o očekivanju normalne distribucije (poznata varijanca) # ########################################################################### #z-test nije implementiran u osnovnoj verziji, zbog toga jer ga je vrlo jednostavno provesti. #osim toga, u praksi se malo koristi, jer u većini slučajeva ne znamo točnu varijancu uzorka. #Generirajmo slučajan uzorak iz N(0,1) i isprobajmo test x <- rnorm(10) #testiramo: # H0: mu=0 # H1: mu!=0 # 1. NAČIN #Izračunamo test statistiku teststat <- (mean(x)-0)/(1/sqrt(length(x))) #nađimo z_{alfa/2}. Neka je alpha=0.05 alpha <- 0.05 zalfa <- qnorm(1-alpha/2) teststat c(-Inf,-zalfa, zalfa,Inf) #Kritično područje #ne upada pa ne odbacujemo # 2. NAČIN #nađemo pouzdani interval za očekivanje i onda pogledamo upada li 0 - upada pa ne odbacujemo zalfa <- qnorm(1-alpha/2) dg <- mean(x)-zalfa*1/(sqrt(length(x))) gg <- mean(x)-zalfa*1/(sqrt(length(x))) c(dg,gg) # 3. NAČIN #u paketu TeachingDemos nalazi se funkcija z.test (slična funkcija se nalazi i u paketu BSDA) install.packages("TeachingDemos") library(TeachingDemos) #Argumenti: Podaci, mu_0, standardna devijacija, vrsta alternativne hipoteze, nivo pouzdanosti pouzdanog intervala(nema veze s nivoom značajnosti) z.test(x,0,1,alternative="two.sided") #daje nam i pouzdani interval #Računanje p-vrijednosti 2*(1-pnorm(teststat))
2
## Pogledajmo što znači nivo značajnosti. ## Ponovimo test puno puta, svaki put uzimamo uzorak iz N(0,1), alfa% puta ćemo pogriješiti #Rezultatima testa pristupamo s operatorom $ - u helpu pogledati koji su rezultati testa brojac <- 0 for(i in 1:100) { x <- rnorm(10) if(z.test(x,0,1,alternative="two.sided")$p.value<0.05) brojac=brojac+1 } brojac ############### #### Zadatak 1. #Hipoteze: # H0: mu = 1800 (nema promjene u izdržljivosti) # H1: mu > 1800 (izdržljivost se povećala) xpot <- 1850 sigma <- 100 teststat <- (xpot-1800)/(sigma/sqrt(50)) #Kritično područje je s desne strane alfa <- 0.01 zalfa <- qnorm(1-alfa) c(zalfa, Inf) #Kritično područje teststat #Upada u kritično područje => odbacujemo H_0 na nivou značajnosti 0.01 #Izdržljivost se povećala s vjerojatnošću 0.99 ############### #### Zadatak 2. #Hipoteze: # H0: mu = 100 (jednako inteligentni) # H1: mu < 100 (ispodprosječno inteligentni) teststat <- (98-100)/(15/sqrt(50)) #Kritično područje je s lijeve strane alfa <- 0.05 zalfa <- qnorm(alfa) c(Inf, zalfa) #Kritično područje teststat #Ne upada u kritično područje => ne odbacujemo H_0 na nivou značajnosti 0.01 #Ne možemo tvrditi da su ispodprosječno inteligentni #Na kojem nivou značajnosti bi mogli? pnorm(teststat) #Na nivou značajnosti 0.1728893 #Zaista, za alfa <- 0.1728893 zalfa <- qnorm(alfa) c(Inf, zalfa) #Kritično područje teststat
3
#Sad upada u kritično područje pa sa vjerojatnošću 82% možemo odbaciti H_0 i tvrditi da su ispoprosječno inteligentni ########################################################################### # t-test - Test o očekivanju normalne distribucije (nepoznata varijanca) # ########################################################################### #t-test se može vrlo jednostavno provoditi računanjem kritičnog područja #drugi način je korištenjem R funkcije t.test koja se nalazi u osnovnom paketu stat #Generirajmo slučajan uzorak iz N(0,1) i isprobajmo test (pretpostavljamo da ne znamo varijancu) x <- rnorm(50) #testiramo: # H0: mu=0 # H1: mu!=0 # 1. NAČIN #Izračunamo test statistiku teststat <- (mean(x)-0)/(sd(x)/sqrt(length(x)-1)) #nađimo t_{n-1,alfa/2}. Neka je alpha=0.05 alpha <- 0.05 talfa <- qt(1-alpha/2,length(x)-1) teststat c(-Inf,-talfa, talfa,Inf) #Kritično područje #ne upada pa ne odbacujemo # 2. NAČIN #R funkcija t.test t.test(x,mu=0,alternative="two.sided", conf.level=0.95) #NAPOMENA: conf.level=0.95 je nivo pouzdanosti za interval pouzdanosti - nema veze s nivoom značajnosti test - to se vidi iz p-vrijednosti #po rezultatu testa vidimo: #najjednostavnije je odmah pogledati p-vrijednost ,veća je od 0.05 pa ne odbacujemo H_0 #Dobijemo i pouzdani interval za očekivanje i lako vidimo da mean(x) upada unutra, stoga ne odbacujemo H_0 ############### #### Zadatak 3. #Hipoteze: # H0: mu = 30 # H1: mu > 30 install.packages("BSDA") library(BSDA) str(Aids) x <- Aids$duration t.test(x,mu=30,alternative="greater") #Odbacujemo hipotezu H_0 na razini značajnosti 0.05 i zaključujemo inkubacija traje duže
4
############### #### Zadatak 4. #Hipoteze: # H0: mu = 60 # H1: mu < 60 teststat <- (59-60)/(0.92/sqrt(14-1)) #Sad ne možemo koristit funkciju jer je sve već izračunato. #Kritično područje je s lijeve strane talfa <- qt(0.05,13) c(-Inf, talfa) #kritično područje teststat #Odbacujemo hipotezu na razini značajnosti 0.05. Konkurent je u pravu. ############### #### Zadatak 5. #Hipoteze: # H0: mu = 7 # H1: mu != 7 coko <- read.table("cokolada.txt") str(coko) coko <- coko$V1 t.test(coko,mu=100,alternative="less") #Odbacujemo hipotezu na razini značajnosti 0.05 (jako mala p-vrijednost) ############### #### Zadatak 6. #Hipoteze: # H0: mu = 7 # H1: mu != 7 str(Chesapea) x <- Chesapea$salinity t.test(x,mu=7,alternative="two.sided") #Ne odbacujemo hipotezu na razini značajnosti 0.01 ########################################################################### # Test o varijanci normalne distribucije # ########################################################################### #Test se vrlo jednostavno provoditi računanjem kritičnog područja #ne postoji neka specijalna R funkcija (po mom saznanju) #Generirajmo slučajan uzorak iz N(0,1) i isprobajmo test (pretpostavljamo da ne znamo varijancu) x <- rnorm(50) #testiramo:
5
# H0: sigma^2 = 1 # H1: sigma^2 != 1 #Izračunamo test statistiku teststat <- ((length(x)-1)*var(x))/1 #nađimo h_{n-1,alfa/2} i h'_{n-1,alfa/2}. Neka je alpha=0.05 alpha <- 0.05 halfa <- qchisq(alpha/2,length(x)-1) halfa1 <- qchisq(1-alpha/2,length(x)-1) teststat c(0,halfa, halfa1,Inf) #Kritično područje #ne upada pa ne odbacujemo ############### #### Zadatak 7. #Hipoteze: # H0: sigma^2 = 8^2 # H1: sigma^2 < 8^2 n <- 15 teststat <- ((n-1)*5^2)/(8^2) alpha <- 0.01 halfa <- qchisq(alpha,n-1) teststat c(0,halfa) #Kritično područje #Ne upada u kritično područje pa ne odbacujemo H_0 na nivou značajnosti 0.01. Temperatura nije postala #manje varijabilna u zadnjih 15 godina. ########################################################################### # Testovi o parametru očekivanja za velike uzorke # ########################################################################### ############### #### Zadatak 8. #Radi se o uzorku iz Bernoullijeve distribucije. Neka je vjerojatnost lošeg proizvoda p. #Uzmemo test statistiku # (mean(x)-p)/(sqrt(p(1-p))/sqrt(n)) u uvjetima H_0 ~ N(0,1) asimptotski #Hipoteze: # H0: p = 0.07 # H1: p > 0.07 xnpotez <- 22/200 teststat <- (xnpotez-0.07)/(sqrt(0.07*(1-0.07))/sqrt(200)) alpha <- 0.05 zalfa <- qnorm(1-alpha) teststat c(zalfa,Inf) #Kritično područje #Upada u kritično područje pa odbacujemo H_0 na nivou značajnosti 0.05. Proizvođač laže. ###############
6
#### Zadatak 9. #Radi se o uzorku iz Poissonove distribucije. Neka je intezitet lambda. #Uzmemo test statistiku # (mean(x)-lambda)/(sqrt(lambda)/sqrt(n)) u uvjetima H_0 ~ N(0,1) asimptotski #Hipoteze: # H0: lambda = 2.5 # H1: lambda != 2.5 gol <- read.table("golovi.txt",header=TRUE) gol str(gol) uzorak <- rep(gol$brgol,gol$frek) #ponovi svaki broj golova onoliko puta kolika mu je frekvencija uzorak #uvjerimo se da je stvarno Poissonova plot(density(uzorak)) lines(0:10, dpois(0:10,mean(uzorak)), col="red") xnpotez <- mean(uzorak) teststat <- (xnpotez-2.5)/(sqrt(2.5)/sqrt(length(uzorak))) alpha <- 0.05 zalfa <- qnorm(1-alpha/2) teststat c(-Inf,-zalfa,zalfa,Inf) #Ne upada u kritično područje pa ne odbacujemo H_0 na nivou značajnosti 0.05. Nema dokaza da je # prosječan broj golova po utakmici različit od 2.5