6HNYHQFLMDOQRRGOXþLYDQMH...eksperimenta PRUD GD RGOXþL GD OL üH SUHNLQXWL ponavljanje eksperimenta i doneti odgovaraj XüX odluku na osnovu dobijenih podataka do tog trenutka ili

Univerzitet u Nišu

Prirodno-matematički fakultet Departman za matematiku

MASTER RAD

Sekvencijalno odlučivanje

Mentor: Student: Dr Miroslav Ristić Andrijana Tasić 146

Niš, 2017. god.

Master rad: Sekvencijalno odlučivanje

~ 2 ~

Sadržaj

Glava 1 ................................................................ 4

Uvod ............................................................................ 4 1.2. Planovi uzorkovanja ................................................. 6

1.2.1 Raspodela obima uzorka ................................... 7

1.3. Stein-ova dvofazna procedura ................................. 17

Glava 2 .............................................................. 21 2.1. Wald-ov sekvencijalni test količnika verodostojnosti (SPRT) ........................................................................... 21

2.2. Funkcija OC ............................................................ 36

2.3. Wald-ov fundamentalni identitet ............................. 43

2.3.1 Primena fundamentalnog identiteta ................. 43

Literatura ................................................................. 53

Biografija .................................................................. 54


~ 3 ~

Zahvaljujem se članovima komisije profesorki Biljani

Popović i profesoru Aleksandru Nastiću, a posebno mentoru profesoru

Miroslavu Ristiću na stručnim i dobronamernim savetima pri izradi ovog

master rada.

Takođe se zahvaljujem meni dragim osobama na podršci,

razumevanju i stpljenju tokom školovanja.


~ 4 ~

Glava 1

Uvod

Statističko odlučivanje je vid statističkog zaključivanja i predstavlja proces identifikacije i

donošenje odluke iz skupa svih mogućih odluka. Skup svih mogućih odluka označavaćemo

sa D dok ćemo odluke označavati malim slovom d. Skup mogućih odluka D može imati

konačno ili beskonačno mnogo elemenata. Na primer, testiranje dve statističke hipoteze H0 i

H1 predstavlja vid statističkog odlučivanja čiji skup mogućih odluka ima dve odluke, d0-

prihvata se nulta hipoteza i d1-odbacuje se nulta hipoteza. Primer statističkog odlučivanja sa

skupom mogućih odluka D = {d1, d2, …dn} je testiranje n+1 statističkih hipoteza H0, H1, …

Hn. Takođe postoji primer statističkog odlučivanja čiji skup mogućih odluka ima beskonačno

mnogo elemenata kao što je ocenjivanje nepoznatog parametra. U ovom slučaju skup

mogućih odluka može biti interval ili skup realnih brojeva.

Postoje dve vrste statističkog odlučivanja u odnosu na obim uzorka:

1. Statističko odlučivanje u slučaju fiksiranog obima uzorka,

2. Sekvencijalno odlučivanje gde obim uzorka nije unapred fiksiran.

1.1 Uvod u sekvencijalne procedure

Za razliku od statističkog odlučivaǌa sa unapred zadatim brojem ponavǉaǌa statističkih

eksperimenata mogu se posmatrati i oni kod kojih broj ponavǉaǌa statističkih eksperimenata

nije fiksiran. Ovakve procedure se nazivaju sekvencijalne procedure. One predstavljaju

statističke procedure kod kojih obim uzorka nije unapred fiksiran, tj. broj ponavljanja

statističkih eksperimenata nije unapred određen. Posmatrač nakon svakog ponavljanja

eksperimenta mora da odluči da li će prekinuti ponavljanje eksperimenta i doneti

odgovarajuću odluku na osnovu dobijenih podataka do tog trenutka ili će nastaviti

ponavljanje eksperimenta. U toku odlučivanja posmatrač može naići na probleme koje

nazivamo problemi sekvencijalnog planiranja. Donosilac odluke može odložiti donošenje

odluke u cilju dobijanja dodatnih informacija, i to može činiti beskonačno dugo. Jedan od tih

problema je i sledeći problem.


~ 5 ~

Problem 1.1.1: Recimo da hoćemo da ispitamo efikasnost nekih lekova. Zbog troškova

ponavljanja eksperimenta bilo bi poželjno da neke lekove sa lošim rezultatima odbacimo

ranije.

Pomoću ovih procedura mogu se ranije doneti odluke za razliku od procedura sa fiksnim

obimom uzorka, zbog čega su, dosta značajne u ekonomskom smislu. Kako bismo ove

procedure primenili najpre je potrebno odrediti:

1. inicijalni ili početni obim uzorka,

2. pravilo prekida ponavljanja eksperimenta,

3. broj dodatnih realizacija koje se uzimaju ako se eksperiment nastavlja i

4. pravilo odlučivanja.

Pravila 2 i 3 se mogu spojiti u jedno pravilo.

Prilikom primenjivanja ove procedure donosilac odluke nakon izvesnog broja ponavǉaǌa

eksperimenta treba da odluči da li će doneti odluku na osnovu informacija koje poseduje u

tom trenutku ili će bar još jednom ponoviti eksperiment. Ako eksperiment nijednom nije

ponovljen onda se donosi odluka d0 iz skupa svih mogućih odluka. To se dešava u

situacijama kada donosilac odluke smatra da već poseduje dovoljno informacija te ne mora

da sprovodi eksperiment.

Označimo sa X1, X2,… Xn, rezultate ponavǉaǌa eksperimenta. Slučajnom uzorku (X1, X2,

…Xn) odgovara uzorački prostor X × X ×…× X koji ćemo označavati sa X n. Skup svih

mogućih odluka ćemo označiti sa D.

Ukoliko je eksperiment n puta ponovǉen i dobijen je niz realizovanih vrednosti x1,

x2,…xn, tada se odlučuje da li se prekida sa ponavǉaǌem eksperimenta i donosi odluka iz

skupa D ili se registruje naredna vrednost Xn+1. Postupak se nastavǉa sve dok se ne izabere

odluka iz D.

Definicija 1.1.1: Ovako dobijen realizovani uzorak (x1, x2,…) sa bar jednim ponavǉaǌem

eksperimenta naziva se sekvencijalni realizovani uzorak.

Sada, definišemo funkcije operativnih karakteristika (OC)1 i očekivanog broja ponavljanja

eksperimenta (ASN)2.

Definicija 1.1.2: Operativna karakteristika OC() je verovatnoća prihvatanja hipoteze H0

kada je stvarna vrednost parametra koji se posmatra.

1 operating characteristic - OC, prim. prev.

2 average sample number - ASN, prim. prev.


~ 6 ~

Za vrednosti parametra koje su u skladu sa hipotezom H0 potrebno je da operativna

karakteristika bude velika, a za vrednosti parametra koje su u skladu sa hipotezom H1

potrebno je da ona bude mala.

Neka predstavlja verovatnoću greške koja nastaje ako hipotezu H0 odbacimo a ona je

faktički tačna, a verovatnoću greške koja nastaje kada prihvatimo hipotezu H0 a ona je

faktički netačna. α i se nazivaju redom greška prve i greška druge vrste.

Prihvatamo H0 Odbacujemo H0

H0 je tačna

H0 je netačna

Definicija 1.1.3: Sekvencijalni test je prihvatljiv ako za njegovu operativnu karakteristiku

važi OC() ≥ 1- za vrednosti koje su u skladu sa hipotezom H0, i OC() ≤ za vrednosti

koje su u skladu sa hipotezom H1.

Definicija 1.1.4: Broj realizacija potrebnih za sekvencijalnu proceduru predstavlja

slučajnu promenljivu. Očekivani broj ponavljanja eksperimenta je matematičko očekivanje te

slučajne promenljive i ono je funkcija parametra .

Ako funkcija ASN uzima male vrednosti onda će i broj realizacija biti manji. Ako

očekivani obim uzorka nije manji od onog potrebnog za proceduru sa fiksnim obimom

uzorka ova procedura nema smisla. U tom slučaju nema potrebe primenjivati sekvencijalnu

proceduru.

1.2. Planovi uzorkovanja

Planiranje eksperimenta je postupak kojim se planira dobijanje određene količine

informacija. Cilj je dobiti što veću količinu informacija praveći što manje troškove. Jedan od

prvih koraka koje istraživač mora da načini je određivanje obima uzorka. Postupak za

određivanje broja n zavisi od parametra koji se ocenjuje i od toga da li su drugi relevantni

parametri obeležja poznati ili se takođe ocenjuju na osnovu uzorka.

Dobra odluka

Greška prve vrste

Greška druge vrste

Dobra odluka


~ 7 ~

Najstarija sekvencijalna procedura je dvostruki plan uzorkovanja koji su osmislili Dodge i

Romig 1929. godine. Loš aspekt ove metode možemo ilustrovati sledećim problemom.

Problem 1.2.1: Uzorkovanje vršimo tako što se posmatra grupa od n lekova. Ta grupa se

odbacuje ako je broj lekova čiji su rezultati loši u poređenju sa ostalim veći ili jednak c. Na

ovaj način možemo doći do situacije da bude više od c loših lekova pre nego što dostignemo

potreban obim uzorka n.

Ovaj problem možemo rešiti tako što ćemo uzorkovati lek po lek i čim broj loših lekova

bude jednak c grupa lekova se odbacuje a prihvata ako je broj lekova koji daju dobre rezultate

veći ili jednak n-c+1. Obim uzorka koji je potreban je najmanje c a najviše n.

1.2.1 Raspodela obima uzorka

Neka θ predstavlja verovatnoću da je proizvedeni lek iz problema 1.2.1. defektan i neka su

ponavljanja eksperimenta nezavisna.

Definicija 1.2.1: Slučajna promenljiva N koja označava broj ponavljanja eksperimenta

koji je potreban da bi se dalje ponavljanje zaustavilo, definisana je na sledeći način

N = { , ako se eksperiment ne sprovodi, n, ako se eksperiment ponavlja n − puta. Neka su sa X1, X2.... identički raspodeljene i nezavisne slučajne promenljive. Testiramo

prostu nultu hipotezu H0(θ = θ0) protiv proste alternativne hipoteze H1(θ = θ1). Hipoteza H0

se odbacuje čim je broj ponavljanja eksperimenta koji ne daju dobre rezultate jednak broju c

koji je unapred određen, a prihvata ako je broj ponavljanja eksperimenta koji daju dobre

rezultate veći ili jednak n-c+1. Od značaja su sledeći događaji

{N = n} = { xn ∈ X n tako da se eksperiment ponavlja n-1 puta}

Verovatnoća da se ovi događaji realizuju je

P(N = n)= 𝜃{N = n} 𝒙 𝒙 .

Posmatrajmo događaj {N = c i odbacuje se H0}. To znači da u c ponavljanja eksperimenta

svi proizvedeni lekovi su neispravni, te je verovatnoća ovog događaja jednaka 𝜃 = ℎ = 𝜃𝑐 .


~ 8 ~

Posmatrajmo događaj {N = c+r i odbacuje se H0}. Za ovaj događaj se eksperiment prekida

u c+r - ovom ponavljanju, što znači da pre toga, u c+r-1 - ovom ponavljaju eksperimenta

mora da bude c-1 defektnih lekova.

Dobijamo da je verovatnoća da se ovaj događaj realizuje jednaka

𝜃 = + ℎ = ( + −− ) 𝜃𝑐 − 𝜃 , = , , … , − .

U prethodna dva slučaja izračunate su verovatnoće odbacivanja hipoteze H0. Verovatnoća

prihvatanja hipoteze H0 u određenom ponavljanju eksperimenta jednaka je

𝜃 = − + + ℎ ℎ = ( − + ) 𝜃 − 𝜃 −𝑐+ , = , , … , − .

Odredimo sada matematičko očekivanje broja ponavljanja eksperimenta. Ono je jednako

𝜃 = ∑ ,=

gde pm označava verovatnoću da je odluka doneta u m-tom ponavljanju eksperimenta.

Primetimo da je N diskretna slučajna promenljiva koja uzima najviše n vrednosti. Ako

uvedemo smene m = r + c i s = m – (n – c + 1) dobijamo da je

= 𝜃 + 𝜃′ = ( −− ) 𝜃𝑐 − 𝜃 −𝑐 + ( −− ) − 𝜃 −𝑐+ 𝜃 − −𝑐+ ,

gde je 𝜃 verovatnoća da H0 bude odbačena u m-tom ponavljanju eksperimenta i 𝜃′ verovatnoća da H0 bude prihvaćena u m-tom ponavljanju eksperimenta.

Posmatrajmo sada sledeću uslovnu verovatnoću

P(N = m| odbacujemo H0) = 𝜃( = ℎ 𝜃( ℎ .


~ 9 ~

U slučaju da je broj ponavljanja eksperimenta m manji od c gornja verovatnoća u

prethodnom izrazu je nula jer se u tom slučaju ne odbacuje nulta hipoteza. Na osnovu toga

važi da je P(N = m| odbacujemo H0) = 0 za m < c .

Na isti način je

P(N = m| prihvatamo H0) = 𝜃( = ℎ ℎ 𝜃( ℎ ℎ . Sledi P (N = m| prihvatamo H 0 ) = 0 za m < n - c + 1. Koristeći ova dva rezultata dobijamo

da je

𝜃 = ∑= 𝜃 + 𝜃′

= ∑= 𝜃 + ∑= 𝜃′

= ∑ ( −− ) 𝜃𝑐 − 𝜃 −𝑐= + ∑= ( −− ) − 𝜃 −𝑐+ 𝜃 − −𝑐+ .

Sada je ( −− ) = − !− ! − ! = !− ! − ! = !! − ! =

i ( −− ) = − !− ! − − + ! = !− ! − − − !

= − + !− + ! − + − ! = − + − + .


~ 10 ~

Kada primenimo poslednja dva rezultata dobijamo sledeće:

𝜃 = ∑ 𝜃𝑐 − 𝜃 −𝑐= + ∑ − + − 𝜃 −𝑐+ − + 𝜃 − −𝑐+ .= −𝑐+

Dalje dobijamo da je

𝜃 = 𝜃𝑐 ∑ − 𝜃 −𝑐 + − + − 𝜃 −𝑐+ =× ∑ − + 𝜃 − −𝑐+= −𝑐+ .

Ako u prvom delu prethodnog izraza uvedemo smenu r = m-c a u drugom smenu r = m-(n-

c+1) dobijamo

𝜃 = 𝜃𝑐 ∑ ( + ) − 𝜃 + − + − 𝜃 −𝑐+ −𝑐=× ∑ ( − + + ) 𝜃𝑐−

= ,

jer je

− + = !− + ! ( − − + ! = − + + !− + ! !

= − + + !! − + + − ! = − + + .

Sada posmatrajmo slučaj kada je c = 1.


~ 11 ~

Imamo da je

𝜃 = 𝜃 ∑ + − 𝜃 + − 𝜃 .−=

Sada uvodimo smenu = − 𝜃. Sledi da je

𝜃 = − ∑ + + −== ∑ +−

= − ∑ +−= + .

Ako u drugoj sumi uvedemo smenu + = , dobijamo da je

𝜃 = ∑ +−= − ∑= +

= ∑ +−= − ∑−

= − +

= ∑ +−= − ∑−

=

= ∑−= = −− .

Vratimo prethodno uvedenu smenu = − 𝜃 i dobijamo

𝜃 = − − 𝜃− − 𝜃 = − − 𝜃 𝜃 .


~ 12 ~

Ovo je opadajuća funkcija po parametru 𝜃. Ako posmatramo sledeću tabelu možemo

utvrditi da to nije tačno za c = 4.

Tabela 1.2.1 𝜃 za različite vrednosti n,c, i

c = 1 c = 2 c = 4 𝜃 n = 10 20 25 10 20 25 10 20 25

.01 9.56 18.20 22.22 9.07 19.06 24.01 7.07 17.17 22.22

.10 6.51 8.78 9.28 8.76 14.73 16.49 7.74 18.10 22.58

.20 4.46 4.94 4.98 7.45 9.58 9.84 8.34 16.15 18.02

.30 3.24 3.33 3.33 6.03 6.64 6.66 8.50 12.77 13.17

.40 2.48 2.50 2.50 4.86 5.00 5.00 8.13 9.94 9.99

.50 2.00 2.00 2.00 3.97 4.00 4.00 7.39 8.00 8.00

Sada, u slučaju da je stvarna vrednost parametra , pomoću sledeće leme pokazaćemo da

su verovatnoća prihvatanja u slučaju procedure fiksnog obima uzorka i verovatnoća

prihvatanja u slučaju sekvencijalnog odlučivanja jednake.

Lema 1.2.1 Neka je P1( ) verovatnoća prihvatanja nulte hipoteze korišćenjem procedure

fiksnog uzorkovanja a P2( ) verovatnoća prihvatanja nulte hipoteze korišćenjem

sekvencijalne procedure. Tada je P1( ) = P2( ) za svako n i c.

Dokaz: Najpre odredimo ove verovatnoće na sledeći način

Na osnovu binomne raspodele imamo da je 𝜃 = ∑ 𝜃 − 𝜃 − ,𝑐−

=

𝜃 = ∑ = ℎ 𝐻 |𝜃= −𝑐+

= ∑ ( −− ) 𝜃 − − −𝑐 − 𝜃 −𝑐+= −𝑐+ .


~ 13 ~

Kako izraz − 𝜃 −𝑐+ ne zavisi od m možemo ga napisati ispred sume i uvodimo smenu r

= m-1

= − 𝜃 −𝑐+ ∑ − 𝜃 − −𝑐−= −𝑐= − 𝜃 −𝑐+ ∑ ( + − ) 𝜃 .𝑐−=

Ovaj dokaz izvodimo primenom matematičke indukcije: Proveravamo jednakost za c = 1 i c = 2. Za c = 1 imamo da je 𝜃 = ∑ 𝜃 − 𝜃 −−

= = 𝜃 − 𝜃 = − 𝜃 , 𝜃 = − 𝜃 − + ∑ ( + − ) 𝜃 = − 𝜃 ( − ) 𝜃 = − 𝜃 .−

=

Za c = 2 dobijamo da je 𝜃 = ∑ 𝜃 − 𝜃 −−

= = 𝜃 − 𝜃 + 𝜃 − 𝜃 −

𝜃 = − 𝜃 + 𝜃 − 𝜃 − , 𝜃 = − 𝜃 − + ∑ ( + − ) 𝜃−

== − 𝜃 − ( − ) 𝜃 + − 𝜃 − ( − ) 𝜃 = − 𝜃 − + − 𝜃 − 𝜃 − = − 𝜃 − + 𝜃 − 𝜃 − − 𝜃 − 𝜃 −

= − 𝜃 − − 𝜃 + 𝜃 − 𝜃 −

= − 𝜃 + 𝜃 − 𝜃 − .

Vidimo da su ove verovatnoće jednake za c = 1 i c = 2.


~ 14 ~

Pretpostavimo sada da tvrđenje važi za c, tj. da važi

∑ 𝜃 − 𝜃 − = − 𝜃 −𝑐+ ∑ ( + − )𝑐−=

𝑐−= 𝜃

i želimo da pokažemo da prethodna jednakost važi i za c+1

∑ 𝜃 − 𝜃 − = − 𝜃 −𝑐 ∑ ( + − − )𝑐=

𝑐= 𝜃 .

Oduzimanjem poslednje dve jednakosti dobija se

∑ 𝜃 − 𝜃 − − ∑ 𝜃 − 𝜃 −𝑐=

𝑐−= = − 𝜃 −𝑐+ ∑ ( + − ) 𝜃 −𝑐−

= − 𝜃 −𝑐 ∑ ( + − − )𝑐= 𝜃 .

Ako se leva i desna strana podele izrazom (1 )n-c dobija se

∑ 𝜃 − 𝜃 − − +𝑐 − ∑ 𝜃 − 𝜃 − − +𝑐𝑐=

𝑐−= = − 𝜃 ∑ ( + − ) 𝜃 −𝑐−

= ∑ ( + − − )𝑐= 𝜃 ,

− 𝜃𝑐 = − 𝜃 ∑ ( + − ) 𝜃 −𝑐−= ∑ ( + − − )𝑐

= 𝜃 .

Na kraju, dovoljno je da se pokaže da važi sledeća jednakost:

𝜃𝑐 = ∑ ( + − − ) 𝜃𝑐= − − 𝜃 ∑ ( + − ) 𝜃 .𝑐−

=


~ 15 ~

Kako je

𝜃𝑐 = ∑ ( + − − ) 𝜃𝑐= − ∑ ( + − ) 𝜃𝑐−

= + ∑ ( + − ) 𝜃 + ,𝑐−=

to je

∑ ( + − − ) 𝜃𝑐= − ∑ ( + − ) 𝜃𝑐−

== ∑ ( + − − ) 𝜃𝑐−= + ( − ) 𝜃𝑐 − ∑ ( + − ) 𝜃𝑐−

== ( − ) 𝜃𝑐 + ∑ {( + − − ) − ( + − )} 𝜃 ,𝑐−=

𝜃𝑐 = ( − ) 𝜃𝑐 + ∑ {( + − − ) − ( + − )} 𝜃𝑐−= + ∑ ( + − ) 𝜃 + ,𝑐−

=

ili

[ − ( − )] 𝜃𝑐 = ∑ {( + − − ) − ( + − )} 𝜃𝑐−=+ ∑ ( + − ) 𝜃 +𝑐−

= ,

− ( − ) = !! − ! − − !! − − ! = ! − − ! −! − ! = ! − ! + − !! − ! = − !− ! − ! = ( −− ).


~ 16 ~

( + − − ) − ( + − ) = + − − !! − − ! − + − !! − !

= + − − ! − − + − !! − !

= + − − ! − + − − + − !! − !

= + − − ! − + − + − − ! − + − !! − !

= + − ! − + − − ! − + − !! − !

= − + − − !− ! − ! = − ( + − −− ).

Sada na osnovu dobijenih jednakosti važi da je

( −− ) 𝜃𝑐 = − ∑ ( + − −− ) 𝜃𝑐−= + ∑ ( + − ) 𝜃 +𝑐−

= .

Ako u drugoj sumi prethodnog izraza uvedemo smenu r = s - 1 (s = r + 1) dobijamo

( −− ) 𝜃𝑐 = − ∑ ( + − −− ) 𝜃𝑐−= + ∑ ( + − −− ) 𝜃𝑐

= , ili

= − ∑ ( + − −− ) 𝜃𝑐−= + ∑ ( + − −− ) 𝜃𝑐−

= ,

što je očigledno tačno.■


~ 17 ~

Komentar: Ovom lemom smo pokazali da je verovatnoća prihvatanja hipoteze pomoću

ove dve procedure jednaka, tako da možemo koristiti onu proceduru koja je ekonomičnija.

1.3. Stein-ova dvofazna procedura

Postoje statističke hipoteze koje se ne mogu testirati procedurom za fiksirani obim uzorka.

Međutim, ovaj problem možemo rešiti procedurom koja se naziva Stein-ova dvofazna

procedura. Posmatrajmo sledeći problem.

Sledeći test se odnosi na normalnu raspodelu, tj. na obeležje X koje ima normalnu

raspodelu sa srednjom vrednošću i disperzijom 2, gde su i 2 nepoznati parametri i

uzima vrednosti iz skupa R, a 2 uzima vrednosti iz skupa R+. Sada, želimo da testiramo

nultu hipotezu o nepoznatom matematičkom očekivanju obeležja X, H0 ( = 0) u odnosu na

alternativnu hipotezu H1 > 0), koja je poznata kao Studentova hipoteza.

Test statistika = − 𝜃 √

ima Studentovu raspodelu sa n – 1 stepeni slobode, gde označava uzoračku sredinu, a

uzoračku standardnu devijaciju. Nultu hipotezu odbacujemo ako je T ≥ − ; ,5−𝛼 gde

konstantu − ; ,5−𝛼 čitamo iz tablice Studentove raspodele.

U nastavku ćemo opisati proceduru.

Posmatramo slučajni uzorak X1, X2,..., Xn obima . Ovde predstavlja najmanji broj

ponavljanja eksperimenta koji sigurno sprovodimo.

Koristimo sledeću ocenu za disperziju 2

S = − [∑= − ∑= ].

Sada, n određujemo na sledeći način

= max {[S ] + , + },


~ 18 ~

gde je z unapred odredjena konstanta, a [y] je najveći ceo broj koji je manji ili jednak broju y.

Nakon toga registrujemo vrednosti slučajnih promenljivih Xn0+1, Xn0+2,...,Xn. Neka su

realni brojevi takvi da važe sledeći uslovi

∑ = , == = ⋯ =

∑ = .=

Do ovog izraza dolazimo zbog toga što je

min ∑= = .

minimum koji je izračunat na osnovu uslova a1 + a2 +...+ an = 1, a1 = a2 =...= an0.

Sada definišemo T' na sledeći način

′ = ∑ − 𝜃= √ .

Dodavanjem i oduzimanjem 𝜃 u brojiocu dobijamo da je

′ = ∑ − 𝜃 + 𝜃 − 𝜃= √ .

Neka je = ∑ − 𝜃= √ .


~ 19 ~

Sledi da je disperzija jednaka ( | = (∑= ) (√ ) = (∑= ) = (∑= ) 𝜎= 𝜎 ,

jer je ∑ = /= .

Test statistika koja se koristi za testiranje disperzije obeležja sa normalnom raspodelom je 𝜒 = (n0 1) 𝜎𝑆 ,

koja ima približno 𝜒 raspodelu sa n0 – 1 stepeni slobode. S obzirom da su slučajne

promenljive X1, X2, …, Xn nezavisne i identički raspodeljene, to za slučajnu promenljivu U

kao njihovu linearnu kombinaciju važi

| ∶ , 𝜎 ⁄ .

U tom slučaju, numeričke karakteristike slučajne promenljive 𝑆𝜎 su redom jednake

E (𝑆𝜎 | =

𝑆𝜎 E( |

i

D (𝑆𝜎 | =

𝑆𝜎 D( | = 1.

Sledi da

𝜎 | ∶ , .

Pošto raspodela slučajne promenljive 𝜎 |S ne zavisi od , sledi da slučajna promenljiva 𝑆𝜎 ima normalnu raspodelu sa parametrima 0 i 1 pa ne zavisi od 2. Zato je

𝜎[ − 𝜎 −⁄ ] ⁄ = = − .


~ 20 ~

Ukoliko f ( x , y ) označava zajedničku gustinu slučajnih promenljivih 𝑆𝜎 i 2, |

uslovnu gustinu slučajne promenljive 𝑆𝜎 pod uslovom 2 a gustinu slučajne

promenljive 𝑆𝜎 , onda je

, = | .

Koristeći prethodno navedeni zaključak da 𝑆𝜎 ne zavisi od 2 dobijamo da je prethodna

zajednička gustina ovih dveju slučajnih promenljivih jednaka

, = .

Slučajna promenljiva U ima t-raspodelu sa n0-1 stepeni slobode. Kritična oblast sa pragom

značajnosti α je određena na sledeći način

∑ − 𝜃= √ > − , −𝛼.

Zaključak: Stein-ov test se ne koristi u praksi zbog toga što ovaj test bespotrebno troši

informacije.


~ 21 ~

Glava 2

2.1. Wald-ov sekvencijalni test količnika verodostojnosti (SPRT)3

Ovaj test daje minimalni ASN za H0 i H1. Koristi se za testiranje statističkih hipoteza na

sekvencijalnom uzorku. Takođe, se primenjuje prilikom testiranja proste nulte hipoteze protiv

proste alternativne hipoteze. Kako bismo smanjili troškove koji se javljaju prilikom

ponavljanja eksperimenta, odluka o tome da li se prihvata hipoteza mora biti donešena ranije

u odnosu na slučaj kada se odluka donosi na osnovu slučajnog uzorka fiksiranog obima.

Posmatramo obeležje X i rezultate ponavljanja eksperimenta označimo redom sa X1, X2....

Raspodela obeležja X pripada skupu mogućih raspodela P = {Pθ, θ ∈ Θ}. Sada testiramo

prostu nultu hipotezu H0(θ = θ0) protiv proste alternativne hipoteze H1(θ = θ1). Na osnovu

toga imamo da se skup odluka sastoji iz dva elementa D = {d0, d1}, gde je d0 odluka da se

prihvata nulta hipoteza, a d1 odluka da se prihvata alternativna hipoteza. Slučajne promenljive

X1, X2... su nezavisne i identički raspodeljene. Njihovu gustinu koja zavisi od parametra θ

ćemo označiti sa fθ(x).

Neka je parametar θ slučajna promenljiva za koju važi da je P(θ = θ0) = π 𝜃 i P(θ = θ1)

= π 𝜃 i neka je xn = (x1, x2,…, xn) realizovani uzorak. Test statistika količnika

verodostojnosti se definiše na sledeći način Λn = 𝜃 𝒙𝑛𝜃 𝒙𝑛 = ∏ 𝜃 𝑥𝑖𝜃 𝑥𝑖= .

Kako je 𝜃 diskretna slučajna promenljiva koja uzima samo dve vrednosti θ0 i θ1, to je

aposteriorna raspodela parametra θ jednaka

π(𝜃 |𝐱n = π 𝜃 ∏ 𝜃 𝑥𝑖ni=π 𝜃 ∏ 𝜃 𝑥𝑖ni= +π 𝜃 ∏ 𝜃 𝑥𝑖ni=

= + π 𝜃π 𝜃 ∙ ∏ 𝑓𝜃 𝑥𝑖𝑓𝜃 𝑥𝑖ni=

= + π 𝜃π 𝜃 ∙ Λn , 3 Sequential Probability Ratio Test - SPRT, prim. prev.


~ 22 ~

gde su π 𝜃 i π 𝜃 pozitivne verovatnoće da slučajna promenljiva 𝜃 uzima vrednosti 𝜃

i 𝜃 , respektivno.

Sada se ponavljanje eksperimenta zaustavlja kada je A’< π(𝜃 |𝐱n < B’, gde su A’ i B’

unapred zadate pozitivne konstante.

Sledeći korak je donošenje odluke. Nulta hipoteza H0 (𝜃 = 𝜃 se odbacuje ako je A’

π(𝜃 |𝐱n , a prihvata ako je π(𝜃 |𝐱n B’.

Neka je sada = π 𝜃π 𝜃 ∙ − A’A’ , = π 𝜃π 𝜃 ∙ − B’B’ .

Definicija 2.1.1: Sekvencijalna procedura u kojoj se ponavljanje eksperimenta nastavlja

sve dok je

< 𝛬 < ,

a nulta hipoteza H0 (𝜃 = 𝜃 se odbacuje kada je 𝛬 A a prihvata kada je 𝛬 naziva

se sekvencijalni test količnika verodostojnosti.

O verovatnoći odbacivanja nulte hipoteze možemo govoriti i u terminima funkcije moći.

Definicija 2.1.2: Verovatnoća odbacivanja nulte hipoteze ako je ona faktički pogrešna

naziva se funkcija moći statističkog testa za testiranje nulte hipoteze H0 protiv alternativne

H1.

Ova verovatnoća predstavlja verovatnoću da uzorak pripadne kritičnoj oblasti ako je H1

tačna

𝐻 { , , … 𝜖 }.

Definicija 2.1.3: Vrednost funkcije moći za pojedinu vrednost parametra 𝜃 naziva se moć

testa.

Neka su redom H0 (𝜃 = 𝜃 i H1 (𝜃 = 𝜃 , tada se

= 𝜃 { , , … 𝜖 }

naziva prag značajnosti testa.


~ 23 ~

Definicija 2.1.4: Kritična oblast C je uniformno najmoćnija oblast veličine α za testiranje

proste H0 protiv složene H1 ako je C najbolja kritična oblast veličine α za testiranje H0 protiv

svake proste hipoteze koja je sadržana u H1. Uniformno najmoćniji test je test koji je

definisan ovom kritičnom oblašću.

Sledeća lema daje postupak za odredjivanje najbolje kritične oblasti zadatog praga

značajnosti za testiranje nulte proste hipoteze protiv alternativne, takođe proste hipoteze.

Lema 2.1.1 (Neyman i Pearson, 1933). Neka je (X1,X2,…,Xn) uzorak iz populacije sa

obeležjem X čija raspodela pripada familiji dopustivih raspodela { ; 𝜃 , 𝜃 ∈ 𝛩}, 𝛩 ={𝜃 , 𝜃 }, 𝜃 ≠ 𝜃 i neka je 𝐿 𝜃; , , … , funkcija verodostojnosti posmatranog uzorka.

Neka je izabran realan broj k > i neka skup ⊂ 𝑹 takav da važi:

1. 𝐿 𝜃 ; 𝑥 ,𝑥 ,…,𝑥𝑛 𝐿 𝜃 ; 𝑥 ,𝑥 ,…,𝑥𝑛 ⩽ k za svako , , … , ∈ ,

2. 𝐿 𝜃 ; 𝑥 ,𝑥 ,…,𝑥𝑛 𝐿 𝜃 ; 𝑥 ,𝑥 ,…,𝑥𝑛 k za svako , , … , ∈ 𝑐 ,

3. = 𝜃 { , , … , 𝜖 }. Tada je C najbolja kritična oblast veličine α za testiranje nulte proste hipoteze H0 (𝜃 = 𝜃

protiv alternativne takođe proste hipoteze, H1 (𝜃 = 𝜃 .4

Dokaz: Ovaj dokaz se odnosi na obeležje apsolutno neprekidnog tipa a u diskretnom

slučaju je analogan.

Ako je C jedina takva kritična oblast onda ova teorema očigledno važi.

Sada pretpostavimo da postoji još jedna kritična oblast A veličine α. Tada je ⊂ 𝑹 tako

da je = 𝜃 { , , … , 𝜖 }.

Treba pokazati da je verovatnoća greške druge vrste manja za oblast C nego za oblast A, tj.

𝜃 { , , … , 𝜖 𝑐} 𝜃 { , , … , 𝜖 𝑐}, odnosno da je

− 𝜃 { , , … , 𝜖 } − 𝜃 { , , … , 𝜖 },

4 Formulacija i dokaz ove leme je preuzet iz knjige prof. dr Biljane Popović, Matematička statistika, Prirodno-

matematički fakultet, Niš 2009.


~ 24 ~

što dobijamo ako pokažemo da je 𝜃 { , , … , 𝜖 } 𝜃 { , , … , 𝜖 }. Označimo sa

∬ … ∫ 𝐿 𝜃 ; , , … , … = ∫ 𝐿 𝜃 = , za proizvoljnu oblast ⊂ 𝑹 . Znači da je potrebno pokazati sledeće

∫ 𝐿 𝜃 ∫ 𝐿 𝜃 .

Zbog toga što važe jednakosti

= 𝑐

i

= 𝑐 ,

dobijamo da je

∫ 𝐿 𝜃 − ∫ 𝐿 𝜃 = ∫ 𝐿 𝜃 + ∫ 𝐿 𝜃 − ∫ 𝐿 𝜃 – ∫ 𝐿 𝜃 cc

= ∫ 𝐿 𝜃 − ∫ 𝐿 𝜃 .cc

Kako važi da je

L θ ; x , x , … , xn L θ ; x , x , … , xn za svako , , … , ∈ .

I ova nejednakost važi za svako , , … , ∈ sledi da važi i za svako , , … , ∈𝑐.


~ 25 ~

Dobijamo onda da je

∫ 𝐿 𝜃 ∫ 𝐿 𝜃 .cc

Na sličan način dobijamo da je

𝐿 𝜃 ; , , … , 𝐿 𝜃 ; , , … , , , … , ∈ , pa je

∫ 𝐿 𝜃 ∫ 𝐿 𝜃 .cc

Odavde imamo da je

∫ 𝐿 𝜃 − ∫ 𝐿 𝜃 cc [ ∫ 𝐿 𝜃 − ∫ 𝐿 𝜃 cc ].

Kako je

∫ 𝐿 𝜃 = ∫ 𝐿 𝜃 . odnosno

∫ 𝐿 𝜃 − ∫ 𝐿 𝜃 = .

Sada je

∫ 𝐿 𝜃 − ∫ 𝐿 𝜃 𝑐𝑐 = ∫ 𝐿 𝜃 + ∫ 𝐿 𝜃 − ∫ 𝐿 𝜃 − ∫ 𝐿 𝜃 .𝑐𝑐


~ 26 ~

Dalje dobijamo da je

∫ 𝐿 𝜃 − ∫ 𝐿 𝜃 cc = ∫ 𝐿 𝜃 − ∫ 𝐿 𝜃 = . Na osnovu poslednje jednakosti dobijamo da je

∫ 𝐿 𝜃 − ∫ 𝐿 𝜃 = ∫ 𝐿 𝜃 − ∫ 𝐿 𝜃 cc [ ∫ 𝐿 𝜃 – ∫ 𝐿 𝜃 cc ] = ,

a to je i trebalo da se dokaže.

Primer 2.1.1 Posmatrajmo sada eksponencijalnu raspodelu sa parametrom 𝜃.

Tada je

, 𝜃 = 𝜃− −𝑥 𝜃⁄ , > , 𝜃 > ,

dok je za ova gustina jednaka nuli. Ako θ redom uzima vredosti 𝜃 i 𝜃 dobijamo

sledeće gustine

, 𝜃 = {𝜃 − −𝑥𝑖 𝜃⁄ , >, , , 𝜃 = {𝜃 − −𝑥𝑖 𝜃⁄ , >, .

Želimo da testiramo nultu hipotezu H0 ( = 0) u odnosu na alternativnu H1 (= 1) (1 >

0).

Tada je Λn = ∏ 𝑥𝑖,𝜃𝑥𝑖,𝜃= = ∏ 𝜃 − −𝑥𝑖 𝜃⁄𝑛𝑖=∏ 𝜃 − −𝑥𝑖 𝜃⁄𝑛𝑖=

= 𝜃 −𝑛 − ∑ 𝑥𝑖𝑛𝑖= 𝜃⁄𝜃 −𝑛 − ∑ 𝑥𝑖𝑛𝑖= 𝜃⁄


~ 27 ~

=𝜃𝜃 − − ∑ 𝑥𝑖𝑛𝑖= 𝜃⁄ +∑ 𝑥𝑖𝑛𝑖= 𝜃⁄ .

Dobijamo da je Λn = 𝜃𝜃 − − 𝜃 −𝜃𝜃 𝜃 ∑ 𝑥𝑖𝑛𝑖=

Ʌ = − (𝜃𝜃 ) − (𝜃 − 𝜃𝜃 𝜃 ) ∑= .

Da bi se ponavljanje eksperimenta nastavilo potrebno je da važi

< 𝛬 < . Kako je ln rastuća funkcija dobijamo

< 𝛬 < , < − (𝜃𝜃 ) − (𝜃 − 𝜃𝜃 𝜃 ) ∑= <

+ (𝜃𝜃 ) < − (𝜃 − 𝜃𝜃 𝜃 ) ∑= < + (𝜃𝜃 )

( 𝜃 𝜃𝜃 −𝜃 ) [ + (𝜃𝜃 )] < ∑= < ( 𝜃 𝜃𝜃 − 𝜃 ) [ + (𝜃𝜃 )].

Posmatrajmo sada testiranje statističkih hipoteza H0 i H1 pri čemu je slučajna promenljiva

zaustavljanja N koja je definisana na sledeći način

= {𝛬𝑁 𝛬𝑁 }

skoro izvesno konačna. U ovom slučaju mogu se javiti dve greške: greška prve i greška druge

vrste. Greška prve vrste nastaje kada odbacujemo nultu hipotezu a ona je tačna a greška druge

vrste nastaje ako je prihvatimo a ona je netačna.


~ 28 ~

Verovatnoća greške prve vrste je jednaka

𝐻 𝛬𝑁 = ,

dok je verovatnoća greške druge vrste

𝐻 𝛬𝑁 =

Teorema 2.1.2: U Wald-ovom testu količnika verodostojnosti za konstante A i B i

verovatnoće α i važi − i − . Dokaz: Najpre izvodimo dokaz za prvu nejednakost.

Verovatnoću greške prve vrste možemo predstaviti na sledeći način pomoću višestrukog

integrala

PH ΛN A = ∑ ∫ 𝜃 𝒙 𝒙{ΛN ,N=n}∞=

= ∑ ∫ 𝜃 𝒙𝜃 𝒙 ∙ 𝜃 𝒙 𝒙{ΛN ,N=n}∞=

Kako je

𝛬 = ∏ , 𝜃, 𝜃= = 𝜃 𝒙𝜃 𝒙 , sledi da je

𝛬 = 𝜃 𝒙𝜃 𝒙 .


~ 29 ~

Na osnovu prethodne jednakosti dobijamo

= ∑ ∫ ΛN ∙ 𝜃 𝒙 𝒙 .{ΛN ,N=n}∞=

Kako je ΛN A sledi da je

ΛN .

Ako primenimo prethodnu nejednakost dobijamo

∑ ∫ 𝜃 𝒙 𝒙 ,{ΛN ,N=n}∞=

odnosno imamo da je

∑ ∫ 𝜃 𝒙 𝒙{ΛN ,N=n}∞=

= PH ΛN A .

Kako je PH ΛN A = − PH ΛN < sledi da je

− .

Na sličan način dokazujemo drugu nejednakost. Na osnovu definicije verovatnoće greške

druge vrste dobijamo da je

PH ΛN B = ∑ ∫ 𝜃 𝒙 𝒙{ΛN ,N=n}∞=


~ 30 ~

= ∑ ∫ 𝜃 𝒙𝜃 𝒙 ∙ 𝜃 𝒙 𝒙{ΛN ,N=n}∞=

= ∑ ∫ ΛN 𝜃 𝒙 𝒙{ΛN ,N=n}∞= .

Kako je ΛN B sledi da je

∑ ∫ 𝜃 𝒙 𝒙{ΛN ,N=n}∞=

= PH ΛN B .

Zbog toga što je PH ΛN B = − PH ΛN > ,

dobijamo da je − .

Posledica 2.1.3 Ako je A = (1 )/ i B = /(1 ) sledi da je = (1 B)/(A B) i

= B(A 1)/(A B).

Dokaz: Ako primenimo rezultat prethodne teoreme u slučaju jednakosti

= −

= − .

Zamenom u prvu jednakost dobijamo

= − = − −


~ 31 ~

= − + .

Sada dobijamo da je − = −

− = −

= −− .

Ako dobijeno vratimo u drugu jednakost

= − −− = − − +− = −− .

U okviru traženja Wald-ovih granica za A i B, pretpostavlja se da se sekvencijalni test

konačno prekida sa verovatnoćom jedan. Sada ove granične vrednosti konstanti A i B

možemo aproksimirati sa

′ = − ′ = − .

Ove aproksimacije se koriste zbog toga što zavise samo od grešaka prve i druge vrste i one se

mogu izračunati bez obzira na funkciju gustine f.

Primer 2.1.2: Najpre uvodimo slučajnu promenljivu ln𝛬𝑁 pomoću koje se ovaj test može

pojednostaviti. Na ovaj načim možemo odrediti obim sekvencijalnog uzorka.

Na osnovu

ΛN = ∏ 𝜃𝜃=

logaritmovanjem leve i desne strane jednakosti dobijamo da je

lnΛN= ln ∏ 𝜃 𝑥𝑖𝜃 𝑥𝑖=


~ 32 ~

=∑ ln 𝜃 𝑥𝑖𝜃 𝑥𝑖= .

Ako uvedemo smenu da je slučajna promenljiva Zi= 𝜃 𝑋𝑖𝜃 𝑋𝑖 , dobijamo da je ln ΛN=∑ Zi= . Sada posmatramo testiranje statističkih hipoteza H0(θ = 0) i H1(θ = 1) za sekvencijalni

uzorak X1, X2,…, i neka važi da Xi: N(θ,1) za i=1,2…. Neka su α = 0, 01 i = 0, 01.

Tada su

A’ = .99. = 99 i B’ = ..99 = 99.

Dobijamo da je logA’ = 4, 595 i log B’ = −4, 595.

Kako je θ0 = 0 i θ1 = 1, to je = √ 𝜋 − 𝑥𝑖− , = √ 𝜋 − 𝑥𝑖− .

Sada dobijamo da je

= √ 𝜋 − 𝑥𝑖−√ 𝜋 − 𝑥𝑖− = −𝑥𝑖 + 𝑥𝑖− +𝑥𝑖 = 𝑥𝑖− .

Na osnovu prethodnog imamo da je

= ln = − .

Tada je

E( = − ,

E( = 𝜃 − .


~ 33 ~

Dobijamo da je

E0( = − , jer je 𝜃 = , a

E1( =

jer je 𝜃 = .

Posmatrajmo sada lnn kao zbir slučajnih promenljivih Z1, Z2,...,ZN koje su nezavisne,

identički raspodeljene.

Neka su slučajne promenljive Yi, i∈ { , , … } određene na sledeći način

= { < .

Neka je N slučajna promenljiva takva da događaj { } bude nezavisan od Zi, Zi+1,....

Tada ovaj događaj možemo predstaviti kao presek sledećih događaja

{ } = ⋂{ ≠ } =−= ⋃{ = }−

=𝑐.

Kako je događaj { = } nezavisan od Zi+1 za i = 1,2,... dobijamo da je { } nezavisno od

Zi, Zi+1,... kao suprotan događaj unije nezavisnih događaja od Zi, Zi+1,...

Sada je

+ + ⋯ + 𝑁 = (∑∞= ) = ∑ .∞

=

Kako Yi zavisi samo od Z1,Z2,... Zi-1 i samim tim je nezavisno od Zi važi da je

= . Dobijamo da je + + ⋯ + 𝑁 = ∑∞

= = ∑∞= .


~ 34 ~

Kako je Yi= 0 za < imamo da je

∑∞= = ∑[ ∙ + ∙ ]∞

= = ∑∞= = ∑ ∑ =∞

=∞=

= ∑ ∑ ==∞= = ∑ =∞

= = .

Odavde sledi da je

ln Ʌ𝑁 =

= ΛN .

Ako je odluka doneta posle n ponavljanja eksperimenta raspodela Ʌ𝑁 se može aproksimirati

raspodelom slučajne promenljive koja ima Bernulijevu raspodelu sa parametrima B i A. Sada

matematičko očekivanje Ʌ𝑁 se može aproksimirati na sledeći način

ln Ʌ𝑁 ≈ ln ln Ʌ𝑁 = ln + ln ln Ʌ𝑁 = ln= ln ∙ prihvaćeno 𝐻 + ln ∙ odbačeno 𝐻 .

Tako je onda

𝜃 ln Ʌ𝑁 ≈ ln − + ln

i

𝜃 ln Ʌ𝑁 ≈ ln + ln − . Kako je = ΛN ,


~ 35 ~

dobijamo da je

𝜃 ≈ + −𝜃

𝜃 ≈ − +𝜃 .

Na osnovu prethodnih jednakosti dobijamo da je ≈ ≈ . Najmanji broj ponavljanja eksperimenta u slučaju odlučivanja sa fiksiranim obimom je

𝛷− − + 𝛷− − 𝜇 𝜎⁄ . Kako je u našem slučaju 𝜇 = i 𝜎 = dobijamo da je

n ≥ 𝛷− (1 − α) + 𝛷− (1 − )2 ≈ 22,

gde je 𝛷− kvantilna funkcija za standardnu normalnu raspodelu.

Komentar: Ovim primerom smo pokazali da je korišenjem sekvencijalne procedure broj

potrebnih ponavljanja eksperimenta manji u odnosu na broj ponavljanja eksperimenta pri

korišćenju procedure sa fiksnim obimom uzorka.

Kako bi dokazali sledeću teoremu pretpostavimo da je

= ∑= .

Tada je

𝑁 = ∑𝑁=

iskaz koji važi u slučaju da je < . Takođe pretpostavimo da važi

< ∞, + | , , … , = , .


~ 36 ~

Teorema 2.1.4. (Wald-ova teorema) Za nezavisne i jednako raspodeljene slučajne

promenljive Zi sa = i E(N) < ∞ važi E(SN) = 0.

Dokaz: Kako smo u prethodnom primeru pokazali da je

+ + ⋯ + 𝑁 = ,

sledi da je 𝑁 = .

Odavde dobijamo da je 𝑁 = .

2.2. Funkcija OC

Wald (1947) je osmislio sledeći metod nalaženja funkcije OC sekvencijalnog testa

količnika verodostojnosti. Neka je sekvencijalni test količnika verodostojnosti definisan

konstantama A i B sa 0 < B < 1 < A. Sada testiramo H0 (f = f0(x) = f(x;0)) u odnosu na H1 (f

= f1(x) = f(x;1)). Međutim, ako pojednostavimo ove hipoteze na sledeći način

nulta hipoteza: H0 (≤ *), alternativna hipoteza: H1(> *)

onda je potrebno odrediti OC() za sve moguće vrednosti

Neka je fiksirana vrednost i [ 𝑋;𝜃𝑋;𝜃 ]ℎslučajna promenljiva apsolutno neprekidnog tipa.

Vrednost h ≠ određujemo na sledeći način

𝜃 {[ ; 𝜃; 𝜃 ]ℎ} = .

Ako je h = 0 tada je prethodna jednakost jednaka

𝜃 = , što je očigledno tačno.

Sada prethodno matematičko očekivanje možemo predstaviti na osnovu definicije

matematičkog očekivanja apsolutno neprekidne slučajne promenljive


~ 37 ~

∫ [ ; 𝜃; 𝜃 ]ℎ ; 𝜃 =∞−∞ .

Neka je

∗ ; 𝜃 = [ ; 𝜃; 𝜃 ]ℎ ; 𝜃 . Sada posmatramo testiranje prostih hipoteza za fiksirano h i

𝐻 ( = ; 𝜃 protiv 𝐻∗( = ∗ ; 𝜃 .

Da bi se ponavljanje eksperimenta nastavilo mora da važi

< 𝛬 < ,

gde je 𝛬 = ∏ ∗ ; 𝜃=∏ ; 𝜃= .

Dobijamo da je

∗ < ∏ ∗ ; 𝜃=∏ ; 𝜃= = ∏ [ ; 𝜃; 𝜃 ]ℎ <= ∗,

gde je ∗ = ℎ i ∗ = ℎ.

Pretpostavimo da je ℎ > . Ako prethodnu nejednakost stepenujemo sa /ℎ dobijamo

< ∏ ; 𝜃; 𝜃 < ,=

što je nejednakost koju smo prethodno koristli kako bi se nastavilo ponavljanje eksperimenta

prilikom testiranja H0 protiv H1.


~ 38 ~

Dobijamo sada da je

OC() = P(prihvatamo H0) = P (prihvatamo H) = PH (prihvatamo H) = 1 *,

gde je * verovatnoća greške pri odbacivanju H ako je ona faktički tačna. Sada imamo

sledeće aproksimacije

ℎ ≈ ∗− ∗, ℎ ≈ − ∗∗ ,

Njihovim rešavanjem dobijamo da je

∗ ≈ − ℎℎ − ℎ

𝜃 = − ∗ ≈ − − ℎℎ − ℎ = ℎ − ℎ − + ℎℎ − ℎ

= ℎ −ℎ − ℎ.

Ako je h < 0 onda je

∗ = ℎ ∗ = ℎ. Sledi da je

ℎ = ∗ ℎ = ∗.

Sada imamo da je verovatnoća prihvatanja nulte hipoteze pod uslovom da je 𝜃 prava vrednost

parametra, jednaka

P(prihvatamo H0) = P (odbacujemo H) = PH(odbacujemo H) = *


~ 39 ~

∗ ≈ ∗− ∗,

∗ ≈ − ∗∗ .

Rešavanjem prethodne dve jednačine imamo da je

∗ = − ∗∗ − ∗ = − ℎℎ − ℎ = ℎ −ℎ − ℎ,

te dobijamo isti izraz za OC() kao u slučaju h > 0. U slučaju da je ℎ < važi da je OC()

= ∗. Sada odredimo graničnu vrednost OC(), kada h → 0.

Koristeći rezultat koji smo dobili za ∗, dobijamo da je ta granična vrednost jednaka

limℎ→ 𝜃 = limℎ→ ℎ −ℎ − ℎ.

Korišćenjem L’Hopital-ovog pravila dobijamo da je

limℎ→ 𝜃 = limℎ→ ℎ − ′ℎ − ℎ ′ = lim ℎ→ ℎℎ − ℎ . Kako su ℎ = ℎ = ℎ → ,

sledi da je

limℎ→ 𝜃 = lnln − ln .

Kako je B < 1 < A, ako sada ℎ → ∞ imamo da je


~ 40 ~

limℎ→∞ 𝜃 = limℎ→∞ ℎ −ℎ − ℎ = limℎ→∞ ℎ − ℎℎ − ℎℎ = .

Slično dobijamo i da je limℎ→−∞ 𝜃 = .

Prethodno dobijene rezultate možemo predstaviti sledećom tabelom aproksimativnih

vrednosti

Tabela 2.2.1

h -∞ -1 0 1 ∞ h

- - - -

OC 0 lnln − ln 1 - 1

ℎ −ℎ − ℎ

Primer 2.2.1 Posmatrajmo sada problem testiranja = 0 protiv = 1 > 0 u populaciji

čije obeležje ima Bernulijevu raspodelu sa parametrom . Neka je 0 = 0,5, 1 = 0,8 i = =

0,01. Posmatrajmo sledeću jednakost

𝜃 {[ ; 𝜃; 𝜃 ]ℎ} = . Kako je ; 𝜃 = 𝜃𝑋 − 𝜃 −𝑋 ; 𝜃 = 𝜃𝑋 − 𝜃 −𝑋, dobijamo da je

𝜃 {[ ; 𝜃; 𝜃 ]ℎ} = 𝜃 {[𝜃𝑋 − 𝜃 −𝑋𝜃𝑋 − 𝜃 −𝑋]ℎ}

Zbog toga što ∈ { , } dobijamo da je

𝜃 {[ ; 𝜃; 𝜃 ]ℎ} = 𝜃 (𝜃𝜃 )ℎ + − 𝜃 ( − 𝜃− 𝜃 )ℎ.


~ 41 ~

Izjednačavanjem sa 1 dobijamo

𝜃 (𝜃𝜃 )ℎ + − 𝜃 ( − 𝜃− 𝜃 )ℎ =

𝜃 (𝜃𝜃 )ℎ + ( − 𝜃− 𝜃 )ℎ − 𝜃 ( − 𝜃− 𝜃 )ℎ =

𝜃 [(𝜃𝜃 )ℎ − ( − 𝜃− 𝜃 )ℎ] + ( − 𝜃− 𝜃 )ℎ =

𝜃 [(𝜃𝜃 )ℎ − ( − 𝜃− 𝜃 )ℎ] = − ( − 𝜃− 𝜃 )ℎ.

Rešavanjem ove jednačine po parametru 𝜃 dobijamo

𝜃 = − − 𝜃− 𝜃 ℎ𝜃𝜃 ℎ − − 𝜃− 𝜃 ℎ.

Kako bismo odredili funciju OC posmatrajmo sada prethodnu jednakost kada h→0

limℎ→ 𝜃 = limℎ→ − − 𝜃− 𝜃 ℎ𝜃𝜃 ℎ − − 𝜃− 𝜃 ℎ = limℎ→ − − 𝜃− 𝜃 ℎ − 𝜃− 𝜃𝜃𝜃 ℎ 𝜃𝜃 − − 𝜃− 𝜃 ℎ − 𝜃− 𝜃 .

Odavde sledi da je

𝜃 = − − 𝜃− 𝜃𝜃𝜃 − − 𝜃− 𝜃 .


~ 42 ~

Slično kao u izvođenju pre ovog primera dobijamo da je

limℎ→∞ 𝜃 = limℎ→∞ − − 𝜃− 𝜃 ℎ𝜃𝜃 ℎ − − 𝜃− 𝜃 ℎ = limℎ→∞

− 𝜃− 𝜃 ℎ − 𝜃− 𝜃 ℎ − )− 𝜃− 𝜃 ℎ 𝜃𝜃 ℎ

− 𝜃− 𝜃 ℎ − ) = , i

limℎ→−∞𝜃 = .

Zamenom vrednosti 0, 1, i sa početka primera, dobijamo da je

𝜃 = − ⁄ ℎ, ℎ − ⁄ ℎ = ℎ − ℎℎ − ℎ , i tabelu

Tabela 2.2.2

h -∞ -1 0 1 ∞

1 0,8 0,66 0,5 0

OC 0 0,01 0,5 0,99 1

Komentar: Prethodnim primerom pokazali smo kako se izračunava funkcija koja daje

verovatnoću da uzorak iz populacije, čije obeležje ima Bernulijevu raspodelu, ne pripadne

kritičnoj oblasti. Takođe smo pokazali da što je h veće to je veća i ova verovatnoća.


~ 43 ~

2.3. Wald-ov fundamentalni identitet

U ovom odeljku pomoću sledeće teoreme biće prikazan Wald-ov identitet koji je značajan

za određivanje broja ponavljanja eksperimenta i trenutka kada će se završiti testiranje

hipoteza H0 ( =0) protiv H1 ( =1).

Teorema 2.3.1 ( W a ld , 1947) Neka je Z = ln[f(X;f(X;] i neka je P(Z = 0) < 1. Tada

{ 𝑆𝑁 [ ]−𝑁} =

za svako t iz D, gde

𝑁 = ∑𝑁=

= 𝑍

a D je skup tačaka u kompleksnoj ravni tako da je C(t) konačno i C(t) ≥ 1.

2.3.1 Primena fundamentalnog identiteta

Sada jednačinu { 𝑆𝑁 [ ]−𝑁} =

diferenciramo po t i dobijamo

{ 𝑆𝑁 𝑁[ ]−𝑁 + 𝑆𝑁 − [ ]−𝑁− ′ } = .

Kada je t = 0 prethodna jednačina se svodi na

{ 𝑆𝑁 𝑁[ ]−𝑁 + 𝑆𝑁 − [ ]−𝑁− ′ } = . ∗

Na osnovu definicije funkcije C(t)

C t = E eZt ,


~ 44 ~

dobijamo da je

= 𝑍 = .

Sada se jednakost ∗ svodi na { 𝑁 − N ′ } = .

Kako je ′ = Z 𝑍

sledi da je ′ = 𝑍 Z = Z .

Dobijamo da je

𝑁 = .

Dvostrukim difereciranjem po t dobijamo

{ 𝑆𝑁 𝑁 [ ]−𝑁 + 𝑁 𝑆𝑁 − [ ]−𝑁− ′ −

− [ 𝑁 𝑆𝑁 [ ]−𝑁− ′ + 𝑆𝑁 {[ ]−𝑁− ′ }′] =

{ 𝑆𝑁 𝑁 [ ]−𝑁 + 𝑁 𝑆𝑁 − [ ]−𝑁− ′ −

− [ 𝑁 𝑆𝑁 [ ]−𝑁− ′ + 𝑆𝑁 { −N − [ ]−𝑁− ′ ′+ [ ]−𝑁− ′′ }]} = .

Uzimanjem vrednosti t = 0 dobijamo

{ 𝑁 + 𝑁 − ′ − [ 𝑁 ′ + { −N − ′ + ′′ }]} =

{ 𝑁 − 𝑁 ′ − 𝑁 ′ + ′ + ′ − ′′ } =


~ 45 ~

{ 𝑁 − 𝑁 ′ + ′ + ′ − ′′ } =

{ 𝑁 − ′ + ′ − ′′ } = .

Kada očekivanje prođe kroz zbir i razliku dobijamo

𝑁 − ′ + E ′ − E ′′ = .

Kako je ′′ = Z ,

sledi da je ′′ = .

Sada imamo da je

𝑁 − + E − E =

𝑁 − + E − E =

𝑁 − + E − = . Odnosno,

𝑁 − − E − = .

Kako je

− = ,

dobijamo sledeću jednakost

𝑁 − E = ,


~ 46 ~

tj. 𝑁 = E .

Ako je E(Z) = C’(0) = 0, onda je

𝑁 = .

Odatle je = 𝑁 ⁄ ,

što je poznato kao Wald-ova druga jednačina.

Kako je

𝑁 = ∑𝑁= ,

moment drugog reda ove slučajne promenljive možemo aproksimirati na sledeći način

𝑁 ≈ ln 𝑁 ln + ln 𝑁 ln , gde je

𝑁 ln ≈ − ℎℎ − ℎ,

i

𝑁 ln ≈ ℎ −ℎ − ℎ. Neka je

ℎ𝑍 = ,

tj. ovde je h koren jednačine C(t) = 1 koji je različit od nule. Ako je E(Z) = 0, onda je h = 0,

što se dokazuje u okviru sledeće leme.

Lema 2.3.2 Ako je Z slučajna promenljiva takva da E(Z) = 0 i P(Z = 0) < 1, tada je h = 0.


~ 47 ~

Dokaz: Diferenciranjem jednačine

ℎ𝑍 = , po h dobijamo

𝑍ℎ = . Kako je E(Z) = 0 sledi da je

𝑍ℎ − =

Dobijamo da je

[ 𝑍ℎ − ] = .

Sada upotrebimo teoremu o srednjoj vrednosti.

Na osnovu nje dobijamo da je

ℎ 𝛾𝑍ℎ = < < .

Pošto je P(Z = 0) < 1, sad sledi da je 𝛾𝑍ℎ > . Odnosno, E( 𝛾𝑍ℎ) > 0. Onda, da

bi prethodna jednakost važila kako je E( 𝛾𝑍ℎ) strogo veće od nule mora da važi da je h =

0, čime završavamo dokaz.■

Na osnovu prethodne teoreme kada je = tada je h = 0

limℎ→ − ℎℎ − ℎ = − lnln − ln

i

limℎ→ ℎ −ℎ − ℎ = − lnln − ln

.


~ 48 ~

Stoga

𝑁 ≈ ln limℎ→ − ℎℎ − ℎ + ln limℎ→ ℎ −ℎ − ℎ,

te dobijamo da je

𝑁 ≈ − ln ln + ln lnln − ln

= − ln ln . Zato je = − ln ln .

Kako su A i B konstante, iz poslednje jednakosti smo dobili da očekivani broj ponavljanja

eksperimenta zavisi samo od drugog momenta slučajne promenljive Z.

Primer 2.3.1 Neka X ima normalnu raspodelu sa parametrima θ i 1. Testirajmo sada nultu

hipotezu H0 (= ) protiv alternativne H1 (= gde je i . Neka je = =

0,05.

Na osnovu ranije dobijenih rezultata

≈ − ≈ − .

dobijamo da je ≈ i ≈ .

Kako je ≈ − ,

sledi da je ln = , = − ln .


~ 49 ~

Ranije je dobijeno da je Z = X 0,5.

Sada ako je θ = 0,5 imamo da je

,5 = ,5 − , = , − , = .

Pošto je E0.5(Z) = 0, na osnovu prethodne leme zaključujemo da je h = 0.

Sada je

,5 = ,5 − , = ,5 − + , = ,5 − ,5 + , . ,5 = + ,5 = + , = , .

Dobijamo da je ,5 = .

Odatle

,5 ≈ , ,5 = , ≈ .

Ferguson je 1967. godine dobio tačan izraz za α i i očekivano vreme prekidanja

ponavljanja eksperimenta kada X ima sledeću gustinu:

; 𝜃 = − 𝜃 −|𝑥|+𝜃𝑥 , |𝜃| < , ∈

i kada testiramo H0 (= u odnosu na H1 (= .

Sada posmatramo eksponencijalnu gustinu za X

; 𝜃 = { 𝜃 −𝜃𝑥, ako je , ako je < , >

i testiramo H0 (= 0) u odnosu na H1 (= 1), kada je 1 >0. Kemperman (1961) je dobio

gornje i donje granice za verovatnoće greške koje izgledaju ovako


~ 50 ~

𝜀 ( − 𝜀− 𝜀 ) − 𝜀− 𝜀

i − −− − 𝜀 − 𝜀 − 𝜀 −− − 𝜀 −

gde je = 0/1 < 1.

Prethodne granice možemo napisati i u sledećem obliku

𝜀 − 𝜀 − 𝜀 − − 𝜀 − 𝜀 −

i 𝜀 − − − − 𝜀 − − 𝜀 − 𝜀 − − − 𝜀 − − .

Ako želimo da odredimo donju granicu za (1) /dobijamo

− 𝜀 − 𝜀 − − − 𝜀 − −𝜀 − 𝜀 − 𝜀 − −

ili 𝜀 ( − ) − 𝜀 − 𝜀 − − − 𝜀 − −− 𝜀 − 𝜀 −

= − − 𝜀 − − 𝜀 + 𝜀 −− − 𝜀 −− 𝜀− 𝜀

= − − 𝜀− − 𝜀 −− 𝜀− 𝜀 = − 𝜀 − − 𝜀− − 𝜀 − − 𝜀

= − 𝜀 − 𝜀− 𝜀 − 𝜀


~ 51 ~

= − 𝜀 − 𝜀− 𝜀 − 𝜀 = = = .

Na kraju dobijamo da je

− 𝜀 .

Sada A možemo aproksimirati na sledeći način

≈ 𝜀 ( − ) = 𝜀 − = 𝜃 𝜃⁄− .

Na isti način odredimo gornju granicu za /(1).

Dobijamo

− 𝜀 − 𝜀 − − − 𝜀 − −− − 𝜀 − 𝜀 −

𝜀 ( − ) − 𝜀 − − − 𝜀 − −− − 𝜀 − 𝜀 −

= − 𝜀 −− − 𝜀 −− 𝜀 − + 𝜀− 𝜀

= − 𝜀 −− − 𝜀 −−− 𝜀

= − 𝜀 − − 𝜀− − − 𝜀 −


~ 52 ~

= − 𝜀 − 𝜀− − 𝜀

= − 𝜀 − 𝜀 −− − 𝜀 − − .

Na kraju dobijamo da je

𝜀 ( − ) − 𝜀 − 𝜀− − 𝜀

− 𝜀− = + − 𝜀− .

Sada B možemo aproksimirati kao

≈ 𝜀 ( − ) = 𝜃 𝜃⁄− .


~ 53 ~

Literatura

[1] Z. Govindarajulu, Sequential Statistics,University of Kentucky, USA 2004.

[2] M. Ristić, Teorija odlučivanja, autorizovana predavanja, Univerzitet u Nišu, Prirodno

– matematički fakultet, Niš 2016.

[3] B. Popović, Matematička statistika, Univerzitet u Nišu, Prirodno – matematički

fakultet, Niš 2009.

[4] https://en.wikipedia.org/wiki/Neyman%E2%80%93Pearson_lemma

https://en.wikipedia.org/wiki/Neyman%E2%80%93Pearson_lemma


~ 54 ~

Biografija

Andrijana Tasić, rođena 13.12.1992. godine u Nišu, osnovnu školu „Sveti Sava” u Pirotu

završila je 2007. godine. Iste godine upisala je Gimnaziju u Pirotu, prirodno–matematički

smer i završila je sa odličnim uspehom. U Nišu, 2011. godine upisala je Prirodno–

matematički fakultet u Nišu. Osnovne akademske studije je završila 2014. godine, stekla

zvanje ˮmatematičarˮ i iste godine upisala master akademske studije, smer verovatnoća,

statistika i finansijska matematika, na kojim je poslednji ispit položila oktobra 2016. godine.


~ 55 ~

O - M

, :

, :

, :

, :

, :

А , : А

, :

, :

Ј , :

Ј , :

, : .

, : .

, : 2017.

, :

, : , 33. , :

( / / / / / / ) 54

, :

, :

/К , : ,

519.244

Ч , :

, : , : ,

,

, .

.

, : 23.12.2015.

, :

Ч , : :

Ч :

Ч , :


~ 56 ~

-

KEY WORDS DOCUMENTATION

Accession number, ANO: Identification number, INO:

Document type, DT: Monograph

Type of record, TR: textual

Contents code, CC: university degree thesis

Author, AU: Andrijana Tasić

Mentor, MN: Miroslav Risić

Title, TI: Sequential decision

Language of text, LT: Serbian

Language of abstract, LA: English

Country of publication, CP: Republic of Serbia

Locality of publication, LP: Serbia

Publication year, PY: 2017

Publisher, PB: author’s reprint

Publication place, PP: Niš, Višegradska 33. Physical description, PD: (chapters/pages/ref./tables/pictures/graphs/appendixes)

55 page

Scientific field, SF: Mathematics

Scientific discipline, SD: Statistics

Subject/Key words, S/KW: Sequential procedure, Wald’s Sequential Probability Ratio Test

UC 519.244

Holding data, HD: Library

Note, N:

Abstract, AB: In this work, we investigate sequential procedure, sample

size distribution, Wald’s Sequential Probability Ratio Test,

Wald’s Fundamental Identity and his applications. Also, we have a lot of examples in this work.

Accepted by the Scientific Board on, ASB: 23.12.2015.

Defended on, DE:

Defended Board, DB: President:

Member:

Member, Mentor:

Documents

6HNYHQFLMDOQRRGOXþLYDQMH...eksperimenta PRUD GD RGOXþL GD OL üH SUHNLQXWL ponavljanje eksperimenta i doneti odgovaraj XüX odluku na osnovu dobijenih podataka do tog trenutka ili