Monte Karlo

Kristina Veǉkovi

MONTE KARLO METODE

Uvod

Poxto se mnoge statistiqke metode oslaǌaju na sluqajne uzorke, stati-

stiqarima je qesto potreban izvor sluqajnih brojeva. Starije stati-

stiqke kǌige su sadrale tablice sluqajnih cifara, koje su predvi-

ene da se koriste pri izboru uzoraka ili dizajnu eksperimenta. Sada

statistiqari vrlo retko koriste odxtampane tablice sluqajnih ci-

fara, ali ponekad se koriste takve tablice saquvane u memoriji raqu-

nara. Meutim, najqexe se koriste raqunarski algoritmi za dire-

ktno generisaǌe sluqajnih brojeva.

Danas se upotreba sluqajnih brojeva u statistici proxirila van

sluqajnog uzorkovaǌa ili sluqajne dodele terapija (tretmana) ekspe-

rimentalnim jedinicama. Sluqajni brojevi se sada qexe koriste pri-

likom simulacijskih studija stohastiqkih procesa, analitiqki ne-

izraqunǉivih matematiqkih izraza ili populacije na osnovu ponovnog

uzorkovaǌa 1 iz dobijenog uzorka te populacije. Ove tri opxte oblasti

primene sluqajnih brojeva se ponekad nazivaju, redom, simulacija, Mo-

nte Karlo i ponovno uzorkovaǌe, ali mi nieemo praviti razlike izmeu

tih termina.

1 Resampling

Metode Monte Karlo

Prouqavaǌe mnogih prirodnih pojava mogue je ostvariti putem mo-

deliraǌa (simulacije) tih pojava. Modeliraǌe pojava u ciǉu ǌihovog

prouqavaǌa se koristi kad god je direktno ispitivaǌe same pojave

povezano sa potexkoama (realno vreme u kome se pojava odvija moe

biti predugaqko ili prekratko da bi se svi elementi mogli uoqiti,

ispitivaǌa same pojave mogu biti povezana sa velikim troxkovima,

kao i sa rizicima po zdravǉe ǉudi, po ǉudsku okolinu ili dovesti do

unixteǌa nekih objekata,itd.). U ovom radu emo govoriti o prime-

nama metoda Monte-Karlo koje se mogu okarakterisati kao numeriqke

metode za rexavaǌe matematiqkih problema pomou modeliraǌa sluqa-

jnih veliqina i statistiqkog oceǌivaǌa karakteristika tih veliqina.

Naziv metode potiqe od qlanka ”The Monte Carlo method” koji su 1949.

godine objavili matematiqari Stanislav Ulam i Nikolas Metropo-

lis. Smatra se da je metoda Monte Karlo korixena i ranije (npr.

poznato je da je Hol 1873.godine raqunao priblinu vrednost broja

π po tom principu). Razvoj raqunara je omoguio xiroku primenu

metode Monte Karlo jer je znatno ubrzao proces modeliraǌa vred-

nosti sluqajnih veliqina.

Neke od oblasti primene metode Monte Karlo su: biologija, geneti-

ka, ekologija, hidrologija, atomska fizika, statistiqka fizika, stati-

stika, sistemi masovnog opsluivaǌa, itd. Metode Monte-Karlo se

primeǌuju posebno u sluqajevima kada bi eksperimenti sa sistemom

koji prouqavamo bili dugotrajni ili dovodili do oxteeǌa sistema.

Problemi koji se sreu u raznim oblastima se mogu ”prevesti” ili

svesti na matematiqke probleme: rexavaǌe sistema linearnih jed-

naqina ili nejednaqina, raqunaǌe integrala(jednostrukih ili vixe-

strukih), rexavaǌe diferencijalnih jednaqina, rexavaǌe parcijal-

nih diferencijalnih jednaqina, itd. Svaki od navedenih matematiqkih

zadataka se moe rexiti i metodom Monte Karlo, xto se naroqito ko-

risti kad je teorijsko rexeǌe suvixe komplikovano ili ne moe da se

odredi, iako se zna da postoji. Metodama Monte-Karlo se mogu rexiti

i neki zadaci u kojima se klasiqne metode numeriqke matematike ne

mogu primeniti. Takoe je znaqajno da su algoritmi Monte Karlo

obiqno jednostavni i laki za programiraǌe.

3

Sluqajni brojevi

Nezavisne vrednosti (realizacije) sluqajne veliqine X sa uniform-

nom raspodelom U(0, 1) se nazivaju sluqajni brojevi.

Realizacija sluqajne veliqine ε sa diskretnom uniformnom raspode-

lom (0 1 2 . . . 9

0.1 0.1 0.1 . . . 0.1

)se naziva sluqajna cifra.

Veza izmeu sluqajnih brojeva i sluqajnih cifara je data u sledeoj

teoremi:

Teorema 1 Dekadne cifre ε1, ε2, . . . , εn sluqajnog broja x = 0.ε1ε2 . . . εn . . .

predstavǉaju nezavisne realizacije sluqajne veliqine ε sa diskretnom

uniformnom raspodelom i obratno.

Sluqajni brojevi se mogu dobiti korixeǌem nekog ”fiziqkog”

aparata (kockice, simetriqni novqi, rulet, itd.) koji se naziva ge-

nerator sluqajnih brojeva. Eksperimentalno se dobija neki niz cifara

(0 ili 1 pri bacaǌu novqia; 1,2,...,6 pri bacaǌu kockice itd.) i

onda se na odgovarajui naqin dobijeni niz cifara prevodi u broj iz

dekadnog brojnog sistema. Procedura dobijaǌa sluqajnih brojeva na

ovaj naqin je sloena i ne moe se dvaput dobiti isti niz brojeva

(xto je qesto potrebno u primenama).

Prva tablica sluqajnih cifara je objavǉena 1927. godine i sadra-

la je 41600 cifara. Rand korporacija je 1955. godine objavila tablicu

od 1 000 000 sluqajnih cifara. Evo jednog dela te tablice:

22989 64262 12716 32910

54147 01638 95954 66666

07529 10668 23743 02743

Cifre su grupisane radi lakxeg qitaǌa, a mogu se qitati sleva nade-

sno ili odozgo prema dole ili po nekom drugom pravilu, poqevxi od

bilo kojeg mesta u tablici. U tablici, po potrebi se mogu qitati

sluqajni brojevi sa izvesnim brojem decimala (npr. uzimajui redom

iz prve vrste po dve cifre dobijaju se 0.22, 0.98, 0.96,...).

Prednost tablice sluqajnih cifara je xto se moe reprodukovati

isti niz brojeva, a mane su maǌak brzine pretraivaǌa, rizik od

”iscrpǉivaǌa tabele” i to xto zauzima mnogo raqunarske memorije.

Navodimo sada nekoliko primera za dobijaǌe sluqajnih cifara.

Primer 1 Bacaǌem homogenog novqia qije su strane oznaqene sa 0

(grb) i 1 (pismo) moemo dobiti dobru tablicu sluqajnih cifara. Kao

rezultat eksperimenta dobijamo niz nula i jedinica. Odgovarajue

grupe cifara iz binarnog brojnog sistema prevodimo u dekadne cifre

0,1,2,...,9 (znaqi 0000 je 0, 0010 je 2, ..., 1001 je 9, dok se ostale qetvorke

binarnih cifara odbacuju).

Primer 2 Za generisaǌe sluqajnih brojeva se koristi i rulet - okru-

gla ploqa koja se vrti sa podeocima za brojeve. Sluqajna cifra je

podeok na koji pokae strelica posle zaustavǉaǌa ruleta ili podeok

u koji padne kuglica, ako se ona koristi. Na ruletu se moe napraviti

vixe podeoka, npr. 50 a numerixu se periodiqno 0,1,2,...,9, 0,1,2,...,9,

qime se smaǌuje odstupaǌe od idealne konstrukcije.

Primer 3 Kao generator sluqajnih brojeva moe posluiti i kǌiga:

poqevxi od bilo koje strane, brojimo reqi u redu i ako je broj reqi

paran, pixemo 0, a ako je neparan, pixemo 1.

Primer 4 Generator sluqajnih brojeva je i kocka za igru koja gener-

ixe brojeve 1, 2, 3, 4, 5, 6. Verovatnoa dobijaǌa svakog od brojeva 1− 6

je ista i iznosi 16 i poxto su bacaǌa kockice meusobno nezavisna, na

ovaj naqin dobijamo niz nezavisnih i jednako raspodeǉenih sluqajnih

cifara. Razmotrimo bacaǌe 4 kockice odjednom:

Kocka Strane su numerisane sa

1 0 1 2 3 4 5

2 0 6 12 18 24 30

3 0 36 72 108 144 180

4 0 216 432 648 864 1080

5

Sabiraǌem rezultata na 4 kocke dobijaju se sledei brojevi:

Zbir na kockama Dobijeni brojevi

1 0, 1, 2, 3, 4, 5

1, 2 0, 1, 2, ..., 35

1, 2, 3 0, 1, 2, ..., 215

1, 2, 3, 4 0, 1, 2, ..., 1295

Koristei zbirove na kockama moemo generisati sluqajne cifre

0,1,2,...,9. Sa kockama 1 i 2, sluqajna cifra se dobija kao ostatak pri

deǉeǌu zbira za 10, pri qemu se zbirovi 30-35 propuxtaju.

Zbir na dve kocke 0, 10, 20 1, 11, 21 ... 9, 19, 29 30, 31, 32, 33, 34, 35

Pixe se 0 1 ... 9 −

Svaka cifra 0-9 se tada javǉa sa jednakom verovatnoom.

Koristei 4 kocke moemo generisati odjednom tri sluqajne cifre,

pridruivaǌem na sledei naqin:

Zbir na qetiri kocke 0 1 ... 99 100 ... 999 1000, 1001, ..., 1295

Pixe se 000 001 ... 099 100 ... 999 −

Prvi metod propuxta oko 17% bacaǌa i potrebno je maǌe posla

oko sabiraǌa, a drugi metod propuxta 23% bacaǌa za vixe posla oko

sabiraǌa, ali daje vixe cifara.

6

Pseudosluqajni brojevi

Brojevi iz intervala (0,1) koji se raqunaju po nekim formulama se

nazivaju pseudosluqajni brojevi. Algoritam na osnovu kojega se dobija

niz pseudosluqajnih brojeva se zove generator pseudosluqajnih brojeva.

Dobijeni niz brojeva nije zaista sluqajan jer je u potpunosti odreen

skupom poqetnih vrednosti, ali zadovoǉava uslove sluqajnosti.

Prednost pseudosluqajnih brojeva u odnosu na sluqajne brojeve je

xto se mogu dobiti na bri i jednostavniji naqin, a imaju (skoro)

sve osobine koji sluqajni brojevi treba da imaju. Takoe se za ǌihovu

prednost smatra to xto se moe generisati isti niz brojeva vixe od

jedanput, xto znaqi da se eksperiment moe ponoviti pod identiqnim

uslovima.

Niz γ1, γ2, . . . , γk pseudosluqajnih brojeva se obiqno dobija nekom

rekurentnom formulom. Jedna od prvih primeǌivanih formula je tzv.

metod sredine kvadrata koju je predloio on von Nojman 1946. go-

dine. Neka je γm oblika 0.α1α2 . . . α2k. Kvadriramo γm, γ2m = 0.β1β2 . . . β4k

i uzimamo sredǌih 2k cifara γk+1 = 0.βk+1βk+2 . . . β3k ili formalno

zapisano 2:

γm+1 = D(10−2k · C(103k · γ2

m)),

gde D oznaqava decimalni, a C ceo deo broja.

Problem nizova pseudosluqajnih brojeva dobijenih metodom sre-

dine kvadrata je xto obiqno imaju mali period (duina niza dok ne

poqne da se ponavǉa). Neki izbori za γ1 nisu povoǉni jer se prebrzo

ponove iste vrednosti u nizu ili se dobije degenerisani niz (niz qiji

su svi qlanovi jednaki nuli).

Postoje i razne druge matematiqke formule za dobijaǌe pseudoslu-

qajnih brojeva. Jedna od ǌih se zasniva na sledeoj teoremi.

Teorema 2 Neka je g proizvoǉan prirodan broj i X sluqajna veliqina

sa uniformnom U(0, 1) raspodelom. Tada sluqajna veliqina Y = D(gX)

ima U(0, 1) raspodelu.2 Alternativni zapis: γm+1 = 10−2kC

(102k ·D(10k · γ2

m))

Tako npr. za g = 79 i x = 0.2374, y = D(79·0.2374) = 0.7546 predstavǉa

realizovanu vrednost sluqajne veliqine Y : U(0, 1).

Linearni kongruentni generator

Derik Henri Lehmer je 1948. godine osmislio linearni kongru-

entni generator. Ovaj generator proizvodi niz pseudosluqajnih bro-

jeva (Xn) koji je odreen poqetnim qlanom 3 X0, X0 > 0 i rekurentnom

formulom

Xn = (aXn−1 + b) mod m

gde su a,m i b dati prirodni brojevi, pri qemu je m > maxa, b,X0.Koristi se oznaka LKG(m, a, b,X0). Poxto je Xn odreen sa Xn−1 i

poxto postoji samo m moguih vrednosti za Xi - ove, maksimalni pe-

riod linearnog kongruentnog generatora je m.

Da bismo dobili pseudosluqajni broj (tj. broj iz intervala (0, 1))

potrebno je da svaki dobijeni broj Xn podelimo sa m, tj.

Un =Xn

m.

Maksimalan period m niza pseudosluqajnih brojeva dobijenog li-

nearnim kongruentnim generatorom se moe dobiti pri pogodnom izboru

konstanti a, b i m. Vai sledea teorema:

Teorema 3 Niz pseudosluqajnih brojeva koji se dobija linearnim kon-

gruentnim generatorom ima maksimalan period m ako su ispuǌeni

sledei uslovi:

1. Brojevi m i b su uzajamno prosti.

2. Svaki prost delilac p broja m je i delilac broja a− 1.

3. Ako je broj m deǉiv sa 4, onda je i broj a− 1 deǉiv sa 4.

Poxto raqunari koriste binarni ili dekadni brojni sistem, raz-

motriemo sluqajeve kada je m = 2β ili m = 10β, gde β oznaqava

duinu reqi odreenog raqunara.3 initial value, seed

8

1. Ukoliko je m = 2β, na osnovu prethodne teoreme, maksimalan pe-

riod niza pseudosluqajnih brojeva se dobija ako vai:

• b je neparan broj (m i b su uzajamno prosti).

• a− 1 je deǉivo sa 4, tj. a = 2r + 1, r ≥ 2.

Smatra se da se dobri statistiqki rezultati mogu postii za

m = 235, a = 27 + 1, b = 1.

2. Ukoliko je m = 10β, na osnovu prethodne teoreme, maksimalan pe-

riod niza pseudosluqajnih brojeva se dobija ako vai:

• b nije deǉivo sa 2 ili 5.

• a−1 je deǉivo sa 2, 4, 5, tj. a−1 je deǉivo sa 20, a = 10r+1, r ≥ 2.

Zadovoǉavajui statistiqki rezultati se postiu pri izboru a =

101, b = 1, r ≥ 4.

U sluqaju kada je b = 0, generator odreen rekurentnom formulom

Xn = aXn−1(mod m)

se naziva multiplikativni linearni kongruentni generator.

Poxto Xi ne moe biti jednako nuli (dobio bi se degenerisani niz),

maksimalni period multiplikativnog linearnog kongruentnog gener-

atora je m− 1.

Da bismo dobili pseudosluqajni broj potrebno je da svaki dobijeni

broj Xn podelimo sa m− 1, tj.

Un =Xn

m− 1.

U primenama se dobro pokazao multiplikativni linearni kongru-

entni generator sa m = 231−1 ili m = 261−1 (Mersen prosti brojevi).

Povoǉni izbori za a su:

• Za m = 231 − 1: a = 215 − 210 ili a = 221 − 216.

• Za m = 261 − 1: a = 230 − 219 ili a = 242 − 231.

9

Drugi linearni kongruentni generatori

Naredni qlan niza se dobija rekurentnom formulom pomou pretho-

dnih k, k ≥ 2 qlanova. Neki od primera ovakvih generatora su:

1. Multiplikativni rekurzivni generator odreen rekurentnom fo-

rmulom

Xn = (a1Xn−1 + a2Xn−2 + . . . akXn−k) mod m.

Broj prethodnih qlanova niza pomou kojih se dobija naredni qlan,

k, naziva se red generatora. Maksimalan period niza je mk − 1, za

m prost broj.

2. Fibonaqijev kongruentni generator sa korakom 4

Fibonaqijev niz Xn+2 = Xn+1 + Xn nema zadovoǉavajua svojstva

sluqajnosti, pa se koristi Fibonaqijev kongruentni generator sa

korakom

Xn = (Xn−j +Xn−k) mod m.

Ako je m prost broj i k > j, tada je maksimalan period niza mk−1.

Nelinearni kongruentni generatori

• Knutov generator 5

Xn = (dX2n−1 + aXn−1 + c) mod m.

• Blum, Blum & Xabov generator6

Xn = X2n−1 mod m.

4 Lagged Fibonacci congruential generator5 Knuth, 19986 Blum, Blum & Shub, 1986

10

Kombinovani generatori pseudosluqajnih brojeva

• Viqman - Hilov generator predstavǉa kombinaciju tri multiplika-

tivna linearna generatora

Xn = 171Xn−1 mod 30269

Yn = 172Yn−1 mod 30307

Zn = 170Zn−1 mod 30323

Un =

(Xn

30269+

Yn

30307+

Zn

30323

)mod 1.

Poqetna vrednost ovog generatora je vektor (X0, Y0, Z0). Ovaj ge-

nerator direktno vraa brojeve Un iz intervala (0, 1). Period gen-

eratora je reda 1012.

• Lekijerov generator:

Xn = 4001Xn−1 mod 2147483563

Yn = 40692Yn−1 mod 2147483399

Zn = (Xn − Yn) mod 2147483563

Un = 4.656613Zn · 10−10.

Period ovog generatora je reda 1018.

Pseudosluqajni brojevi dobijeni pomou kombinovanih generatora

imaju boǉe osobine sluqajnosti u odnosu na linearne kongruentne ge-

neratore.

11

Preliminarna analiza kvalitetageneratora pseudosluqajnih

brojeva

Oqekuje se pseudosluqajni brojevi imaju zadovoǉavajua svojstva slu-

qajnosti. Pre nego xto formalnim testiraǌem ispitamo da li je pret-

postavka o ǌihovoj sluqajnosti ispuǌena, izvrxiemo preliminarnu

analizu kvaliteta generatora pseudosluqajnih brojeva. Ova analiza

nam moe u kazati na potencijalne slabe taqke generatora.

Prvo, uporeujemo uzoraqku sredinu Xn = 1n

∑ni=1 Xi i uzoraqku

disperziju S2n = 1

n−1

∑ni=1(Xi − Xn)

2 sa matematiqkim oqekivaǌem i

disperzijom sluqajne veliqine X : U(0, 1), EX = 12 , DX = 1

12 .

Drugo, ispitujemo nezavisnost qlanova niza pseudosluqajnih bro-

jeva preko serijskih koeficijenata korelacije. Serijski koeficijent

korelacije sa korakom k se raquna na osnovu formule

rk =1

n−k

∑n−ki=1 (Xi −Ak)(Xi+k −Bk)√

1n−k

∑n−ki=1 (Xi −Ak)2 · 1

n−k

∑n−ki=1 (Xi+k −Bk)2

,

gde je Ak = 1n−k

∑n−ki=1 Xi i Bk = 1

n−k

∑n−ki=1 Xi+k.

Za dobijeni niz brojeva, raqunamo serijske koeficijente korelacije

sa korakom 1-5 (koeficijente korelacije izmeu qlanova udaǉenih

k = 1, 2, . . . 5 mesta) i oqekujemo, u skladu sa pretpostavkom nezavis-

nosti, da su ǌihove vrednosti male.

Tree, predstavǉamo uzastopne parove taqaka (Xi, Xi+1), i = 1, 2, . . . , n

na grafiku. Ravan grafika bi trebalo da je ravnomerno pokrivena

taqkama.

Primer 5 Razmotrimo multiplikativni kongruentni generator pseu-

dosluqajnih brojeva

Xn = 12Xn−1 mod 31,

sa poqetnom vrednoxu x0 = 9. Period ovog generatora je 30. Uzo-

raqka sredina je jednaka 0.517, a uzoraqka disperzija 0.086. Serijski

koeficijenti korelacije su r1 = −0.008, r2 = −0.074, r3 = −0.251, r4 =

0.236, r5 = −0.236. Koeficijenti korelacije sa koracima 3 i 4 su malo

vei za uzorak ovog obima, ali i daǉe u okviru granica.

Na sledeoj slici je prikazan grafik uzastopnih parova taqaka.

0.0 0.2 0.4 0.6 0.8 1.0

0.0

0.2

0.4

0.6

0.8

1.0

drugi[1:29]

drug

i[2:3

0]

Slika 1. Grafik uzastopnih parova taqaka generatora Xn = 12Xn−1 mod 31

Uoqavamo da ravan grafika nije ravnomerno pokrivena taqkama,

ve se taqke nalaze na 7 pravih sa k = 53 i 6 pravih sa k = −2

5 .

Primer 6 Razmotrimo jedan od poznatijih multiplikativnih kongru-

entnih generatora, RANDU odreen formulom

Xn = (216 + 3)Xn−1(mod m),

sa poqetnom vrednoxu x0 = 1.

Generisano je 1000 pseudosluqajnih brojeva. Uzoraqka sredina je

jednaka 0.511, a uzoraqka disperzija 0.082.

13

0 1 2 3 4 5

0.0

0.2

0.4

0.6

0.8

1.0

korak

serij

ski k

oef.

kore

laci

je

Slika 2. Grafik serijskih koeficijenata korelacije sa koracima 1-5

0.0 0.2 0.4 0.6 0.8 1.0

0.0

0.2

0.4

0.6

0.8

1.0

niz[1:999]

niz[

2:10

00]

Slika 3. Grafik uzastopnih parova taqaka RANDU generatora

Serijski koeficijenti korelacije su jednaki r1 = −0.028, r2 = −0.001, r3 =

−0.010, r4 = 0.069, r5 = −0.040. Koeficijent korelacije sa korakom 4

je veliki za uzorak ovog obima, van kontrolnih granica za ”dovoǉno

male” koeficijente korelacije, xto je i prikazano na Slici 2.

14

Na Slici 3 je prikazan grafik uzastopnih parova taqaka. Uoqavamo

da ravan grafika priliqno ravnomerno pokrivena taqkama.

15

Testiraǌe kvaliteta generatorapseudosluqajnih brojeva

elimo da testiramo da li niz pseudosluqajnih brojeva predstavǉa

prost sluqajan uzorak iz uniformne U(0, 1) raspodele. Kao xto je

ranije reqeno, niz pseudosluqajnih brojeva je potpuno determinis-

tiqki, ali ako proe bateriju statistiqkih testova (testovi sluqa-

jnosti, testovi slagaǌa sa uniformnom raspodelom, testovi nezavis-

nosti), moemo ga tretirati kao niz zaista sluqajnih brojeva.

Test frekvencija

Neka ε1, ε2, . . . , εn predstavǉa uzorak cifara niza pseudosluqajnih

brojeva (npr. uzima se prva decimala svakog generisanog pseudosluqa-

jnog broja). elimo da testiramo nultu hipotezu da se cifre 0− 9 ja-

vǉaju sluqajno, tj. da cifre pseudosluqajnih brojeva imaju uniformnu

diskretnu raspodelu (0 1 2 . . . 9

0.1 0.1 0.1 . . . 0.1

)Neka Mj oznaqava broj pojavǉivaǌa (frekvenciju) cifre j, j =

0, 1, 2, . . . , 9 u uzorku. Test statistika je:

S =

9∑j=0

(Mj − n

10

)2n10

,

koja, za veliko n, ima χ29 raspodelu. Kritiqne vrednosti za test-stati-

stiku su i jako velike i jako male vrednosti. Velika vrednost test

statistike znaqi da postoje velike razlike u broju pojavǉivaǌa poje-

dinih cifara. Vrlo mala vrednost test-statistike je takoe neprih-

vatǉiva jer svaki ”stvarni” niz koji ima konaqno mnogo cifara skoro

sigurno ima razliqit broj pojedinih cifara. Prema tome, kritiqna

oblast je oblika

W = [0, c1] ∪ [c2,+∞),

gde su c1 i c2 kritiqne vrednosti. Za dati prag znaqajnosti α, kritiqne

vrednosti su tada jednake

c1 = χ29;α2

, c2 = χ29;1−α

2

Ukoliko realizovana vrednost test-statistike upada u kritiqnu oblast,

odbacujemo nultu hipotezu.

Test parova

Uzmimo uzorak 2n cifara niza pseudosluqajnih brojeva (npr. uzi-

mamo prve dve decimale svakog generisanog pseudosluqajnog broja).

Oznaqimo ih redom sa ε1, ε2, . . . , ε2n. Formiramo parove ε1ε2, ε3ε4, . . . ,

ε2n−1ε2n i testiramo hipotezu da je raspodela parova diskretna uni-

formna raspodela (00 01 02 . . . 99

0.01 0.01 0.01 . . . 0.01

)

Neka Mij oznaqava broj pojavǉivaǌa para ij u nizu cifara. Test-

statistika je

S =9∑

i,j=0

(Mij − n

100

)2n

100

,

koja, za veliko n, ima χ299 raspodelu. Kritiqne vrednosti za test-

statistiku su i jako velike i jako male vrednosti, kao u sluqaju testa

frekvencija. Dakle, kritiqna oblast je oblika

W = [0, c1] ∪ [c2,+∞),

gde su c1 i c2 kritiqne vrednosti. Za dati prag znaqajnosti α, kritiqne

vrednosti su tada jednake

c1 = χ299;α2

, c2 = χ299;1−α

2

17

Serijski test

Serijski test se koristi za testiraǌe nulte hipoteze sluqajnosti

uzastopnih brojeva u generisanom nizu pseudosluqajnih brojeva.

Neka je U1 = (X1, X2), U2 = (X3, X4), . . . , Un = (X2n−1, X2n) niz uza-

stopnih parova. elimo da testiramo hipotezu da su sluqajne veli-

qine Ui nezavisne i da imaju uniformnu raspodelu na jediniqnom

kvadratu.

Podelimo jediniqni kvadrat na r2 kvadrata, svaki povrxine 1r2 i

oznaqimo sa Vkj broj parova koji upadaju u kvadrat (element ”ma-

trice”) (j − 1

r,j

r

)×(k − 1

r,k

r

), j = 1, 2, . . . , r, k = 1, 2, . . . , r.

Test-statistika je

V =r2

n

r∑k,j=1

(Vk,j −

n

r2

)2i, za veliko r ima χ2

r2−1 raspodelu. Kritiqna oblast je oblika

W = [c,+∞)

Za prag znaqajnosti α, nalazimo kritiqnu vrednost c = χ2r2−1;1−α.

Test razmaka 7


brojeva. elimo da testiramo hipotezu o sluqajnosti dobijenih ci-

fara.

U dobijenom nizu cifara brojimo duine razmaka izmeu pojavǉi-

vaǌa dve iste cifre.

Neka sluqajna veliqina X predstavǉa duinu razmaka dok se ne

pojavi ista cifra. Sluqajna veliqina X ima geometrijsku raspodelu

G(0.1) sa zakonom raspodele

pk = PX = k = 0.9k0.1.

7 Gap test

18

Pomou Pirsonovog χ2 testa testiramo da li raspodela G(0.1) odgo-vara duini razmaka izmeu pojavǉivaǌa istih cifara u generisanom

nizu pseudosluqajnih brojeva.

Duine razmaka podelimo na k intervala (klasa) duine l, l > 1.

Imaemo intervale [0, l), [l, 2l), . . . , [(k − 1)l, kl]. Oznaqimo sa Mj , broj

pojavǉivaǌa uzoraqkih duina razmaka u j - tom intervalu. Test-

statistika jek∑

j=1

(Mj − npj)2

npj, j = 1, 2, . . . , k

gde su verovatnoe pj jednake

pj = PX ∈ [(j − 1)l, jl) =

jl−1∑k=(j−1)l

0.9k0.1 = 0.9(j−1)l(1− 0.9l).

Za veliko n, test-statistika ima χ2k−1 raspodelu. Kritiqna oblast

je oblika

W = [c,+∞) = [χ2k−1;1−α,+∞)

gde je α unapred odabrani prag znaqajnosti.

Poker test


brojeva. elimo da testiramo hipotezu o sluqajnosti dobijenih ci-

fara.

Formiraju se grupe po k cifara (k-torke cifara, k = 3, 4) i po-

smatra se broj istih cifara u svakoj grupi. Razmotriemo triling

varijantu testa kada uzimamo m = 3n cifara i formiramo trojke

ε1ε2ε3, ε4ε5ε6, . . . , ε3n−2ε3n−1ε3n. Brojimo iste cifre u formiranim tro-

jkama cifara.

Neka je X sluqajna veliqina koja predstavǉa broj istih cifara u

trocifrenim brojevima. Tada je

p0 = PX = 0 = Psve cifre su razliqite = 0.9 · 0.8 = 0.72

p3 = PX = 3 = Psve cifre su iste = 0.1 · 0.1 = 0.01

p2 = PX = 2 = Pjedan par istih cifara = 1− 0.72− 0.01 = 0.27.

19

Funkcija raspodele sluqajne veliqine je tada jednaka

F (x) =

0, x < 0

0.72, 0 ≤ x < 2

0.99, 2 ≤ x < 3

1, x ≥ 3

Pomou Pirsonovog χ2 testa testiramo da li raspodela F odgovara

broju istih cifara u trojkama cifara niza pseudosluqajnih brojeva.

Oznaqimo sa Mj , j = 0, 2, 3 broj pojavǉivaǌa j-istih cifara u do-

bijenom nizu cifara. Test-statistika je tada jednaka

3∑j=1

(Mj − npj)2

npj,

koja ima, za veliko n, χ22 raspodelu.

Kritiqna oblast je oblika

W = [c,+∞) = [χ22;1−α,+∞)

gde je α unapred odabrani prag znaqajnosti.

Test Kolmogorova

Neka je X1, X2, . . . , Xn uzorak pseudosluqajnih brojeva. elimo da

testiramo hipotezu da niz pseudosluqajnih brojeva ima uniformnu

U(0, 1) raspodelu. Formiramo varijacioni niz X(1) ≤ X(2) ≤ . . . ≤ X(n).

Oznaqimo sa F funkciju uniformne U(0, 1) raspodele i sa Fn empiri-

jsku funkciju raspodelu,

Fn(x) =

0, ako je x < X(1)

kn , ako je X(k−1) ≤ x < X(k), k = 1, 2, . . . , n

1, ako je x ≥ X(n)

. Test-statistika je jednaka

Dn = supx∈R

|Fn(x)− F (x)|.

20

Kolmogorov je pokazao da za neprekidne funkcije raspodele vai

limn→∞

P√n ·Dn ≤ λ = lim

n→∞PDn ≤ λ√

n = K(λ) =

+∞∑k=−∞

(−1)ke−2k2λ2

,

za svako λ > 0. Konvergencija je brza i aproksimacija zadovoǉavajua

ve za n ≥ 20.

Naravno, K(λ) = 0 za svako λ ≤ 0. Sa K(λ) odreena je tzv. raspodela

Kolmogorova.

Neka je dn realizovana vrednost test statistike. Velike vrednosti

dn govore u prilog nesaglasnosti empirijske (uzoraqke) raspodele sa

raspodelom F . Prema tome, kritiqna oblast je oblika

W = [c,+∞) = [dn;α,+∞).

Kritiqnu vrednost c nalazimo iz tablica Kolmogorovǉeve raspodele.

Test koraka 8


testiramo hipotezu o sluqajnosti.

Formiramo novi niz pluseva i minuseva: ukoliko je Xj > Xi, j > i

upisujemo znak + a ukoliko je Xj < Xi, j > i, znak −. Neka je n1 ukupan

broj pluseva i n2 ukupan broj minuseva. Imamo da je obim uzorka n =

n1 + n2. Ukoliko je uzorak brojeva sluqajan, + i − e se javiti sa

istom verovatnoom.

Korakom smatramo svaki podniz istih elemenata, tj. seriju plu-

seva ili minuseva. Test-statistika R predstavǉa ukupan broj koraka

u nizu pseudosluqajnih brojeva.

Matematiqko oqekivaǌe i disperzija test-statistike R su, redom,

jednaki

E(R) =2n1n2

n1 + n2+ 1

D(R) =2n1n2(2n1n2 − n1 − n2)

(n1 + n2)2(n1 + n2 − 1).

8 Runs test

21

Statistika

R∗ =R− E(R)√

D(R)

ima priblino normalnu N (0, 1) raspodelu, ako je n1 ili n2 vee od

20.


W = (−∞,−c] ∪ [c,+∞),

, gde je c = F−1(1− α2 ), za dati prag znaqajnosti α.

Test autokorelacija


testiramo hipotezu da su sluqajne veliqine Xi, i = 1, 2, . . . , n neza-

visne.

Raqunamo autokorelacije izmeu svakih m qlanova niza Xi, Xi+m,

Xi+2m, . . . , Xi+(M+1)m, gde je M najvei prirodan broj tako da vai

i+ (M + 1)m ≤ n. Testiramo nultu hipotezu

H0 : ρim = 0 protiv H1 : ρim = 0,

gde ρim predstavǉa autokorelaciju izmeu svakih m qlanova niza,

poqevxi od i-tog qlana.

Test statistika je

Z0 =ρimσρim

,

gde je

ρim =1

M + 1

M∑k=0

Xi+kmXi+(k+1)m − 0.25

ocena autokorelacije ρim, a

σim =

√13M + 7

12(M + 1)

ocena ǌene disperzije.

Ukoliko je taqna nulta hipoteza, raspodela test-statistike se moe

aproksimirati normalnom raspodelom N (0, 1).

22


W = (−∞,−c] ∪ [c,+∞)

Kritiqna vrednost c se nalazi, za dati prag znaqajnosti α na os-

novu c = F−1(1− α2 ), gde je F funkcija N (0, 1) raspodele.

Treba naglasiti da nijedan test za proveru kvaliteta generatora

pseudosluqajnih brojeva nije ni sveobuhvatan ni svemoan. Ako niz

pseudosluqajnih cifara ”proe” jedan test, ne znaqi da e proi neki

drugi test.

Preporuquje se i konstruisaǌe prigodnih testova u zavisnosti od

prirode problema za koji koristimo generisane pseudosluqajne bro-

jeve. Na primer, ako je od posebnog znaqaja da se ne pojavi zavisnost

meu generisanim ciframa, treba niz pseudosluqajnih brojeva prove-

riti nekim testom vezanim za proveru nezavisnosti.

23

Modeliraǌe sluqajnih dogaajai diskretnih sluqajnih veliqina

Modeliraǌe (ili simulacija ) sluqajne veliqine je odreivaǌe neza-

visnih realizacija izabrane sluqajne veliqine pomou dobijenog niza

(pseudo)sluqajnih brojeva.

Modeliraǌe diskretnih sluqajnih veliqina sakonaqno mnogo vrednosti

Neka je X diskretna sluqajna veliqina sa konaqno mnogo vrednosti

i neka je poznat zakon raspodele:PX = xk = pk, k = 1, 2, . . . , n, tj.

sluqajna veliqina X uzima vrednost xk sa verovatnoom pk. Zakon

raspodele se moe zapisati i u obliku:

X :

(x1 x2 . . . xn

p1 p2 . . . pn

),

n∑k=1

pk = 1.

Neka je γ jedan (pseudo)sluqajni broj. Ako je γ ≤ p1 , smatra se

da se realizovala vrednost x1 sluqajne veliqine X. Ako je p1 < γ ≤p1 + p2 , smatra se da se realizovala vrednost x2 sluqajne veliqine

X,.., ako je p1 + p2 + . . .+ pn−1 < γ realizovala se vrednost xn . Znaqi

da se za dobijaǌe jedne realizacije sluqajne veliqine koristi jedan

(pseudo)sluqajni broj.

Modeliraǌe sluqajnih dogaaja

Na osnovu postupka za modeliraǌe diskretnih sluqajnih veliqina

se mogu modelirati i realizacije sluqajnih dogaaja. Ako je verovatno-

a dogaaja A jednaka p, tada je indikator dogaaja A sluqajna veliqina

IA :

(1 0

p 1− p

)

Ukoliko je γ ≤ p, realizovala se vrednost 1 indikatora, a ako je p < γ,

realizovala se vrednost 0. Modeliraǌem te sluqajne veliqine dobija

se da se dogaaj A realizovao ako je dobijena modelirana vrednost 1,

a da se dogaaj A nije realizovao ako je dobijena modelirana vrednost

0.

Neka su A1, A2, . . . , An disjunktni dogaaji (AiAj = 0, i = j) i P (Ai) =

pi, i = 1, 2, . . . , n. Oznaqimo sa ξ indeks dogaaja koji se realizovao.

Sluqajna veliqina ξ ima tada zakon raspodele

ξ :

(1 2 . . . n

p1 p2 . . . pn

)

Modeliramo vrednosti diskretne sluqajne veliqine ξ. Ukoliko je do-

bijena vrednost ξ = i, realizovao se dogaaj Ai, i = 1, 2, . . . , n.

Primer 7 Neka su A i B dva nezavisna dogaaja, P (A) = pA, P (B) =

pB. Dogaaje A i B moemo modelirati na dva naqina.

1. Neka su γ1 i γ2 dva nezavisna (pseudo)sluqajna broja. Ako je γ1 ≤ pA

realizovao se dogaaj A i ako je γ2 ≤ pB, realizovao se dogaaj B.

2. Razmotrimo sledee disjunktne dogaaje

A1 = AB, A2 = AB ,A3 = AB, A4 = A B,

sa odgovarajuim verovatnoama, redom,

p1 = pApB , p2 = pA(1− pB), p3 = (1− pA)pB , p4 = (1− pA)(1− pB).

Pomou (pseudo)sluqajnog broja γ modeliramo sluqajnu veliqinu

ξ :

(1 2 3 4

p1 p2 p3 p4

)

Ukoliko je dobijena vrednost ξ = i, realizovao se dogaaj Ai, i =

1, 2, 3, 4.

Primer 8 Neka su A i B zavisni dogaaji, P (A) = pA, P (B) = pB , P (AB) =

pAB. Dogaaje A i B moemo modelirati na dva naqina.

1. Koristimo dva (pseudo)sluqajna broja γ1 i γ2 za modeliraǌe do-

gaaja A i B. Pomou broja γ1 modeliramo dogaaj A. Ukoliko se

25

realizovao dogaaj A, verovatnoa da se realizovao dogaaj B je

jednaka P (B|A) = pAB

pA. Ako je γ2 ≤ P (B|A), realizovao se dogaaj B.

Ako se nije realizovao dogaaj A, verovatnoa da se realizovao

dogaaj B je P (B|A) = pB−pAB

1−pA. Ako je γ2 ≤ P (B|A), realizovao se

dogaaj B.

2. Neka su dogaaji A1, A2, A3 i A4 definisani kao u prethodnom prime-

ru sa verovatnoama jednakim, redom,

p1 = pAB , p2 = pB − pAB , p3 = pA − pAB , p4 = 1− pA − pB + pAB .

Pomou (pseudo)sluqajnog broja γ modeliramo sluqajnu veliqinu

ξ :

(1 2 3 4

p1 p2 p3 p4

)

Ukoliko je dobijena vrednost ξ = i, realizovao se dogaaj Ai, i =

1, 2, 3, 4.

Modeliraǌe binomne raspodele

Neka je verovatnoa realizacije nekog dogaaja A u svakom ekspe-

rimentu jednaka p. Sluqajna veliqina Sn koja je jednaka broju rea-

lizacija dogaaja A u n nezavisnih eksperimenata ima binomnu raspode-

lu B(n, p). ǋen zakon raspodele je:

pk = PSn = k =

(n

k

)pk(1− p)n−k, k = 0, 1, . . . , n.

Na osnovu definicije, Sn se moe predstaviti kao zbir nezavisnih

sluqajnih veliqina Ik koje sve imaju istu raspodelu i predstavǉaju

indikator dogaaja A u k-tom eksperimentu:

Sn =n∑

k=1

Ik.

Modeliraju se vrednosti za Ik, k = 1, 2, . . . , n i saberu se. Dobi-

jeni broj je realizovana vrednost sluqajne veliqine Sn. Prednost

ovog postupka je xto se ne moraju raqunati verovatnoe pk iz zakona

26

raspodele za Sn, a nedostatak je xto je potrebno n (pseudo)sluqajnih

brojeva za dobijaǌe jedne realizacije sluqajne veliqine.

Modeliraǌe diskretnih sluqajnih veliqina saprebrojivo mnogo vrednosti

Neka je X diskretna sluqajna veliqina sa prebrojivo mnogo vre-

dnosti i neka je poznat ǌen zakon raspodele:

X :

(x1 x2 . . . xn . . .

p1 p2 . . . pn . . .

),

∞∑k=1

pk = 1.

Neka je n prirodni broj takav da je pn+1 + pn+2 + . . . < δ , gde je δ

proizvoǉno mali (unapred izabrani) pozitivan realni broj. Umesto

sluqajne veliqine X posmatra se zaseqena sluqajna veliqina

X∗ :

(x1 x2 . . . xn

p1 p2 . . . pn∗

),

gde je pn∗ = 1− p1 − . . .− pn−1 . Vrednost ove sluqajne veliqine se mo-

delira na naqin koji je ve opisan za modeliraǌe vrednosti diskretne

sluqajne veliqine sa konaqno mnogo vrednosti. Na taj naqin se nee

dobiti ni jedna od vrednosti sluqajne veliqine X koja je vea od

xn. Meutim, verovatnoa dobijaǌa bilo koje vrednosti vee od xn

je maǌa od δ, a kako je δ unapred izabrani vrlo mali pozitivan broj,

to su i verovatnoe dobijaǌa vrednosti sluqajne veliqine X koje su

vee od xn zanemarǉivo male. U zavisnosti od zadatka koji se rexava

i broja vrednosti koje je potrebno modelirati bira se δ.

Modeliraǌe geometrijske raspodele

Neka je verovatnoa realizacije nekog dogaaja A u svakom eksperi-

mentu jednaka p i neka se eksperimenti ponavǉaju (pri istim uslovima)

27

dok se prvi put ne ostvari dogaaj A. Sluqajna veliqina X koja je jed-

naka broju izvedenih eksperimenata ima geometrijsku raspodelu. ǋen

zakon raspodele je:

X :

(1 2 . . . n . . .

p (1− p)p . . . (1− p)n−1p . . .

),

odnosno pk = PX = k = (1− p)k−1p, k = 0, 1, 2, . . ..

Ova sluqajna veliqina se modelira tako xto, za izabrani pozi-

tivni broj δ i poznatu verovatnou p, se odredi najmaǌi prirodni

broj koji zadovoǉava nejednakost

n0 >ln δ

ln (1− p).

Formira se zaseqena sluqajna veliqina:

X∗ :

(1 2 . . . n0

p (1− p)p . . . p∗n0

),

gde je p∗n0= 1 −

(p+ (1− p)p+ . . . (1− p)n0−2p

), a zatim se modelira ko-

rixeǌem postupka za modeliraǌe diskretnih sluqajnih veliqina sa

konaqno mnogo vrednosti.

Primer 9 Modelirajmo vrednost sluqajne veliqine X koja predstavǉa

broj gaaǌa u metu, gde je verovatnoa pogotka pri svakom gaaǌu

p = 0.6. Uzmimo da je δ = 0.001. Nalazimo da je n0 = 8 i formiramo

zaseqenu sluqajnu veliqinu

X∗ :

(1 2 . . . 8

0.6 0.24 . . . p∗n0

),

gde je p∗n0= 1−

(0.6 + 0.24 + . . . 0.46 · 0.6

)= 0.0016. Korixeǌem Mersen-

Tvister generatora u statistiqkom softveru R, dobijamo pseudosluqa-

jni broj γ = 0.4813. Kako je γ ≤ p, realizovala se vrednost x = 1 sluqa-

jne veliqine X.

28

Modeliraǌe Puasonove raspodele

Sluqajna veliqina X ima Puasonovu raspodelu sa parametrom λ,

λ > 0, ako je ǌen zakon raspodele oblika:

pk = PX = k = e−λλk

k!, k = 0, 1, 2, . . . .

Ova sluqajna veliqina se modelira tako xto se, za izabrani pozi-

tivni broj n0 i poznati parametar λ, odredi najmaǌi prirodni broj

koji zadovoǉava nejednakost

e−λ λn0+1

(n0 + 1)!

n0 + 2

n0 + 2− λ< δ.

Formira se zaseqena sluqajna veliqina

X∗ :

(0 1 . . . n0

p0 p1 . . . p∗n0

),

gde je pk = e−λ λk

k! , k = 0, 1, . . . , n0 − 1, p∗n0= 1 −

∑n0−1k=0 pk i zatim se

modelira korixeǌem postupka za modeliraǌe diskretnih sluqajnih

veliqina sa konaqno mnogo vrednosti.

29

Modeliraǌe neprekidnihsluqajnih veliqina

Metoda inverzne funkcije

Neka je X neprekidna sluqajna veliqina sa funkcijom rapodele F ,

za koju se moe odrediti inverzna funkcija. Modeliraǌe vrednosti

sluqajne veliqine X se moe ostvariti na osnovu sledee teoreme.

Teorema 4 Neka je data sluqajna veliqina X qija je funkcija raspode-

le F strogo monotona i neprekidna i neka je F−1 ǌena inverzna funkci-

ja. Neka je Y sluqajna veliqina sa uniformnom raspodelom U(0, 1).Tada sluqajna veliqina F−1(Y ) ima funkciju raspodele F .

Dakle, realizovana vrednost x sluqajne veliqine X se dobija pomou

jednog (pseudo)sluqajnog broja γ, po formuli x = F−1(γ).

Modeliraǌe eksponencijalne raspodele

Sluqajna veliqina X ima eksponencijalnu raspodelu sa parametrom

λ > 0, u oznaci X : E(λ), ako je ǌena funkcija raspodele oblika:

F (x) = 1− e−λx, x ≥ 0.

Primeǌuje se metoda inverzne funkcije. Ako je γ (pseudo)sluqajni

broj, tada je modelirana vrednost sluqajne veliqine X jednaka x =

− 1λ ln (1− γ). Ovaj izraz se moe pojednostaviti korixeǌem sledee

osobine uniformne raspodele.

Tvreǌe 1 Ako sluqajna veliqina Y ima uniformnu raspodelu U(0, 1),tada i sluqajna veliqina 1− Y ima uniformnu raspodelu U(0, 1).

Na taj naqin se dobija jednostavna formula za modeliraǌe vre-

dnosti eksponencijalne raspodele x = − 1λ ln γ.

Nojmanova metoda

Za sluqajne veliqine qija je gustina raspodele f razliqita od nule

i ograniqena na konaqnom intervalu, modeliraǌe se moe ostvariti

na osnovu sledee teoreme.

Teorema 5 Neka je gustina raspodele f sluqajne veliqine X defi-

nisana na konaqnom intervalu (a, b) i neka je f(x) ≤ M, x ∈ (a, b).

Neka su xT i yT modelirane vrednosti nezavisnih sluqajnih veliqina

sa raspodelama, redom, U(a, b) i U(0,M). Ako je yT < f(xT ) , tada je

realizovana vrednost sluqajne veliqine X jednaka xT .

Da bi se Nojmanovom metodom dobila jedna realizacija sluqajne

veliqine koja se modelira, potrebna su bar dva (pseudo)sluqajna broja.

Ako nejednakost yT < f(xT ) nije zadovoǉena, treba modelirati sledei

par vrednosti xT i yT , itd. dok se ne dobije par vrednosti xT i yT

koji zadovoǉava uslove teoreme.

Nojmanova metoda se moe primeniti i na sluqajne veliqine qija je

gustina raspodele razliqita od nule na beskonaqnom intervalu, ali

prvo je potrebno formirati odgovarajuu zaseqenu sluqajnu veliqinu.

Neka sluqajna veliqina X ima gustinu raspodele f(x), a′ < x < b′,

tj. neka je∫ b′

a′ f(x)dx = 1 . Za sluqajnu veliqinu XZ se kae da ima

zaseqenu gustinu raspodele f ako su vrednosti sluqajne veliqine XZ

iz intervala (a, b) ⊂ (a′, b′), a ǌena gustina raspodele proporcionalna

gustini raspodele f . Ako se sa fZ oznaqi gustina raspodele sluqajne

veliqine XZ , tada je

fZ(x) =f(x)∫ b

af(x)dx

, x ∈ (a, b).

Primeuje se da vai fZ(x) > f(x), x ∈ (a, b) Interval (a, b) se bira

tako da vai

1−∫ b

a

f(x)dx < δ,

gde je δ unapred odabrani mali pozitivan broj.

Primer 10 Neka je X sluqajna veliqina sa gustinom raspodele fX(x) =1x , x ∈ (1, e). Gustina raspodele f je ograniqena, f(x) ≤ 1, x ∈ (1, e).

31

Za dva pseudosluqajna broja γ1 = 0.292 i γ2 = 0.382, dobijaju se mo-

delirane vrednosti xT = 1 + (e − 1) · γ1 = 1.502 sluqajne veliqine iz

U(1, e) raspodele i yT = 0.382 sluqajne veliqine iz U(0, 1) raspodele.

Kako je yT < f(xT ) = 0.666, realizovala se vrednost x = 1.502 sluqajne

veliqine X.

Modeliraǌe vixedimenzionih sluqajnih veliqina

Modeliraǌe n-dimenzione sluqajne taqke sa nezavisnimkoordinatama

Ukoliko su koordinate n-dimenzione sluqajne veliqine Q = (X1, X2,

. . . , Xn) nezavisne, tada je funkcija raspodele sluqajne veliqine Q je-

dnaka

FQ(x1, x2, . . . , xn) = F1(x1)F2(x2) · · ·Fn(xn),

gde je Fi(xi), i = 1, 2, . . . , n funkcija raspodele sluqajne veliqine Xi. U

tom sluqaju, moemo modelirati nezavisno svaku sluqajnu veliqinu

Xi.

Primer 11 Neka je Q sluqajna taqka sa Dekartovim koordinatama

(X1, X2, . . . , Xn) ravnomerno raspodeǉenim na n-dimenzionom paralelepi-

pedu Π = ai < xi < bi, i = 1, 2, . . . , n. Gustina raspodele sluqajne taqke

Q je jednaka

fQ(x1, x2, . . . , xn) =

1∏n

i=1(bi−ai), (x1, x2, . . . , xn) ∈ Π

0, (x1, x2, . . . , xn) /∈ Π

Gustina sluqajne veliqine Xi je jednaka

fi(xi) =

1

bi−ai, xi ∈ (ai, bi)

0, xi /∈ (ai, bi)

a funkcija raspodele

Fi(xi) =xi − aibi − ai

, xi ∈ (ai, bi).

32

Na osnovu metode inverzne funkcije Fi(xi) = γi dobijamo

xi = ai + γi(bi − ai), i = 1, 2, . . . , n.

Modeliraǌe n-dimenzione sluqajne taqke sa zavisnimkoordinatama

U opxtem sluqaju, kada su koordinate (X1, X2, . . . , Xn) sluqajne taqke

Q zavisne, zajedniqku gustinu raspodele moemo predstaviti kao

fQ(x1, x2, . . . , xn) = f1(x1) · f2(x2|x1) · f3(x3|x1, x2) · · · fn(xn|x1, x2, . . . , xn−1).

Tada imamo

f1(x1) =

∫ +∞

−∞. . .

∫ +∞

−∞fQ(x1, x2, . . . , xn)dx2 . . .dxn

f2(x2|x1) =

∫ +∞−∞ . . .

∫ +∞−∞ fQ(x1, x2, . . . , xn)dx3 . . . dxn

f1(x1)

f3(x3|x1, x2) =

∫ +∞−∞ . . .

∫ +∞−∞ fQ(x1, x2, . . . , xn)dx4 . . . dxn

f1(x1) · f2(x2|x1)

...

fn−1(xn−1|x1, . . . , xn−2) =

∫ +∞−∞ fQ(x1, x2, . . . , xn)dxn

f1(x1) · · · fn−2(xn−2|x1, . . . xn−3)

fn(xn|x1, . . . , xn−1) =fQ(x1, x2, . . . , xn)

f1(x1) · · · fn−1(xn−1|x1, . . . xn−2)

Definiximo uslovnu funkciju raspodele

Fi(xi|x1, . . . , xi−1) =

∫ xi

−∞fi(x|x1, . . . , xi−1)dx.

Teorema 6 Neka su U1, U2, . . . , Un nezavisni (pseudo)sluqajni brojevi.

Sluqajne veliqine X1, X2, . . . , Xn koje se dobijaju kao rexeǌa sistema

F1(X1) = U1

F2(X2|X1) = U2

...

Fn(Xn|X1, . . . Xn−1) = Un.

imaju zajedniqku gustinu raspodele fQ(x1, x2, . . . , xn).

33

Primer 12 Razmotrimo sluqajnu taqku (ξ, η) koja uzima vrednosti u

trouglu ∆ = (x, y) : x + y < 1, x > 0, y > 0 s gustinom raspodele

f(x, y) = 6x.

a) Napiximo zajedniqku funkciju raspodele kao

fQ(x, y) = fX(x)fY (y|x).

Marginalne gustine raspodele su jednake

fX(x) =

∫ 1−x

0

6xdy = 6x(1− x), 0 < x < 1,

fY (y|x) =f(x, y)

fX(x)=

1

1− x, 0 < y < 1− x.

Odgovarajue funkcije raspodele su jednake

FX(x) =

∫ x

0

6u(1− u)du = 3x2 − 2x3, 0 < x < 1,

FY (y|x) =∫ y

0

1

1− xdy =

y

1− x, 0 < y < 1− x.

Dobijamo sistem jednaqina

3x2 − 2x3 = γ1

y = γ2(1− x).

koji je malo nezgodniji za rexavaǌe.

b) Napiximo gustinu raspodele kao

fQ(x, y) = fY (y) · fX(x|y).

Marginalne gustine raspodele su jednake

fY (y) =

∫ 1−y

0

6xdx = 3(1− y)2, 0 < y < 1

fX(x|y) = 2x

(1− y)2, 0 < x < 1− y,

a odgovarajue funkcije raspodele su jednake

FY (y) =

∫ y

0

3(1− u)2du = 1− (1− y)3, 0 < y < 1,

FX(x|y) =∫ x

0

2u

(1− y)2du =

x2

(1− y)2, 0 < x < 1− y.

34

Dobijamo (koristimo γ1 umesto 1− γ1)

(1− y)3 = γ1

x2 = γ2(1− y)2,

odnosno

y = 1− 3√γ1

x =√γ2 · 3

√γ1,

Modeliraǌe vixedimenzione sluqajne veliqine korixeǌemsmene promenǉivih

Primer 13 Sluqajna taqka Q = (X,Y, Z) je ravnomerno raspodeǉena

na lopti x2 + y2 + z2 < R2. Gustina raspodele sluqajne veliqine Q je

jednaka

fQ(x, y, z) =3

4

1

πR3.

Prelazimo na sferne koordinate

x = r sin θ cosφ

y = r sin θ sinφ

z = r cos θ

U novim koordinatama sfera se preslikava u paralelepiped 0 ≤ r <

R, 0 ≤ θ < π, 0 ≤ φ < 2π. Jakobijan preslikavaǌa je jednak J = r2 sin θ

i zajedniqka gustina novih koordinata je

fQ(r, θ, φ) =3

4

r2 sin θ

πR3.

Ova gustina predstavǉa proizvod tri gustine sfernih koordinata

RQ, ΘQ, ΦQ,redom,

fQ(r, θ, φ) =3r2

R3

sin θ

2

1

2π

35

i prema tome, sferne koordinate RQ, ΘQ, ΦQ taqke Q su nezavisne.

Imamo ∫ rQ

0

3r2dr

R3=

r3QR3

= γ1∫ θQ

0

sin θ

2dθ =

1

2(1− cos θQ) = 1− γ2∫ φQ

0

1

2πdφ =

φQ

2π= γ3,

odakle se dobija

rQ = R 3√γ1

cos θQ = 2γ2 − 1

φQ = 2πγ3

Dekartove koordinate taqke Q su

x = rQ sin θQ cosφQ

y = rQ sin θQ sinφQ

z = rQ cos θQ

Metoda superpozicije

Neka sluqajna veliqina X ima funkciju raspodele F koja se moe

napisati u obliku

F (x) =

m∑k=1

ckFk(x), (1)

gde su Fk(x) funkcije raspodele, koeficijenti ck > 0,∑m

k=1 ck = 1.

Daǉe, neka je Y diskretna sluqajna veliqina sa zakonom raspodele

Y :

(1 2 . . . m

c1 c2 . . . cm

)

36

Teorema 7 Neka su γ1 i γ2 nezavisni (pseudo)sluqajni brojevi. Ako na

osnovu γ1 modeliramo vrednost sluqajne veliqine Y , a zatim na osnovu

Fk(x) = γ2 modeliramo X, tada sluqajna veliqina X ima funkciju

raspodele F .

Primer 14 Sluqajna veliqina X ima gustinu raspodele

f(x) =5

12

(1 + (x− 1)4

), x ∈ (0, 2).

Funkcija raspodele sluqajne veliqine X je

F (x) =5

12x+

(x− 1)5

12+

1

12.

Ukoliko koristimo metod inverzne funkcije, dobijamo

(x− 1)5 + 5x = 12γ − 1,

pa bi bilo potrebno rexiti jednaqinu petog stepena za nalaeǌe vred-

nosti sluqajne veliqine X.

Razloimo metodom superpozicije funkciju raspodele na

F (x) =5

6F1(x) +

1

6F2(x),

gde je F1(x) =x2 i F2(x) =

12 (x− 1)5 + 1

2 . Sluqajna veliqina Y ima tada

zakon raspodele

Y :

(1 256

16

)Na osnovu prethodne teoreme dobijamo

x =

2γ2, ako je γ1 ≤ 5

6

1 + 5√2γ2 − 1, ako je γ1 > 5

6

37

Modifikovani metod superpozicije

Modifikovani metod superpozicije nam omoguava da za modeli-

raǌe vrednosti sluqajne veliqine X koristimo samo jedan (pseudo)slu-

qajni broj.

Teorema 8 Neka su γ1 i γ2 nezavisni (pseudo)sluqajni brojevi. Ako

na osnovu γ1 modeliramo vrednost sluqajne veliqine Y , a zatim mo-

deliramo vrednost sluqajne veliqine X na osnovu Fk(x) = θ, gde je

θ =(γ−

∑k−1j=1 cj)

cktada X ima funkciju raspodele F , gde je F oblika (1).

Primer 15 Neka je X sluqajna veliqina sa gustinom raspodele datom

u Primeru 12. Imamo da je θ = 65γ za y = 1 i θ = 6γ−5 za y = 2. Dobijamo

x =

125 γ, ako je γ ≤ 5

6

1 + 5√12γ − 11, ako je γ > 5

6

Modeliraǌe normalne raspodele

Metoda inverzne funkcije nije primenǉiva za modeliraǌe normalne

raspodele jer je, kao xto je poznato, gustina raspodele sluqajne veli-

qine X sa normalnom raspodelom N (m,σ2), qiji su parametri m i

σ > 0, oblika

f(x) =1

σ√2π

e−(x−m)2

2σ2 , x ∈ R

pa se ǌena inverzna funkcija ne moe izraziti preko elementarnih

funkcija.

Modeliraǌu vrednosti normalne raspodele se posveuje posebna

paǌa zbog znaqaja i qeste primene normalne raspodele. S obzirom

na tvreǌe

Tvreǌe 2 Ako sluqajna veliqina X ima normalnu raspodelu N (m,σ2),

tada sluqajna veliqina Y = X−mσ ima normalnu normiranu raspodelu

N (0, 1).

38

dovoǉno je navesti postupke modeliraǌa sluqajne veliqine koja ima

normalnu normiranu raspodelu N (0, 1).

Modeliraǌe normalne raspodele na osnovu centralnegraniqne teoreme

Neka su date nezavisne sluqajne veliqine Y1, Y2, . . . koje imaju uni-

formnu raspodelu U(0, 1). Tada sluqajna veliqina Sn =∑n

j=1 Yj ima

matematiqko oqekivaǌe i disperziju, redom, E(Sn) =n2 , D(Sn) =

n12 , pa

prema centralnoj graniqnoj teoremi za sluqajnu veliqinu

ξ(n) =Sn − E(Sn)√

D(Sn)=

√3

n

n∑j=1

(Yj − 1)

vai

Pξ(n) ≤ x →n→∞1√2π

∫ x

−∞e−

t2

2 .

Konvergencija je brza i ve se za n = 12 dobijaju vrlo mala odstu-

paǌa , pa ako su γ1, . . . , γ12 (pseudo)sluqajni brojevi, moe se smatrati

da je ξ(12) =∑1

j=1 2γj − 6 realizovana vrednost sluqajne veliqine sa

normalnom normiranom paspodelom N (0, 1). Na ovaj naqin za modeli-

raǌe jedne vrednosti sluqajne veliqine sa normalnom normiranom

raspodelom N (0, 1) je potrebno 12 (pseudo)sluqajnih brojeva.

Modeliraǌe normalne raspodele korixeǌem polarnihkoordinata

Normalna normirana raspodela se moe modelirati i prelaskom

na polarne koordinate. Vai sledee tvreǌe.

Tvreǌe 3 Ako su Y1 i Y2 nezavisne sluqajne veliqine sa uniformnom

raspodelom U(0, 1), tada su sluqajne veliqine

Z1 =√−2 lnY1 · cos(2πY2) i Z2 =

√−2 lnY1 · sin(2πY2)

nezavisne sa normalnim normiranim raspodelama.

39

Dakle, ako su γ1 i γ2 dva (pseudo)sluqajna broja, pomou ǌih se

dobijaju realizacije x1 i x2 dve nezavisne sluqajne veliqine sa nor-

malnom normiranom raspodelom, po formulama

x1 =√

−2 ln γ1 · cos(2πγ2) i x2 =√−2 ln γ1 · sin(2πγ2).

Modeliraǌe normalne raspodele korixeǌem jedneeksponencijalne raspodele

Neka su sluqajne veliqine Y : U(0, 1) i V : E(1) nezavisne. Ako je

Y ≤ e−(V −1)2

2 , tada se za realizaciju sluqajne veliqine X sa normalnom

normiranom raspodelom uzima vrednost sluqajne veliqine V .

Ovaj postupak za modeliraǌe jedne vrednosti normalne normirane

raspodele zahteva korixeǌe bar dva (pseudo)sluqajna broja γ1 i γ2.

Pomou γ2 se modelira vrednost v = − ln γ2 sluqajne veliqine V . Ako

je γ1 ≤ e−(v−1)2

2 , tada se smatra da je v realizovana vrednost sluqa-

jne veliqine sa normalnom normiranom raspodelom. Ako nejednakost

ne vai, postupak se ponavǉa sa narednim parom (pseudo)sluqajnih

brojeva.

Modeliraǌe normalne raspodele korixeǌem dveeksponencijalne raspodele

Neka su sluqajne veliqine Y1 i Y2 nezavisne sa istom eksponencija-

lnom raspodelom E(1). Ako je Y2 ≥ (Y1−1)2

2 , tada se za realizaciju

sluqajne veliqine X sa normalnom normiranom raspodelom uzima vre-

dnost sluqajne veliqine Y1.

Ovaj postupak za modeliraǌe jedne vrednosti normalne normirane

raspodele zahteva korixeǌe bar dva (pseudo)sluqajna broja γ1 i

γ2. Pomou γi, i = 1, 2 se modelira vrednost yi = − ln γi sluqajne

veliqine Yi. Ako je y2 ≥ (y1−1)2

2 , tada se smatra da je y1 realizo-

vana vrednost sluqajne veliqine X sa normalnom normiranom raspode-

40

lom. Ako nejednakost ne vai, postupak se ponavǉa sa narednim parom

(pseudo)sluqajnih brojeva.

Modeliraǌe χ2n raspodele

Prilikom modeliraǌe χ2n raspodele koristi se sledea defini-

cija.

Definicija 1 Ako su sluqajne veliqine X1, X2, . . . Xn nezavisne i ima-

ju normalnu normiranu raspodelu N (0, 1), tada sluqajna veliqina X21+

X22 + . . .+X2

n ima χ2n raspodelu.

Modelira se n nezavisnih sluqajnih veliqina sa normalnom normi-

ranom raspodelom i saberu kvadrati dobijenih modeliranih vred-

nosti.

41

Monte Karlo integracija

Razmotriemo dve Monte Karlo metode za priblino izraqunavaǌe

integrala

I =

∫ b

a

g(x)dx

Prva metoda se naziva Monte Karlo metoda pogodaka i promaxaja9 i zasnovana je na geometrijskoj interpretaciji integrala kao po-

vrxine, a druga metoda se naziva Monte karlo metoda uzorqke sredine10 i zasnovana je na interpretaciji integrala kao sredǌe vrednosti.

Monte Karlo metoda pogodaka i promaxaja

Neka je funkcija g(x) ograniqena

0 ≤ g(x) ≤ c, a ≤ x ≤ b,

i oznaqimo sa Ω pravougaonik

Ω = (x, y) : a ≤ x ≤ b, 0 ≤ y ≤ c.

Neka je (X,Y ) sluqajni vektor sa uniformnom raspodelom na pravougaoniku

Ω sa gustinom raspodele

f(X,Y )(x, y) =

1

c(b−a) , (x, y) ∈ Ω

0, (x, y) /∈ Ω(2)

Oznaqimo sa S povrx ispod krive g(x), S = (x, y) : y ≤ g(x). Verovatnoa

da se sluqajni vektor nae ispod krive g(x) je tada jednaka

p =

∫ b

ag(x)dx

c(b− a)=

I

c(b− a)(3)

9 The Hit and Miss Monte Carlo Method10 The Sample Mean Monte Carlo method

Slika 4. Monte Karlo metoda pogotka i promaxaja

Pretpostavimo da je generisano N nezavisnih sluqajnih vektora

(X1, Y1), (X2, Y2), . . . , (XN , YN ). Na osnovu zakona velikih brojeva, verova-

tnoa p se moe oceniti sa

p =NH

N, (4)

gde je NH broj sluqajeva kada je Yi ≤ g(Xi), i = 1, 2, . . . , N , tj. broj

pogodaka i N −NH je broj promaxaja (ako je Yi > g(Xi), i = 1, 2, . . . , N

promaxujemo).

Na osnovu (3) i (4) dobijamo

NH

N≈ I

c(b− a),

odnosno,

I ≈ θ1 = c(b− a)NH

N. (5)

Drugim reqima, da bismo priblino izraqunali (ocenili) inte-

gral I, uzimamo uzorak obima N iz uniformne raspodele (2), prebro-

jimo broj pogodaka NH ispod krive g(x) i primenimo formulu (5).

Poxto svaki od N pokuxaja ima Bernulijevu raspodelu sa verovatno-

om pogotka p, imamo NH : B(N, p). Matematiqko oqekivaǌe i disperz-

ija ocene θ1 su, redom, jednaki

E(θ1) =c(b− a)

NE(NH) = c(b− a)p = I

D(θ1) =c2(b− a)2

N2D(NH) = c2(b− a)2

p(1− p)

N.

43

Prema tome, ocena θ1 je nepristrasna. Kako D(θ1) → 0, kada N → ∞,

ocena θ1 je postojana.

Standardna devijacija ocene je tada jednaka

σθ1 = N− 12 c(b− a)

√p(1− p).

Ukoliko ubacimo (3) u izraz za standardnu devijaciju dobijamo

σθ1 = N− 12

√I (c(b− a)− I).

Standardna devijacija prua meru preciznosti ocene. Dakle, pre-

ciznost ocene integrala dobijene na osnovu metode pogodaka i pro-

maxaja je reda N− 12 , tj. O(N− 1

2 ).

Moemo odrediti broj potrebnih eksperimenata N tako da je

P|θ1 − I| ≤ ε = β,

gde je ε grexka aproksimacije a β nivo povereǌa (obiqno se uzima β =

95% ili β = 99%). Za dovoǉno veliko N , moemo primeniti centralnu

graniqnu teoremu, tj.

θ∗1 =θ1 − I

σθ1

: N (0, 1).

Tada imamo

P|θ∗1 | ≤ zβ = β,

gde je zβ = ε√N

c(b−a)√

p(1−p). Iz tablice normalne raspodele nalazimo zβ

tako da je Φ(zβ) = 1+β2 , gde je Φ funkcija normalne raspodele. Ko-

ristei aproksimaciju p(1− p) ≈ 14 , dobijamo

N ≥c2(b− a)2z2β

4ε2

Algoritam za Monte Karlo metodu pogodaka i promaxaja

1. Generisati niz (Uj)2Nj=1 od 2N pseudosluqajnih brojeva.

2. Poreati brojeve u N parova (U1, U′1), (U2, U

′2), . . . , (UN , U ′

N ) na bilo

koji naqin tako da se svaki broj Ui pojavi taqno jedanput.

44

3. Izraqunati Xi = a+ (b− a)Ui, g(Xi), i Yi = cU ′i , i = 1, 2, . . . N .

4. Prebrojati broj pogodaka NH za koje vai Yi ≤ g(Xi).

5. Oceniti integral I sa

θ1 = c(b− a)NH

N.

Primer 16 Ocenimo integral I =∫ 2

0e−x2

dx. Direktnim izraqunava-

ǌem se dobija I =√

(π)(Φ(2

√2)− 0.5

)= 0.8820814

Podintegralna funkcija g(x) = e−x2

je ograniqena, g(x) ≤ 1. Odred-

imo prvo obim uzorka N , tako da je grexka aproksimacije ε = 0.001

sa nivoom povereǌa β = 0.95. Na osnovu N ≥ c2(b−a)2z2β

4ε2 = 3841459,gde je

z0.99 = Φ−1(0.975) = 1.96, uzeemo N = 4000000.

Korixeǌem programa za priblino raqunaǌe integrala pomou

metode pogodaka i promaxaja u statistiqkom softveru R, dobija se

vrednost ocene θ1 = 0.8830045.

Monte Karlo metoda uzoraqke sredine

Integral I =∫ b

ag(x)dx moemo predstaviti kao oqekivanu vrednost

neke sluqajne veliqine. Prvo napiximo integral na sledei naqin

I =

∫ b

a

g(x)

fX(x)fX(x)dx.

Pretpostavimo da je fX(x) proizvoǉna gustina raspodele takva da

je fX(x) > 0 kada g(x) = 0. Tada je

I = E

(g(X)

fX(X)

),

gde je X sluqajna veliqina sa gustinom raspodele fX(x). Uzmimo, jed-

nostavnosti radi, da je

fX(x) =

1

b−a , a < x < b

0, inaqe

45

Tada imamo da je

E (g(X)) =I

b− a,

odnosno

I = (b− a)E (g(X)) .

Nepristrasna ocena za integral I je uzoraqka sredina

θ2 = (b− a) · 1

N

N∑i=1

g(Xi).

Disperzija ocene je jednaka

D(θ2) = E

((b− a)

1

N

N∑i=1

g(Xi)

)2

− I2 =

= (b− a)21

N2

N∑i=1

Eg2(Xi) + 2∑i=j

Eg(Xi)Eg(Xj)

− I2 =

= (b− a)2 · 1

N2

(N ·

∫ b

a

g2(x) · 1

b− adx+ 2

(N

2

)(Eg(X))

2

)− I2 =

=1

N

((b− a)

∫ b

a

g2(x)dx− I2

).

Algoritam za Monte Karlo metodu uzoraqke sredine

1. Generisati niz (Uj)Nj=1 od N pseudosluqajnih brojeva.

2. Izraqunati Xi = a+ (b− a)Ui, i = 1, 2, . . . N .

3. Izraqunati g(Xi) i = 1, 2, . . . N .

5. Oceniti integral I uzoraqkom sredinom

θ2 = (b− a) · 1

N

N∑i=1

g(Xi).

Primer 17 Ocenimo integral I =∫ 2

0e−x2

dx iz prethodnog primera

pomou metode uzoraqke sredine. Dobili smo da je I = 0.8820814 i

θ1 = 0.8830045.

46

Korixeǌem programa za priblino raqunaǌe integrala pomou

metode uzoraqke sredine u statistiqkom softveru R, dobija se vred-

nost ocene (za N = 4000000) θ2 = 0.8819665.

Efikasnost Monte Karlo metoda

Pretpostavimo da postoje dve Monte Karlo metode za oceǌivaǌe in-

tegrala I. Neka su θ1 i θ2 dve ocene dobijene na osnovu ovih metoda

takve da je

Eθ1 = Eθ2 = I.

Oznaqimo sa t1 i t2 broj jedinica raqunarskog vremena potrebnog

za izraqunavaǌe vrednosti sluqajnih veliqina θ1 i θ2, redom. Kaemo

da je prva metoda efikasnija od druge metode ako je

ε =t1D(θ1)

t2D(θ2)< 1.

Uporedimo sada efikasnost metode pogodaka i promaxaja sa efika-

snoxu metode uzoraqke sredine.

Stav 1 D(θ2) ≤ D(θ1).

Dokaz: Imamo da je

D(θ1)−D(θ2) =1

N(b− a)

(cI −

∫ b

a

g2(x)dx

).

Kako je g(x) ≤ c, c∫ b

ag(x)dx−

∫ b

ag2(x)dx ≥ 0, pa je D(θ1)−D(θ2) ≥ 0.

Pod pretpostavkom da su vremena izraqunavaǌa ocena t1 i t2 pri-

blino jednaka, zakǉuqujemo da je metoda uzoraqke sredine efikasnija

od metode pogodaka i promaxaja.

47

Monte Karlo metode za smaǌeǌe disperzije

Redukcija disperzije nam prua mogunost da smaǌimo disperziju

ocene integrala, dobijajui statistiqki efikasne ocene. Razmotriemo

tri Monte Karlo metode za smaǌeǌe disperzije:metodu analitiqke re-

dukcije, metodu uzorkovaǌa na osnovu relevantnosti 11i metodu stra-

tifikovanog uzorkovaǌa.

Ilustrovaemo sledeim primerom znaqaj redukcije disperzije.

Primer 18 Neka sluqajna veliqina X ima Koxijevu raspodelu C(0, 1)sa gustinom raspodele

fX(x) =1

π(1 + x2), x ∈ (0,+∞).

elimo da ocenimo verovatnou

p = PX > 2 =

∫ +∞

2

1

π(1 + x2)dx

Direktnim izraqunavaǌem se dobija p = 0.15.

Ako ocenimo p preko uzoraqke sredine

p1 =1

N

N∑i=1

IXi > 2,

gde je (X1, X2, . . . , XN ) uzorak iz Koxijeve raspodele, disperzija ove

ocene je p(1−p)N = 0.127

N . Ova disperzija se moe redukovati ako se uzme

u obzir simetriqnost Koxijeve raspodele C(0, 1). Ocena

p2 =1

2N

N∑i=1

I|Xi| > 2

ima disperziju jednaku p(1−2p)N = 0.052

N .

Relativna neefikasnost ovih metoda je povezana sa time xto se

generixu vrednosti van oblasti od interesa (u ovom sluqaju van in-

tervala (2,+∞)), koje nisu bitne za aproksimaciju. Ako napixemo p

kao

p =1

2−∫ 2

0

dy

π(1 + y2),

11 Importance sampling

48

gorǌi integral se moe smatrati za matematiqko oqekivaǌe od h(Y ) =2

π(1+U2) , gde Y : U [0, 2]. Tada imamo da je ocena p

p3 =1

2− 1

N

N∑i=1

h(Yi).

Disperzija ocene p3 je jednaka 0.0285N .

Daǉe, p se moe napisati i kao

p =

∫ 12

0

z−2

π(1 + z−2)dz.

Ovaj integral se moe smatrati za matematiqko oqekivaǌe od 14h(Z) =

12π(1+Z2) , gde je Z : U [0, 1

2 ]. Tada imamo da je ocena p

p4 =1

4N

N∑i=1

h(Zi).

Disperzija ocene p4 je jednaka 0.000095N .

Poredei sa p1, smaǌeǌe disperzije korixeǌem ocene p4 je reda

10−3, xto znaqi da p4 zahteva√1000 ≈ 32 puta maǌe simulacija od p1

da bi postigla istu preciznost.

Metoda analitiqke redukcije

Razmotrimo problem oceǌivaǌa integrala

I =

∫D

g(x)dx, D ⊂ Rn.

Razbijamo oblast D na dve podoblasti, D = D1 ∪D2 i predstavimo

integral I kao

I =

∫D1

g(x)dx+

∫D2

g(x)dx.

Pretpostavimo da se integral

I1 =

∫D1

g(x)dx

moe izraqunati analitiqki i definiximo zaseqenu gustinu raspodele

h(x) =

fX(x)1−P , ako je x ∈ D2

0, inaqe

49

gde je P =∫D1

fX(x)dx i fX(x) je gustina sluqajne veliqine X.

Integral I tada moemo napisati kao

I = I1 +

∫D2

g(x)dx = I1 +

∫D2

g(x)

h(x)h(x)dx =

= I1 + E

(g(X)

h(X)

)= I1 + (1− P )E

(g(X)

fX(X)

).

Nepristrasna ocena integrala I je tada jednaka

θ3 = I1 + (1− P )1

N

N∑i=1

g(Xi)

fX(Xi).

Stav 2 D(θ3) ≤ (1− P )D(θ2).

Dokaz: Imamo da je

N ·D(θ2) =

∫D

g2(x)

fX(x)dx− I2 =

=

∫D1

g2(x)

fX(x)dx+

∫D2

g2(x)

fX(x)dx− I2

i

N ·D(θ3) = (1− P )2∫D2

g2(x)

fX(x)

f2X(x)

(1− P )dx−

((1− P )

∫D2

g(x)

fX(x)

fX(x)

(1− P )dx

)2

=

= (1− P )

∫D2

g2(x)

fX(x)dx−

(∫D2

g(x)dx

)2

.

Daǉe, dobijamo

N ((1− P ) ·D(θ2)−D(θ5)) = (1− P )

∫D1

g2(x)

fX(x)dx− (1− P )2 +

(∫D2

g(x)dx

)2

=

= (1− P )

∫D1

g2(x)

fX(x)dx− (1− P )2 + (I − I1)

2.

Oznaqimo sa

C2 =

∫D1

g2(x)

fX(x)dx− I1

P=

∫D1

(g(x)

fX(x)− I1

P

)2

fX(x)dx.

50

Tada imamo da je

N ((1− P ) ·D(θ2)−D(θ5)) = (1− P )C2 +

(√PI − I1√

P

)2

≥ 0.

Dakle, na osnovu ovog stava zakǉuqujemo da je metoda analitiqke

redukcije barem (1−P )−1 puta efikasnija od metode uzoraqke sredine.

Uzorkovaǌe na osnovu relevantnosti

Osnovna ideja ove metode se sastoji u uzimaǌu vixe elemenata

uzorka u delovima oblasti D koje su znaqajnije za aproksimaciju.

Kao xto smo videli kod metode uzoraqke sredine, integral I moemo

predstaviti kao

I =

∫D

g(x)

fX(x)fX(x)dx = E

(g(X)

fX(X)

),

gde je X sluqajna veliqina sa gustinom raspodele fX(x) > 0, x ∈ D.

Funkcija fX(x) se naziva funkcija relevantnosti.

Da bismo ocenili integral I, uzimamo uzorak X1, X2, . . . , XN iz gus-

tine raspodele fX(x) i raqunamo ocenu

θ4 =1

N

N∑i=1

g(Xi)

fX(Xi).

Ocena θ4 je nepristrasna i ǌena disperzija je jednaka

D(θ4) =1

N

(∫D

g2(x)

fX(x)dx− I2

).

Sledea teorema prua naqin kako da se odabere optimalna gustina

raspodela fX da bi se minimizovala disperzija ocene θ4.

Teorema 9 Minimalna disperzija ocene θ4 je jednaka

D(θ∗4) =

(∫D

|g(x)|dx)2

− I2

51

i dobija se kada je gustina raspodele sluqajne veliqine X jednaka

fX(x) =|g(x)|∫

D|g(x)|dx

.

Dokaz: Formula za minimalnu disperziju se dobija ukoliko zamenimo

izraz za optimalnu gustinu u izraz za disperziju ocene θ4. Da bismo

dokazali da je D(θ∗4) ≤ D(θ4), dovoǉno je dokazati da je(∫D

|g(x)|dx)2

≤∫D

g2(x)

fX(x)dx,

xto se dobija primenom Koxi-Xvarcove nejednakosti(∫D

|g(x)|dx)2

=

(∫D

|g(x)|√fX(x)

√fX(x)dx

)2

≤

≤∫D

g2(x)

fX(x)dx ·

∫D

fX(x)dx =

=

∫D

g2(x)

fX(x)dx

Meutim, ova teorema nema direktnu praktiqnu primenu poxto

optimalna gustina zavisi od integrala∫D|g(x)|dx. U praksi biramo

gustinu raspodele fX koja je proporcionalna |g|, tj. tako da je |g(x)|fX(x) ≈ c.

Razmotrimo sada drugi naqin za formiraǌe ocene po metodi uzorko-

vaǌa na osnovu relevantnosti. Neka je h(x) = g(x)fX(x) , gde je fX(x) > 0.

Generiximo sluqajne veliqine Y1, Y2, . . . , YN iz gustine fY (y) sa nosaqem

D. Izraqunajmo teinske koeficijente

wi =fX(yi)

fY (yi)

i formirajmo ocenu integrala kao

θ′4 =1

N

∑Ni=1 wih(Yi)∑N

i=1 wi

.

Primer 19 Neka sluqajna veliqina X ima normalnu normiranu raspo-

delu. elimo da ocenimo verovatnou p = PX > 4.5 za koju znamo

52

da je vrlo mala (p = 0.000003398). Moemo simulirati N sluqajnih

veliqina Xi : N (0, 1), i = 1, 2, . . . , N i izraqunati

θ =1

N

N∑i=1

IXi > 4.5.

Za N = 10000 se obiqno dobija θ = 0. Sa uzorkovaǌem na osnovu

relevantnosti moemo znatno poboǉxati taqnost ocene.

Neka sluqajna veliqina Y ima eksponencijalnu raspodelu E(1) za-

seqenu s leve strane u 4.5, tj. Y : T E(4.5, 1) sa gustinom raspodele

fY (y) = e−(y−4.5), y ∈ (4.5,+∞).

Generixemo uzorak obima N iz gustine fY i dobijamo ocenu

p =1

N

N∑i=1

φ(Yi)

fY (Yi)IYi > 4.5 = 0.000003377.

Stratifikovano uzorkovaǌe

elimo da ocenimo integral

I = E (g(X)) =

∫D

g(x)fX(x)dx,

gde je fX gustina raspodele sluqajne veliqine X.

Razbijamo oblast D u m disjunktnih podoblasti Di, i = 1, 2, . . . ,m,

tj. D = ∪mi=1Di, Di ∩Dj = ∅, i = j. Definiximo integrale

Ii =

∫Di

g(x)fX(x)dx,

koji se mogu posebno oceniti nekom Monte Karlo metodom.

Ideja ove metode je sliqna metodi uzorkovaǌa na osnovu releva-

ntnosti: takoe uzimamo vixe opservacija (uzoraka) u delovima oblasti

koje su znaqajnije, ali se efekat redukovaǌa disperzije postie ko-

ncentrisaǌem vixe uzoraka u bitnijim podoblastima Di, a ne izborom

optimalne gustine raspodele.

53

Definiximo

Pi =

∫Di

fX(x)dx.

Imamo da je∑m

i=1 Pi = 1 i

I =m∑i=1

∫Di

g(x)fX(x)dx =m∑i=1

Ii.

Uvodimo

gi(x) =

g(x), ako je x ∈ Di

0, inaqe

Moemo napisati integral Ii kao

Ii =

∫Di

Pig(x)fX(x)

Pidx = Pi

∫Di

gi(x)fX(x)

Pidx = PiE (gi(X)) ,

gde je ∫Di

fX(x)

Pidx = 1.

Integral Ii se moe oceniti na osnovu metode uzoraqke sredine sa

τi =Pi

Ni

Ni∑ki=1

g(Xki), i = 1, 2, . . . ,m,

gde sluqajna veliqina Xi ima gustinu raspodele fX(x)Pi

na Di i∑m

i=1 Ni =

N .

Tada je ocena integrala I jednaka

θ5 =m∑i=1

τi =m∑i=1

Pi

Ni

Ni∑ki=1

g(Xki).

Disperzija ocene θ5 je jednaka

D(θ5) =

m∑i=1

P 2i

NiD (g(Xi))

m∑i=1

P 2i σ

2i

Ni,

gde je

σ2i = D (g(Xi)) =

1

Pi

∫Di

g2(x)fX(x)dx− I2iP 2i

.

Kada se odaberu podskupovi D1, D2, . . . , Dm, treba odabrati obim

uzorka Ni koji se uzima u svakoj podoblasti Di, tako da je∑m

i=1 Ni = N .

Sledea teorema nam prua optimalan naqin stratifikacije.

54

Teorema 10 Za datu podelu oblasti D, D = ∪mi=1Di, minimalna dis-

perzija ocene θ5 pod uslovom da∑m

i=1 Ni = N se javǉa kad je

Ni = N · Piσi∑mj=1 Pjσj

i jednaka je

1

N

(m∑i=1

Piσi

)2

.

Dakle, u ovoj metodi minimalna disperzija ocene se dobija kada su

obimi uzoraka Ni proporcionalni Piσi.

Ova teorema nema direktnu primenu, poxto su obiqno vrednosti σi

nepoznate. Uzmimo Ni = PiN (pod pretpostavkom da se integrali Pi

mogu analitiqki izraqunati).

Stav 3 D(θ5) ≤ D(θ2), tj. ako je obim uzorka Ni = NPi tada je dispe-

rzija ocene po metodi stratifikovanog uzorkovaǌa maǌa ili jednaka

od disperzije ocene po metodi uzoraqke sredine.

Dokaz: Zamenom Ni = NPi u izraz za disperziju ocene θ5 dobijamo

D(θ5) =1

N

m∑i=1

PiD (g(Xi)) .

Na osnovu Koxi-Xvarcove nejednakosti imamo

I2 =

(m∑i=1

Ii

)2

=

(m∑i=1

Ii√Pi

√Pi

)2

≤

≤m∑i=1

I2iPi

·m∑i=1

Pi =m∑i=1

I2iPi

(6)

Daǉe,m∑i=1

PiD (g(Xi)) =

∫D

g2(x)fX(x)dx−m∑i=1

I2iPi

,

xto zajedno sa (6) daje

m∑i=1

PiD (g(Xi)) ≤∫D

g2(x)fX(x)dx− I2 = ND(θ2),

55

odakle sledi da je D(θ5) ≤ D(θ2). .

Specijalno, ako je Pi = 1m i Ni = N

m dobijamo tzv. sistematsko

uzorkovaǌe.

Algoritam za sistematsko uzorkovaǌe

1. Podeliti interval (0, 1) na m podintervala duine 1m .

2. Generisati Uki , ki = 1, 2, . . . Nm , i = 1, 2, . . . ,m iz U(0, 1).

3. Izraqunati Yki =i−1+Uki

m , ki = 1, 2, . . . Nm , i = 1, 2, . . . ,m.

4. Izraqunati Xki = F−1(Yki).

5. Oceniti integral I sa

θ5 =1

N

m∑i=1

Nm∑

ki=1

g(Xki).

56

Literatura

1. Gentle, James E.(2005), Random Number Generation and Monte Carlo Methods,

Springer - Verlag, New York, 2005.

2. Jevremovi, Vesna i Jovan Malixi, (2002), Statistiqke metodeu meteorologiji i ineǌerstvu, Savezni hidrometeoroloxki zavod,Beograd.

3. Mladenovi, Pavle (1998), Elementaran uvod u verovatnou istatistiku, Druxtvo matematiqara Srbije, Beograd.

4. Rubinstein, Reuven Y. (1981), Simulation and the Monte Carlo Method, John Wiley

& Sons, New York.

5. Sobol~, I.M. (1973), Qislenn~ιe metod~ι Monte-Karlo, Nauka,Moskva.

57

Documents

Monte Karlo