Matea Nosse - mathos.unios.hrmdjumic/uploads/diplomski/NOS03.pdf · deﬁnirana jednadžba (2) je hipergeometrijska jednadžba, a njezina rješenja y(x) nazivamo hipergeometrijske

Sveučilište J. J. Strossmayera u OsijekuOdjel za matematiku

Matea NosseTestiranje normalnosti: GMM pristup

Diplomski rad

Osijek, 2013.

Sveučilište J. J. Strossmayera u OsijekuOdjel za matematiku

Matea NosseTestiranje normalnosti: GMM pristup

Diplomski rad

Mentor: doc. dr. sc. Nenad Šuvak

Osijek, 2013.

Sadržaj1 Uvod 1

2 Općenito o normalnoj distribuciji 22.1 Hipergeometrijska diferencijalna jednadžba i njezina rješenja . . . . . . . . . 22.2 Normalna distribucija . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42.3 Pearsonova diferencijalna jednadžba za normalnu distribuciju i veza s Hermi-

tovim polinomima . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

3 Hermitovi polinomi 63.1 Rekurzije Hermitovih polinoma . . . . . . . . . . . . . . . . . . . . . . . . . 73.2 Dokaz ortonormiranosti Hermitovih polinoma . . . . . . . . . . . . . . . . . 9

4 Ornstein-Uhlenbeckov proces 11

5 Steinova jednadžba 12

6 Statistički test 146.1 Momentni uvjet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146.2 Centralni granični teorem i svojstvo miješanja . . . . . . . . . . . . . . . . . 17

6.2.1 Pomoćne definicije . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176.2.2 Koeficijenti miješanja . . . . . . . . . . . . . . . . . . . . . . . . . . . 186.2.3 Svojstvo miješanja slučajnih procesa . . . . . . . . . . . . . . . . . . 18

6.3 Test statistike . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206.3.1 Ornstein-Uhlenbeckov proces . . . . . . . . . . . . . . . . . . . . . . . 226.3.2 Cross-sectional slučaj . . . . . . . . . . . . . . . . . . . . . . . . . . . 236.3.3 AR(1) proces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246.3.4 Statistički test s koeficijentima asimetričnosti i spljoštenosti . . . . . 27

6.4 Test statistike s nepoznatim parametrima . . . . . . . . . . . . . . . . . . . . 286.4.1 Tradicionalni pristup . . . . . . . . . . . . . . . . . . . . . . . . . . . 286.4.2 GMM pristup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

7 Simulacije 317.1 Simulacija IID slučajnih varijabli . . . . . . . . . . . . . . . . . . . . . . . . 317.2 Simulacija trajektorija OU procesa . . . . . . . . . . . . . . . . . . . . . . . 31

8 Zaključak 33

1 UVOD 1

1 UvodRačunanje kamatnih stopa i modeliranje njihovog kretanja na financijskom tržištu po-

nekad mogu biti iznimno zahtjevni. Zbog njihovog velikog utjecaja u ekonomiji, trgovini ifinancijama nastoje se kreirati modeli kojima bi se što lakše moglo predvidjeti njihovo budućekretanje. Jedan od takvih modela je Vasičekov model temeljen na Ornstein-Uhlenbeckovomprocesu. Ornstein-Uhlenbeckov proces je stacionaran, normalno distribuiran Markovljevproces u neprekidnom vremenu. Njegova marginalna distribucija je Gaussova. Stoga, akoželimo provjeriti mogu li se određeni podaci modelirati Ornstein-Uhlenbeckovim procesom,potrebno je testirati hoće li marginalna distribucija slučajnog uzorka tih podataka biti nor-malna distribucija.

U diplomskom radu je definiran statistički test za testiranje ove hipoteze. Test statistikaje kreirana pomoću momentnih uvjeta koji su preuzeti iz generalizirane metode momenata(GMM) korištene kod procjene parametara. Također, takva test statistika se temelji naortonormiranim Hermitovim polinomima te je robusna u slučaju kada su korišteni parametrinepoznati. Primjenom ovakvog statističkog testa na nekim podacima može se odrediti hoćeli njihova marginalna distribucija biti normalna te se, u slučaju da se ovaj uvjet ispuni,njihovo kretanje može modelirati Ornstein-Uhlenbeckovim procesom.

Rad je podijeljen na sljedeći način. U prvom je dijelu definiran pojam hipergeometrijskejednadbže i njezinog rješenja. Ukratko je opisana normalna distribucija te je dana njenaveza s Hermitovim polinomima. U sljedećem su dijelu definirani Hermitovi polinomi i nji-hova svojstva. Dokazano je svojstvo ortonormiranosti te rekurzije koje Hermitovi polinomizadovoljavaju. Ornstein-Uhlenbeckov proces je opisan u trećem dijelu rada, dok je u četvr-tom objašnjena Steinova metoda za dobivanje aproksimacije normalne distribucije. U dijelu"Statistički test" definiran je momentni uvjet te se u nastavku rada kreiraju test statistike.Dano je nekoliko konkretnih primjera tako dobivene test statistike, među kojima je i slučajs Ornstein-Uhlenbeckovim procesom. Također, definirane su i test statistike u slučaju kadasu parametri nepoznati. Na kraju rada su dani rezultati simulacija kreiranog statističkogtesta, zaključak te popis korištene literature.

2 OPĆENITO O NORMALNOJ DISTRIBUCIJI 2

2 Općenito o normalnoj distribuciji

2.1 Hipergeometrijska diferencijalna jednadžba i njezina rješenja

U mnogim se znanstvenim disciplinama, a prvenstveno u matematičkoj fizici i kvantnojmehanici, rješavanje brojnih problema svodi na upotrebu specijalnih funkcija. Većina takvihspecijalnih funkcija rješenja su diferencijalne jednadžbe

u′′ + τ(x)σ(x)u

′ + σ(x)σ2(x)u = 0, (1)

gdje su σ i σ polinomi najviše drugog stupnja te τ polinom najviše prvog stupnja. Takvadiferencijalna jednadžba poznata je pod nazivom opća hipergeometrijska jednadžba. Nikifo-rov i Uvarov su u [27] sveli gornju diferencijalnu jednadžbu na jednostavniji oblik definiranizrazom

σ(x)y′′ + τ(x)y′ + λy = 0, (2)

pri čemu su σ i τ polinomi najviše drugog odnosno prvog stupnja, a λ je konstanta. Ovakodefinirana jednadžba (2) je hipergeometrijska jednadžba, a njezina rješenja y(x) nazivamohipergeometrijske funkcije. Posebnost tih funkcija je što se njihovim deriviranjem ponovodobiju hipergeometrijske funkcije. Deriviranjem jednadžbe (2) i uvrštavanjem ν1(x) = y′(x)dobijemo

σ(x)ν ′′1 + τ1(x)ν ′1 + µ1ν1 = 0, (3)

gdje jeτ1(x) = τ(x) + σ′(x),

µ1 = λ+ τ ′(x).

Obzirom da je deg(τ1(x)) ≤ 1, a µ1 ne ovisi o x, diferencijalna jednadžba (3) će također bitihipergeometrijska jednadžba. Induktivno, za νn(x) = y(n)(x), dođemo do hipergeometrijskejednadžbe

σ(x)ν ′′n + τn(x)ν ′n + µnνn = 0, (4)

pri čemu jeτn(x) = τ(x) + nσ′(x),

µn = λ+ nτ ′ + n(n− 1)2 σ′′.

Svako rješenje jednadžbe (4) za µk 6= 0, gdje k = 0, 1, 2, ..., n− 1, se može zapisati u oblikuνn(x) = y(n)(x), pri čemu je y(x) rješenje diferencijalne jednadžbe (2). Stoga se možedefinirati familija partikularnih rješenja od (2) s odgovarajućim λ. Kada je µn = 0, jednadžba(4) ima partikularno rješenje νn(x) koje je konstanta. Obzirom da je νn(x) = y(n)(x), tadaza

λ = λn = −nτ ′ − n(n− 1)2 σ′′ (5)


hipergeometrijska jednadžba (2) ima partikularno rješenje oblika y(x) = yn(x) i to je rješenjepolinom stupnja n. Takva rješenja zovemo hipergeometrijski polinomi. Prema [27], takvi supolinomi dani Rodriguesovom formulom

yn(x) = Bn

f(x) [σn(x)f(x)](n) , n ∈ N0, (6)

te vrijediλ = λn = −nτ ′ − n(n− 1)

2 σ′′, n ∈ N0. (7)

Pri tome je Bn konstanta, a f(x) funkcija definirana diferencijalnom jednadžbom

[σ(x)f(x)]′ = τ(x)f(x). (8)

Raspisivanjem gornje jednadžbe se dobije

σ(x)f ′(x) + (σ′(x)− τ(x))f(x) = 0 (9)

odnosnof ′(x)f(x) = τ(x)− σ′(x)

σ(x) = q(x)s(x) . (10)

Očito je da za polinome q(x) i s(x) vrijedi deg(q(x)) ≤ 1 i deg(s(x)) ≤ 2.Ovako definirana diferencijalna jednadžba (10) je Pearsonova diferencijalna jednadžba

nazvana po engleskom matematičaru Karlu Pearsonu. On je 1895. godine definirao familijudistribucija čije su funkcije gustoće f rješenja diferencijalne jednadžbe (10) definirane s

f ′(x)f(x) = q(x)

s(x) = x− ab0 + b1x+ b2x2 , (11)

pri čemu su realni brojevi a, b0, b1 i b2 koeficijenti te iste distribucije. Neke od poznati-jih distribucija koje pripadaju u Pearsonovu familiju su normalna, gama, beta i Studentovat-distribucija. Razlog zašto je Pearsonova familija distribucija toliko privlačna je što su para-metri a, b0, b1 i b2 u direktnoj vezi s prva četiri centralna momenta µk = E[(X−E[X])k], k =1, 2, 3, 4 slučajne varijable X s funkcijom gustoće f , odnosno

a = b1 = −µ3(µ4 + 3µ22)

A= −µ

1/22 β1(β2 + 3)

A′,

b0 = −µ2(4µ2µ4 − 3µ23)

A= −µ2(4β2 − 3β2

1)A′

,

b2 = −(2µ2µ4 − 3µ23 − 6µ3

2)A

= −(2β2 − 3β21 − 6)

A′,

gdje β21 = µ2

3/µ32 i β2 = µ4/µ

22 redom označavaju koeficijente asimetričnosti i spljoštenosti

funkcije f . Parametri A i A′ su jednaki

A = 10µ4µ2 − 18µ32 − 12µ2

3,

A′ = 10β2 − 18− 12β21 .


Kada se populacijski (teorijski) centralni momenti zamijene uzoračkim (empirijskim) mo-mentima, gornje jednadžbe definiraju procjenitelje koeficijenata a, b0, b1 i b2 iz Pearsonovediferencijalne jednadžbe.

Postoje alternative ovog pristupa s raznim prednostima. One uključuju korištenje poli-noma viših stupnjeva ili ograničenja vezana uz parametre. Jedna od takvih alternativa jeuvrštavanje q(x) = a0 + a1x u (10) pa je tada

f ′(x)f(x) = q(x)

s(x) = a0 + a1x

b0 + b1x+ b2x2 . (12)

Pripadni parametri su definirani s

a1 = |10µ4µ2 − 12µ23 − 18µ3

2|,a0 = b1 = −µ3(µ4 + 3µ2

2),b0 = −µ2(4µ2µ4 − 3µ2

3),b2 = −2(µ2µ4 − 3µ2

3 − 6µ32).

Ovakva se parametrizacija odnosi na iste distribucije.

2.2 Normalna distribucija

Normalna distribucija pripada neprekidnim vjerojatnosnim distribucijama te je jedna odPearsonovih distribucija. U teoriji vjerojatnosti se još naziva i Gaussova distribucija, dobivšiime po njemačkom matematičaru i fizičaru Johannu Carlu Friedrichu Gaussu. Definira sefunkcijom gustoće

f(x) = 1σ√

2πe−

(x−µ)2

2σ2 (13)

s domenom 〈−∞,+∞〉. Parametri µ i σ redom predstavljaju očekivanje (ujedno i mod imedijan) i standardnu devijaciju. Stoga je sa σ2 označena pripadna varijanca. U specijalnomslučaju, kada je µ = 0 i σ = 1, govorimo o standardnoj normalnoj distribuciji čija je funkcijagustoće definirana izrazom

f(x) = 1√2πe−

x22 . (14)

Normalno distribuiranu slučajnu varijablu s očekivanjem µ i varijancom σ2 označavamo sN (µ, σ2).

Normalna je distribucija iznimno važna u statistici te se često koristi u prirodnim idruštvenim znanostima na način da se za slučajne varijable s nepoznatim distribucijamapretpostavi da su one normalno distribuirane. Razlog tome je centralni granični teoremprema kojem je, uz neke dodatne pretpostavke, srednja vrijednost velikog broja nezavisnihi jednako distribuiranih slučajnih varijabli asimptotski normalno distribuirana, neovisno odistribuciji svake pojedine slučajne varijable. Stoga neke fizikalne veličine dobivene kao sumamnogo nezavisnih procesa (poput pogrešaka pri mjerenju) često imaju distribuciju koja jepribližno jednaka normalnoj distribuciji.

Graf funkcije gustoće Gaussove distribucije se naziva i zvonolika krivulja. Taj se ter-min najčešće koristi kod istraživanja u društvenim znanostima, no postoji velik broj drugih


distribucija koje također imaju takav oblik funkcije gustoće (poput Cauchyjeve i Studen-tove distribucije) pa tom nazivu nedostaje matematička preciznost. Neka svojstva funkcijegustoće (13) s očekivanjem µ i varijancom σ2:

• simetrična je u odnosu na pravac x = µ,

• unimodalna je: prva derivacija je pozitivna za x < µ, negativna za x > µ te je jednakanuli za x = µ,

• ima dvije točke infleksije x1 = µ− σ i x2 = µ+ σ,

• neprekidna je na cijeloj domeni i diferencijabilna proizvoljno mnogo puta.

U slučaju standardne normalne distribucije, dodatna svojstva funkcije (13) su sljedeća:

• prva derivacija je jednaka f ′(x) = −xf(x),

• druga derivacija je jednaka f ′′(x) = (x2 − 1)f(x),

• općenito, n-ta derivacija je jednaka f (n)(x) = (−1)nhn(x)f(x), gdje je hn Hermitovpolinom n-tog stupnja koji će biti definiran u nastavku rada.

2.3 Pearsonova diferencijalna jednadžba za normalnu distribucijui veza s Hermitovim polinomima

Uvrštavanjem funkcije (13) u jednadžbu (10) dobije sef ′(x)f(x) = τ(x)− σ′(x)

σ(x) = µ− xσ2 . (15)

Slijedi da je τ(x) = µ− x i σ(x) = σ2 pa je hipergeometrijska jednadžba (2) u tom slučajudefinirana s

σ2y′′ + (µ− x)y′ + λy = 0, (16)

gdje je λ = λn = n. Konačan oblik jednadžbe (2) u slučaju normalne distribucije s očekiva-njem µ i varijancom σ2 je

σ2y′′ + (µ− x)y′ + ny = 0, n ∈ N0. (17)

Pripadna rješenja su polinomi n-tog stupnja definirani Rodriguesovom formulom (6), gdje jefunkcija f(x) funkcija gustoće normalne distribucije definirana s (13), Bn je normalizirajućakonstanta te je σ(x) = σ2. U slučaju standardne normalne distribucije, jednadžba (17)postaje

y′′ − xy′ + ny = 0, n ∈ N0. (18)

Rješenja su polinomi n-tog stupnja također definirani izrazom (6), no ovdje je funkcija f(x)dana s (14), Bn = (−1)n i σ(x) = 1. Stoga je, uz oznaku yn(x) = hn(x),

hn(x) = (−1)nex2/2 dn

dxne−x

2/2 (19)

i takve polinome zovemo Hermitovi polinomi n-tog stupnja. U nastavku rada se detaljnijeobrađuju njihova svojstva.

3 HERMITOVI POLINOMI 6

3 Hermitovi polinomiHermitove polinome hn(x) definiramo jednadžbom (19). Uvrštavanjem n = 0, 1, ..., 6 u tajizraz dobijemo formule za prvih sedam Hermitovih polinoma:

n = 0 =⇒ h0(x) = 1n = 1 =⇒ h1(x) = x

n = 2 =⇒ h2(x) = x2 − 1n = 3 =⇒ h3(x) = x3 − 3xn = 4 =⇒ h4(x) = x4 − 6x2 + 3n = 5 =⇒ h5(x) = x5 − 10x3 + 15xn = 6 =⇒ h6(x) = x6 − 15x4 + 45x2 − 15,

a općenita formula za n-ti Hermitov polinom je

hn(x) =bn/2c∑k=0

(−1)kn!2kk!(n− 2k)!x

n−2k. (20)

Pripadna funkcija izvodnica je

g(x, z) = exz−z2/2 =

∞∑n=0

zn

n!hn(x) (21)

koju ćemo u nastavku i izvesti. U ovom ćemo radu koristiti Hermitove polinome Hn(x) =hn(x)/

√n!. Definiramo ih izrazom

Hn(x) = ex2/2 (−1)n√

n!dn

dxne−x

2/2, (22)

odnosno

Hn(x) =bn/2c∑k=0

(−1)k√n!

2kk!(n− 2k)!xn−2k. (23)

Prvih sedam tako definiranih Hermitovih polinoma su:

n = 0 =⇒ H0(x) = 1

n = 1 =⇒ H1(x) = x

n = 2 =⇒ H2(x) = 1√2

(x2 − 1)

n = 3 =⇒ H3(x) = 1√6

(x3 − 3x)

n = 4 =⇒ H4(x) = 1√24

(x4 − 6x2 + 3)

n = 5 =⇒ H5(x) = 1√120

(x5 − 10x3 + 15x)

n = 6 =⇒ H6(x) = 1√720

(x6 − 15x4 + 45x2 − 15),


3.1 Rekurzije Hermitovih polinoma

Bitna značajka Hermitovih polinoma hn(x) je da oni zadovoljavaju rekurzije

hn+1(x) = xhn(x)− nhn−1(x) (24)

ih′n(x) = nhn−1(x). (25)

Kako bi došli do gornjih izraza, potrebna nam je funkcija izvodnica Hermitovih polinoma.Za početak računamo pripadnu funkciju izvodnicu momenata:

E[ezX ] =∫ +∞

−∞ezx

1√2πe

−x22 dx = 1√

2π

∫ +∞

−∞ezx−

x22 dx

= 1√2π

∫ +∞

−∞e

−12 (x2−2zx+z2−z2)dx = 1√

2π

∫ +∞

−∞e

−12 (x−z)2+ z2

2 dx

= ez2/2√

2π

∫ +∞

−∞e

−12 (x−z)2

dx =∣∣∣∣x− z = t

dx = dt

∣∣∣∣= ez

2/2√

2π

∫ +∞

−∞e

−12 t2dt = ez

2/2√

2π√

2π

= ez2/2.

Renormalizacijom dobijemo funkciju izvodnicu definiranu s

g(x, z) = ezx

E[ezX ] = ezx−z2/2. (26)

Raspisivanjem (21) te iz (20) slijedi (uz kasniju izmjenu indeksa sumacije tako da je m = s

i n = r − 2s )

g(x, z) = ezxe−z2/2 =

( ∞∑n=0

1n!z

nxn)( ∞∑

m=0

1m!

(−1)m2m z2m

)

=∞∑n=0

∞∑m=0

1n!z

nxn1m!

(−1)m2m z2m

=∞∑r=0

br/2c∑s=0

1(r − 2s)!z

r−2sxr−2s 1s!

(−1)s2s z2s

=∞∑r=0

br/2c∑s=0

(−1)s2s(r − 2s)!s!x

r−2s

zr=

∞∑n=0

1n!

bn/2c∑k=0

(−1)kn!2k(n− 2k)!k!x

n−2k

zn=

∞∑n=0

zn

n!hn(x), |z| <∞.

Iz ovoga vidimo da je hn(x) koeficijent člana zn/n! u Taylorovom razvoju formule (21). Akoderiviramo izraz (21) po varijabli z, dobijemo

d

dzg(x, z) = (−z + x)ezx−z2/2


=∞∑n=0

nzn−1

n! hn(x)

=∞∑n=1

zn−1

(n− 1)!hn(x).

Uvrstimo u gornju jednadžbu izraz (21)

(−z + x)∞∑n=0

zn

n!hn(x) =∞∑n=1

zn−1

(n− 1)!hn(x)

te raspišemo−∞∑n=0

zn+1

n! hn(x) + x∞∑n=0

zn

n!hn(x) =∞∑n=1

zn−1

(n− 1)!hn(x). (27)

Kako bi u sve tri sume dobili zn, namjestimo indekse sumacije u prvoj i zadnjoj sumi. Izprve sume dobijemo

−∞∑n=0

zn+1

n! hn(x) = −∞∑n=1

zn

(n− 1)!hn−1(x)

= −∞∑n=1

nzn

n!hn−1(x),

a iz zadnje∞∑n=1

zn−1

(n− 1)!hn(x) =∞∑n=0

zn

n!hn+1(x).

Uvrstimo ovo u izraz (27) te dobijemo

−∞∑n=1

nzn

n!hn−1(x) + x∞∑n=0

zn

n!hn(x) =∞∑n=0

zn

n!hn+1(x).

Izjednačavanjem koeficijenta uz zn za n = 0 dobijemo

xh0(x) = h1(x),

a za n > 0 dobijemo ranije spomenutu rekurziju (24):

hn+1(x) = xhn(x)− nhn−1(x).

Za dobivanje rekurzije (25) deriviramo (21) po varijabli x te dobijemo

d

dxg(x, z) = zezx−z

2/2 =∞∑n=0

zn

n!h′n(x).

Eksponencijalni dio zamijenimo s (21)

z∞∑n=0

zn

n!hn(x) =∞∑n=0

zn

n!h′n(x)

te namjestimo indekse sumacije kako bi u obje sume imali član zn

∞∑n=1

nzn

n!hn−1(x) =∞∑n=0

zn

n!h′n(x).


Izjednačavanjem koeficijenata uz član zn dobijemo rekurziju (25)

h′n(x) = nhn−1(x).

Analogno rekurzijama (24) i (25) za Hermitove polinome definirane s (22) vrijedi

Hn+1(x) = 1√n+ 1

[xHn(x)−

√nHn−1(x)

](28)

iH ′n(x) =

√nHn−1(x). (29)

Pomoću njih dobijemo treću bitnu jednadžbu

H ′′n(x)− xH ′n(x) + nHn(x) = 0. (30)

Iz ovoga direktno možemo zaključiti da su ovako definirani Hermitovi polinomi rješenja ranijedefinirane diferencijalne jednadžbe (18).

3.2 Dokaz ortonormiranosti Hermitovih polinoma

Razlog zašto su Hermitovi polinomi (22) toliko značajni je to što su oni ortonormirani naintervalu 〈−∞,∞〉, odnosno vrijedi

∫ ∞−∞

Hn(x)Hm(x)w(x)dx = δmn =

0 , m 6= n1 , m = n,

(31)

gdje je s w(x) = 1√2πe−x2/2 definirana težinska funkcija, a s δmn Kroneckerov simbol. Kako

bi dokazali ortonormiranost, pretpostavimo bez smanjenja općenitosti da je m < n. Tada je

∫ ∞−∞

Hn(x)Hm(x) 1√2πe−x

2/2dx = 1√2π

∫ ∞−∞

(−1)n 1√n!ex

2/2 dn

dxne−x

2/2Hm(x)e−x2/2dx

= 1√2π

(−1)n√n!

∫ ∞−∞

dn

dxne−x

2/2Hm(x)dx

= 1√2π

(−1)n√n!

[Hm(x) d

n−1

dxn−1 e−x2/2

∞

−∞−

∫ ∞−∞

dn−1

dxn−1 e−x2/2 d

dxHm(x)dx

]

= −1√2π

(−1)n√n!

∫ ∞−∞

dn−1

dxn−1 e−x2/2 d

dxHm(x)dx

= −1√2π

(−1)n√n!

[d

dxHm(x) d

n−2

dxn−2 e−x2/2

∞

−∞−

∫ ∞−∞

dn−2

dxn−2 e−x2/2 d

2

dx2Hm(x)dx]

= 1√2π

(−1)n√n!

∫ ∞−∞

dn−2

dxn−2 e−x2/2 d

2

dx2Hm(x)dx


= (...)

= 1√2π

(−1)n√n!

∫ ∞−∞

dn−m

dxn−me−x

2/2 dm

dxmHm(x)dx

= −1√2π

(−1)n√n!

[dm

dxmHm(x) d

n−m−1

dxn−m−1 e−x2/2

∞

−∞−

∫ ∞−∞

dn−m−1

dxn−m−1 e−x2/2 d

m+1

dxm+1Hm(x)dx]

= 0.

Sada pretpostavimo da je m = n. Tada je∫ ∞−∞

Hn(x)Hn(x) 1√2πe−x

2/2dx = 1√2π

∫ ∞−∞

(−1)n 1√n!ex

2/2 dn

dxne−x

2/2Hn(x)e−x2/2dx

= 1√2π

(−1)n√n!

∫ ∞−∞

dn

dxne−x

2/2Hn(x)dx

= 1√2π

(−1)n√n!

[Hn(x) d

n−1

dxn−1 e−x2/2

∞

−∞−

∫ ∞−∞

dn−1

dxn−1 e−x2/2 d

dxHn(x)dx

]

= −1√2π

(−1)n√n!

∫ ∞−∞

dn−1

dxn−1 e−x2/2 d

dxHn(x)dx

= −1√2π

(−1)n√n!

[d

dxHn(x) d

n−2

dxn−2 e−x2/2

∞

−∞−

∫ ∞−∞

dn−2

dxn−2 e−x2/2 d

2

dx2Hn(x)dx]

= 1√2π

(−1)n√n!

∫ ∞−∞

dn−2

dxn−2 e−x2/2 d

2

dx2Hn(x)dx

= (...)

= 1√2π

1√n!

∫ ∞−∞

dn−n

dxn−ne−x

2/2 dn

dxnHn(x)dx

= 1√2π

1√n!

∫ ∞−∞

e−x2/2 d

n

dxnHn(x)dx

= 1√2π

1√n!

∫ ∞−∞

e−x2/2 n!√

n!dx

= 1√2π

∫ ∞−∞

e−x2/2dx

= 1√2π√

2π = 1.

Iz gornjih izvoda slijedi ortonormiranost Hermitovih polinoma Hn(x).Za Hermitove polinome hn(x) definirane s (19) na intervalu 〈−∞,∞〉 vrijedi samo svoj-

4 ORNSTEIN-UHLENBECKOV PROCES 11

stvo ortogonalnosti pa je∫ ∞−∞

hn(x)hm(x)w(x)dx = n!δmn =

0 , m 6= nn! , m = n,

(32)

I ovdje je s w(x) = 1√2πe−x2/2 težinska funkcija, a δmn Kroneckerov simbol.

4 Ornstein-Uhlenbeckov procesCilj ovog rada je definirati statističke testove za testiranje hipoteza o tome jesu li marginalnedistribucije strogo stacionarnih slučajnih procesa Gaussove. Proces za kojega je navedenahipoteza točna jest Ornstein-Uhlenbeckov proces (OU proces) te će se na njemu kasnijeprovesti i simulacije definiranih statističkih testova.

Ornstein-Uhlenbeckov odnosno Vasičekov proces je jedinstveno rješenje stohastičke dife-rencijalne jednadžbe

dXt = θ(µ−Xt)dt+ σdWt, X0 ∼ N(µ,σ2

2θ

), (33)

gdje su parametri µ, θ ∈ R redom očekivanje OU procesa i brzina kojom se OU procesvraća prema svojoj srednjoj vrijednosti µ, σ ∈ R+ je stupanj volatilnosti, a Wt standardnoBrownovo gibanje (tj. Wienerov proces). Model s parametrom µ = 0 su definirali Ornsteini Uhlenbeck za primjenu na području fizike, da bi ga kasnije generalizirao Vasiček za mo-deliranje kretanja kratkoročnih kamatnih stopa. Bitna značajka OU procesa je da za svakit ≥ 0 ima konačnu varijancu. Osim što je za θ > 0 OU proces mean-reverting1, on je tadatakođer i strogo stacionaran te je njegova marginalna distribucija jednaka

Xt ∼ N(µ,σ2

2θ

), t ≥ 0 (34)

dok je kovarijanca definirana s

Cov(Xt, Xt+h) = σ2

2θe−θh, θ > 0. (35)

Standardizirani Ornstein-Uhlenbeckov proces čija je marginalna distribucija N (0, 1) de-finiran je stohastičnom diferencijalnom jednadžbom

dXt = −kXtdt+√

2kdWt, k > 0, X0 ∼ N (0, 1), (36)

a pripadna kovarijanca jeCov(Xt, Xt+h) = e−kh, k > 0. (37)

1ima svojstvo povratka očekivanoj vrijednosti µ

5 STEINOVA JEDNADŽBA 12

5 Steinova jednadžba1972. godine američki je matematičar Charles Stein objavio metodu za dobivanje aprok-simacije normalne distribucije. Danas se ta metoda proširila i na druge distribucije pa senjezinom primjenom mogu dobiti aproksimacije različitih distribucija slučajnih varijabli tese ujedno dobiju i procjene pripadnih grešaka. Posebnost ove metode je što se može koristitičak i kada postoji zavisnost među podacima.

Metoda se općenito bazira na Steinovoj jednadžbi

h(x)− E[h(Z)] = Af(x), (38)

gdje su h i f glatke funkcije, a Z slučajna varijabla s poznatom distribucijom. S A je označenSteinov operator vezan uz distribuciju slučajne varijable Z koji je definiran s

Af(x) = s(x)f ′(x) + τ(x)f(x), (39)

gdje su s i τ polinomi najviše drugog odnosno prvog stupnja. Kako bi odredili aproksimacijudistribucije slučajne varijable X, tražimo za svaku glatku funkciju h rješenje fh jednadžbe(38) tako da vrijedi sljedeće:

E[h(X)]− E[h(Z)] = E[Afh(X)]. (40)

Distribucija slučajne varijable X će tada biti približno jednaka poznatoj distribuciji slučajnevarijable Z ako i samo ako je E[Afh(X)] približno jednak nuli za veliki broj funkcija f .

U slučaju kojim se bavio Stein, odnosno u slučaju testiranja normalnosti slučajnih varijabli,za slučajnu varijablu Z uzimamo da je iz N (0, 1) distribucije. Tada je pripadni Steinovoperator oblika

Af(x) = f ′(x)− xf(x), (41)

odnosno vrijedi da je s(x) = 1 i τ(x) = −x. Stoga prema Steinovoj metodi možemo pret-postaviti da neka slučajna varijabla X ima N (0, 1) distribuciju ako i samo ako vrijedi daje

E[Af(X)] = 0,

odnosnoE[f ′(X)−Xf(X)] = 0.

Dobivena jednadžba je Steinova jednadžba i ona je osnova za dobivanje momentnih uvjetakoji će se koristiti u ostatku rada.

Lema 5.1 (Steinova lema). Slučajna varijabla X ima standardnu normalnu distribu-ciju N (0, 1) ako i samo ako za bilo koju diferencijabilnu funkciju f : R → R takvu daje E|f ′(Z)| < +∞, gdje je Z ∼ N (0, 1), vrijedi

E[f ′(X)−Xf(X)] = 0. (42)

5 STEINOVA JEDNADŽBA 13

DokazPokažemo da gornja jednadžba vrijedi u slučaju normalnosti. Neka je f takva da je

E|f ′(Z)| < +∞ za Z ∼ N (0, 1) i neka je X ∼ N (0, 1). Tada je pripadna funkcija gustoćeslučajne varijable X dana izrazom

φ(x) = 1√2πe−

x22 .

Deriviranjem te funkcije dobijemo

φ′(x) = 1√2πe−

x22

(−2x

2

)= 1√

2πe−

x22 (−x) = −xφ(x).

Računamo očekivanje

E[f ′(X)] =∫ ∞−∞

f ′(x)φ(x)dx

=∫ 0

−∞f ′(x)φ(x)dx+

∫ ∞0

f ′(x)φ(x)dx

=∫ 0

−∞f ′(x)(φ(x)− 0)dx+

∫ ∞0

f ′(x)(φ(x)− 0)dx

=∫ 0

−∞f ′(x)(φ(x)− lim

|x|→∞φ(x))dx+

∫ ∞0

f ′(x)(φ(x)− lim|x|→∞

φ(x))dx

=∫ 0

−∞f ′(x)

(∫ x

−∞φ′(y)dy

)dx+

∫ ∞0

f ′(x)(∫ x

−∞φ′(y)dy

)dx

=∫ 0

−∞f ′(x)

(∫ x

−∞−yφ(y)dy

)dx+

∫ ∞0

f ′(x)(∫ x

−∞−yφ(y)dy

)dx

=∫ 0

−∞

∫ x

−∞f ′(x)(−y)φ(y)dydx+

∫ ∞0

∫ x

−∞f ′(x)(−y)φ(y)dydx

=∫ 0

−∞

∫ x

−∞f ′(x)(−y)φ(y)dydx+

∫ ∞0

∫ ∞x

f ′(x)yφ(y)dydx

=∫ 0

−∞

∫ 0

yf ′(x)(−y)φ(y)dxdy +

∫ ∞0

∫ y

0f ′(y)yφ(y)dxdy

=∫ 0

−∞(−y)φ(y)

∫ 0

yf ′(x)dxdy +

∫ ∞0

yφ(y)∫ y

0f ′(x)dxdy

=∫ 0

−∞(−y)φ(y)[f(0)− f(y)]dy +

∫ ∞0

yφ(y)[f(y)− f(0)]dy

=∫ 0

−∞yφ(y)[f(y)− f(0)]dy +

∫ ∞0


=∫ ∞−∞


= E[X(f(X)− f(0))]

= E[Xf(X)]− f(0)E[X]

= E[Xf(X)]

Sada pretpostavimo da je E[f ′(X)−Xf(X)] = 0. Trebamo dokazati da je X ∼ N (0, 1).Za dokazivanje ovog smjera koristimo lemu čiji se dokaz može naći u [12]. Lema govori

6 STATISTIČKI TEST 14

da je za fiksni z ∈ R i za funkciju distribucije slučajne varijable Z ∼ N (0, 1) označenu sΦ(z) = P (Z ≤ z) jedinstveno ograničeno rješenje f(x) := fz(x) jednadžbe

f ′(x)− xf(x) = 1x≤z − Φ(z)

dano s

fz(x) =

√

2πex2

2 Φ(x)[1− Φ(z)] , x ≤ z,√

2πex2

2 Φ(z)[1− Φ(x)] , x > z.

Ovako definirana funkcija fz(x) je neprekidna, po dijelovima neprekidno diferencijabilna te jeograničena. Zbog pretpostavke da E[f ′(X)−Xf(X)] = 0 vrijedi za neprekidne, ograničenei po dijelovima diferencijabilne funkcije, slijedi

0 = E[f ′z(X)−Xfz(X)] = E[1X≤z − Φ(z)],

tj. vrijedi da jeP (X ≤ z) = Φ(z).

Iz ovoga slijedi da je funkcija distribucije slučajne varijable X jednaka onoj slučajne varijableZ odnosno da je X ∼ N (0, 1).

2

Funkcija definirana Steinovom jednadžbom (42) je osnovna test funkcija za testiranjenormalnosti u pristupu koji se koristi u ovom radu. Ta se funkcija može primjeniti namonome, polinome te na neke općenitije funkcije. Bitna značajka Steinove jednadžbe jeda za odabranu funkciju očekivanje mora biti jednako nuli. Ako promatramo integrabilnufunkciju g te ako želimo provjeriti je li empirijski dio E[g(X)] blizu teorijskog dijela, koristećiSteinovu jednadžbu (42) dobijemo drugu funkciju XG(X), gdje je G(·) bilo koja primitivnafunkcija funkcije g(·) čije je očekivanje jednako E[g(X)]. Stoga se normalnost može testiratiuspoređivanjem empirijskih dijelova od E[g(X)] i E[XG(X)]. Postoje određene funkcije kojepojednostavljuju Steinovu jednadžbu (42). Tu pripadaju i Hermitovi polinomi.

6 Statistički test

6.1 Momentni uvjet

Pretpostavimo da je X ∼ N (0, 1). Tada njenom transformacijom pomoću Hermitovih po-linoma (22) dobijemo slučajne varijable Hn(X), n = 0, 1, 2, ... koje imaju neka zanimljivasvojstva. Prvenstveno, iz svojstva ortonormiranosti Hermitovih polinoma (31) slijedi da suHm(X) i Hn(X) ortonormirani, za m,n = 0, 1, 2, ...,, odnosno vrijedi

E[Hm(X)Hn(X)] = δmn =

0 , m 6= n1 , m = n.

(43)

Ako uvrstimo u (43) m = 0 i n 6= 0, dobije se

E[Hn(X)] = 0,∀n > 0. (44)


Također je

V ar(Hn(X)) = E[(Hn(X)− E[Hn(X)])2] = E[(Hn(X))2] = 1,∀n > 0.

Rezultat (44) se može dobiti i definiranjem veze između Steinove jednadžbe (42) i Her-mitovih polinoma (19). Uvrštavanjem funkcije H ′n(x)/n u (42) te korištenjem (30) dobijese

E

[H ′′n(X)n

−XH ′n(n)n

]= 1

nE[H ′′n(X)−XH ′n(X)]

= 1nE[−nHn(X)]

= − E[Hn(X)]

= 0.

Ovime su dana dva načina kako je moguće doći do momentnog uvjeta (44) koji će se ko-ristiti pri definiranju test statistika za testiranje hipoteza o normalnosti marginalnih distri-bucija nekog procesa X = Xt, t ≥ 0. Sljedeća propozicija stavlja u vezu slučajnu varijabluX koja ima standardnu normalnu distribuciju te pripadni momentni uvjet E[Hn(X)] = 0.

Propozicija 6.1. Neka je X slučajna varijabla takva da je E[Hn(X)] = 0,∀n > 0. Tada (42)vrijedi za svaku diferencijabilnu funkciju f takvu da je E[|f ′(Z)|] < +∞, gdje je Z ∼ N (0, 1).Posljedično, vrijedi X ∼ N (0, 1) ako i samo ako vrijedi (44).

U nastavku promatramo momentne uvjete za testiranje hipoteze o marginalnim distri-bucijama slučajnih procesa u neprekidnom vremenu. Neka je proces Xt, t ≥ 0 strogostacionarno rješenje stohastičke diferencijalne jednadžbe

dXt = µ(Xt)dt+ σ(Xt)dWt, (45)

gdje je Wt standardno Brownovo gibanje. Stacionarnost tog procesa povlači da za bilokoji t ≥ 0 i za glatku funkciju f vrijedi E[f(Xt)] = c, gdje je c ∈ R konstanta. Takavstacionaran proces se naziva difuzija i on je ujedno Markovljev proces. Njegova marginalnafunkcija gustoće fXt(x) je vezana uz funkcije µ(·) (drift) i σ(·) (koeficijent difuzije) sljedećimizrazom:

fXt(x) = Kσ−2(x) exp∫ x

z

2µ(u)σ2(u)du

, (46)

za z ∈ R, dok parametar K osigurava normiranost funkcije gustoće fXt . Uvrštavanjem tefunkcije u (10) dobije se:

f ′Xt(x)fXt(x) = µ(x)− (σ2(x)/2)′

σ2(x)/2 . (47)

Iz ovoga slijedi da tako definirana funkcija gustoće zadovoljava Pearsonovu diferencijalnujednadžbu (10) te da je u tom slučaju τ(x) = µ(x) i σ(x) = σ2(x)/2. Ako vrijedi da jedeg(τ(x)) ≤ 1 i deg(σ(x)) ≤ 2, tada iz (2) dobijemo

σ2(x)2 g′′(x) + µ(x)g′(x) = −λg(x). (48)


Ako je λ definiran izrazom (7), tada će rješenja ove diferencijalne jednadžbe drugog reda bitiortogonalni polinomi n-tog stupnja dani Rodriguesovom formulom (6). Također, prema [19]i [30] slijedi da su tako definirani λ = λn ujedno i svojstvene vrijednosti Stein-Markovljevogoperatora A za kojeg vrijedi

Ag(x) = σ(x)g′′(x) + τ(x)g′(x), (49)

odnosno vrijediAg(x) = −λng(x), n ∈ N0. (50)

Tada jeAg(x) = µ(x)g′(x) + σ2(x)

2 g′′(x). (51)

Tako definiran Stein-Markovljev operator A, koji je vezan uz difuziju Xt, t ≥ 0, zovemoinfinitezimalni generator difuzije Xt, t ≥ 0. Funkcija g je iz domene generatora A, a orto-gonalni polinomi n-tog stupnja koji su rješenja diferencijalne jednadžbe

µ(x)g′(x) + σ2(x)2 g′′(x) = −λng(x) (52)

su ujedno i svojstvene funkcije od A. Prema Steinovoj metodi za dobivanje aproksimacijedistribucije slučajne varijable Xt momentni uvjet će tada biti definiran izrazom

E[Ag(Xt)] = 0, t ≥ 0. (53)

Zanima nas momenti uvjet u slučaju kada je proces Xt, t ≥ 0 standardizirani Ornstein-Uhlenbeckov proces definiran izrazom (36). Njegova marginalna distribucija je N (0, 1).Uvrštavanjem funkcije gustoće te distribucije u Pearsonovu diferencijalnu jednadžbu (10)dobije se da su polinomi τ(x) i σ(x) hipergeometrijske jednadžbe (2) dani formulama τ(x) =−x i σ(x) = 1. Tada (2) ima sljedeći oblik:

g′′(x)− xg′(x) + λg(x) = 0. (54)

Ako je λ definiran s (7), tj. λ = λn = n, n ∈ N, tada će rješenje te jednadžbe biti Hermitovpolinom n-tog stupnja (22). Tako definirani λ = λn su ujedno i svojstvene vrijednosti infi-nitezimalnog generatora A pa je Ag(x) = −λng(x), gdje je funkcija g iz domene generatoraA. Stoga vrijedi

Ag(x) = g′′(x)− xg′(x). (55)Momentni uvjet za testiranje hipoteze o marginalnoj normalnosti OU procesa će tada biti

E[Ag(Xt)] = E[g′′(Xt)−Xtg′(Xt)] = 0, t ≥ 0. (56)

Obzirom da su Hermitovi polinomi Hn(x) svojstvene funkcije generatora A, momentni uvjetmožemo pisati na sljedeći način:

E[H ′′n(Xt)−XtH′n(Xt)] = E[−nHn(Xt)] = 0, (57)

te za n > 0 dobijemo konačan momentni uvjet

E[Hn(Xt)] = 0, t ≥ 0. (58)

U sljedećem dijelu se obrađuje svojstvo miješanja koje će biti potrebno pri definiranju teststatistika kada su slučajne varijable međusobno korelirane.


6.2 Centralni granični teorem i svojstvo miješanja

Neka je Xt, t ∈ Z strogo stacionaran niz slučajnih varijabli na vjerojatnosnom prostoru(Ω,F , P ). Pretpostavimo da je E[Xt] = 0 i 0 < V ar(Xt) < ∞, za t ∈ Z. Za svakin ≥ 1 definiramo Sn = ∑n

t=1 Xt i σ2n = V ar(Sn). Kažemo da je Sn asimptotski normalno

distribuirana slučajna varijabla ako postoje nizovi brojeva An > 0 i Bn takvi da jeSn −Bn

An

d−→ N (0, 1),

kada n → ∞. U slučaju kada imamo nezavisne i jednako distribuirane slučajne varijableXt, t ∈ Z, gdje je V ar(Xt) = σ1,∀t ∈ Z, tada prema centralnom graničnom teoremu slijedi

Sn√nσ2

1

d−→ N (0, 1).

Ono što nas zanima je pod kojim će uvjetima i dalje vrijediti Sn a∼N (0, 1), ako je Xt, t ∈ Zniz zavisnih slučajnih varijabli. Stoga pretpostavimo da je Xt, t ∈ Z stacionaran process očekivanjem 0 te neka je Sn = ∑n

t=1 Xt. Jedan od koncepata u kojemu i uz prisutnostzavisnosti vrijedi Sn√

n

d−→ N(0, σ2) zahtijeva da zavisnost između slučajnih varijabli Xt i Xt+s

postaje sve slabija kada s→∞. To se može napraviti pomoću svojstva miješanja i pripadnihkoeficijenata miješanja. Postoji više vrsta takvih koeficijenata, no ovdje će se spomenuti samotri: α-miješajući, β-miješajući i ρ-miješajući.

6.2.1 Pomoćne definicije

Definicija 6.1. Neka je Ω skup elementarnih događaja te neka je on neprazan skup. σ-algebra F na Ω je familija događaja na Ω sa sljedećim svojstvima:

(a) ∅ ∈ F ;

(b) A ∈ F =⇒ AC ∈ F ;

(c) (An, n ∈ N) ⊆ F =⇒ ⋃n∈NAn ∈ F .

Definicija 6.2. Neka je F σ-algebra na Ω. Funkcija P : F → [0, 1] je vjerojatnost na Ωako:

(a) P (A) ≥ 0, ∀A ∈ F ;

(b) P (Ω) = 1;

(c) ako su A1, A2, ..., An, ... međusobno disjunktni događaji iz F , tj. Ai ∩ Aj = ∅ za i 6= j,tada je P (⋃n∈NAn) = ∑

n∈N P (An).

Uređena trojka (Ω,F ,P) jest vjerojatnosni prostor, uređeni par (Ω,F) je izmjerivi pros-tor, skupovi iz F su događaji, a za događaj A se kaže da će se dogoditi gotovo sigurno (g.s.)ako je P (A) = 1.

Neka je R skup realnih brojeva. Sa B označavamo σ-algebru generiranu familijom svihotvorenih skupova na R. B zovemo σ-algebra Borelovih skupova na R, a elemente σ-algebreB zovemo Borelovi skupovi.


Definicija 6.3. Neka je F σ-algebra na Ω. Za funkciju X : Ω→ R kažemo da je F-izmjerivaako je

ω ∈ Ω : X(ω) ∈ B ∈ F

za svaki Borelov skup B ∈ B(R). Ako je (Ω,F , P ) vjerojatnosni prostor, tada takvu funkcijunazivamo slučajna varijabla.

Definicija 6.4. Za slučajnu varijablu X : Ω → R kažemo da je kvadratno-integrabilna akoje ∫ ∞

−∞x2fX(x)dx <∞.

Prostor kvadratno-integrabilnih i F -izmjerivih slučajnih varijabliX : Ω→ R označavamos L2(F).

6.2.2 Koeficijenti miješanja

Neka je (Ω,F , P ) vjerojatnosni prostor i neka su A,B ⊂ F dvije σ-algebre. Označimos L2(A) i L2(B) redom prostor kvadratno-integrabilnih A-izmjerivih i prostor kvadratno-integrabilnih B-izmjerivih slučajnih varijabli. Za bilo koje dvije σ-algebre A,B ⊂ F defini-ramo tri mjere zavisnosti:

(1) α(A,B) := sup|P (A ∩B)− P (A)P (B)| : A ∈ A, B ∈ B ;

(2) ρ(A,B) := sup|Corr(f, g)| : f ∈ L2(A), g ∈ L2(B);

(3) β(A,B) := sup 12∑Ii=1

∑Jj=1 |P (Ai ∩ Bj) − P (Ai)P (Bj)|, gdje se supremum uzima po

svim parovima konačnih particija A1, ..., AI i B1, ...BJ iz Ω tako da je Ai ∈ A, zasvaki i ∈ I, i Bj ∈ B, za svaki j ∈ J.

Veze između α(A,B), ρ(A,B) i β(A,B) su definirane nejednakostima

2α(A,B) ≤ β(A,B) ≤ 1 i 4α(A,B) ≤ ρ(A,B) ≤ 1, (59)

pri čemu je α(A,B) = ρ(A,B) = β(A,B) = 0 ako i samo ako su A i B nezavisne.

6.2.3 Svojstvo miješanja slučajnih procesa

Neka jeX = Xt, t ∈ Z (ne nužno stacionaran) niz slučajnih varijabli. Za−∞ ≤ a ≤ b ≤ ∞definiramo σ-algebru

F ba := σ(Xt, a ≤ t ≤ b), (60)

a za svaki n ≥ 1 definiramo koeficijente zavisnosti

α(n) := supj∈Z

α(F j−∞,F∞j+n),

ρ(n) := supj∈Z

ρ(F j−∞,F∞j+n),

β(n) := supj∈Z

β(F j−∞,F∞j+n).


Specijalno, ako je X strogo stacionaran niz slučajnih varijabli, tada je

α(n) := α(F0−∞,F∞n ),

ρ(n) := ρ(F0−∞,F∞n ),

β(n) := β(F0−∞,F∞n ).

Za strogo stacionaran niz slučajnih varijabli X odnosno za strogo stacionaran slučajan procesXt, t ≥ 0 kažemo da je

- "α-miješajući" (ili da "ima svojstvo jakog miješanja") ako za n→∞ vrijedi α(n)→ 0,da je "α-miješajući s eksponencijalnom brzinom konvergencije" ako α(n) ≤ γe−δn, zaneke δ, γ > 0 te da je "α-miješajući sa sub-eksponencijalnom brzinom konvergencije"ako je α(n) < ξn za neku nerastuću funkciju ξ za koju vrijedi ξn → ∞, n−1 ln ξn → 0za n→∞;

- "ρ-miješajući" ako za n→∞ vrijedi ρ(n)→ 0, te da je "ρ-miješajući s eksponencijalnombrzinom konvergencije" ako ρ(n) ≤ e−δn, za neki δ > 0;

- "β-miješajući" ako za n→∞ vrijedi β(n)→ 0, da je "β-miješajući s eksponencijalnombrzinom konvergencije" ako β(n) ≤ γe−δn, za neke δ, γ > 0 te da je "β-miješajući sasub-eksponencijalnom brzinom konvergencije" ako za n → ∞ vrijedi ξnβ(n) = 0 zaneku pozitivnu nerastuću funkciju ξ za koju vrijedi ξn →∞, n−1 ln ξn → 0 za n→∞.

Iz (59) se može zaključiti da ako je proces ρ-miješajući ili β-miješajući, tada će biti i α-miješajući, no ne može se ništa zaključiti o međusobnom odnosu između ρ i β-miješajućihprocesa.

Primjer 6.1. Varijanca OU procesa (33) je jednaka σ2/2θ, a zbog (35) slijedi da je

Corr(Xt, Xt+h) = e−kh, k > 0. (61)

Iz ovoga vidimo da će za h → ∞ gornji izraz konvergirati u nulu pa je tada i ρ(h) → 0,odnosno OU proces je ρ-miješajući te stoga i α-miješajući proces. Iz definicije ρ-miješajućikoeficijenta slijedi da je ρ(h) ≤ e−kh za neki k > 0 pa možemo zaključiti da je OU proces iρ-miješajući proces s eksponencijalnom brzinom konvergencije.

Sljedeći teorem je iskazan i dokazan u [14].

Teorem 6.1 (Centralni granični teorem za α-miješajuće procese). Neka je Xt, t ≥0 stacionaran proces s E[Xt] = 0. Pretpostavimo da je taj proces ujedno i α-miješajući teda za neki δ > 0 vrijedi E|Xt|2+δ ≤ ∞ i ∑∞n=0(α(n))δ/2+δ ≤ ∞. Tada je

limn→∞

σ2n

n= E|X1|2 + 2

∞∑k=1

E[X1Xk] ≡ σ2.

Nadalje, ako je σ2 > 0, tada jeSnσ√n

d−→ N (0, 1).

Iz ovoga zaključujemo da se za strogo stacionaran proces Xt, t ≥ 0 koji je ujedno i α, βili ρ-miješajući, može primijeniti prethodno iskazani centralni granični teorem, što će kasnijebiti potrebno pri definiranju test statistika.


6.3 Test statistike

U praksi često nailazimo na slučajne varijable i slučajne procese s iznimno složenim distribu-cijama. U slučaju kada imamo uzorak velike dimenzije, njegovu složenu distribuciju možemoaproksimirati nekom znatno jednostavnijom, kao što je (višedimenzionalna) normalna dis-tribucija. U ovom se dijelu obrađuju test statistike za testiranje normalnosti temeljene naSteinovoj jednadžbi (42). Zasada se neće uzeti u obzir moguće greške koje se javljaju kodprocjene parametara test statistike.

Neka je (X1, X2, ..., XT ) uzorak dobiven iz slučajnog procesa X = Xt, t ≥ 0 čije kom-ponente mogu biti zavisne ili nezavisne. Želimo testirati je li marginalna distribucija od Xstandardna normalna. Nul-hipoteza je tada:

H0: Xt ∼ N (0, 1), t ≥ 0.

Nakon definirane nul-hipoteze potrebna je odgovarajuća test statistika. Neka su f1, f2, ..., fp

diferencijabilne funkcije tako da je f ′i integrabilna funkcija za i = 1, 2, ..., p. Za x ∈ Rdefiniramo vektor g(x) ∈ Rp s komponentama (f ′i(x)− xfi(x)), gdje je i = 1, 2, ..., p:

g(x) =

f ′1(x)− xf1(x)f ′2(x)− xf2(x)

...f ′p(x)− xfp(x)

Zbog pretpostavke Xt ∼ N (0, 1) iz (42) slijedi da je E[g(Xt)] = 0 za svaki t ≥ 0. U ostatkurada se pretpostavlja da su komponente vektora g(x) kvadratno integrabilne te da je pripadnaasimptotska matrica kovarijanci Σ slučajnog procesa X konačna i pozitivno definitna te daje dana s

Σ ≡ limT→+∞

V ar

[1√T

T∑t=1

g(Xt)]

=+∞∑

h=−∞E[g(Xt)g(Xt−h)T ]. (62)

Teorem 6.2 (Centralni granični teorem). Za niz nezavisnih, jednako distribuiranih slu-čajnih varijabli (X1, ...Xn) s očekivanjem µ i varijancom σ2 <∞ vrijedi da je

√n

1n

∑ni=1 Xi − µσ

d−→ N (0, 1),

odnosno vrijedi1√n

(n∑i=1

Xi − µ)

d−→ N (0, σ2).

Iako ne znamo jesu li komponente slučajnog uzorka (X1, X2, ..., XT ) zavisne ili nezavisne,zbog Teorema (6.1) i Teorema (6.2) vidimo da se u oba slučaja na promatrane varijable možeprimijeniti centralni granični teorem. Stoga vrijedi

1√T

T∑t=1

g(Xt) d−→ N (0,Σ). (63)


Uvođenjem oznake Y = Σ−1/2( 1√T

∑Tt=1 g(Xt)) te uz detΣ > 0 dobije se

E[Y ] = 0, V ar(Y ) = I,

odnosno dobije se da je Y ∼ N (0, I). Tada je(

1√T

T∑t=1

g(Xt))T

Σ−1(

1√T

T∑t=1

g(Xt))

=(

Σ−1/2 1√T

T∑t=1

g(Xt))T (

Σ−1/2 1√T

T∑t=1

g(Xt))

= Y TY ∼ χ2(p).

Iz ovoga je vidljivo da će se za testiranje pretpostavki o normalnosti marginalnih distibucijakoristiti test statistika (

1√T

T∑t=1

g(Xt))T

Σ−1(

1√T

T∑t=1

g(Xt))

koja ima asimptotsku χ2(p) distribuciju, pri čemu je p dimenzija vektora g(x). Ako je ekspli-citno računanje matrice Σ preteško ili nemoguće, tada se ona mora procijeniti odgovarajućimkonzistentnim procjeniteljem ΣT . Tada je test statistika dana izrazom

(1√T

T∑t=1

g(Xt))T

Σ−1T

(1√T

T∑t=1

g(Xt))∼ χ2(p). (64)

Kako bi što lakše računali gornju test statistiku, možemo umjesto vektorske funkcije g(x)koristiti ranije spomenute Hermitove polinome. g(x) ima komponente (f ′i(x)− xfi(x)), gdjeje i = 1, 2, ..., p. Umjesto funkcije fi(x) može se uvrstiti H ′n(x), n ∈ N, pa se primjenomizraza (30) dobije da g(x) za komponente može imati Hermitove polinome n-tog stupnja.Obzirom da želimo testirati je li Xt ∼ N (0, 1), zbog Propozicije (6.1) slijedi da je dovoljnoprovjeriti da vrijedi (58) te će nul-hipoteza glasiti:

H0: E[Hn(Xt)] = 0, n ∈ N, t ≥ 0.

Pretpostavimo da je vektorska funkcija g(x) jednodimenzionalna, tj. g(x) = Hn(x) za nekin > 0 pa je

1√T

T∑t=1

Hn(Xt) d−→ N (0, σ2n), ∀n ≥ 0, (65)

gdje je

σ2n =

+∞∑h=−∞

E[Hn(Xt)Hn(Xt−h)]

= V ar(Hn(Xt)) + 2+∞∑h=1

E[Hn(Xt)Hn(Xt−h)]

= 1 + 2+∞∑h=1

E[Hn(Xt)Hn(Xt−h)].


Odgovarajuća test statistika dana je izrazom

1σ2n

(1√T

T∑t=1

Hn(Xt))2

∼ χ2(1), ∀n ≥ 0. (66)

Ako je vektorska funkcija g(x) višedimenzionalna, odnosno

g(x) =

H1(x)H2(x)

...Hp(x)

,

tada iz (63) slijedi1√T

T∑t=1

g(Xt) d−→ N (0,Σ),

gdje je asimptotska matrica kovarijanci Σ = [σ2ij]i,j∈1,...,p definirana s (62), a njezin (i, j)-ti

element definiran je s

σ2ij = Cov(Hi(X0), Hj(X0)) +

∞∑h=1

E[Hi(X0)Hj(Xh)] +∞∑h=1

E[Hi(Xh)Hj(X0)]. (67)

Test statistika je jednaka(1√T

T∑t=1

g(Xt))T

Σ−1(

1√T

T∑t=1

g(Xt))∼ χ2(p). (68)

Nadalje, označimo s α nivo značajnosti testa (najčešće se za α uzima 0.05, 0.01 ili 0.001). Zatakav α te ovisno o stupnju slobode χ2 distribucije definira se kritična vrijednost kα. Obziromda se ovdje radi o jednostranom statističkom testu, kritično područje će tada biti skup svihvrijednosti test statistike koje su veće ili jednake od kα. U slučaju kada je dobivena vrijedosttest statistike (66) tj. (68) veća ili jednaka kritičnoj vrijednosti kα (kada je p-vrijednosttest statistike manja ili jednaka vrijednosti α), tada na nivou značajnosti α odbacujemonul-hipotezu

H0: Xt ∼ N (0, 1), t ≥ 0.

Ovako definiran statistički test će vrijediti i u slučaju kada su komponente slučajnog uzorkameđusobno nezavisne i jednako distribuirane i u slučaju kada su one međusobno korelirane.

U nastavku se obrađuje nekoliko konkretnih primjera, ovisno o tome jesu li slučajne vari-jable X1, ..., XT nezavisne i jednako distribuirane ili su dobivene kao uzorak nekog slučajnogprocesa.

6.3.1 Ornstein-Uhlenbeckov proces

Pretpostavimo da je slučajan uzorak (X1, ..., XT ) dobiven iz Ornstein-Uhlenbeckovog procesa(36). Za takav proces vrijedi da je

Cov(Xt, Xt−h) = e−kh, k > 0.


Prema [23] i zbog (58) je tada

E[Hm(Xt)Hn(Xt−h)] = e−khnδmn, k > 0, (69)

gdje je δmn Kroneckerov simbol. Stoga je (n, n)-ti element asimptotske matrice kovarijanciΣ definiran s

σ2nn = E[Hn(X0)Hn(X0)] + 2

∞∑h=1

E[Hn(X0)Hn(Xh)]

= 1 + 2∞∑h=1

e−khn

= 1 + 2 1ekn − 1

= ekn + 1ekn − 1 ,

za k > 0, dok za n 6= m vrijedi σ2mn = 0.

Test statistika za koju je g(x) = Hn(x), n ∈ N, je tada dana izrazom

ekn − 1ekn + 1

(1√T

T∑t=1

Hn(Xt))2

∼ χ2(1), ∀n ≥ 0. (70)

Kada je g(x) = [H1(x) H2(x) . . . Hp(x)]> , tada je test statistika definirana s (68), a elementimatrice Σ izrazom

σ2ij = eki + 1

eki − 1δij. (71)

6.3.2 Cross-sectional slučaj

Cross-sectional slučaj je slučaj gdje imamo više varijabli promatranih u jednom vremenskomtrenutku. Pretpostavimo da su varijableX1, ..., XT iz slučajnog uzorka (X1, ..., XT ) nezavisnei jednako distribuirane (n.j.d.). Tada je za i 6= j

Cov(Xi, Xj) = 0

iCov(Hn(Xi), Hn(Xj)) = E[Hn(Xi)Hn(Xj)] = 0.

Ako je g(x) = Hn(x), onda je

σ2n =

+∞∑h=−∞

E[Hn(Xt)Hn(Xt−h)] = V ar(Hn(Xt)) = 1.

Iz centralnog graničnog teorema slijedi

1√T

T∑t=1

Hn(Xt) d−→ N (0, 1) (72)

pa je test statistika jednaka(1√T

T∑t=1

Hn(Xt))2

∼ χ2(1), ∀n ≥ 0. (73)


Ako je g(x) = [H1(x) H2(x) . . . Hp(x)]>, onda su elementi matrice Σ jednaki

σ2ij =

0 , i 6= j1 , i = j,

(74)

odnosno matrica Σ je jedinična matrica. Iz (63) je

1√T

T∑t=1

g(Xt) d−→ N (0, I),

a test statistika je definirana s(

1√T

T∑t=1

g(Xt))T ( 1√

T

T∑t=1

g(Xt))∼ χ2(p). (75)

Također s

Hi−j ≡j∑n=i

(1√T

T∑t=1

Hn(Xt))2

, 3 ≤ i < j, (76)

možemo definirati test statistiku baziranu na dva ili više različita Hermitova polinoma.Prema [9], članovi gornje sume su međusobno asimptotski nezavisni. Tada je asimptotskadistribucija takve test statistike χ2 distribucija s (j − i + 1) stupnjeva slobode, a asimptot-ska matrica kovarijanci Σ će biti jedinična matrica. Npr. ako gledamo Hermitove polinomeH3, H4, ..., Hp, pripadna test statistika je

p∑n=3

(1√T

T∑t=1

Hn(Xt))2

∼ χ2(p− 2), ∀n ≥ 0. (77)

6.3.3 AR(1) proces

Promatramo slučajan uzorak (X1, ..., XT ) iz strogo stacionarnog α-miješajućeg procesa X =Xt, t ≥ 0. Komponente tog uzorka su međusobno korelirane pa pripadna matrica kovari-janci Σ nije dijagonalna, ne može se eksplicitno izračunati i u većini slučajeva se procjenjuje.Kako bi pojednostavili matricu Σ, aproksimiramo proces X normalnim autoregresivnim pro-cesom reda 1, tj. AR(1) procesom.

Definicija 6.5 (Autoregresivni proces reda p). Neka se proces Xt, t ≥ 1 može zapisatikao

Xt =p∑

k=1γkXt−k + εt, (78)

gdje su γ1, ..., γk konstante, a (εt, t ≥ 1) niz nezavisnih slučajnih varijabli s očekivanjem 0i varijancom σ2. Tako definirani proces Xt, t ≥ 1 nazivamo autoregresivni proces reda p,odnosno AR(p) proces. U slučaju da je p = 1, tada je

Xt = γXt−1 + εt (79)

i takav proces nazivamo autoregresivni proces reda 1, tj. AR(1) proces.


Napomena 6.1. AR(1) proces je proces u diskretnom vremenu. Analogni proces u nepre-kidnom vremenu je Ornstein-Uhlenbeckov proces definiran s

dXt = −θXtdt+ σdWt, (80)

gdje je Wt Wienerov proces te vrijedi Wt ∼ N (0, t),∀t > 0 . Ako uzmemo da je dt = 1, tadaje dXt = Xt − Xt−1 i dWt = Wt −Wt−1. Uvedemo oznaku εt = Wt −Wt−1 ∼ N (0, 1) teraspišemo proces (80)

Xt −Xt−1 = −θXt + σ(Wt −Wt−1)⇒ Xt + θXt = Xt−1 + σεt

⇒ Xt = 11 + θ

Xt−1 + σ

1 + θσεt.

Obzirom da je θ > 0, slijedi da je 0 < 1/(1 + θ) < 1 te je ovako dobiveni proces stacionaranAR(1) proces s autoregresivnim koeficijentom 1/(1 + θ).

Pretpostavimo da je proces Xt, t ∈ N normalni AR(1) proces definiran formulom

Xt = γXt−1 +√

1− γ2εt, |γ| < 1, (81)

te da su εt n.d.j. iz N (0, 1) distribucije. Želimo testirati je li marginalna distribucija togprocesa N (0, 1) pa je

H0: E[Hi(Xt)] = 0, ∀i > 0, t=1,...,T.

Kod testiranja koristimo test statistike dane izrazom (66) odnosno (68), ovisno o tome kakoje definirana vektorska funkcija g(x). Stoga je potrebno definirati komponente matrice Σ.

Za početak definiramo jednakost

E[Hi(Xt)|Xt−1] = γiHi(Xt−1), ∀t > 0. (82)

Do nje možemo doći korištenjem svojstava uvjetnog očekivanja te raspisivanjem sljedećihizraza:

E[H0(Xt)|Xt−1 = xt−1] = E[1|Xt−1 = xt−1] = 1 = H0(xt−1)E[H1(Xt)|Xt−1 = xt−1] = E[Xt|Xt−1 = xt−1]

= E[γXt−1 +√

1− γ2εt|Xt−1 = xt−1]

= γE[Xt−1|Xt−1 = xt−1] +√

1− γ2E[εt|Xt−1 = xt−1]

= γxt−1 +√

1− γ2E[εt]= γxt−1

= γH1(xt−1)

E[H2(Xt)|Xt−1 = xt−1] = E( 1√

2(X2

t − 1)|Xt−1 = xt−1)

= 1√2(E[X2

t |Xt−1 = xt−1]− E[1|Xt−1 = xt−1])


= 1√2

(E[(γXt−1 +

√1− γ2εt)2|Xt−1 = xt−1]− 1

)= 1√

2(γ2x2

t−1 + (1− γ2)E[ε2t |Xt−1 = xt−1]− 1

)= 1√

2(γ2x2

t−1 + (1− γ2)E[ε2t ]− 1

)= 1√

2(γ2x2

t−1 + 1− γ2 − 1)

= 1√2(γ2(x2

t−1 − 1))

= γ2H2(xt−1).

Induktivno se dobije izraz (82).Za i 6= j vrijedi

E[Hi(Xt)Hj(Xt−h)] = 0, t > 0, (83)

a za i = j računamo

E[Hi(Xt)Hi(Xt−h)] = E [E[Hi(Xt)Hi(Xt−h)|Xt−h]]= E [Hi(Xt−h)E[Hi(Xt)|Xt−h]]= E

[Hi(Xt−h)γiHi(Xt−h)

]= γiE [Hi(Xt−h)Hi(Xt−h)]= γi.

Tada su elementi dijagonale matrice Σ definirani formulom

σ2ii = E[(Hi(X0))2] +

∞∑h=1

E[Hi(X0)Hi(Xh)] +∞∑h=1

E[Hi(Xh)Hi(X0)]

=∞∑h=0

E[Hi(X0)Hi(Xh)] +∞∑h=0

E[Hi(Xh)Hi(X0)]− 1

= 2( ∞∑h=0

E[Hi(X0)Hi(Xh)])− 1

= 2( ∞∑h=0

(γi)h)− 1

= 21− γi − 1

= 1 + γi

1− γi ,

dok je općenito (i, j)-ti element definiran izrazom

σ2ij = 1 + γi

1− γi δij. (84)

Tada je za g(x) = Hn(x), n ∈ N, test statistika dana izrazom

1− γn1 + γn

(1√T

T∑t=1

Hn(Xt))2

∼ χ2(1), (85)


a za g(x) = [H1(x) H2(x) . . . Hp(x)]> je jednaka (68) s elementima matrice Σ definiranimaformulom (84).

6.3.4 Statistički test s koeficijentima asimetričnosti i spljoštenosti

Jedan od najčešćih statističkih testova za testiranje normalnosti je SK test2 kojim se gledarazlika između koeficijenta asimetričnosti i (pretjerane) spljoštenosti distribucije promatra-nog uzorka i odgovarajućih teorijskih vrijednosti koje u slučaju standardne normalne distri-bucije iznose redom 0 i 3.

Koeficijent asimetričnosti ili ukošenosti (skewness) daje informaciju o tome je li distribu-cija slučajne varijable X asimetrična te ako je, je li ukošena ulijevo ili udesno. Računamoga koristeći treći moment slučajne varijable X. Ovisno o dobivenom rezultatu dolazimo dosljedećih zaključaka:

1. ako je dobivena vrijednost manja od nule, rep funkcije gustoće je s lijeve strane, tj. uuzorku iz takve distribucije veća je relativna frekvencija natprosječnih vrijednosti;

2. ako je dobivena vrijednost veća od nule, rep funkcije gustoće je s desne strane, tj. uuzorku iz takve distribucije veća je relativna frekvencija ispodprosječnih vrijednosti;

3. dobivena vrijednost će biti jednaka nuli ako je funkcija gustoće slučajne varijable Xsimetrična.

Koeficijent spljoštenosti (kurtosis) je stupanj raspršenosti podataka od njihovog očekiva-nja. Mjeri se pomoću četvrtog momenta slučajne varijable X i u slučaju N (0, 1) distribucijeiznosi 3. Koeficijent spljoštenosti umanjen za 3 zove se pretjerani koeficijent spljoštenosti(excess kurtosis). U slučaju kada je koeficijent spljoštenosti veći od 3, funkcija gustoće slu-čajne varijable X je "uža" i "zašiljenija" te se većina vrijednosti nalazi u blizini očekivanevrijednosti. Za razliku od nje, kada je koeficijent spljoštenosti manji od 3, distribucija čijesu vrijednosti puno dalje od očekivane vrijednosti je "spljoštenija" i ima zadebljanije repove.

Kada imamo slučajnu varijablu X iz N (0, σ2) distribucije, njezin koeficijent asimetrič-nosti je jednak E[X3] = 0, a koeficijent spljoštenosti E[X4] = 3σ4. Pomoću ovih jednakostiradimo momentne uvjete kojima ćemo testirati normalnost.

Neka su slučajne varijable iz uzorka (X1, ..., XT ) međusobno nezavisne i jednako distribu-irane. Pretpostavimo da Xt, t = 1, ..., T , ima N (0, σ2) distribuciju, tj.

H0: Xt ∼ N (0, σ2) za t = 1, ..., T.

Definiramo za t = 1, ..., T momentne uvjete

E[X3t ] = 0 i E[X4

t − 3σ4] = 0. (86)2Skewness and Kurtosis test


Nadalje, neka su funkcije f1(x) = x3 i f2(x) = x4 − 3σ4 komponente vektora g(x) ∈ R2.Tada uz poznati parametar σ2 iz (63) dobijemo 1√

T

∑Tt=1 X

3t

1√T

∑Tt=1(X4

t − 3σ4)

d−→ N(

0 ,

(15σ6 0

0 96σ8

) ), (87)

odnosno za svaku pojedinačnu test statistiku vrijedi

1√15σ6

1√T

T∑t=1

X3t

d−→ N (0, 1) (88)

i1√

96σ8

1√T

T∑t=1

(X4t − 3σ4) d−→ N (0, 1). (89)

Zbog asimptotske nekoreliranosti i normalnosti slijedi da su test statistika koeficijenta asi-metričnosti i test statistika koeficijenta spljoštenosti međusobno asimptotski nezavisne pa jedistribucija test statistike bazirane na oba testa jednaka

115

(1√T

T∑t=1

(Xt/σ)3)2

+ 196

(1√T

T∑t=1

[(Xt/σ)4 − 3

])2

∼ χ2(2). (90)

Analogna test statistika koja uzima u obzir nepoznavanje parametra σ je Jarque-Bera teststatistika definirana s

JB ≡ 16

(1√T

T∑t=1

(Xt/σ)3)2

+ 124

(1√T

T∑t=1

[(Xt/σ)4 − 3

])2

∼ χ2(2), (91)

gdje je σ MLE procjenitelj od σ.

6.4 Test statistike s nepoznatim parametrima

U praksi se pretpostavka o normalnosti često primjenjuje na rezidualima u regresijskim mo-delima ili pak na nelinearnim vremenskim nizovima. U oba su slučaja parametri modelanajčešće nepoznati pa ih se prije samog testiranja distribucije treba procijeniti. Nakon pro-cjene parametara određuje se asimptotska distribucija odgovarajuće test statistike. Akokorištena test statistika ovisi o nepoznatom parametru θ0, njezina se asimptotska distribu-cija može razlikovati od asimptotske distribucije test statistike koja ovisi o konzistentnomprocjenitelju parametra θ0 označenom s θT . Do toga dolazi zbog nepoznavanja korištenihparametara te se razvijaju razne metode kojima bi se taj problem riješio.

6.4.1 Tradicionalni pristup

Ovaj pristup podrazumijeva korištenje momentnog uvjeta

E[g(Zt, θ0)] = 0,

gdje je Zt slučajna varijabla ili slučajan vektor, a θ0 je nepoznati (vektorski) parametar. Izcentralnog graničnog teorema ponovo slijedi

1√T

T∑t=1

g(Zt, θ0) d−→ N (0,Σg), (92)


gdje je

Σg = limT→+∞

V ar

[1√T

T∑t=1

g(Zt, θ0)]. (93)

Obzirom da je parametar θ0 nepoznat, umjesto njega se koristi odgovarajući√T -konzistentni

procjenitelj θT . Vrijedi da je √T (θT − θ0)→ N (0, Vθ). (94)

Stoga se za testiranje pretpostavke (92) koristi

1√T

T∑t=1

g(Zt, θT ) (95)

te je potrebno poznavati pripadnu asimptotsku distribuciju. Raspisivanjem u Taylorov redoko θ0 dobije se

1√T

T∑t=1

g(Zt, θT ) = 1√T

T∑t=1

g(Zt, θ0) +[

1T

T∑t=1

∂g(Zt, θ0)∂θ>

]√T (θT − θ0) + op(1). (96)

Definiramo matricu Pg kao

Pg = limT→+∞

T∑t=1

∂g(Zt, θ0)∂θ>

(97)

pa je tada1√T

T∑t=1

g(Zt, θT ) =[Ip Pg

] [ 1√T

∑Tt=1 g(Zt, θ0)√T (θT − θ0)

]+ op(1). (98)

Pri tome je Ip p× p jedinična matrica, a p dimenzija vektora g(x). Iz (92) i (94) slijedi da jedesna strana jednakosti (98) asimptotski normalno distribuirana pa stoga vrijedi i da je lijevastrana također asimptotski normalna. Problem se javlja kod procjene asimptotske matricekovarijanci od 1/

√T∑Tt=1 g(Zt, θT ). Matrice Σg i Vθ iz (92) i (94) se mogu lako procijeniti, ali

je teško procijeniti asimptotsku matricu kovarijanci između 1/√T∑Tt=1 g(Zt, θ0) i

√T (θT −

θ0). Kako ne bi došlo do ovog problema, mogu se koristiti neke druge metode kreiranjamomentnih uvjeta, kao što je GMM pristup.

6.4.2 GMM pristup

GMM pristup kod testiranja hipoteza o normalnosti uz nepoznate parametara se temelji namomentnim uvjetima pod kojima će ranije definirana matrica Pg biti jednaka nuli. Tada ćese asimptotske distribucije od (92) i (95) podudarati. Takva će test statistika biti robusnakada su parametri nepoznati.

Neka je Zt = (Yt X>t )> slučajan vektor za čije komponente vrijedi

Yt = m(Xt, θ) + σ(Xt, θ)U θt , (99)

odnosnoU θt = Yt −m(Xt, θ)

σ(Xt, θ). (100)


Pri tome je je Yt endogena slučajna varijabla, Xt egzogeni slučajni vektor, m(x, θ) i σ(x, θ)dvije realne funkcije, a θ nepoznati parametar. Pretpostavimo da postoji jedinstveni para-metar θ0 takav da je za

Ut = Ut(θ0) = Yt −m(Xt, θ0)

σ(Xt, θ0) (101)

distribucija slučajne varijable Ut standardna normalna. Definiramo funkcije g kako bi dobiliželjene momentne uvjete.

Propozicija 6.2. Neka je Ut definiran s (101). Neka je θT√T -konzistentni procjenitelj od θ0

tako da vrijedi (94) te neka su sa Ut označeni odgovarajući procjenjeni reziduali. Definiramofunkciju g(·) s g(Ut(θ)) = g(Zt, θ). Tada je dovoljan uvjet da bi se asimptotske distribucijetest statistika (1/

√T )∑T

t=1 g(Zt, θ0) i (1/√T )∑T

t=1 g(Zt, θT ) podudarale sljedeći:

E[g′(Ut)] = 0 i E[Utg′(Ut)] = 0. (102)

Iz ove se propozicije zaključuje da je dovoljan uvjet da bi test statistika koja ovisi o ne-poznatim parametrima bila robusna taj da je funkcija g′ ortogonalna u odnosu na Hermitovepolinome H0 i H1, odnosno dovoljno je da vrijedi

E[H0(Ut)g′(Ut)] = 0 i E[H1(Ut)g′(Ut)] = 0. (103)

Propozicija vrijedi i u cross-sectional i u time-series slučaju, a dovoljan uvjet (102) je najčešćei nužan (nije nužan u slučaju nekih procjenitelja s posebnim asimptotskim varijancama). Akogledamo test statistike bazirane na Steinovoj jednadžbi (38), odnosno ako je

g(x) = f ′(x)− xf(x),

tada se uvjet (102) može definirati pomoću funkcije f(x).

Propozicija 6.3. Neka je f(x) diferencijabilna funkcija te neka je funkcija g(x) definiranas g(x) ≡ f ′(x)− xf(x). Tada uvjet (103) vrijedi ako i samo ako je

E[f(Ut)] = 0 i E[f ′(Ut)] = 0. (104)

U slučaju da se koristi momentni uvjet (58), tada će (102) i (104) vrijediti za bilo kojulinearnu kombinaciju Hermitovih polinoma Hi(x), za i ≥ 3.

Propozicija 6.4. Neka je Ut definiran s (101) i neka je θT√T konzistentni procjenitelj

parametra θ0 tako da vrijedi (94). Neka je g vektorska funkcija takva da je bilo koja njezinakomponenta linearna kombinacija Hermitovih polinoma Hi(x), za i ≥ 3. Tada se asimptotskedistribucije test statistika (1/

√T )∑T

t=1 g(Zt, θ0) i (1/√T )∑T

t=1 g(Zt, θT ) podudaraju.

Dokazi ove tri propozicije mogu se naći u [9].

7 SIMULACIJE 31

7 SimulacijeU ovom su dijelu navedeni rezultati provedenih statističkih testova. Simuliralo se tisućuslučajnih uzoraka dimenzije d ∈ 100, 500, 1000, 5000, 10000. Nivo značajnosti α je jednak0.05, a brojevi u tablicama predstavljaju postotak odbacivanja nul-hipoteze

H0: Xt ∼ N (0, 1), t ≥ 0.

7.1 Simulacija IID slučajnih varijabli

Komponente simuliranih slučajnih uzoraka su nezavisne i jednako distribuirane slučajnevarijable. Testiranje se provelo pomoću sedam različitih test statistika. Prve tri su definiraneizrazom (73), odnosno (

1√T

T∑t=1

Hn(Xt))2

∼ χ2(1), ∀n ≥ 0,

i koriste Hermitove polinome H3(x), H4(x) i H5(x). Druge tri test statistike se baziraju naviše Hermitovih polinoma i dane su formulom (76), tj.

Hi−j =j∑n=i

(1√T

T∑t=1

Hn(Xt))2

∼ χ2(j − i+ 1), 3 ≤ i < j.

Posljednji redak predstavlja rezultate dobivene provođenjem SK testa definiranog s (90).

d 100 500 1000 5000 10000

H3 5.7 3.8 3.6 4.5 5.4H4 5.2 5.9 4.2 5.3 4.6H5 3.8 4.9 5.7 5.2 5.4

H3−4 7 7.8 7.1 7.8 7.5H4−5 4.8 7.6 6.8 7.2 6.4H3−5 5.1 6.3 9 11 11.1

SK 5.2 6.8 5.8 4.6 5.1

Tablica 1: Postoci odbacivanja nul-hipoteze za α = 0.05

7.2 Simulacija trajektorija OU procesa

Simuliralo se tisuću trajektorija Ornstein-Uhlenbeckovog procesa (36), gdje je µ = 0. Testi-ranje se provelo pomoću test statistike (70), tj.

ekn − 1ekn + 1

(1√T

T∑t=1

Hn(Xt))2

∼ χ2(1), ∀n ≥ 0

7 SIMULACIJE 32

te su se koristili Hermitovi polinomi trećeg, četvrtog i petog stupnja (testovi označeni sH3, H4 i H5). Pri tome se pretpostavilo da su parametri poznati.

Također se pomoću istih test statistika provelo testiranje uz pretpostavku da su parame-tri nepoznati te su korišteni pripadni procjenitelji (testovi označeni s H3, H4 i H5).

d 100 500 1000 5000 10000

H3 2.2 2 2.1 3.6 3.9H3 3.7 2.4 2.2 3.9 4

H4 0.6 1.7 3.2 1.6 2.2H4 1.6 1.9 3.4 2 2.7

H5 0.4 0.3 0.2 0.3 0.4H5 0.7 0.4 0.1 0.6 0.2

Tablica 2: Postoci odbacivanja nul-hipoteze za α = 0.05

8 ZAKLJUČAK 33

8 ZaključakCilj ovog diplomskog rada bio je definirati statistički test kojim će se moći testirati dolaze

li podaci iz slučajnog procesa s marginalnom normalnom distribucijom. Svrha određivanjadistribucije podataka je mogućnost modeliranja njihovog kretanja u budućnosti. Za primjerse mogu promatrati kamatne stope u nekom vremenskom razdoblju. Ako su one normalnodistribuirane, možemo ih modelirati Ornstein-Uhlenbeckovim procesom te lakše predvidjetinjihovo buduće kretanje.

U radu se nastoji kreirati statistički test kojime će testiranje nul-hipoteze Xt ∼ N (0, 1)biti što jednostavnije. Za početak je definirana hipergeometrijska jednadžba čija su rješe-nja polinomi n-tog stupnja. U posebnom slučaju standardne normalne distribucije, rješenjatakve jednadžbe će biti Hermitovi polinomi n-tog stupnja. Takvi su polinomi ortonormiranina intervalu 〈−∞,+∞〉 te se pomoću njih kreira momentni uvjet E[Hn(X)] = 0, n ∈ N.Ovaj se momentni uvjet temelji na generaliziranoj metodi momenata, a jednakost će vrije-diti u slučaju da je X ∼ N (0, 1). Do tog se zaključka dolazi korištenjem Steinove metode zatraženje aproksimacije normalne distribucije. Pomoću ovako definiranog momentog uvjetakreira se test statistika čija će asimptotska distribucija biti χ2 distribucija. Zahvaljujućicentralnom graničnom teoremu za α-miješajuće procese, takva se test statistika može primi-jeniti na slučajan uzorak X1, ..., XT neovisno o tome jesu li njegove komponente zavisneili nezavisne. Također, tako definirana test statistika, koja koristi Hermitove polinome n-togstupnja, je ujedno i robusna kada ovisi o nepoznatim parametrima.

LITERATURA 34

Literatura[1] A. Andreev, A. Kanto, P. Malo, Simple Approach for Distribution Selection in the Pe-

arson System, Helsinki School of Economics, Helsinki, 2005.

[2] G.B. Arfken, H.J. Weber, F.E. Harris, Mathematical Methods for Physicists, Elsevier,Waltham, 2013.

[3] N. Asai, I. Kubo, Hui-Hsiung Kuo, Renormalization, Orthogonalization and GeneratingFunctions, 2002.

[4] F. Avram, N.N. Leonenko, N. Šuvak, Hypothesis testing for Fisher-Snedecor diffusion,Journal of Statistical Planning and Inference, vol. 142 (2012.), 2308-2321.

[5] J. Bai, S. Ng, Tests for Skewness, Kurtosis and Normality for Time Series Data, Journalof Business & Economic Statistics, vol. 23 (2005.), 49-60.

[6] A.D. Barbour, Stein’s Method for Diffusion Approximations, Probability Theory andRelated Fields, vol. 84 (1990.), 297-322.

[7] B.M. Bibby, I.M. Skovgaard, M. Sørensen, Diffusion-type models with given marginaldistribution and autocorrelation function, Bernoulli, vol. 11 (2005.), 191-220.

[8] C. Bontemps, N. Meddahi, Testing distributional assumptions: A GMM approach, Jo-urnal of Applied Econometrics, vol. 27 (2012.), 978-1012.

[9] C. Bontemps, N. Meddahi, Testing normality: a GMM aproach, Journal of Econometrics,vol. 124 (2005.), 149-186.

[10] R.C. Bradley, A Remark on the Central Limit Question for Dependent Random Vari-ables, Journal of Applied Probability, vol. 17 (1980.), 94-101.

[11] R.C. Bradley, Basic Properties of Strong Mixing Conditions. A Survey and Some OpenQuestions, Probability Surveys, vol. 2 (2005.), 107-144.

[12] L.H.Y. Chen, L. Goldstein, Qi-Man Shao, Normal Approximation by Stein’s Method,Springer-Verlag, Berlin, 2011.

[13] X. Chen, L.P. Hansen, M. Carrasco, Nonlinearity and temporal dependence, Journal ofEconometrics, vol. 155 (2010), 155-169.

[14] P. Doukhan, Mixing: Properties and Examples, Springer-Verlag, New York, 1994.

[15] C.W.J. Granger, P. Newbold, Forecasting Transformed Series, Essays in Econometrics(P. Hammond, A. Holly), Cambridge University Press, New York, 2001., 436-456.

[16] W.H. Greene, Econometric Analysis, Pearson Education, Inc., New Jersey, 2003.

LITERATURA 35

[17] A. Gut, An Intermediate Course in Probability, Springer Science + Business MediaLLC, New York, 2009.

[18] L.P. Hansen, Generalized Methods of Moments: A Time Series Perspective, Interna-tional Encyclopedia of the Social and Behavioral Sciences ( N.J. Smelser, P.B. Baltes),Pergamon press, Oxford, 2001.

[19] L.P. Hansen, J.A. Scheinkman, Back to the Future: Generating Moment Implications forContinuous-Time Markov Processes, Econometrica, Econometric Society, vol. 63 (1995.),767-804.

[20] S.M. Iacus, Simulation and Inference for Stochastic Differential Equations, SpringerScience + Business Media LLC, New York, 2008.

[21] R. Jagannathan, G. Skoulakis, Z. Wang, Generalized Method of Moments: Applicationsin Finance, Journal of Business & Economic Statistics, vol. 20 (2002.), 470-481.

[22] C.M. Jarque, A.K. Bera, Efficient tests for normality, homoscedasticity and serial inde-pendence of regression residuals, Economics Letters, vol. 6 (1980.), 255-259.

[23] V. Kargin, Optimal Convergence Trading, New York University, New York, 2008.

[24] J. Karvanen, Adaptive Methods for Score Function Modeling in Blind Source Separa-tion, PhD thesis, Helsinki University of Technology, Helsinki, 2002.

[25] N.M. Kiefer, M. Salmon, Testing Normality in Econometric Models, Economics Letters,vol. 11 (1983.), 123-127.

[26] D.S. Moore, Chi-Square Tests, Studies in Statistics (R. Hogg), Purdue University, WestLafayette, 1978., 66-106.

[27] A.F. Nikiforov, V.B. Uvarov, Special Functions of Mathematical Physics, BirkhäuserVerlag, Basel, 1988.

[28] J.K. Patel, C.B. Read, Handbook of the normal distribution, Marcel Dekker Inc., NewYork, 1982.

[29] M. Richardson, T. Smith, A Test for Multivariate Normality in Stock Returns, Journalof Business, vol. 66 (1993.), 295-321.

[30] W. Schoutens, Stochastic Processes and Orthogonal Polynomials, Springer-Verlag, Ber-lin, 2000.

[31] C.M. Stein, Estimation of the Mean of a Multivariate Normal Distribution, The Annalsof Statistics, vol. 9 (1981.), 1135-1151.

[32] M. Vavra, Testing Normality in Time Series, Mimeo, Birkbeck College, University ofLondon, London, 2011.

LITERATURA 36

[33] H. Wackernagel, Multivariate Geostatistics, Springer-Verlag, Berlin, 2003.

[34] http://physicspages.com/2011/02/11/hermite-polynomials/

[35] http://physicspages.com/2012/07/23/hermite-polynomials-recursion-relations/

37

Sažetak

Testiranje normalnosti: GMM pristup

U radu su definirani Hermitovi polinomi te njihova veza s Gaussovom distribucijom. Defi-nirana je Steinova metoda za određivanje aproksimacije distribucije slučajne varijable te jeobrađen poseban slučaj aproksimacije normalne distribucije. Također je opisan Ornstein-Uhlenbeckov proces te su objašnjeni slučajni procesi koji imaju svojstvo miješanja. Drugidio rada je vezan za statistički test. Uveden je pojam momentnog uvjeta baziranog na ge-neraliziranoj metodi momenata. Pomoću njega je kreirana test statistika koja testira jesu limargine slučajnog procesa normalno distribuirane. Obrađeno je nekoliko posebnih slučajevatest statistike za različite slučajne procese. U nastavku su definirani momentni uvjeti kadatest statistika ovisi o nepoznatim parametrima. Na kraju rada su dani rezultati simulacijastatističkog testa.

Ključne riječi: normalna distribucija, momentni uvjet, statistički test, Hermitovi poli-nomi, Steinova metoda, Ornstein-Uhlenbeckov proces

38

Summary

Testing normality: GMM approach

In this paper Hermite polynomials and their relation to Gaussian distribution are given.Stein’s method for finding approximation to the distribution of a random variable and aspecial case for finding approximation to the normal distribution are analyzed. Ornstein-Uhlenbeck process is also defined and stochastic processes with mixing property are discu-ssed. The second part of the paper deals with statistical test. The term moment condition,based on generalized method of moments, is introduced. Using that condition, test statisticfor testing marginal normality of a stochastic process is created. Some special cases of teststatistic for various stochastic processes are analyzed. Furthermore, moment conditions,when test statistic depends on unknown parameters, are provided. Finally the results ofsimulations of statistical test are given.

Keywords: normal distribution, moment condition, statistical test, Hermite polynomials,Stein’s method, Ornstein-Uhlenbeck process

39

Životopis

Rođena sam 26. lipnja 1988. godine u Osijeku. Osnovnu školu sam pohađala u Valpovu,gdje sam također završila opću gimnaziju. 2007. godine sam upisala preddiplomski studijmatematike na Odjelu za matematiku u Osijeku, a 2010. diplomski studij matematike, smjerFinancijska i poslovna matematika.

Documents

Matea Nosse - mathos.unios.hrmdjumic/uploads/diplomski/NOS03.pdf · deﬁnirana jednadžba (2) je hipergeometrijska jednadžba, a njezina rješenja y(x) nazivamo hipergeometrijske