Profesor Zorica Mladenovic
Ekonomski fakultet, Beograd,11/ 2010. 1
1
Klasični linearni regresioni model
Brooks, Introductory econometrics for finance, 2002, CUP
modifikacije: Zorica Mladenović
Mladenović i Petrović, Uvod u ekonometriju, 2007/10, EF.
2
Struktura predavanja
• Jednostavna regresiona analiza i metod običnih najmanjih
kvadrata (metod ONK)
• Klasični jednostavni linearni regresioni model (KLRM)
• Svojstva ocena dobijenih primenom metoda ONK u KLRM
• Statističko zaključivanje u KLRM
• Klasični višestruki linearni regresioni model
Profesor Zorica Mladenovic
Ekonomski fakultet, Beograd,11/ 2010. 2
• Klasični višestruki linearni regresioni model
Klasični višestruki linearni regresioni model
• Prethodno smo ispitivali zavisnost inflacije od deprecijacijedeviznog kursa
• Ovakva postavka može biti suviše restriktivna.
• Inflacija može zavisiti i od:
1. ostalih troškovnih faktora (jedinični troškovi rada),
2. faktora na strani tražnje (proizvodni jaz) i
3. uvoznih faktora (cene uvoznih proizvoda, pre svega cena nafte)
• Neophodno je napraviti uopštenje linearnog regresionog modela: izabrana zavisna promenljiva zavisi od većeg broja nezavisnih promenljivih.
• Time dolazimo do višestrukog linearnog regresionog modela.
T. 1,2,..., t =++= ,tutXtY βα
Profesor Zorica Mladenovic
Ekonomski fakultet, Beograd,11/ 2010. 3
Postavka modela
• Analitički oblik višestrukog linearnog regresionog modela:
• Gde je X1? To je konstantni član, koji se uobičajeno predstavlja vektor kolonom dimenzije Tx1:
• β1 je parametar uz konstantni član, koji se često naziva slobodan član (koji smo ranije označavali sa α)
T,...,2,1t,tuktXk...t3X3t2X21tY =+++++= ββββ
=
1
1
1
1XM
Postavka modela (II)
• parcijalni koeficijenti nagiba
• Na primer: ako se X2t poveća za jednu jedinicu, očekivana
promena Yt je jedinica, pod pretpostavkom da se ne
menja uticaj ostalih objašnjavajućih promenljivih
- k,...,3 ,2 βββ
.ktX,...,t3X2β
Profesor Zorica Mladenovic
Ekonomski fakultet, Beograd,11/ 2010. 4
Pretpostavke KLRM (višestrukog)
1. E(ut) = 0
2. Var(ut) = σ2 < ∞ za svako t
3. Cov (ui,uj) = 0, i različito od j.
4. Objašnjavajuće promenljive nisu određene stohastičkim
članom
5. ut ∼ N(0,σ2)
6. Ne postoji tačna linearna zavisnost između objašnjavajućih
promenljivih (ni jedna od objašnjavajućih promenljivih se ne
može predstaviti kao linearna kombinacija ostalih).
Primenom metoda ONK dobijaju se najbolje linearne
nepristrasne ocene.
• Jednačinu možemo zapisati za svaku vrednost t:
• Ovaj sistem jednačina se može jednostavnije zapisati u
matričnoj formi:
Y = Xβ +u
gde je: Y vektor kolona dimenzije T × 1
X matrica dimenzije T × k
β vektor kolona dimenzije k × 1
u vektor kolona dimenzije T × 1
T,TukTXk...T3X3T2X21TY
,2u2kXk...32X322X212Y
,1u1kXk...31X321X211Y
=+++++=
=+++++=
=+++++=
t
2 t
1 t
ββββ
ββββ
ββββ
MMM
Postavka modela u matričnoj formi
Profesor Zorica Mladenovic
Ekonomski fakultet, Beograd,11/ 2010. 5
Postavka modela u matričnoj formi (II)
• Pretpostavimo da je k jednako 2, što znači da u modelu imamo jednu objašnjavajuću promenljivu:
T ×1 T×2 2×1 T×1
+
=
Tu
2u
1u
2
1
T2X1
22X1
21X1
TY
2Y
1Y
MMMM β
β
Primena metoda ONK
• U jednostavnom modelu razmatrali smo rezidualnu sumu
kvadrata. Odgovarajuće ocene parametara smo dobili iz uslova
da vrednost rezidualne sume kvadrata bude minimalna.
• Predstavljamo reziduale u u matričnom zapisu:
• Rezidualna suma kvadrata je:
=
Tu
u
u
u
ˆ
ˆ
ˆ
ˆ 2
1
M
[ ] ∑=+++=
==
T
1t
2t
2T
22
21
T
2
1
T21 uu...uu
u
u
u
uuuu'u K
Profesor Zorica Mladenovic
Ekonomski fakultet, Beograd,11/ 2010. 6
Primena metoda ONK (II)
• Da bismo dobili ocene parametara β1, β2,..., βk, potrebno je
da odredimo minimum rezidualne sume kvadrata u odnosu
na ocene β1, β2,..., βk .
• Vektor ocena je:
YXXX
k
′′=
= −12
1
)(
ˆ
ˆ
ˆ
ˆ
β
β
β
βM
( )
( ) ( ) {
)Y'X(1)X'X(ˆ0ˆX'X2Y'X2ˆ
L0
ˆ
L
ˆX'X'ˆY'X'ˆ2Y'Yu'uL
ˆXˆX'X'ˆˆX'YY'X'ˆ:Napomena
1x1
ˆX'X'ˆ
1x1
)1kx(x)Txk(x)xT1(
ˆX'Y
1x1
)1Tx(x)kxT(x)xk1(
Y'X'ˆ
1x1
Y'YˆXY'ˆXYu'uL
?
kˆ
2ˆ
1ˆ
ˆˆXYu,ˆXY
−=⇒=+−=∂
∂⇒=
∂
∂
+−==
−=
+−−=−−==
=
=−==
ββββ
βββ
βββββ
ββββββ
β
β
β
βββ
kvadrat - skalar,
, reziduala vektor
43421
444 3444 21
321
444 3444 21
321
M
Primena metoda ONK (III)
Profesor Zorica Mladenovic
Ekonomski fakultet, Beograd,11/ 2010. 7
Određivanje standardnih grešaka
ocena u višestrukom modelu
• U jednostavnom modelu ocena varijanse σ2 je:
• U jednostavnom modelu ocena varijanse ocene nagiba je:
• U višestrukom modelu ocene varijanse σ2 je:
• U višestrukom modelu ocene varijansi vektora ocena je:
∑ − 2)XtX(
2s
2T
us
2t2
−∑
=
12 −)X'X(s
kT
u'us
−=2
Određivanje standardnih grešaka
ocena u višestrukom modelu (II)
12 −)X'X(s
• Ovo je matrica dimenzije kxk koja se naziva kovarijantna
matrica ocena parametara.
• Elementi na glavnoj dijagonali su ocene varijansi.
• Element (1,1) je ocena varijanse ocene slobodnog člana
• Element (2,2) je ocena varijanse ocene , itd.
• Elementi van glavne dijagonale su ocene kovarijacionih
koeficijenta između ocena.
1ββββ
2ββββ
Profesor Zorica Mladenovic
Ekonomski fakultet, Beograd,11/ 2010. 8
( )( )
1)X'X(2s)ˆ(2s)ˆr(av
1)X'X(21)X'X)(X'X(1)X'X(21)X'X(X
I2
'uuE'X1)X'X(
1)X'X(X'uu'XE1)X'X(1)X'X(X'uu'X1)X'X(E
'u
'X
1)X
'X(u
'X
1)X
'X(E
'ˆˆE)ˆvar(
u'
X1
)X'
X())uX('
X(1
)X'
X(ˆ
)Y'X(1
)X'X(ˆ
uXY
−==
−=−−=−
−=
−
−=
−
−=
−
−=−−=
−+=+−=
−=
+=
ββ
σσ
σ
βββββ
βββ
β
β
321
Određivanje standardnih grešaka
ocena u višestrukom modelu (III)
Izračunavanja ocena parametara i
standardnih grešaka ocena: primer
• Primer: Mesečni podaci privrede Srbije u periodu: januar
2003 – avgust 2009. godine (T=80) za sledeće promenljive:
Inflacija (stopa rasta cena na malo u %)
Deprecijacija deviznog kursa (u %)
Stopa rasta cena industrijskih proizvoda (u %)
• Ocenjujemo model oblika:
• Uzoračka funkcija je:
t3X3ˆ
t2X2ˆ
1ˆ
tY βββ ++=
tut3X3t2X21tY +++= βββ
Profesor Zorica Mladenovic
Ekonomski fakultet, Beograd,11/ 2010. 9
Primer - grafički prikaz modela (II)
Primer (III)
i.p. cena
inflacija rasta s. deprec.
↓↓↓
=
=
−=
TY
2Y
1Y
Y,
T3XT2X1
32X22X1
31X21X1
X
)Y'X(1
)X'X(ˆ
MMMM
β
Profesor Zorica Mladenovic
Ekonomski fakultet, Beograd,11/ 2010. 10
Primer (IV)
0.356677
27.4615 27.4615,
0.35826
0.15005
0.48973
68.09048
63.03460
67.80240
0.02119 0.00138 0.01728-
0.00138 0.00463 0.00348-
0.01728- 0.00348- 0.02781
68.09048
63.03460
67.80240
97.0166618.0397862.53804
18.03978241.7423841.44851
62.5380441.4485180
====
=
=
==
=
=
∑
∑
∑
=
=
∑∑∑
∑∑∑
∑∑
=
−
T-k
u'u2su'u,
3ˆ2
ˆ1
ˆ
ˆ
)Y'X()X'X(
3ˆ2
ˆ1
ˆ
ˆ
tYt3X
tYt2X
tY
)Y'X(
,
2t3
Xt3Xt2Xt3X
t3Xt2X2t2
Xt2X
t3Xt2XT
)X'X(
1
β
β
β
β
β
β
β
β
Primer - izračunavanje standardnih grešaka ocena (V)
• Kovarijantna matrica ocene vektora $β
( ) ( ) ( )0869.00406.00996.0
X3583.0X1500.04897.0Y t3t2t
++=
( ) ( )( ) ( )
( ) ( ) 0869.0ˆSEˆvar
0406.0ˆSEˆvar
0996.0ˆSEˆvar
)X'X(s
33
22
11
12
=⇒=
=⇒=
=⇒=
=
=−
ββ
ββ
ββ
0.00756
0.00165
0.00992
0.00756 04-4.92672e 0.00616-
04-4.92672e 0.00165 0.00124-
0.00616- 0.00124- 0.00992
0.02119 0.00138 0.01728-
0.00138 0.00463 0.00348-
0.01728- 0.00348- 0.02781
0.3566
Profesor Zorica Mladenovic
Ekonomski fakultet, Beograd,11/ 2010. 11
Primer (VI)
• Parcijalni koeficijenti nagiba:
0.1500 – ako se deprecijacija dinara ubrza za 100 procentnih poena, tada se inflacija povećava za 15 procentnih poena (uz stabilne cene industrijskih proizvoda)
0.3583 – ako se rast cena industrijskih proizvoda ubrza za 100 procentnih poena, tada se inflacija povećava za oko 36procentna poena (uz stabilan devizni kurs).
• Da li deprecijacija deviznog kursa i stopa rasta cena industrijskih proizvoda utiču značajno na inflaciju?
( ) ( ) ( )0869.00406.00996.0
X3583.0X1500.04897.0Y t3t2t
++=
Specifičan tip t-testa: t-odnos
• Kao i u slučaju jednostavnog modela, i u višestrukoj regresiji se
koristi test-statistika oblika:
• Pretpostavimo da je hipoteza od interesa: H0 : βi= 0, protiv
H1 : βi≠ 0, i=1,2,3.
• U uslovima validnosti nulte hipoteze test-statistika je:
• Budući da je u pitanju količnik ocene i odgovarajuće standardne
greške te ocene, ova statistika se naziva t-odnos.
• Na ovaj način se proverava značajnost pojedinačnog uticaja svake
od objašnjavajućih promenljivih na zavisnu promenljivu.
)ˆ(SE
*ˆstatistikatest
i
ii
ββββ
ββββββββ −=−
)ˆ(SE
ˆstatistikatest
i
i
ββββ
ββββ=−
Profesor Zorica Mladenovic
Ekonomski fakultet, Beograd,11/ 2010. 12
Uticaj deprecijacije deviznog kursa i stope rasta cena
industrijskih proizvoda na inflaciju: primena t-odnosa
• U prethodnom primeru smo dobili:
Ocena 0.4897 0.1500 0.3583
SE ocene 0.0996 0.0406 0.0869
t-odnosi 4.92 3.69 4.12
Kritična vrednost t-raspodele sa 80-3= 77 stepeni slobode i
nivo značajnosti 5% (2.5% na svakom kraju repa raspodele): 1.99.
Da li prihvatamo
H0: β1 = 0? (Ne)
H0: β2 = 0? (Ne)
H0: β3 = 0? (Ne)
Zaključak: promenljive ostvaruju uticaj koji je statistički
značajan na nivou značajnosti 5%.