Profesor Zorica Mladenovićavs.ekof.bg.ac.rs/OEkonometrije/materijal/2019/glava6.pdf · Profesor Zorica Mladenović Ekonomski fakultet, 2019. 10 Primer Dati su godišnji podaci o

Profesor Zorica Mladenović

Ekonomski fakultet, 2019. 1

Zorica Mladenović

1

Klasični višestruki

linearni regresioni model

Struktura

Osnove višestrukog linearnog regresionog

modela

Dvostruki linearni regresioni model

Ocene parametara primenom metoda ONK (na

vežbama)

Koeficijent determinacije u višestrukom KLRM

Pretpostavke višestrukog KLRM

Svojstva ocena dobijenih primenom metoda ONK

u višestrukom KLRM (bez dokaza)

Statističko zaključivanje u višestrukom KLRM



Osnove

Klasični višestruki linearni regresioni model: osnove

Na jednom od prethodnih primera ispitivali smozavisnost tražnje datog proizvoda od njegovecene

Ovakva postavka može biti suviše restriktivna.

Tražnja za datim proizvodom može zavisiti i od:

1. dohotka potrošača,

2. cena konkurentnih proizvoda i

3. opšteg indeksa cena.

Neophodno je napraviti uopštenje linearnogregresionog modela: izabrana zavisnapromenljiva zavisi od većeg broja nezavisnihpromenljivih.

Time dolazimo do višestrukog linearnogregresionog modela.

.21 0 ,..., n,i,XY iii =++=



Postavka modela

Analitički oblik višestrukog linearnog regresionog

modela (ukupan broj parametara je k):

Parametri modela:

su parcijalni koeficijenti nagiba

Na primer: ako se X1 poveća za jednu jedinicu,

očekivana promena Y je jedinica, pod

pretpostavkom da se ne menja uticaj ostalih

objašnjavajućih promenljivih

Parametar slobodnog člana:

121 −k,...,,

1

+++++= −− 1122110 kk X...XXY

0





Najjednostavniji je model sa dve objašnjavajuće promenljive:

Y=β0+β1X1+β2X2+ε

Populaciona regresiona jednačina (za E(ε)=0) je:

E(Y)=β0+β1X1+β2X2

Parametri β0, β1 i β2 su populacioni parametri ili regresioni koeficijenti.

Populaciona regresiona jednačina ne opisuje pravu, nego ravan.

Parametar β0 je odsečak (presek ravni sa y-osom).

Parametri β1 i β2 parcijalni koeficijenti nagiba.

Grafički prikaz modela



Dvostruki linearni regresioni model II

Uključivanjem konkretnih podataka model postaje:

Uzoračka regresiona funkcija je:

gde su b0, b1 i b2 ocene parametara.

Ocene nepoznatih parametara dobijaju se

primenom metoda ONK.

.n,...,,iza,XXY iiii 2122110 =+++=

iii XbXbbY 22110 ++=

Metod ONK



11

Izvođenje ONK ocena

Potrebno je minimizirati zbir (tzv. rezidualnu sumu

kvadrata):

Šta je ? To je razlika

Naći minimum

je ekvivalentno određivanju minimuma

=

=+++

n

i

in ee...ee

1

2222

21

iii YYe −=

=

n

i

ie

1

2

2

1

)YY( ii

n

i

−=

ie

12

Izvođenje ocena metoda ONK (II)

Kako je , možemo definisati funkciju

Potrebno je minimizirati funkciju S u odnosu na b0 , b1 i b2 :

222110

1

2

1

210 )XbXbbY()YY()b,b,b(S iii

n

i

ii

n

i

−−−=−= ==

( )( )

( )( )

( )( ) (3) 02

(2) 02

(1) 02

1

2221102

210

1

1

221101

210

1

221100

210

=−−−−=

=−−−−=

=−−−−=

=

=

=

n

i

iiii

i

n

i

iii

n

i

iii

XXbXbbYb

b,b,bS

XXbXbbYb

b,b,bS

XbXbbYb

b,b,bS




13

Izvođenje ocena metoda ONK (III)

Iz (1):

Zamenom (4) u (2) i (3)

(4)

0

0

22110

1 1

22110

1

22110

1

XbXbYb

XbXbnbY

)XbXbbY(

n

i

n

i

ii

n

i

i

iii

n

i

−−=

=−−−

=−−−

= ==

=

( )( )

( )( ) (6) 0

(5) 0

1

222112211

1

1

22112211

=−−−−−

=−−−−−

=

=

n

i

iiii

i

n

i

iii

XXbXbXbXbYY

XXbXbXbXbYY

14

Izvođenje ocena metoda ONK (IV)

( ) ( ) ( )( )

( ) ( ) ( )( )

( ) ( )( )

( ) ( )( )

( ) ( ) ( ) ( )

( ) ( )( )

( ) ( )( ).XXXXXXX

,XXXXXXX

XXXXX,XXXXX

XXYYXYY

XXYYXYY

XXXbXXbYY

XXXbXXbYY

n

i

iii

n

i

i

i

n

i

ii

n

i

i

n

i

ii

n

i

i

n

i

ii

n

i

i

n

i

iii

n

i

i

n

i

iii

n

i

i

n

i

iiii

i

n

i

iii

==

==

====

==

==

=

=

−−=−

−−=−

−=−−=−

−−=−

−−=−

=−−−−−

=−−−−−

1

22111

1

22

22

1

112

1

11

2

1

222

1

22

2

1

111

1

11

1

122

1

1

111

1

1

2222111

1

1

222111

:je da Znamo

(8) 0

(7) 0



15

Izvođenje ocena metoda ONK: sistem normalnih jednačina

( ) ( )( ) ( )( )

( )( ) ( ) ( )( )

( ) ( )

( )( )

( )( ) ( )( )YYXXyx,YYXXyx

XXXXxx

,XXx,XXx

:

YYXXXXbXXXXb

YYXXXXXXbXXb

i

n

i

i

n

i

iii

n

i

i

n

i

ii

i

n

i

i

n

i

ii

n

i

i

n

i

n

i

i

n

i

n

i

ii

n

i

ii

n

i

i

i

n

i

ii

n

i

i

n

i

i

ii

−−=−−=

−−=

−=−=

−−=−+−−

−−=−−+−

====

==

====

===

===

1

22

1

2

1

11

1

1

22

1

11

1

21

2

1

22

1

2

2

1

11

1

2

1

22

2

1

22222

1

111

1

1122

1

112

2

1

111

podatke centrirane za Notacija

21

16

Izvođenje ocena metoda ONK:

najčešća forma

XbXbYb

yxxbxxb

yxxxbxb

n

iii

n

ii

n

iii

n

iii

n

iii

n

ii

22110

12

1

222

1211

11

1212

1

211

−−=

=+

=+

===

===



17

Ocena b1

=

==

==

==

==

n

ii

n

iii

n

iii

n

ii

n

ii

n

iii

n

iii

n

iii

xxx

xxx

xyx

xxyx

b

1

22

121

121

1

21

1

22

12

121

11

1

18

Ocena b2

,

xxx

xxx

yxxx

yxx

b

n

ii

n

iii

n

iii

n

ii

n

iii

n

iii

n

iii

n

ii

=

==

==

==

==

1

22

121

121

1

21

12

121

11

1

21

2



Primer

Dati su godišnji podaci o potrošnji piva, relativnoj ceni piva i

realnom dohotku na slučaj izabranih domaćinstava.

Prema uzorku od 20 godina potrebno je oceniti parametre

cenovne i dohodne elastičnosti tražnje za pivom.

Promenljive

Yi - ln (potrošnja piva)

X1i - ln (relativna cena piva)

X2i - ln (realni nivo dohotka)

Model:

Uzoračka funkcija:

1,2,...,20i 22110 =+++= ,XXY iiii


Primer: podaci

God. Y X1 X2

1 4.40305 0.47225 10.02578

2 4.04130 1.22026 10.58768

3 4.16044 0.97932 10.33316

4 4.18052 1.05315 10.49711

5 4.16044 0.75710 10.15131

6 4.06217 0.81697 10.12964

7 4.12228 0.83808 10.16214

8 4.17899 0.73465 10.12368

9 4.05699 1.06000 10.39294

10 4.15104 0.73827 10.04659

11 4.18814 0.79851 10.16956

12 3.87743 1.11619 10.38318

13 4.01818 1.19292 10.43950

14 3.86912 1.07717 10.25049

15 4.04305 0.72916 9.98371

16 3.94352 0.97762 10.22916

17 3.99268 0.96266 10.25149

18 3.94546 0.89116 10.11648

19 4.02356 0.77824 10.03082

20 3.95316 1.08988 10.35204



Primer: potrebne sume centriranih vrednosti

10.23282X,.X ,.Y

.y,.yx

,.yx,.xx

,.x,.x

ii

iii

iii

iii

ii

ii

===

=−=

−==

==

==

==

==

21

20

1

220

12

20

11

20

121

20

1

22

20

1

21

91417700685774

309793001152000

30575105433190

54383006858330

Primer: ocene parametara

X.X..Y

.b

.....b

,..

.b

,..

.b

.b.b.

.b.b.

iii 21

0

0

2

1

21

21

120133311746

1746

23282101201914177033310685774

12010777810

0871120

33310777810

1036860

115200054383005433190

305751054331906858330

+−−=

−=

−+=

=

−=−=

−=+

−=+



Primer: interpretacija ocena parametara

iii X.X..Y 21 120133311746 +−−=

Ocene parcijalnih koeficijenata nagiba:

❑-1.333, cenovna elastičnost tražnje

Ako se relativna cena poveća za 1%, tada tražnja za pivom opada za 1.33%, pod pretpostavkom da nivo realnog dohotka ostaje nepromenjen

❑1.120, dohodna elastičnost tražnje

Ako se realni dohodak poveća za 1%, onda tražnja za pivom raste za 1.12%, pod prepostavkom da se ne menja cena piva.

Koeficijent determinacije



Koeficijent determinacije R2

Kao i u jednostavnom modelu, pokazuje udeo objašnjenog

varijabiliteta u ukupnom varijabilitetu zavisne promenljive

Prilikom određivanja varijabiliteta koji je objašnjen

modelom, odnosno izabranim promenljivima, vodi se računa

o svakoj od ocena parcijalnih koeficijenata nagiba.

Na primer, u modelu sa dve objašnjavajuće promenljive:

−− =

+=

====

=

==

ni ii

ni ii

ni i

ni i

ni i

ni ii

ni ii

yxbyxbye

y

yxbyxbR

1 221 1112

12

12

1 221 112

( ) −

−=

=

−==

=

=

ii

ii

ni i

ni i

YY

e

y

yR

USK

RSK

USK

OSKR

2

2

12

12

2

2

1

1

Ograničenja u primeni R2 kao

pokazatelja kvaliteta regresije

1. R2 se uvek povećava sa dodavanjem novihobjašnjavajućih promenljivih:

Regresija 1: Yi= 0 + 1X1i + 2X2i + i

Regresija 2: Yi = 0 + 1X1i + 2X2i + 3X3i + i

R2 će uvek biti veći u regresiji 2, bez obzira na tokakva je eksplanatorna snaga nove objašnjavajućepromenljive.

2. R2 je krajnje nepouzdan pokazatelj u regresionojanalizi vremenskih serija kada vrednost 0.999, nemora nužno pokazivati ništa.



Korigovani koeficijent determinacije R2

Koriguje se koeficijent determinacije sa ciljem dobijanja

pokazatelja koji se neće neopravdano povećavati sa

rastom broja objašnjavajućih promenljivih.

Novi pokazatelj:

korigovani koeficijent determinacije

Korekcija: svaka od suma u formuli za R2 deli se sa

korespondirajućim brojem stepeni slobode.

( )

( )

modela parametarabroj ukupank uzorka, obim - n

Rkn

n

)n/(

i

YiY

i

)kn/(ie

R

i

YiY

iie

R

−

−

−

−−=

− −

−

−=

−

−=

211

1

12

2

12

2

2

12

2R

28

Primer: izračunavanje rezidualne sume kvadrata i

koeficijenta determinacije u modelu sa dve

objašnjavajuće promenljive

Prethodno je ocenjena sledeća zavisnost:

89903097930

03125012

0312502

115200012013057510333130979302

221122

..

.R

.

iie

.....

iie

iy

iixbiy

i iixbiy

iie

=−=

=

+−=

− −=

iX.iX..iY 21201133311746 +−−=



29

Primer: korigovani koeficijent determinacije u modelu

sa dve objašnjavajuće promenljive

( )

( ) ...R

Rkn

nR

.R

,X.X..Y

2

2

2

iii

88708990117

191

11

1

8990

120133311746

2

320

120

21

=−−=

−−

−−=

=

+−−=

−

−

Pretpostavke višestrukog KLRM



31

Pretpostavke višestrukog KLRM (I)

Redni broj

pretpostavke1. 2. 3.

Formulacija

Očekivana

vrednost slučajne

greške je nula

Slučajne greške su

homoskedastične,

odnosno poseduju

istu varijansu

Slučajne greške su

međusobno

nekorelisane

Zapis

za svako i za svako i za svako i , j koji su

različiti.

( ) 22 ==i

E)(v i( ) 0=iE ( ) ( ) .E,cov jiji 0==

32

Pretpostavke višestrukog KLRM (II)

Redni broj

pretpostavke4. 5. 6.

Formulacija Slučajna

greška ima

normalnu

raspodelu

Nijedna od

objašnjavajućih

promenljivih nije

slučajna promenljiva

Objašnjavajuće promenljive

nisu međusobno linearno

zavisne: nijedna se ne može

izraziti kao tačna linearna

kombinacija ostalih

objašnjavajućih promenljivih

Zapis/naziv Odsustvo ekstremne

multikolinearnosti

( )i svakoza

,N:i20 ( )cov , 0

,

1,..., -1.

ji iX

za svako i

j k

=

=



O ocenama parametara u

dvostrukom linearnom

regresionom modelu

34

Implikacije pretpostavki višestrukog KLRM

Ako su zadovoljene sve pretpostavke višestrukog KLRM,

tada se primenom metoda ONK dobijaju:

▪najbolje,

▪linearne,

▪nepristrasne i

▪konzistentne ocene



35

Model sa dve objašnjavajuće promenljive:

ocena varijanse slučajne greške modela

Nepristrasna ocena 2 je:

gde je rezidualna suma kvadrata i n je obim uzorka.

Kvadratni koren, s, je standardna greška regresije, odnosno standardna devijacija reziduala.

Oznake za ocene varijansi ocena nagiba:s2b1 i s2b2

=−

=n

iie

ns

1

2

3

12

=

n

i

ie1

2

36

Model sa dve objašnjavajuće promenljive: ocene varijansi

ocena parcijalnih koeficijenata nagiba

( ) ( )

( ) ( )1 2

2 2

1 22 2 2 2

1 2

1 1

2 22 2

1 22 2 2 2

1 2

1 1

1 2

1

( ) , ( )

1 1

ˆ ˆ( ) , ( )

1 1

n n

i i

i i

b bn n

i i

i i

n

i i

i

v b v b

r x r x

s sv b s v b s

r x r x

x x

r

= =

= =

=

= =

− −

= = = =

− −

=

2 2

1 2

1 1

n n

i i

i i

x x= =



37

Standardne greške ocena parametara zavise od sledećih faktora:

Slično kao kod jednostavnog modela:

1. Varijabilitet modela (s2 ili s).

2. Suma kvadrata odstupanja podataka objašnjavajućepromenljive od aritmetičke sredine.

3. Obim uzorka n.

Novo u odnosu na jednostavni model:

4. Stepen korelisanost između objašnjavajućihpromenljivih. Što je korelacija izraženija, to su varijanseocena veće, odnosno ocene su nepreciznije.

38

Primer: izračunavanje odgovarajućih standardnih grešaka

ocena u modelu sa dve objašnjavajuće promenljive

Ocena varijanse slučajne greške modela:

Ocena koef. korelacije

Ocene varijanse ocena parcijalnih koeficijenata nagiba:

001838017

031250

3

22 .

.

n

ies ==

−

=

( ) ( )

( ) ( )

1 1

2 2

22

2 2

1

1

22

2 2

2

1

0.0018380.01276 0.113

1 0.79 0.6858331

0.0018380.01609 0.127

1 0.79 0.5438301

b bn

i

i

b bn

i

i

ss s

r x

ss s

r x

=

=

= = = =−

−

= = = =−

−

790289054383006858330

5433190

1

22

1

21

121

.r...

.

n

ii

xn

ii

x

n

iixix

r =

=

=

=

==



39

Primer: finalni zapis

( ) ( )1 2

2 2

ˆ 6.174 1.333 1.120 ,

0 113 0.127

R 0.899, R 0.887.

i i iY X X

.

= − − +

= =

Elementi statističkog zaključivanja



41

Statističko zaključivanje u višestrukom KLRM

Testiranje hipoteza o vrednostima

parametara višestrukog KLRM

Pojedinačna vrednost parametra

Vrednosti parametara zbirno posmatrano

Formiranje intervalnih ocena parametara

višestrukog KLRM

Testiranje hipoteze o vrednosti

pojedinačnog parametara višestrukog KLRM

Kao i u slučaju jednostavnog modela, i u višestrukoj

regresiji sa k parametara se koristi test-statistika oblika:

Hipoteze:

Pretpostavimo da je hipoteza od interesa: H0 : i= 0,

protiv H1 : i 0.

U uslovima validnosti nulte hipoteze test-statistika je:

t-odnos: provera značajnosti pojedinačnog uticaja

svake od objašnjav. promenljivih na zavisnu promen.

*, i 0,1,2,...,k-1.

i

i in k

b

bt

s

−

−= =

i

in k

b

bt

s− =

.k,...,,,i *,ii :H *,ii :H 121010 −==



Pojedinačni uticaj cene i dohotka na tražnju:

primena t-odnosa

U prethodnom primeru smo dobili:

Ocena -1.333 1.120

Standardna

greška ocene 0.113 0.127

t-odnosi -11.80 8.82

Kritična vrednost t-raspodele sa 20-3= 17 stepeni slobode i

nivo značajnosti 5%: 2.11.

Da li prihvatamo

H0: 1 = 0? (Ne)

H0: 2 = 0? (Ne)

Zaključak: promenljive ostvaruju uticaj koji je pojedinačno

statistički značajan na nivou značajnosti 5%.

Testiranje hipoteze o vrednosti

svih parametara višestrukog KLRM Ispitivanje kvaliteta regresije na osnovu

koeficijenta determinacije – opšti slučaj

Hipoteze od interesa:

Nulta hipoteza: regresija nije statistički značajna (zajednički

uticaj objašnjavajućih promenljivih nije statistički značajan)

Alternativna hipoteza: objašnjavajuće promenljive ostvaruju

statistički značajan uticaj na kretanje zavisne promenljive (bar

jedan od parametara je značajno različit od nule)

021 tacnanije 0 1

02001210

==−===

R:HHhipoteza:H

R:Hk...:H

iikXk...iXiXiY +−−++++= 1122110



Ispitivanje kvaliteta regresije na

osnovu koeficijenta determinacije – opšti slučaj

Relevantna statistika:

)kn/()R(

)k/(Rkkn

F−−

−=−

− 21

121

Pravilo odlučivanja:

Ako je izračunata vrednost date statistike veća od

kritične vrednosti F-raspodele sa k-1 i n-k stepeni

slobode, tada se nulta hipoteza odbacuje uz izabrani

nivo značajnosti.

Objašnjavajuće promenljive ostvaruju zbirno

statistički značajan uticaj na kretanje zavisne

promenljive.

Osnovna ideja definisanja F test statistike

F statistika sa k-1 i n-k stepeni slobode dobija se

transformacijom sledećeg količnika

Objašnjeni varijabilitet Y

Neobjašnjeni varijabilitet Y

Varijabilitet Neobjašnjeni

varijabilitetY

(rezidualna suma

kvadrata)

Objašnjeni varijabilitetY =

Ukupni – neobjašnjeni

Broj stepeni

slobode

n-k (n-1)-(n-k)=k-1



Ispitivanje kvaliteta regresije na osnovu

koeficijenta determinacije – dvostruki model

Relevantne hipoteze

Nulta hipoteza: regresija nije statistički značajna

Alternativna hipoteza: objašnjavajuće promenljive ostvaruju

statistički značajan uticaj na kretanje zavisne promenljive

Test- statistika:

021 tacnanije 0 1

0200210

===

R:HHhipoteza:H

R:H:H

)n/()R(

/Rn

F321

222

3−−

=−

iiii XXY +++= 22110

( )

2

2 2 2

21

2 2

21

2 2

2 2

1

1

2 2 2

1 1 1

11. ~ (0, ) ~ (0,1) ~

1~ .

2. ~ (0, ) ~ ( ( ), ) ~ (0,1)

1( ) ~

ˆ3. ( ) ( )

4.

ni

i i n

i

RSK

n

i n k

i

i

i i

USK

n

i n

i

n n n

i i i

i i i

N N

e

Y E YN Y N E Y N

Y Y

USK RSK OSK OSK USK OSK Y Y Y Y e

=

−

=

−

=

= = =

−

−

= + = − − = − −

1

2 2

21 2 2

121

2 2

121

1 ~

1 ˆ ( ) ~

1( ) ~

k

RSK

nOSK

i n k ni

i n n kUSKi

n

i n

i

e

Y Y

Y Y

−

−

=

− − −=

−

=

−−



)kn()R(

)k(R

)k(

)kn(

)YY(

e

)YY(

)YY(

)k(

)kn(

e

)YY(

)kn/(

)k/(~F .

n

ii

n

ii

n

ii

n

ii

n

ii

n

ii

kn

k1-kk-n

−−

−=

−

−

−

−

−

=−

−

−

=−

−

=

=

=

=

=

=

−

−

2

2

2

1

1

2

2

1

2

1

1

22

2

12

2

21

1

1

1

11

1

15

Zajednički uticaj cene i dohotka

na tražnju: primena F-statistike

U prethodnom primeru smo dobili:

Realizovana vrednost F-statistike:

Kritična vrednost F-raspodele sa redom 2 i 17 stepeni slobode

i nivoom značajnosti 5%: 3.59

Da li prihvatamo

H0: 1 = 2= 0? (Ne)

Zaključak: promenljive ostvaruju uticaj koji je zbirno

statistički značajan na nivou značajnosti 5%.

8990.R2 =

775

1789901

28990

1

1

217

2

22

17

.F

/).(

/.

)kn/()R(

)k/(RF

=

−=

−−

−=



F-statistika kvaliteta regresije

u jednostavnom modelu

( )0

21

2

2 21

2 2 2

22

1 2

2 2 2

ˆ

/ ( 1)

(1 ) / ( )

2, slobodan clan i jedna objasnjavajuca promenljiva

( 2)

(1 ) / ( 2) (1 )

( 2)

(1 )

Ova dva testa se mogu kori

i i

b

k

n k

n

n n

b

Y b bX

s

R kF

R n k

k

R R nF

R n R

R n bF t

R s

−

−

−

− −

= +

−=

− −

=

−= =

− − −

−= =

−

stiti alternativno u jednostavnom modelu.

F-statistika kvaliteta regresije

u jednostavnom modelu: primer

Ocenjena je zavisnost inflacije od stope rasta deviznog kursa

na bazi mesečnih podataka srpske privrede u periodu: januar

2003 – januar 2007. godine (49 podatka):

Testirati kvalitet regresije primenom t i F testa.

Potvrditi vezu izmedju t i F raspodele u jednostavnom

modelu.

( )

2ˆ 0.0077 0.216 R 0.140

0 078

i iY X

.

= + =



Vežba

Ocenjena je funkcija tražnje za kafom:

( ) ( ) ( ) ( )

2

1 2 3

1 2

3

ˆ 42.22 3.07 + 2.63 0.83 + 0.0006t R 0.83

0 73 0 91 0 23 0 002

- tražnja za kafom, - cena kafe, - cena čaja,

- raspoloživi dohodak, t=1,2,..., 2

t t t t

t t t

t

Y X X X

. . . .

Y X X

X

= − + =

1 2 3

0.

U 2017. godini: 50, 1.63, 0.95, 5. t t t tY X X X= = = =

Vežba II

Testirati statističku značajnost regresije.

Kakva će biti reakcija tražnje, ako se cena kafe

poveća za 15%?

Za koliko procenata treba smanjiti cenu kafe,

ako se cena čaja smanji za 20%, da bi nivo

tražnje za kafom ostao nepromenjen?

Documents

Profesor Zorica Mladenovićavs.ekof.bg.ac.rs/OEkonometrije/materijal/2019/glava6.pdf · Profesor Zorica Mladenović Ekonomski fakultet, 2019. 10 Primer Dati su godišnji podaci o