Damodar GujaratiEconometrics by Example

Lineárny regresný model

2

Pri regresenej a korelačnej analýze pôjde

skúmanie príčinnej - kauzálnej závislosti,skúmanie vzťahov medzi príčinou a účinkom kedy jeden resp viac javov (znakov, nezávisle prememnných veličín ) vyvoláva účinok - výsledný jav - závisle prememnnú veličinu

Y = f (X1 X2…... Xk ,Bo , B1 ,….Bp ) +e

3

Závislé

premenná

- účinok

Nezávislé

premenné

veličiny

- príčiny

Neznáme

parametre

funkčného

vzťahu

Náhodné,

Nešpecifikované

vplyvy

Príklad zdanlivej korelácie

4

Jedna z preslávených zdanlivých korelácií :ak sa dĺžka sukní skracujekurzy akcií stúpajú .

Odhliadnúc od toho, že to nie vždy platí, išlo by skutočneo zdanlivú, alebo nezmyselnúkoreláciu

Damodar Gujarati

Econometrics by Example

Opakom štatistickej závislosti je funkčná závislosť

Y = f(X1 X2…... Xk ,Bo , B1 ,…., Bp)

kedy je závisle prememnná veličina jednoznačne určená funkčným vzťahom, príklady z fyziky, chémie - takýto druh vzťahov nie je predmetom štatistického skúmania

6

Regresná analýza

– regresná úloha (RÚ) jej podstatou je

a) nájsť funkčný vzťah podľa ktorého sa mení závislé premenná so zmenou nezávisle premenných - nájsť vhodnú regresnú funkciu.

b) Súčasne je potrebné odhadnúť parametre regresnej funkcie.

7

Lineárny regresný model

Všeobecná forma viacnásobného regresného modelu:

Yi = B1 + B2X2i + B3X3i + … + BkXki + ui

Skrátená forma:

Yi = BX + ui

Y vysvetlovaná premenná (regressand), X je vektor vysvetlujúcich premenných (regressorov), and u je náhodná chyba (reziduá).

Damodar GujaratiEconometrics by Example

Regresné koeficienty

B1 je lokujúca konštanta - vyjadruje očakávanú úroveň závislé premennej pri nulovej hodnote nezávisle premennej

B2 až Bk sú regresné koeficienty (smernice)

Každý regresný koeficient meria (parciálnu) mieru zmeny v priemernej hodnote Y pri jednotkovej zmene v hodnote vysvetlujúcej premennej, ceteris paribus.

Damodar GujaratiEconometrics by Example

Typy údajov

Časové radySúbor pozorovaní ktoré nadobúda premenná v rôznych

časových obdobiach ako napríklad denné (napr. ceny akcií), Týždenné (napr. ponuka peňazí), mesačné (napr. miera nezamestnanosti), kvartálne čiže štvrťročné (napr. HDP), ročné (napr. štátny rozpočet), päťročné (napr. sčítanie výrobcov), alebo desaťročné (napr. sčítanie obyvateľov).

Damodar GujaratiEconometrics by Example

Typy údajov

Prierezové údajeÚdaje o jednej alebo viacerých premenných získané v

jednom bode v čase. Príkladom sú napríklad sčítanie obyvateľov

vykonávané štatistickým úradom, rôzne prieskumy preferencií, či namerané teploty v danom čase na rôznych miestach.

Damodar GujaratiEconometrics by Example

Typy údajov

Panelové, longitudálne alebo mikropanelové údajeKombinujú prvky oboch predchádzajúcich, tak

časových radov ako aj prierezových údajovRovnaké prierezové jednotky sú sledované v čase

Damodar GujaratiEconometrics by Example

Metóda najmenších štvorcov

Metóda najmenších štvorcov (MNŠ) neminimalizuje sumu odchýlok, ale minimalizuje sumu štvorcov odchýlok:

Pre získanie regresných koeficientov sú parciálne derivácie podla jednotlivých regresných koeficientov dané do rovnosti s nulou.

Damodar GujaratiEconometrics by Example

2 21 2 2 3 3( .... )i i i i k kiu Y B B X B X B X

Predpoklady klasického lineárneho regresného modelu (CLRM):

A-1: Model je lineárny v parametroch.A-2: Vysvetľujúce premenné sú nestochastické

a konštantné v opakovaných výberoch.A-3: Pre dané X, stredná hodnota reziduí je 0,

alebo E(ui |X) = 0.

Damodar GujaratiEconometrics by Example

Klasický lineárny regresný model

Predpoklady klasického lineárneho regresného modelu:

A-4: Homoskedastický, alebo konštantný rozptyl ui, zapísané ako var(ui|X) = σ2.

A-5: Žiadna autokorelácia rezíduí, alebo cov(ui,uj|X) = 0, i ≠ j.

A-6: Žiadna multikolinearita, teda žiadna perfektná lineárna závislosť medzi vysvetľujúcimi premennými.

A-7: Žiadne chyby špecifikácie.

Damodar GujaratiEconometrics by Example

Klasický lineárny regresný model

Na základe predpokladov A-1 až A-7, dáva MNŠ najlepšie lineárne nevychýlené odhady ak:(1) Estimátory sú lineárnou funkciou závisle premennej

Y.(2) Estimátory sú nevychýlené; pri opakovanom použití

metódy dosahujú odhady svoje skutočné hodnoty.(3) V kategórii lineárnych odhadov, estimátory majú

estimátory získané metódou najmenších štvorcov minimálny rozptyl; teda sú efektívnymi alebo aj „najlepšími“ odhadmi.

Damodar GujaratiEconometrics by Example

GAUSS-MARKOV TEORÉM

Testujeme nasledujúce hypotézy:

H0: Bk = 0

H1: Bk ≠ 0

vypočítame testovaciu štatistiku podľa nasledujúceho vzorca a použijeme tabuľky studentovho rozdelenia aby sme získali t kritické s n-k stupňami voľnosti pre danú hladinu významnosti (alebo α, rovné 10%, 5%, alebo 1%):

Pokiaľ je táto hodnota vačšia ako t kritické, zamietneme H0.

Damodar GujaratiEconometrics by Example

Testovanie hypotéz: t TEST

( )k

k

bt

se b

Alternatívnou metódou je určiť, či sa v intervale spolahlivosti nachádza 0:

Pokiaľ nula leží v intervale spoľahlivosti nemôžeme zamietnuť H0.

p-value označuje presnú hladinu významnosti, alebo najnižšiu hladinu významnosti na ktorej môžeme zamietnuť H0.

Damodar GujaratiEconometrics by Example

Testovanie hypotéz: t TEST

/ 2[ ( )] (1 )k kb t se b

Koeficient determinácie je všeobecnou mierou presnosti modelu. Percentuálny podiel celkovej variability závislej premennej ktorá

je vysvetlená nezávislými premennými. Nadobúda hodnoty medzi 0 a 1 <0% , 100%>. Nech:

Potom:

Damodar GujaratiEconometrics by Example

Koeficient determinácie, R2

TSS

RSS

TSS

ESSR 12

2

2

2

)( (TSS) štvorcov suma Celková

(RSS) štvorcov suma Residuálna

)ˆ( (ESS) štvorcov suma Vysvetlená

YY

e

YY

Index korelácie a index determinácieV základnom súbore Iyx odhadom z výberových

údajov je iyx est Iyx = iyx . Princíp spočíva v

rozklade variability závisle premennne Y

20

2j

n

1jj

2n

1jj

2n

1jj )'yy()y'y( )yy(

Celková variabilitazávisle premennej

Variabilita závislepremennejvysvetlená regresnou funkciou

Variabilitanevysvetlenáregresnou funkciou- reziduálnavariabilita

Index korelácie iyx

21

Y var. celk.

RF l.var.vysvet

)yy(

)y'y(

i2

n

1jj

2n

1jj

yx

Index determinácie iyx2

v %

Testovanie nasledujúcich hypotéz je ekvivalentné testovaniu hypotéz že sú všetky regresné koeficienty rovné 0:

H0: R2 = 0

H1: R2 ≠ 0

Vypočítame nasledujúcí vzťah a použijeme tabuľky F rozdelenia pre získanie kritickej F hodnoty s k-1 stupňami voľnosti v čitateli a n-k stupňami voľnosti v menovateli pre danú hladinu významnosti:

Pokiaľ je vypočítaná hodnota vyššia ako F kritické zamietame, H0.

Damodar GujaratiEconometrics by Example

Testovanie hypotéz: F TEST

)/()1(

)1/(

/

/2

2

knR

kR

dfRSS

dfESSF

Damodar GujaratiEconometrics by Example

Funkčné formy regresných modelov

LOG-LINEÁRNY, LOG-LOG, ALEBO MODEL S KONŠTANTNOU ELASTICITOU

Cobb-Douglasova produkčná funkcia:

môže byť transformovaná na lineárny tvar po zlogarigmovaní oboch strán:

Regresné koeficienty môžu byť interpretované ako elasticity. Ak (B2 + B3) = 1, konštantné výnosy z rozsahu.

Ak (B2 + B3) > 1, rastúce výnosy z rozsahu.

Ak (B2 + B3) < 1, klesajúce výnosy z rozsahu.

Damodar GujaratiEconometrics by Example

321

BBi i iQ B L K

1 2 3ln ln ln lni i iQ B B L B K

LOG-LIN alebo rastový model

Miera rastu reálneho GDP:

môže byť transformovaný na lineárny po zlogaritmovaní oboch strán:

Pokiaľ B1 = ln RGDP1960 a B2 = ln (l+r), môžeme to prepísať nasledovne:

ln RGDPt = B1 +B2 t B2 je semi-elasticita, alebo aj okamžitá miera rastu.

Zložená miera rastu (r) je rovná (eB2 – 1).

Damodar GujaratiEconometrics by Example

1960 (1 )ttRGDP RGDP r

1960ln ln ln(1 )tRGDP RGDP t r

LIN-LOG MODEL

Lin-log má všeobecnú formu:

Všimnite si že B2 je absolútnou zmenou vY zodpovedajúcou percentuálnej (alebo relatívnej) zmene v X Ak X vzrastie o 100%, predikované Y vzrastie o B2 jednotiek

Používané pri odhade Engelovej výdajovej funkcie: “Celkové výdavky vynaložené na potraviny rastú aritmetickou mierou zatial čo celkové výdavky rastú geometrickou mierou.”

1 2 lni i iY B B X u

Damodar GujaratiEconometrics by Example

Reciproký regresný model (hyperbola)

Všeobecná forma modelu:

Všimnite si že: Ak X vzrastie nekonečne, člen dosiahne nulu a Y dosiahne limitnú teda

asymptotickú hodnotu B1.

Sklon sa vypočíta:

Platí teda, ak B2 je pozitívne, sklon je negatívny, a pokiaľ B2 je negatívne, sklon je pozitívny.

1 2

1( )i i

i

Y B B uX

2

1( )

i

BX

2 2

1( )

dYB

dX X

Damodar GujaratiEconometrics by Example

POLYNOMICKÉ REGRESNÉ MODELY

Nasledujúci príklad modelu predikujúceho HDP je príklad kvadratickej funkcie, alebo vo všeobecnosti, polynóm druhého stupňa vysvetlujúcej premennej čas:

Sklon je nelineárny:

21 2 3t tRGDP A A time A time u

2 32dRGDP

A A timetime

Damodar GujaratiEconometrics by Example

Zhrnutie funkčných foriem

Damodar GujaratiEconometrics by Example

MODEL FORM SLOPE ELASTICITY

(dY

dX) .

dY X

dX Y

Linear Y =B1 + B2 X 2B )(2 Y

XB

Log-linear lnY =B1 + ln X 2 ( )Y

BX

2B

Log-lin lnY =B1 + B2 X 2 ( )B Y )(2 XB

Lin-log 1 2 lnY B B X 2

1( )B

X )

1(2 Y

B

Reciprocal 1 2

1( )Y B B

X 2 2

1( )B

X )

1(2 XY

B

Štandardizované premenné Problému s premennými meranými v rozdielnych

jednotkách môžeme predísť ich vyjadrením v štandardizovanom tvare:

kde SY a SX sú výberové štandardné odchýlky a sú výberové priemery Y a X

Stredná hodnota štandardizovanej premennej je vždy nulová a jej štandardná odchýlka je vždy 1.

Damodar GujaratiEconometrics by Example

_

* *;i ii i

Y X

Y Y X XY X

S S

_

Y_

X

Miery kvality modelu R2: Meria podiel variability závisle premennej ktorá je vysvetlená

nezávisle premennými, resp. modelom. Korigovaný R2: označuje sa ako , zohľadňuje počet vysvetľujúcich

premenných v modeli:

Akaikeho informačné kritérium (AIC): Tvrdšie penalizuje pridanie ďalších premenných do modelu:

Zvyčajne je vybratý model s najnižšou hodnotou AIC.

Schwarzove informačné kritérium (SIC): Alternatíva k AIC kritériu vyjadrená ako:

Penalizačný faktor je prísnejší ako pri AIC.

Damodar GujaratiEconometrics by Example

2R

_2 2 1

1 (1 )n

R Rn k

2ln ln( )

k RSSAIC

n n

ln ln ln( )k RSS

SIC nn n