Katedra Ekonomii Ilościowej - web.sgh.waw.pljmuck/Ekonometria/EkonometriaPrezentacja2018Z_3.pdf · KMNK przypomnienie Autokorelacja składnika losowego Heteroskedastyczność składnika

KMNK przypomnienieAutokorelacja składnika losowego

Heteroskedastyczność składnika losowegoNormalność rozkładu składnika losowego

EkonometriaWłasności składnika losowego

Jakub Mućk

Katedra Ekonomii Ilościowej

Jakub Mućk Ekonometria Wykład 3 Własności składnika losowego 1 / 31



Agenda

1 KMNK przypomnienie

2 Autokorelacja składnika losowegoIstota autokorelacji składnika losowegoTest Durbina-WatsonaTest LM

3 Heteroskedastyczność składnika losowegoIstota heteroskedastyczności składnika losowegoTest White’a

4 Normalność rozkładu składnika losowego




Agenda








Agenda








Agenda








Outline








Twierdzenie Gaussa-Markowa

Załóżmy:1 rz(X) = k + 1 ≤ n2 Zmienne xi są nielosowe, a zatem są niezależne od składnika losowego3 E(ε) = 04 D2(ε) = E(εεT) = Iσ5 εi ∼ N (0, σ2)

Twierdzenie Gaussa - Markowa

Estymator β uzyskany Klasyczną Metodą Najmniejszych Kwadratów jest estyma-torem BLUE [best linear unbiased estimator], tj. zgodnym, nieobciążonym inajefektywniejszy w klasie liniowych estymatorów wektora β.

nieobciążoność, czyli E(β) = β

najefektywniejszy, czyli posiadający najmniejszą wariancję w swojej klasie

zgodny, czyli limn→∞ P(|βn − β|) < δ




Konsekwencje braku sferyczności macierzy kowariancji składnikalosowego

Przypomnijmy estymator macierzy wariancji-kowariancji oszacowań (βOLS):

D2(βOLS) = E[(βOLS − β

) (βOLS − β

)T]

(1)

Korzystając z zapisu macierzowego:

D2(βOLS) = E

[(XTX

)−1 XTε

((XTX

)−1 XTε

)T]

= E[(XTX

)−1 XTεεTX(XTX

)−1]

=(XTX

)−1 XTE[εεT]X(XTX

)−1

Następnie korzystając z założenie o sferyczności macierzy wariancji-kowariancjiskładnika losowego, tj. D2(ε) = E(εεT ) = σ2I , można uprościć wzór na estyma-tor wariancji kowariancji oszacowań do:

D2(βOLS) = σ2(XTX

)−1(2)

Autokorelacja oraz heteroskedastyczność implikują obciążoność macierzywariancji-kowariancji wektora oszacowań, a zatem spadek efektywnośćioszacowań wektora βOLS .




Istota autokorelacji składnika losowegoTest Durbina-WatsonaTest LM

Outline









Autokorelacja składnika losowego

Autokorelacja składnika losowego jest problemem najczęściej występującym wprzypadku szeregów czasowych i polega na zależności(skorelowaniu) bieżącychwartości składnika losowego od wartości przeszłych.Indeks t będzie oznaczać czas obserwacji.Zgodnie z założenia MNK:

D2(ε) =

σ2 0 . . . . . . 0

0. . .

. . .. . .

......

. . . σ2. . .

......

. . .. . .

. . . 00 . . . . . . 0 σ2

co jest równoznaczne:

∀t 6=scov(εt , εs) = 0





Autokorelacja pierwszego rzędu

Autokorelacja pierwszego rzęduεt = ρεt−1 + ηt

gdzie ηt ∼ N (0, σ2η), E(η) = 0 oraz D2(η) = Iσ2

η.W przypadku autokorelacji składnika losowego macierz wariancji-kowariancjiskładnika losowego nie jest diagonalna:

D2(ε) =

1 ρ ρ2 . . . ρn−1

ρ 1 ρ . . . ρn−2

ρ2 ρ 1 . . . ρn−3

......

.... . .

...ρn−1 ρn−2 ρn−3 . . . 1

Przykład idiosynkratycznego zaburzenia losowego(L) oraz AR(1) (P)

0 50 100 150 200

−2−1

01

2

0 50 100 150 200

−4−2

02

46





Konsekwencje autokorelacji składnika losowego:Spadek efektywności estymatora parametrów βOLS . Obciążenie macierzy wariancji-kowariancji wektora βOLS , a więc obciążenie błędów szacunku. Ponadto, obciążonesą wyniki testów statystycznych opartych na błędach szacunku, jak np. test istot-notności zmiennych t-studenta.Problem autokorelacji może sygnalizować bardzo poważne problem, jak np. problempominiętych zmiennych (omitted variables bias).Przyczyny autokorelacji składnika losowego:Problem pominięcia ważnej zmiennej.Niepoprawna postać funkcyjna; wadliwa struktura dynamiczna, brak uwzględnienieczynników cyklicznych/sezonowych.Wysoka inercja zjawisk gospodarczych; psychologia podejmowanych zjawisk.Przekształcenia statystyczne.Rozwiązania problemu autokorelacji składnika losowego:Zmiana postaci funkcyjnej/ dynamicznej modelu ekonometrycznego.Uwzględnienie brakujących zmiennych objaśniających.UMNK - ugólniona metoda najmniejszych kwadratów (GLS -Generalized Least Squ-ares oraz FGLS Feasible GLS). Metody Cohrane’a-Orcutta oraz Praisa-Wintensa.Odporne błędu standardowe; w przypadku szeregów czasowych stosuje się proceduręNeweya-Westa (1987).





Test Durbina-Watsona umożliwia sprawdzenie jedynie autokorelacji pierwszego rzędu.Statystyka testu DW opiera się na oszacowaniu współczynnika korelacji pomiędzy et aet−1:

d =

n∑t=2

(et − et−1)2

n∑t=1

e2t−1

(3)

Łatwo zauważyć, że d ≈ 2(1− ρ). Hipotezą zerową jest brak autokorelacji, tj.:H0 : ρ = 0 (4)

Natomiast hipoteza alternatywna testu DW zależy od wartości statystyki testo-wej:, tj.

H1 : ρ > 0 gdy d ∈ (0, 2) (5)H1 : ρ < 0 gdy d ∈ (2, 4) (6)

Wartości krytyczne dU i dL są stablicowane.

H1 : ρ > 0 H1 : ρ < 0Statystyka d Decyzja Statystyka d Decyzja(0, dL) są podstawy do odrzucenia

H0 na rzecz H1 o dodatniejautokorelacji

(4− dL, 4) są podstawy do odrzuceniaH0 na rzecz H1 o ujemnejautokorelacji

(dL, dU ) brak decyzji (4− dL, 4− dU ) brak decyzji(dU , 2) nie ma podstaw do odrzu-

cenia H0

(4− dU , 2) nie ma podstaw do odrzu-cenia H0





Ograniczenia testu Durbina-Watsona

Test DW posiada obszary niekonkluzywności.Test Durbina-Watsona umożliwia weryfikację autokorelacji jedynie pierw-szego rzędu.W specyfikacji modelu ekonometrycznego nie może zostać uwzględniona częśćautoregresyjna zmiennej objaśnianej, tj. opóźnione wartości zmiennej obja-śnianej.Test Durbina-Watsona można stostować w przypadku modeli z wyrazem wol-nym.





Test mnożnika Lagrange’a (LM) zaproponowany przez Breuscha i Godfreya pozwalana testowanie autokorelacji zarówno pierwszego jak i wyższych rzędów.W pierwszym kroku szacowane są parametry modelu:

yt = β0 + β1x1,t + . . .+ βkxk,t + εt (7)

W drugim kroku szacowane są parametry modelu, w którym wyjąśniany jest skład-nik resztowy z modelu (7). Dodatkowo, uwzględniane są opóźnienia do rzędu Qwłącznie:

et = β0 + β1x1,t + β2x2,t + . . .+ βkxk,t︸︷︷︸zmienne objaśniające z modelu (7)

+βk+1et−1 + . . .+ βk+Q,tet−Q︸︷︷︸opóżnione reszty z modelu (7)

+ηt (8)

Hipoteza zerowa testu LM jest równoznaczna braku autokorelacji do rzędu Q włącz-nie:

H0 : βk+1 = ... = βk+Q = 0 (9)H1 : ∃l∈(1,..,Q)βk+l 6= 0 (10)

Statystyka testowa:LM = nR2 (11)

posiada rozkład χ2 z Q stopniami swobody (rząd weryfikowanej autokorelacji skład-nika losowego). Są podstawy do odrzucenia H0, jeżeli LM jest większa od wartościkrytycznej χ2.





Przykład

[Hill, Griffiths i Lim]: krzywa Phillipsa dla Australii.Dane: szeregi czasowe od 1987Q1 do 2009Q3.

inft - inflacja w okresie t.∆ut - zmiana stopy bezrobocia w okresie t.

Model:inft = inf E

t − γ∆ut + εt (12)

Zakładając, że oczekiwania inflacyjne są stałe w czasie:

inft = β0 + β1∆ut + εt (13)

gdzie β1 = −γ.





Przykład c.d.

Rozważany model:inft = β0 + β1∆ut + εt (14)

Oszacowanie Błąd stand. t-Studenta wartość p

β0 0.777621 0.0658249 11.8135 0.0000β1 −0.527864 0.229405 −2.3010 0.0238

Czy oszacowanie parametru β1 jest statystycznie istotne?





Przykład – wykres reszt modelu względem czasu-2

-10

12

1985q1 1990q1 1995q1 2000q1 2005q1 2010q1time





Przykład – zależność między resztami a ich pierwszym opóźnieniem-2

-10

12

e_{t

}

-2 -1 0 1 2e_{t-1}





Przykład – zależność między resztami a ich pierwszym opóźnieniem-2

-10

12

e_{t

}

-2 -1 0 1 2e_{t-1}





Przykład – testowanie autokorelacji składnika losowego

Test Durbina-Watsona:Statystyka testowa: 0.887Wartości krytyczne (N = 90 i k = 1) przy 5% poziomie istotności:dL : 1.6345dU : 1.6794

Statystyka testu LM:p Wartość statystyki p-value1 27.592 0.0004 36.672 0.000





Przykład – testowanie autokorelacji składnika losowego

Test Durbina-Watsona:Statystyka testowa: 0.887Wartości krytyczne (N = 90 i k = 1) przy 5% poziomie istotności:dL : 1.6345dU : 1.6794

Statystyka testu LM:p Wartość statystyki p-value1 27.592 0.0004 36.672 0.000





Przykład – estymator macierzy wariancji-kowariancji odporny na autokorelację

Rozważany model:inft = β0 + β1∆ut + εt (15)

Podstawowe oszacowania oszacowaniaOszacowanie Błąd stand. t-Studenta wartość p

β0 0.777621 0.0658249 11.8135 0.0000β1 −0.527864 0.229405 −2.3010 0.0238

Odporne błędy standardoweOszacowanie Błąd stand. t-Studenta wartość p

β0 0.777621 0.101848 7.6351 0.0000β1 −0.527864 0.309225 −1.7071 0.0913




Istota heteroskedastyczności składnika losowegoTest White’a

Outline









Heteroskedastyczność składnika losowegojest drugą formą niespełnienia zało-żenia o sferyczności macierzy wariancji-kowariancji składnika losowego. Zja-wisko heteroskedastyczności składnika losowego charakteryzuje przede wszyst-kim modele oparte o dane przekrojowe.Ogólny zapis hetereoskedastyczności składnika losowego:

D2(ε) =

σ2

1 0 . . . 0

0 σ22

. . ....

.... . .

. . ....

0 . . . 0 σ2n

gdzie

σ21 6= σ2

2 6= . . . σ2k





Konsekwencje heteroskedastyczności składnika losowego:Spadek efektywności estymatora parametrów βOLS . Obciążenie macierzy wariancji-kowariancji wektora βOLS , a więc obciążenie błędów szacunku. Ponadto, obciążonesą wyniki testów statystycznych opartych na błędach szacunku, jak np. test istot-notności zmiennych t-studenta.Problem hetereoskedastyczności może sygnalizować poważne problem, jak np. pro-blem pominiętych zmiennych (omitted variables bias).Przyczyny heteroskedsatyczności składnika losowego:Znaczne różnice heterogeniczności jednostek w próbie.Rozwiązania problemu heteroskedastyczności składnika losowego:Ważona MNK.Transformacja zmiennych do postaci logarytmicznej.Odporne błędy standardowe; dla danych przekrojowych – procedura zaproponowanaprzez White’a.Identyfikacja:Wykresy.Test White’a.





Test White’a jest bardzo zbliżony do testu mnożnika LM zaproponowanego przezBreuscha Godfreya. W pierwszym kroku szacowane są parametry modelu:

yi = β0 + β1x1,i + . . .+ βkxk,i + εi (16)

W drugim kroku, zmienną objaśnianą są kwadraty reszt z oszacowanego modelu(16). Ponadto uwzględniane są kwadraty oraz interacje zmiennych objaśniającychz modelu (16), tj.:

e2i = β0 + β1x1,i + . . .+ βkxk,i + βk+1x2

1,i + . . .+ βk+kx2k,i +

+βk+k+1x1,ix2,i + . . .+ βk+k+Sxk−1,ixk,i + ηi

Hipotezą zerową jest homoskedastyczność składnika losowego:

H0 : σ2i = σ2 H1 : σ2

i 6= σ2 (17)

Statystyka testowa:LM = nR2 (18)

posiada rozkład χ2 z M stopniami swobody (liczba wszystkich wszystkich zmien-nych objaśniających w regresji testowej, tj. M = 2k+s). Są podstawy do odrzuceniaH0, jeżeli LM jest większa od wartości krytycznej χ2.





Przykład

[Wooldridge:] zwroty z edukacji.Dane: dane przekrojowe (N = 526).

wagei - przeciętne godzinowe zarobki dla i-tej jednostki (w USD).educi - liczba lat edukacji i -tej ejdnostki.

Model:wagei = β0 + β1educi + εi (19)

Parametr β1 będzie mierzył tzw. zwrot z edukacji.





Model:wagei = β0 + β1educi + εi (20)

Podstawowe oszacowania oszacowaniaOszacowanie Błąd stand. t-Studenta wartość p

β0 −0.9048516 0.6849678 −1.32 0.187β1 0.5413593 0.053248 10.17 0.000

Jaki jest przeciętny zwrot z edukacji?





Przykład – wykres kwadratów reszt modelu względem zmiennej educ0

100

200

300

e^2_

{i}

0 5 10 15 20educ_{i}





Przykład – wykres kwadratów reszt modelu względem zmiennej educ0

100

200

300

e^2_

{i}

0 5 10 15 20educ_{i}





Przykład – test White’a

Oszacowania regresji pomocnicznej (błędy standardowe w nawiasach):

u2i = −11.59283

(5.933339)+ 1.827862

(0.461246)educi , (21)

gdzie u2i to kwadrat składnika resztowego z podstawowego modelu.

W regresji pomocniczej, wartość statystyki t dla zmiennej educ wynosi 3.96.O czym to świadczy?R2 regresji pomocnicznej wynosi 0.0291Liczba obserwacji: 526.Statystyka testu White’a wynosi 15.31. Empiryczny poziom isoto-ności: 0.0001.





Przykład – test White’a

Oszacowania regresji pomocnicznej (błędy standardowe w nawiasach):

u2i = −11.59283

(5.933339)+ 1.827862

(0.461246)educi , (21)

gdzie u2i to kwadrat składnika resztowego z podstawowego modelu.

W regresji pomocniczej, wartość statystyki t dla zmiennej educ wynosi 3.96.O czym to świadczy?R2 regresji pomocnicznej wynosi 0.0291Liczba obserwacji: 526.Statystyka testu White’a wynosi 15.31. Empiryczny poziom isoto-ności: 0.0001.





Przykład – transformacja logarytmiczna

Podstawowy model:wagei = β0 + β1educi + εi . (22)

Zastosowanie transformacji logarytmicznej dla zmiennej objaśnianej:

lnwagei = γ0 + γ1educi + ηi . (23)


Podstawowe oszacowania oszacowaniaβ0 −0.9048516 0.6849678 −1.32 0.187β1 0.5413593 0.053248 10.17 0.000Przekształcenie logarytmiczne zmiennej objaśnianejγ0 0.5837726 0.0973358 6.00 0.000γ1 0.0827444 0.0075667 10.94 0.000

Statystyka testu White’a (dla modelu z transformacją logarytmiczną): 0.74(p-value:0.389).Dlaczego oszacowania γ1 i β1 się różnią? Jaka jest różnica w ich interpretacji?


























Outline








Normalność rozkładu składnika losowego nie jest wymaganą właśnością skład-nika losowego, ale umożliwia korzystanie z testów statystycznych weryfikującychpozostałe własności składnika losowego.Test Jarque’a-Berry jest najpopularniejszą metodą w weryfikacji normalnościskładnika losowego. Statystyka teo testu opiera się na kurtozie i skośności reszt:

JB =n6

(S2 +14

(K − 3)2) (24)

gdzie S i K to odpowiednio estymatory skośności oraz kurtozy składnika losowego:

S =

1n

n∑i=1

(ei − e)3

(1n

n∑i=1

(ei − e)2)32

oraz K =

1n

n∑i=1

(ei − e)4

(1n

n∑i=1

(ei − e)2

)2− 3 (25)

Hipotezą zerową jest normalność składnika losowego:H0 : ε ∼ N (0, σ)

Wartość statystyki testowej ma rozkład χ2 z dwoma stopniami swobody. Jeżeliwartość JB jest większa od wartości krytycznej z rozkładu χ2 to są podstawy doodrzucenia H0.Odrzucenie hipotezy zerowej uniemożliwia korzystanie z testów statystycznych. Alew przypadku dużej próby, własności asymptotyczne testów nadal są pożadane.


Documents

Katedra Ekonomii Ilościowej - web.sgh.waw.pljmuck/Ekonometria/EkonometriaPrezentacja2018Z_3.pdf · KMNK przypomnienie Autokorelacja składnika losowego Heteroskedastyczność składnika