6. Schatzung stationarer ARMA-Modelle

Problemstellung:

Statistische Anpassung eines stationaren ARMA(p, q)-Prozes-ses an eine Stichprobe von t = 1, . . . , T Prozessbeobachtun-gen

Es bezeichne x1, . . . , xT die realisierte Stichprobe (Trajekto-rie, Zeitreihe) der zufalligen Stichprobe X1, . . . , XT (Prozess-variablen)(vgl. Kapitel 4)

181

6.1 Die Box-Jenkins Methodologie

Vorwissen:

Jeder datenerzeugende stationare Prozess kann beliebig genaudurch einen ARMA(p, q)-Prozess approximiert werden(vgl. Kapitel 3, Folie 42)

Zu klarende Aspekte:

Wahl der Prozessordnungen p und q

Schatzung aller Prozessparameter182

Box-Jenkins Methodologie:(vgl. Box & Jenkins, 1976)

1. Modellidentifikation

2. Parameterschatzung

3. Modelldiagnose

4. Prognose

183

1. Modellidentifikation: (I)

Uberprufung der Zeitreihe x1, . . . , xT auf StationaritatVisuelle Inspektion der Daten

Anwendung statistischer Stationaritatstests(vgl. Kapitel 7)

Ggf. Datentransformation zur Erreichung der Stationaritat. 1. Differenzen:

xt xt = (1 L)xt = xt xt1. 1. Differenzen der logarithmierten Daten:

xt log(xt) = log(xt) log(xt1) = log(

xtxt1

)184

1. Modellidentifikation: (II)

Bestimmung der Ordnungen p und qBerechnung der geschatzten ACF/PACF

Visueller Vergleich der geschatzten ACF/PACF mit poten-ziellen theoretischen ACF/PACF(vgl. Tabelle auf Folie 175; Abb. auf Folien 178-180)

Statistische Selektionsverfahren fur p und q(vgl. Abschnitt 6.3)

185

2. Parameterschatzung:

KQ-Schatzung, Maximum-Likelihood Schatzung(vgl. Abschnitt 6.2)

3. Modelldiagnose:

Uberprufung, ob Autokorrelation in den Residuen des geschatz-ten Modells vorliegt(Anwendung des Ljung-Box Tests, vgl. Folie 164-165)

Autokorrelationsfreie Residuen Gut spezifiziertes Modell

(Analyse der Parametersignifikanzen)Autokorrelierte Residuen

Respezifikation des Modells(iteratives Vorgehen)

186

4. Prognose:

Benutzung der geschatzten Parameterwerte des gut spezi-fizierten Modells zur Prognose zukunftiger Prozesswerte(kein Gegenstand der VL)

187

6.2 Die Schatzung eines ARMA(p, q)-Modells

Jetzt:

Schatzung der Parameter c, 1, . . . , p, 1, . . . , q und 2 einesstationaren ARMA(p, q)-Prozesses

Xt = c+ 1Xt1+ . . .+ pXtp+ t+ 1t1+ . . . qtq

Bemerkungen:

Es gibt verschiedene Schatztechniken(KQ-, ML-Schatzung; vgl. VL FS)

Fur einen AR(p)-Prozess gibt es den Yule-Walker-Schatzer(vgl. Neusser, 2006)

188

Zunachst: (I)

Beispiel einer KQ-Schatzung des AR(p)-ModellsXt = c+ 1Xt1+ . . .+ pXtp+ t

Fasse dafur den Prozess als Regressionsmodell auf mitXt als abhangiger Variable

Xt1, . . . , Xtp als Regressoren

t als Storterm

189

Zunachst: (II)

Modell in Martixschreibweise:Xp+1Xp+2...XT

=1 Xp Xp1 X11 Xp+1 Xp X2... ... ... . . . ...1 XT1 XT2 XTp

c12...p

+p+1p+2...T

y = X+ u

KQ-Schatzer KQ fur =[c 1 2 p

]ist

KQ = (XX)1Xy

190

Zunachst: (III)

2 wird mittels der KQ-Residuen u = y XKQ geschatztdurch

2 =uuT p

(vgl. VL Okonometrie I)

Probleme: (I)

Die bekannten Optimalitatseigenschaften der KQ-Schatzungerfordern diverse Voraussetzungen an das lineare Regressions-modell(vgl. Vorlesungen Okonometrie I + II)

191

Probleme: (II)

Einige dieser Voraussetzungen sind hier verletzt:Die Regressoren sind mit dem Storterm korreliert

Abhangigkeit der KQ-Schatzung von den StartwertenX1, . . . , Xp

Dennoch:

In AR(p)-Modellen sind die KQ-Schatzer fur die Modellpa-rameter konsistent und asymptotisch effizient(vgl. Neusser, 2006, S. 81-84)

192

Jetzt:

Schatzung eines allgemeinen ARMA(p, q)-ModellsXt = c+ 1Xt1+ . . .+ pXtp+ t+ 1t1+ . . . qtq

Sammle alle Modellparameter im ([p+ q+2] 1) Vektor =

[c 1 p 1 q 2

]Problem:

KQ-Methode nicht ohne weiteres anwendbar, da die Regres-soren t, t1, . . . , tq des MA(q)-Teils nicht direkt beobacht-bar sind

193

Ausweg:

Schatze die Modellparameter mit der (bedingten) Maximum-Likelihood-Methode(vgl. VL Fortgeschrittene Statistik)

ML-Methode: (I)

Benotigen Verteilungsannahme der StichprobenvariablenX1, . . . , XT

Berechnung der gemeinsamen DichtefunktionfX1,...,XT (x1, . . . , xT )

194

ML-Methode: (II)

Betrachte die gemeinsame Dichtefunktion als eine Funktionim unbekannten Parametervektor

L() = fX1,...,XT (x1, . . . , xT )

bzw.

L() = log[fX1,...,XT (x1, . . . , xT )](Likelihood-Funktion bzw. Log-Likelihood-Funktion)

Maximiere L() bzgl. Maximum-Likelihood-Schatzer

195

ML-Methode: (III)

ML-Schatzer haben gunstige statistische Eigenschaften:Konsistenz

Asymptotische Normalitat

Asymptotische Effizienz

Robustheit gegenuber Abweichungen von der NV(Quasi-ML-Schatzungen)

196

Verteilungsannahme:

Betrachte einen Gauschen ARMA(p, q)-ProzessXt = c+ 1Xt1+ . . .+ pXtp+ t+ 1t1+ . . . qtq

mit t GWR(0, 2)

Log-Likelihood-Funktion: (I) Berechnung der exakten Log-Likelihood-Fkt. unmoglich

Stattdessen Berechnung der Log-Likelihood-Funktion unterBerucksichtigung gegebener Startwerte

x0 [x0 x1 xp+1

],

0 [0 1 q+1

] Bedingte Log-Likelihood-Funktion

197

Log-Likelihood-Funktion: (II)

Die bedingte Log-Likelihood-Funktion ist gegeben durch

L(|x0, 0) = T2 log(2pi)T2log(2)

Tt=1

2t22

Bemerkungen: (I)

Die bedingte Log-Likelihood-Funktion L(|x0, 0) ist einekomplizierte nichtlineare Funktion im Parametervektor

Es existieren keine analytisch geschlossenen Formeln fur diebedingten ML-Schatzfunktionen

Numerische Optimierung von L(|x0, 0)198

Bemerkungen: (II)

Exakte und bedingte ML-Schatzer haben qualitativ ahnlicheEigenschaften

EViews verfugt uber derartige numerische Optimierungsver-fahren

199

6.3 Die Schatzung der Ordnungen p und q

Frage:

Wie sollen die Ordnungen p und q des anzupassenden ARMA-Modells gewahlt werden?

2 Fehlermoglichkeiten:

p und q werden zu gro gewahlt(Overfitting)

p und/oder q werden zu klein gewahlt(Underfitting)

200

Konsequenzen:

Sowohl beim Overfitting als auch beim Underfitting ist derML-Schatzer i.A. nicht mehr konsistent fur die Modellparam-eter

Korrekte Bestimmung der Ordnungen p und q ist zentral

Bestimmungsmoglichkeiten:

Visuelle Inspektion der empirischen ACF und PACF(Box-Jenkins-Ansatz, in praxi meist schwierig)

Automatische Selektionsverfahren201

Idee der Selektionsverfahren: (I)

Minimierung eines Informationskriteriums

Prinzipielle Konstruktion der Kriterien:Mit steigenden Ordnungen p und q nimmt die Anpassungdes ARMA-Modells zu (bzw. nicht ab)

Die Anpassung des Modells wird gemessen durch die ge-schatzte Varianz der Residuen 2p,q

Um die Tendenz zum Overfitting zu korrigieren, wird dasAnpassungsma 2p,q um einen Term erganzt, der hohereWahlen von p und q bestraft

202

Idee der Selektionsverfahren: (I)

Die bekanntesten Informationskriterien lauten:AIC(p, q) = log

(2p,q

)+ (p+ q)2T

(Akaike-Informationskriterium)

SIC(p, q) = log(2p,q

)+ (p+ q)log(T )T

(Schwarz-Informationskriterium)

HQIC(p, q) = log(2p,q

)+ (p+ q)2 log[log(T )]T

(Hannan-Quinn-Informationskriterium)

In praxi werden die Ordnungen p und q so gewahlt, dass sieeines der 3 Informationskriterien minimieren

203

Bemerkungen:

In praxi wird meistens das AIC-Kriterium verwendet, obwohles tendenziell zum Overfitting fuhrt

SIC und HQIC liefern konsistente Schatzungen der Ordnun-gen p und q

204

6.4 Modellierung eines stochastischen Prozesses

Jetzt:

Anpassung eines ARMA(p, q)-Prozesses an eine erhobene Zeit-reihe in 4 Schritten

1. Transformationen zur Erreichung der Stationaritat: (I)

Okonomische Zeitreihen sind oft nicht stationar(vgl. Kapitel 7)

Daten sind in stationare Zeitreihen zu transformieren205

1. Transformationen zur Erreichung der Stationaritat: (II)

Mogliche Datentransformation:Ubergang zu Differenzen

Yt = (1 L)dXt fur d = 1,2, . . .(Differenzenfilter der Ordnung d)

Bereinigung von {Xt} um einen deterministischen Trend(vgl. Kapitel 7)

Ubergang zu logarithmierten Werten bzw. zu Differenzender logarithmierten Werte

Yt = (1 L) log(Xt) = log(Xt) log(Xt1)(Wachstumsrate)

206

2. Wahl der Ordnungen p und q:

Inspektion von ACF und PACF

Anwendung von Selektionskriterien(vgl. Abschnitt 6.3)

3. Schatzung des Modells:

ML-Schatzung des spezifizierten ARMA(p, q)-Modells

207

4. Prufung auf Plausibilitat:

Sind die Parameterschatungen plausibel?

Folgen die Residuen einem Weien Rauschen?

Gibt es Strukturbruche

Ggf. Respezifikation des Modells und erneute Anpassung

Beispiel:

Deutsches BIP zwischen 1970:Q1 und 2007:Q4208

40

50

60

70

80

90

100

110

120

1970.1 1980.1 1990.1 2000.1

Zeit

BIP (preisbereinigt, Quartalsdaten)

-.04

-.02

.00

.02

.04

.06

.08

1970.1 1980.1 1990.1 2000.1

BIP Wachstumsrate

Schritt 1:

Daten weisen offensichtlicheinen steigenden Trend auf

ein Saisonmuster auf

Ubergang zu saisonalen Differenzen in LogarithmenXt = (1 L4) log(BIPt)

= log(BIPt) log(BIPt4)(Wachstumsrate gegenuber Vorjahresquartal)

210

Schritt 2:

Visuelle Inspektion von ACF und PACF(vgl. Abbildung auf Folie 212)

ACF langsam monoton abklingend

AR-ModellPACF hat signifikante Werte bis h = 4

AR(4)-Modell

211

-1.0

-0.5

0.0

0.5

1.0

0 5 10 15 20 25 30

h

Geschtzte ACF

-1.0

-0.5

0.0

0.5

1.0

0 5 10 15 20 25 30

h

Geschtzte PACF

Schritt 2 (Fortsetzung):

Selektionskriterien:

AIC-Werte fur alternative ARMA(p, q)-Modelle

p / q q = 0 q = 1 q = 2 q = 3 q = 4 q = 5p = 0 5.6068 5.6530 5.9066 5.9046 5.9043p = 1 5.8274 5.8157 5.8125 5.9476 5.9378 5.9412p = 2 5.8322 5.8813 5.8806 5.9394 5.9290 5.9504p = 3 5.8117 5.8900 5.8825 5.9107 5.9157 5.9702p = 4 5.8518 5.8922 5.8960 5.9988 5.9520 5.9869p = 5 5.8988 5.8861 5.9203 5.9775 5.9922 5.9810

ARMA(4,3)-Modell

213

SIC-Werte fur alternative ARMA(p, q)-Modelle

p / q q = 0 q = 1 q = 2 q = 3 q = 4 q = 5p = 0 5.5663 5.5923 5.8256 5.8034 5.7828p = 1 5.7867 5.7546 5.7311 5.8458 5.8157 5.7988p = 2 5.7709 5.7996 5.7785 5.8168 5.7860 5.7870p = 3 5.7296 5.7874 5.7593 5.7670 5.7514 5.7855p = 4 5.7487 5.7684 5.7516 5.8338 5.7664 5.7806p = 5 5.7745 5.7411 5.7546 5.7910 5.7850 5.7531

ARMA(1,3)-Modell

214

Schritt 3: (I)

Schatzung des AR(4)-Modells

215

Dependent Variable: BIP_WACHSTUM Method: Least Squares Date: 22/05/08 Time: 16:10 Sample (adjusted): 1972Q1 2007Q4 Included observations: 144 after adjustments Convergence achieved after 3 iterations

Variable Coefficient Std. Error t-Statistic Prob.

C 0.021617 0.003267 6.616613 0.0000AR(1) 0.671162 0.082343 8.150788 0.0000AR(2) 0.091627 0.099346 0.922303 0.3580AR(3) 0.146818 0.098621 1.488713 0.1388AR(4) -0.234958 0.080608 -2.914812 0.0041

R-squared 0.549943 Mean dependent var 0.021520Adjusted R-squared 0.536992 S.D. dependent var 0.018744S.E. of regression 0.012754 Akaike info criterion -5.851775Sum squared resid 0.022612 Schwarz criterion -5.748656Log likelihood 426.3278 F-statistic 42.46246Durbin-Watson stat 1.877438 Prob(F-statistic) 0.000000

Inverted AR Roots .71-.26i .71+.26i -.38+.52i -.38-.52i

Schritt 3: (II)

Hauptergebnisse:Parameter 2 und 3 nicht signifikant

Varianz der Residuen:

2 = (0.012754)2 = 0.000163

216

Schritt 3: (III)

Schatzung des ARMA(1,3)-Modells

217

Dependent Variable: BIP_WACHSTUM Method: Least Squares Date: 21/05/08 Time: 23:14 Sample (adjusted): 1971Q2 2007Q4 Included observations: 147 after adjustments Convergence achieved after 10 iterations Backcast: 1970Q3 1971Q1

Variable Coefficient Std. Error t-Statistic Prob.

C 0.021610 0.002912 7.421498 0.0000AR(1) -0.101970 0.113792 -0.896108 0.3717MA(1) 0.887698 0.084314 10.52848 0.0000MA(2) 0.654474 0.084773 7.720300 0.0000MA(3) 0.656299 0.062123 10.56447 0.0000

R-squared 0.582336 Mean dependent var 0.021547Adjusted R-squared 0.570571 S.D. dependent var 0.018559S.E. of regression 0.012162 Akaike info criterion -5.947550Sum squared resid 0.021004 Schwarz criterion -5.845835Log likelihood 442.1449 F-statistic 49.49651Durbin-Watson stat 2.010427 Prob(F-statistic) 0.000000

Inverted AR Roots -.10 Inverted MA Roots .02+.84i .02-.84i -.94

Schritt 3: (IV)

Hauptergebnisse:Parameter 1 nicht signifikant

Varianz der Residuen:

2 = (0.012162)2 = 0.000148

Bessere Anpassung als AR(4)-Modell

218

Schritt 4: (ARMA(1,3)-Modell) (I)

Parameterwerte plausibel

Eigenschaften des geschatzten ARMA(1,3)-Modells (I)(vgl. Abbildung 18, Folie 221)

Kehrwert der Nullstelle des AR-Polynoms innerhalb desEinheitskreises

AR-Nullstelle auerhalb des Einheitskreises Geschatztes ARMA(1,3)-Modell ist stationar

219

Schritt 4: (II)

Eigenschaften des geschatzten ARMA(1,3)-Modells (II)(vgl. Abbildung 18, Folie 221)

Kehrwert der Nullstellen des MA-Polynoms innerhalb desEinheitskreises

MA-Nullstellen auerhalb des Einheitskreises Geschatztes ARMA(1,3)-Modell ist invertierbar

220

-1.0

-0.5

0.0

0.5

1.0

-1.0 -0.5 0.0 0.5 1.0

AR-Nullstellen MA-Nullstellen

Kehrwerte der Nullstellen der AR/MA Polynome

Inverse Roots of AR/MA Polynomial(s) Specification: BIP_WACHSTUM C AR(1) MA(1) MA(2) MA(3) Date: 21/05/08 Time: 23:59 Sample: 1970Q1 2007Q4 Included observations: 147

AR Root(s) Modulus Cycle

-0.101970 0.101970

No root lies outside the unit circle. ARMA model is stationary.

MA Root(s) Modulus Cycle

-0.936859 0.936859 0.024581 0.836616i 0.836977 4.076222

No root lies outside the unit circle. ARMA model is invertible.

Schritt 4: (II)

Residualanalyse (I)

222

-1.0

-0.5

0.0

0.5

1.0

0 5 10 15 20 25 30

h

Geschtzte ACF der Residuen

Schritt 4: (III)

Residualanalyse (II)Keine signifikanten Autokorrelationen bis zum Lag h = 30

Ljung-Box-Test auf Autokorrelation in den Residuen:(vgl. Folien 164-165)

Lag Q-Statistik p-Wert10 7.6054 0.26820 15.348 0.49930 21.145 0.734

223

Schritt 4: (IV)

Schlussfolgerung:

Residuen folgen annahernd einem Weien RauschenKorrelation in den Daten wird vom ARMA(1,3)-Modell guterfasst

224