State Space Model

Vremenski nizovi pomoću modela prostora stanja(State Space)

• Stanje vremenskog niza: NEOPAŽEN dinamički proces u vremenu t.

• Model globalne razine:

• Model lokalne razine:

ytt eby 0

yttt eby 0

Model lokalne razine (Local Level Model)

• t – neopažena razina (sredina) u vremenu t

• eyt – opservacijska greška (nepravilna komponenta)

• et – greška razine

Model razine

2

1

2

,0~

,0~

ettt

eyttt

NIDe

NIDeyy

Mjerna jednadžba (opservacijska)

Jednadžba stanja (tranzicijska)

Zovemo ga uobičajeno: model slučajnog hoda sa šumom (šum - nepravilna komponenta eyt).

et= 0 deterministički proces; sredina se ne mijenja t +1= 1

et≠ 0 stohastički proces

Model globalne razine

Deterministička razina: ytt ey 11 i σ2

eyt – određujemo na temelju prethodnog istraživanja ili metodom difuzne inicijalizacije (diffuse initialisation). U modelu prostora stanja treba procijeniti opservacije i varijance; a parametri se zovu hiperparametri, koji se dobivaju iterativnom metodom maksimizacije funkcije vjerodostojnosti (ML) po hiperparametrima.

Rješenje:

yyyyn

yy

yn

y

tt

n

tt

y

n

tt

1

ˆ

1

2

2

1

Model prostora stanja (Prirodni logaritam hrvatskog BDP-1)

=10.982 (stanje 1)

AIC=36.518; σ2ey=0.122

y mi

1997 1999 2001 2003 2005 2007 2009 201110.2

10.4

10.6

10.8

11.0

11.2

11.4

11.6

ey

1997 1999 2001 2003 2005 2007 2009 2011-0.8

-0.6

-0.4

-0.2

-0.0

0.2

0.4

0.6

Metoda najmanjih kvadrata

Linear Regression - Estimation by Least SquaresDependent Variable LBDPQuarterly Data From 1997:01 To 2012:03Usable Observations 63Degrees of Freedom 62Centered R^2 0.0000000R-Bar^2 0.0000000Uncentered R^2 0.9990060Mean of Dependent Variable 10.982073558Std Error of Dependent Variable 0.349196438Standard Error of Estimate 0.349196438Sum of Squared Residuals 7.5601654434Log Likelihood -22.6055Durbin-Watson Statistic 0.0518

Variable Coeff Std Error T-Stat Signif************************************************************************************1. Constant 10.982073558 0.043994616 249.62313 0.00000000

MAXIMIZE - Estimation by BFGS

Convergence in 3 Iterations. Final criterion was 0.0000000 <= 0.0000100

Quarterly Data From 1997:01 To 2012:03

Usable Observations 63

Function Value -7.5602

Variable Coeff Std Error T-Stat Signif

************************************************************************************

1. B0 10.982069483 0.089087058 123.27346 0.00000000

Metoda maksimalne vjerodostojnosti (ML)

Model lokalne razine

Stohastička razina:

ttt

yttt

e

ey

1Slučajni hod

šum

Modeli prostora stanja uspoređuju se AIC testom. Bolji je onaj koji minimizira AIC vrijednost:

wqLdnn

AIC 2ln21

n – broj opažanja

Ld – vrijednost funkcije vjerodostojnosti (ML) u optimumu

q – broj početnih difuznih vrijednosti stanja za procijeniti

w – broj varijanci za procijeniti

σ2ey= -0.003 0 AIC = -2.1914

σ2e=0.013

y mi

1997 1999 2001 2003 2005 2007 2009 201110.2

10.4

10.6

10.8

11.0

11.2

11.4

11.6

EY EMI

1997 2000 2003 2006 2009 2012-0.15

-0.10

-0.05

0.00

0.05

0.10

0.15

Negativna procijenjena varijanca; stoga je izjednačujemo s 0

Linearni model lokalnog trenda

Model s dvije jednadžbe stanja:

vttt

ttt

yttt

evv

ev

ey

t

1

1

Jednadžbe stanja

razina

Nagib (slope) ili otklon (drift)

0;0

0;0

0;0

0;0

vtt

vtt

vtt

vtt

ee

ee

ee

ee

Deterministička razina i nagib

Stohastička razina i nagib

Stohastička razina i deterministički nagib

Deterministička razina i stohastički nagib


1vvt 112

111

v

ey y

11111123

11122

2vvvv

evey yty

11111134

11133

32

2

vvvv

evey yty

t=1

t=2

t=3

yt

ytytt

etvv

evtvevty

111

11111 1

b0 b1

yt

ytytt

etvv

evtvevty

111

11111 1

b0

yt

ytytt

etvv

evtvevty

111

11111 1

b1b0 b1b0 b1

yt

ytytt

etvv

evtvevty

111

11111 1

b0 b1Konstantna razina i konstantni trend kroz vrijeme

0;0 vtt ee

y m i

1997 1999 2001 2003 2005 2007 2009 201110.2

10.4

10.6

10.8

11.0

11.2

11.4

11.6

EY

1997 1999 2001 2003 2005 2007 2009 2011-0.30

-0.25

-0.20

-0.15

-0.10

-0.05

-0.00

0.05

0.10

0.15

σ2ey= 0.012 AIC = -1.303

σ2e=0 ; σ2

ev=0 v1=0.018; 1=10.42


Istovjetno OLS-u

Linear Regression - Estimation by Least SquaresDependent Variable yQuarterly Data From 1997:01 To 2012:03Usable Observations 63Degrees of Freedom 61Centered R^2 0.9023714R-Bar^2 0.9007709Uncentered R^2 0.9999030Mean of Dependent Variable 10.982073558Std Error of Dependent Variable 0.349196438Standard Error of Estimate 0.109999158Sum of Squared Residuals 0.7380887021Regression F(1,61) 563.8166Significance Level of F 0.0000000Log Likelihood 50.6819Durbin-Watson Statistic 0.4988

Variable Coeff Std Error T-Stat Signif************************************************************************************1. Constant 10.402987919 0.028050467 370.86683 0.000000002. TREND 0.018096426 0.000762121 23.74482 0.00000

b1 = v1=0.018; b0=1-v1=10.42-0.018=10.402

y FITTED

1997 1999 2001 2003 2005 2007 2009 201110.2

10.4

10.6

10.8

11.0

11.2

11.4

11.6

EOLS

1997 1999 2001 2003 2005 2007 2009 2011-0.3

-0.2

-0.1

0.0

0.1

0.2

OLS


2

2

11 ,0~

,0~

et

eyyt

tt

yttt

NIDe

NIDe

ev

ey

t

Rješenje za proces t je:

t

iit etv

1111 Slučajni hod s otklonom (Random walk

with drift)

0;0 vtt ee


0;0 vtt ee


t

iit etv

1111


σ2ey= 0.003 AIC = -2.205

σ2e=0.001 ; σ2

ev=0 v1=0.01789; u1=10.272

y mi

1997 1999 2001 2003 2005 2007 2009 201110.2

10.4

10.6

10.8

11.0

11.2

11.4

11.6

EY

1997 1999 2001 2003 2005 2007 2009 2011-0.100

-0.075

-0.050

-0.025

-0.000

0.025

0.050

0.075

0.100


0;0 vtt ee

2

2

1

1

,0~

,0~

evvt

eyyt

vttt

ttt

yttt

NIDe

NIDe

evv

vey


t

ii

t

iit ev

1111


σ2ey= 0.0038 AIC = -2.270

σ2e= 0; σ2

ev=0.000009 u1=10.277

y mi (STANJE 1)

1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 201210.2

10.4

10.6

10.8

11.0

11.2

11.4

11.6

v (STANJE 2)

1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 20120.000

0.005

0.010

0.015

0.020

0.025

0.030

Usporava rast

Stohastička razina i stohastički nagib

0;0 vtt ee

2

2

2

1

1

,0~

,0~

,0~

evvt

et

eyyt

t

vttt

ttt

yttt

NIDe

NIDe

NIDe

e

evv

vey

y mi (ST ANJE 1)

1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 201210.2

10.4

10.6

10.8

11.0

11.2

11.4

11.6

v (ST ANJE 2)

1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 20120.000

0.005

0.010

0.015

0.020

0.025

0.030

Stohastička razina i stohastički nagib

σ2ey= 0.00369 AIC = -2.271

σ2e= 0.00086; σ2

ev=0.000008

ey

1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012-0.15

-0.10

-0.05

0.00

0.05

0.10

0.15

EY

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15-1.00

-0.75

-0.50

-0.25

0.00

0.25

0.50

0.75

1.00

Autokorelacija

Sezonske dummy (kvartalne) u linearnom modelu lokalnog trenda

2

2

2

2

,21,3

,11,2

,3,2,11,1

1

1

,1

,0~

,0~

,0~

,0~

et

evvt

et

eyyt

tt

tt

ttttt

vttt

ittt

ytttt

NIDe

NIDe

NIDe

NIDe

e

evv

evey

σ2eγ = 0 deterministička sezona

Σ2eγ ≠0 stohastička sezona

Po definiciji

3

0

00i

ite Centrirane sezonske dummy

Stanje 1

Stanje 2

Stanje 3

Sezonske dummy (kvartalne) u linearnom modelu lokalnog trenda; matrični zapis

ttttt

ytttt

wFzAz

ezcy

1

'

3

2

1

v

z

00101'c

01000

00100

11100

00010

00011

A

000

000

100

010

001

F

e

e

e

w v

Design vector (vektor nacrta modela)

State vector (vektor stanja)

Transition matrix (tranzicijska matrica)

Selection matrix (matrica izbora)

Ako su gornje matrice konstante,nemaju vremsnku dimenziju govorimo o vremensko nepromjenjivom modelu (time invariant) –; suprotno model je vremensko promjenjiv (time varying). Procijenjeni y zove se signal.

y mi (STANJE 1)

1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 201210.2

10.4

10.6

10.8

11.0

11.2

11.4

11.6

gamma (Stanje 3)

1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012-0.075

-0.050

-0.025

0.000

0.025

0.050

0.075

Stohastička razina i trend; deterministička sezona

AIC = -3.4359102

EY

1997 1999 2001 2003 2005 2007 2009 2011-0.015

-0.010

-0.005

0.000

0.005

0.010

0.015

0.020

EY

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15-1.00

-0.75

-0.50

-0.25

0.00

0.25

0.50

0.75

1.00

Autokorelacija

Stohastička razina, trend i sezona 02

y mi (STANJE 1)

1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 201210.2

10.4

10.6

10.8

11.0

11.2

11.4

11.6

gamma (Stanje 3)

1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012-0.100

-0.075

-0.050

-0.025

-0.000

0.025

0.050

0.075

0.100

AIC = -3.53226

EY

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15-1.00

-0.75

-0.50

-0.25

0.00

0.25

0.50

0.75

1.00

EY

1997 1999 2001 2003 2005 2007 2009 2011-0.015

-0.010

-0.005

0.000

0.005

0.010

0.015

0.020

Autokorelacija

Model u razini s nezavisnom varijablom x

ttttt

ytttt

wFzAz

ezcy

1

'

z tt xc 1'

10

01A

10

01F

e

ew

0;0

0;0

0;0

0;0

ee

ee

ee

ee Fiksni, kroz vrijeme, parametar sredine i nagiba – kao normalni OLS

Stohastička razina, fiksni koeficijent nagiba

Deterministička razina; promijenjivi koeficijent nagiba

Stohastička razina i koeficijent nagiba

Deterministička razina i koeficijent nagiba

2.9175

-0.0877

1t

1

t Stanje 1

Stanje 2

OLS Variable Coeff Std Error T-Stat Signif************************************************************************************1. Constant -0.087743256 0.033499803 -2.61922 0.014281842. X 2.917494350 0.160185381 18.21324 0.00000000

STATE1 STATE2

5 10 15 20 25 30-0.5

0.0

0.5

1.0

1.5

2.0

2.5

3.0

3.5

4.0

2.9175

-0.0877

1t

1

t Stanje 1

Stanje 22.9175

-0.0877

1t

1

t Stanje 1 AIC= -1.987

Stanje 22.9175

-0.0877

1t

1

t Stanje 1

Y state1+state2*x

5 10 15 20 250.00

0.25

0.50

0.75

1.00

Ey

5 10 15 20 25-0.15

-0.10

-0.05

0.00

0.05

0.10

0.15

Stohastička razina i fiksan koeficijent nagiba

AIC= -2.028Stanje 22.91141t

mi (state1)

5 10 15 20 25 30-0.175

-0.150

-0.125

-0.100

-0.075

-0.050

-0.025

Y state1+state2*x

5 10 15 20 250.00

0.25

0.50

0.75

1.00

Ey

5 10 15 20 25-0.125

-0.100

-0.075

-0.050

-0.025

-0.000

0.025

0.050

0.075

0.100

Deterministička razina i promjenjiv koeficijent nagiba

AIC= -2.050-0.07571t

Beta (Stanje 2)

5 10 15 20 25 302.0

2.2

2.4

2.6

2.8

3.0

3.2

3.4

Y state1+state2*x

5 10 15 20 250.00

0.25

0.50

0.75

1.00

Ey

5 10 15 20 25-0.3

-0.2

-0.1

0.0

0.1

0.2

0.3

mi (stanje 1) s 95% intervalima pouzdanosti

1990 1992 1994 1996 1998 2000 2002 2004 2006 2008 2010 2012 2014 2016 2018-0.30

-0.25

-0.20

-0.15

-0.10

-0.05

-0.00

0.05

0.10

Intervali pouzdanosti vektora stanja

2221

1221

tQVCV matrica stanja

22

21

96.12

96.11

state

state

Intervale pouzdanosti (95%) računamo, ako vrijede pretpostavke nezavisnosti, homoskedastičnosti i normalnosti distribucije reziduala, na temelju:

ttttttt

tytytttt

QNIDwwFzAz

HNIDeezcy

,0~

,0~'

1

Multivarijatni model

Ht i Qt su VCV matrice.


Npr. za model s dvije zavisne varijable (y(1) i y(2), sa stohastičkom razinom i trendom, fiksnim koeficijentima nagiba i jednom nezavisnom varijablom x bit će:

0

0

100000

010000

011000

000100

000010

000011

01000

00001

1

1

1

1

2

2

2

1

1

1

21

21

21

11

11

11

2

1

2

2

2

1

1

1

)2(

)1(

vt

t

vt

t

t

t

t

t

t

t

t

t

t

t

t

t

yt

yt

t

t

t

t

t

t

t

t

t

t

e

e

e

e

v

v

v

v

e

e

v

v

x

x

y

y


221

212

2

1

,cov

,cov

y

y

eyy

yye

t ee

eeH

221

221

212

212

2

2

1

1

0,cov0

00,cov

,cov00

0,cov0

evvv

e

vvev

e

t

ee

ee

ee

ee

Q

Ako u Qt:

cov≠0 tada imamo prividno nepovezan model “seemingly unrelated model” (varijable vezane preko grešaka u vektoru stanja)

cov=0, dijagonalna matrica tada imamo stvarno nepovezan model ”really unrelated model”

Ako je npr. tada je rang matrice Q jednak (k-1) jer imamo linearnu vezu 1, 21 vv eer

2221

22

21

21

21

,cov1,cov

vv

vv

eevv

ee

vv eeee

Zajednički nagib

Filtriranje i predviđanje

Izglađeno stanje (smoothed state) – procjenjuje se na temelju SVIH (prošlih, tekućih i budućih) opažanja

Filtrirano stanje (filtered state) - procjenjuje se na temelju PROŠLIH i TEKUĆEG opažanja

Predviđeno stanje (predicted state) - procjenjuje se na temelju samo PROŠLIH opažanja.

Procjena vektora stanja činimo u dva koraka:

1. Rekurzijom unaprijed (forward pass) primjenom algoritma Kalmanovog filtara na opažene vremenske nizove;

2. Rekurzijom unazad (backward pass) od t=n,…,1 – koristeći algoritam poznat kao izglađivač stanja i grešaka (state and disturbance smootehers) koji sde primjenjuje nad izlazom Kalmanovog filtera.

Kalmanov filtar

ttttt zyKzz 1

Za lokalni model u razini pojednostavljuje se na:

ttt zyf Greška u predviđanju (one-step forecast (prediction) error), ponekad se zove i inovacija (innovation) jer donosi nove informacije

2

2

t

t

f

ztK

2

tz Procijenjena varijanca greške filtriranog stanja (prošle

vrijednosti)2

tf Procijenjena varijanca one step errora.

tK Kalman gain

Kada je varijanca filtriranog stanja relativno velika u odnosu na varijancu greške u predviđanju onda Kt će težiti jedinici, a kada je varijanca one step errora veća od filtriranog stanja tada će težiti nuli.

ft monotono se s vremenom smanjuje, a za time invariant modele konvergira prema konstantnoj vrijednosti. To vrijedi i za greške filtriranog stanja, što povlači da i Kt također konvergira konstantnoj vrijednosti. Ta činjenica olakšava postupak Kalmanovog filtriranje nakon postignute stabilne ravnoteže.

Kalmanov filtar

2010 2011 2012

ytyt+2

yt+1

zt+1=ztzt

Najbolji one step prediction

ft+2

Kt+1ft+1

zt+1=zt

2011

yt+1

ft+1

Kt+1ft+1

Difuzna funkcija vjerodostojnosti (Diffuse log-likelihood)

n

dttftf ff

nKLd

tt1

122 'ln2

12ln

2ln

d - broj difuznih početnih elemenata

Vrijednost gornje funkcije se maksimizira kada se simultano minimiziraju greška u predviđanju (ft) i njezina varijanca .

Za razliku od OLS modela, koji minimizira opservacijske greške et i njihovu varijancu, metoda prostora stanja dobiva vrijednosti procijenjenih hiperparametara putem minimizacije predviđenih grešaka ft i njihove varijance.

Procijena hiperparametara koju maksimihziraju gornju funkciju čini se ili numeričkim putem BFGS (Broyden-Fletcher-Goldfarb-Shannon) algoritma ili EM (Expectation-maximization) algoritmom. BFGS je brži a EM garantira nenegativne hiperparametre i monotonu konvergenciju.

n

dt f

tf

t

t

fnLd

12

22ln

2

12ln

2ln

Za jednu zavisnu varijablu

Za K zavisnih varijabli

Documents

State Space Model