東京⼤学 数理・情報教育研究センター北川 源四郎

時系列解析（11）−ボラティリティ、時変係数ARモデル−

2

1. 分散⾮定常モデル： 線形化・正規近似2. 共分散⾮定常モデル：時変係数モデル

3. ⾮線形・⾮ガウス型状態空間モデル

概 要

分散・共分散⾮定常

⽇経225

地震波

3

4

⾮定常時系列のモデル

１．平均⾮定常 ・・・ トレンド，季節調整

２．分散⾮定常

３．共分散⾮定常• 時変係数モデル

• 線形・ガウスモデル（カルマンフィルタ）で推定するためには、近似が必要（線形化＋正規近似）

• ⾮線形・⾮ガウス型状態空間モデルを使うと直接的なモデリングが可能

222 logloglog nnn wr

nr

2log nr

)1,0(~, Nwwr nnnn

222nnn wr

（線形モデルによる）時変分散の推定

⼆乗

対数

• 変換により分散変動の推定問題はトレンド推定の問題に変換される

• ただし，ノイズは正規分布ではない

5

2 21

2 21

log log

log log

n n n

n n n

（線形モデルによる）時変分散の推定

2 21

2 2 2

log log

log log logn n n

n n nr w

時変分散のモデル（例）

分散変化のモデル（例）

6

ランダムウォーク型

（定数付き）AR型

状態空間表現

7

2 21

2 2 2

log log

log log logn n n

n n nr w

2 2 2log , log , log n n n n n nx y r w とおくと

1n n n

n n n

x xy x

• 状態空間表現• n は正規分布には従わない

正規近似 カルマンフィルタ ⾮正規分布 ⾮ガウス型フィルタ

⼆種類のデータ変換

8

2logn nz r

nr

2n ny r 2 2

2 1 22 ( ) / 2n n ny r r

2 log 2n nz y

9

の分布：⼆重指数分布

2 21 1 1 ( )~ x y 分布カイ⼆乗

~ (0,1)ny N

1 1logw x

122

( ) expww ep w

(⼆重指数分布)

1

2( )h

h

x h y y

y x

2

11 12 1 2 2

11 12 2

12

1exp

2

2

2

1( )

212

( )

( )

( ) ( | 0,1) 2 2 exp2

2 exp

dh

dx

x

y

x h y y

f y

h x x x

dh xg x x xdx

x

11

112

12

log( ) ( ( ))

log (2 ) exp2

(2 ) exp2 2

ww

w

dp w g h wdw

d eedw

w e

12

2( ) 2 exp xg x x

2log nw

10

⼆重指数分布（Gumbel分布）

22 2 22 1 2 2

1χ

2=( ) / 2 ~ ( )⾃由度２の 分布 指数分布s y y

~ (0,1)ny N

2 2logw s

( ) exp : ⼆重指数分布wp w w e

( ) expg s s

1( ) ( ( ))

exp

exp

w

w w

w

dep w g h wdw

e e

w e

1

1

( ) log

( ) w

h

h

w h s s

s w

h w e

注：p(−w) はGumbel分布

Euler定数

時変分散・ボラティリティKitagawa & Gersch (1985)Nelson (1988), Harvey, Ruiz, Shepard (1994)

11

⼆重指数分布の正規分布による近似

22

exp21~log 2

w

neww

2( , / 2), 1.27036N

2log ~ exp wnw w e 2( , / 6), 0.577216N

log-ピリオドグラムの平滑化Wahba (1980)

-1.27036 4.934802-0.577216 1.644934-0.270363 0.644934

12

⼆重指数分布と正規近似

True近似1

22( ) exp

ww eg w

( ) exp wg w w e

2log( )ny

22log

2 22 1 2log( )m my y

• 正規近似が良くなる• 分散が1/3• データ数が1/2

近似 True

21log

分散変動(時変分散)モデル

km m

m m m

t vz t w

2

6( ) exp ( , )wh w w e N

13

2

12

2 2( ) exp ( ) ~ ,( )wh w w e N

１

22 -型

21 -型

時変分散の推定： MYE１F 型，トレンド次数＝2

2 = 6.6x10-6 ，2 = 9.71ｘ10-1

log-lkhd = -2195.731AIC=4399.46

14

-1

0

1

2

3

4

5

6

1 101 201 301 401 501 601 701 801 901 1001 1101 12010 200 400 600 800 1000 1200

22 -

# an earthquake wave data data(MYE1F)#tvvar(MYE1F, 2, 6.6e-06, 1.0e-06)

tau2 6.60000e-06sigma2 9.71228e-01log-likelihood -2195.731aic 4399.462

時変分散の推定とデータの等分散化変換したデータ

時変分散

等分散化したデータ

15

Time

0 500 1000 1500 2000 2500

-40

-20

020

40

AR型の分散変動モデル

222

21

2

logloglogloglog

nnn

nnn

wrv

2 21

2 2 2

log loglog log log

n n n

n n nr w

ランダムウォークモデル

AR 型モデル

16

時変スペクトル

ARモデル ⾃⼰共分散 スペクトル

時変係数 ⾮定常 時変

),0(~, 2

1Nwwyay nnjn

m

jjnn

時変係数 AR モデル

17

時変係数回帰モデル

時変係数AR モデルの推定

1

, は時間とともに変動m

n jn n j n njj

y a y w a

2, ~ (0, )kjn jn jna v v N

1n n n

n n n n

x Fx Gvy H x w

状態空間表現

係数変化のモデル

18

~ (0, )~ (0, )

n

n

v N Qw N R

, , , , , n nx F G H Q R を定める

時変係数ARモデル

Kronecker 積

1)1()1()1( HGF

01

,01

,0112

)1(

)1()2(

H

GF

BaBa

BaBa

bb

bb

aa

aaBA

mmpqp

q

mm

1

111

1

111

1

111

JSV(1983), IEEE-AC(1985) 19

( ) ( )

( )1

2 2

11

,

( , , )

,

( , , ) ( , , , )

k km m

kn n n m

m

T kn n mn

F F I G G I

H H y y

Q I R

x a a I B B

(1) (2) 2, m m

m m mm

I IF I I F I

I O

状態空間表現（k = 1 の場合）

1 1, 1 1,

, 1 ,

1

1

2

2

2

1 1

1 1

, ,

,

n n n

mn m n m n

n

n n n m n

mn

a a v

a a v

ay y y w

a

Q R

20

1 1 1

1,1

1 1 1 2,

1 2

1

11 1

1

2 1 1

2 1 11

1 1

, , , 0, , 0

n n

nmn mn

n nm n

mn mn

n

mnn n n m

n

mn

a a

va aa a

v

a a

a

ay y y

a

a

nw

状態空間表現（k = 2 の場合）

2

2

2

,Q R

21

22

システムノイズの等分散仮定について

Q = diag{ 2,…, 2}: の仮定は妥当か？

12

12

2

12

2

2

11 12 2

2 2

1

2

1 1

2 2( , ) 1 , AR

( )( , )

( , )

( , )

| ( , ) | ( )

, ~ (0, )

係数のフーリエ変換

の時間変化の滑らかさに関する評価

周波数領域- で⼆乗積分

各次数を同じ割合で加算しているので

mijf

njj

n

mk k ijf

njj

mk k

njj

kn nj nj nj

A f n a e f

p fA f n

A f n

A f n a e

f

A f n df a

a v v N

ARモデルを⽩⾊化フィルタと考えたときの周波数応答関数

23

時変係数ARモデルのAIC

m k=1 k=2 m k=1 k=21 6492.5 6520.4 6 4831.9 4873.82 5527.7 5643.2 7 4821.6 4878.73 5070.0 5134.5 8 4805.1 4866.94 4820.0 4853.0 9 4813.4 4884.95 4846.0 4886.0 10 4827.1 4911.9

data(MYE1F) # an earthquake wave data z <- tvar(MYE1F, trend.order = 2, ar.order = 8, span = 20, tau2.ini = 6.6e-06, delta = 1.0e-06)

z

tau2 1.60000e-06sigma2 1.43071e+01log-likelihood -7284.520aic 14589.041

Rによる時変係数ARモデルの推定

24

時変スペクトル

),0(~, 2

1Nwwyay nnjn

m

jjnn

2

1

2

21

( )m

j

nn

ijfjn

p fea

時変係数 AR モデル

時変スペクトル

25

26

Rによる時変スペクトルの計算z <- tvar(MYE1F, trend.order = 2, ar.order = 8, span = 20, tau2.ini = 6.6e-06, delta = 1.0e-06)

# 時変スペクトルspec <- tvspc(z$arcoef, z$sigma2)plot(spec, theta = 30, phi = 40, expand = 0.5)

27

係数の急激な変化について

• トレンドモデルによる変化はゆっくりした変化を仮定している• 地震波などでは突然別のモデルに変化することがある。

• 対応１ 変化点既知の場合

k=1の場合： その時点で 2を⼤きくすればよいk=2の場合： それだけでは屈折点となる

• xn|n-1とVn|n-1を初期化するかVn|n-1の対⾓成分に⼤きな値を⼊れる

• 対応２： ⾮ガウス型モデルを利⽤する（変化点未知でよい）

z <- tvar(MYE1F, trend.order = 2, ar.order = 8, span = 40, outlier = c(630, 1026), tau2.ini = 6.6e-06, delta = 1.0e-06)

Rによる時変係数ARモデルの推定（構造変化を仮定）

28

構造変化の時点

29

# n=630と1026の2か所で構造変化があったと仮定#z <- tvar(MYE1F, trend.order = 2, ar.order = 8, span = 40,

outlier = c(630, 1026), tau2.ini = 6.6e-06, delta = 1.0e-06)## 時変係数ARモデルから時変スペクトルを計算# 時変スペクトルを3次元表⽰#spec <- tvspc(z$arcoef, z$sigma2)plot(spec, theta = 30, phi = 40, expand = 0.5)

Rによる時変スペクトルの推定（構造変化を仮定）

時変係数と時変スペクトル

時変係数AR局所定常構造時変係数AR

30

時変スペクトル

31

32

本と同様の3次元プロット（未公開）########################################### 時変スペクトルの3次元表⽰########################################### seismic datadata(MYE1F)z <- tvar(MYE1F, trend.order = 2, ar.order = 8, span = 20, outlier = c(630, 1026), tau2.ini = 6.6e-06, delta = 1.0e-06)spec <-tvspc(z$arcoef, z$sigma2)#########################################

# 最初のスペクトル(n=0)nf <- 201dt <- 2dy <- 0.2nf1 <- nf-dtt <- 1:nftt <- 1:nf1plot(t,spec$z[,1],type="l", xlim=c(1,501),ylim=c(-2,18)) y <- spec$z[,1] z<- y

# ⿃瞰図(n=1,80)nrep <- 1:80for (i in nrep){par(new=T)t <- t+dt

for (j in 1:nf) z[j] <- spec$z[j,i]+dy*(i-1)for (j in tt){

# z[j] <- max(spec$z[j,i]+dy*(i-1),y[j+dt])z[j] <- max(z[j],y[j+dt])}

y <- zplot(t,y,type="l", xlim=c(1,501),ylim=c(-2,18),xaxt='n',yaxt="n")

スペクトルの滑らかさの制約

33

12

12

22 2 2

1

( , ) (2 )k

k

mk k

k njj

A f n

fR df j a

2 4 2 10 2, ~ (0,( ) )jn jn jna u u N j

( ) ( ) 2, ~ (0,( ) )k k kjn jn jn ka u u N j

1 1, 1 1

, 1

1 21

1

1

1

0 1

0 1

n n n

mn m n mn

nn n n n mn

n

mnmn

a a u

a a u

wy y y ya

u

au

2 2 10 2

2 4 2 10 2

21

2

1 ( )

( )

0~ ,

0

100

~ ,

0

n

mn

n

n

mn m

vN

v

wu

N

u

東京⼤学 数理・情報教育研究センター北川 源四郎

時系列解析（１２）−⾮線形・⾮ガウス型状態空間モデル−

34

35

• 拡張カルマンフィルタ• ガウス和フィルタ• ⾮ガウス型フィルタ• 粒⼦フィルタ• アンサンブルカルマンフィルタ

⾮線形・⾮ガウス型フィルタ

⾮ガウス型モデリングの必要性

構造変化

異常値（外れ値）

離散過程

⾮線形性

nnn vxfx )( 1

36

0

0.1

0.2

0.3

0.4

⾮対称分布

37

状態空間モデルの拡張

⾮線形・⾮ガウス型

線形・ガウス型

nnn

nnn

wHxyGvFxx

1

x f x vy h x w

n n n

n n n

( , )( , )

1

関数：⾮線形分布：⾮ガウス型

⾮線形・⾮ガウス型状態空間モデル

1( , )( )

n n n

n n n

x f x vy h x w

38

: : :

n

n

n

n

xyv

w

: 状 態時 系 列シ ス テ ム ノ イ ズ観 測 ノ イ ズ

~ ( )~ ( )

n

n

v q vw r w

39

( , )n n ny h x w

観測モデルの拡張

ただし，h(x,w) の逆関数 g(y,x) が存在して ( , )

n n nw g y xy g y

で微分可能（ / が存在 ）

n

n

n

xn n

xn n

x

y e ww e y

g ey

(例)

ボラティリティのモデリングなどで必要

40

⾮線形・⾮ガウス型状態空間モデル

⾮ガウス型分布の例⾮線形関数の例

1( , )( , )

n n n

n n n

x f x vy h x w

f(x) ⾮線形変換f(x,v) 積型h(x,w) 積型（exwなど）

y=h(x,w)からw=k(y,x)と書ける必要がある。h(x)+wの⽅が簡単

・コーシー分布

0

0.7

1 201

2 2

1( )

( )x

p x

・ピアソン分布族

2 2( ) ( )b

p x C x

2 1

1 12 2

( )b bCb

・⼆重指数分布

・混合分布1 1 2 2( ) ( , ) (1 ) ( , )p x x x

0

0.2

0.4

0.6

0.8

1 14 27 40 53 66 79 92 105

118

131

144

157

170

183

196

状態推定

⾮線形

予測

フィルタ

)|( 1nn Yxp

)|( nn Yxp

1|1| , nnnn Vx

nnnn Vx || ,

カルマンフィルタ 初期値

予測

フィルタ

yn

n 1

n n 1

41

⾮ガウス型予測の導出

1111 )|,()|(

nnnnnn dxYxxpYxp

1 1

1 1 1 1

1 1 1

( , | )( | , ) ( | )( | ) ( | )

n n n

n n n n n

n n n n

p x x Yp x x Y p x Yp x x p x Y

dyyxpxp ),()(

)|()(),( yxpypyxp

)|(),|( 111 nnnnn xxpYxxp

42

1 1 1 1 1( | ) ( | ) ( | )n n n n n n np x Y p x x p x Y dx

⾮ガウス型フィルタの導出

1 1{ , , } { , }n n n nY y y Y y

)|(),|( 1 nnnnn xypYxyp

( , )( | )( )

( | ) ( )( )

p x yp x yp y

p y x p xp y

43

1

1

1

1 1

1

1

1

( | ) ( | , )

( , | )( | )

( | , ) ( | )( | )

( | ) ( | )( | )

n n n n n

n n n

n n

n n n n n

n n

n n n n

n n

p x Y p x Y y

p y x Yp y Y

p y x Y p x Yp y Y

p y x p x Yp y Y

1

1

( | ) ( | )( | )( | )

n n n nn n

n n

p y x p x Yp x Yp y Y

⾮ガウス型平滑化の導出

1 1 1

1 1

11

1

11

1

11

1

( , | ) ( | ) ( | , )

( | ) ( | , )

( , | )( | )( | )

( | , ) ( | )( | )( | )

( | ) ( | )( | )( | )

n n N n N n n N

n N n n n

n n nn N

n n

n n n n nn N

n n

n n n nn N

n n

p x x Y p x Y p x x Y

p x Y p x x Y

p x x Yp x Yp x Y

p x x Y p x Yp x Yp x Y

p x x p x Yp x Yp x Y

( , ) ( ) ( | )p x y p y p x y

1 1( | , ) ( | , )n n N n n np x x Y p x x Y

( , )( | )( )

( | ) ( )( )

p z xp x zp z

p z x p xp z

1 1( | , ) ( | )n n n n np x x Y p x x

44

1 1

1 11

1

( | ) ( , | )

( | ) ( | )( | )( | )

n N n n N n

n n n Nn n n

n n

p x Y p x x Y dx

p x x p x Yp x Y dxp x Y

45

⾮ガウス型フィルタ・平滑化

⼀期先予測

p x Y p x Y p x x p x Yp x Y

dxn N n nn n n N

n nn( | ) ( | ) ( | ) ( | )

( | )

1 1

11

p x Y p y x p x Yp y Yn n

n n n n

n n

( | ) ( | ) ( | )( | )

1

1

p x Y p x x p x Y dxn n n n n n n( | ) ( | ) ( | )

1 1 1 1 1

フィルタ

平滑化

Kitagawa(1987)

46

分布の近似True

正規近似.

区分線形近似

階段関数

混合正規

0. 線形・正規モデル近似カルマンフィルタ・平滑化

1. 正規分布近似拡張カルマンフィルタ・平滑化

2. 区分線形（階段）近似⾮ガウス型フィルタ・平滑化

3. 混合正規分布近似ガウス和フィルタ・平滑化

3. 粒子近似遂次モンテカルロフィルタ・平滑

化

46

拡張カルマンフィルタ

予 測

フィルタ

|

|

n n n

n n n

nn

n

nn

n

x x

x x

fFx

gGx

| 1n n n

nn

n x x

hHx

47

| 1 1| 1

| 1 1| 1

( )n n n n nT T

n n n n n n n n n

x f x

V F V F G Q G

1| 1 | 1

| | 1 | 1

| | 1

( )( ( ))

( )

T Tn n n n n n n n n

n n n n n n n n n

n n n n n n

K V H H V H Rx x K y h xV I K H V

密度関数の数値近似

密度関数 近似 記号p(xn|Yn-1) {d;t0,…,td;p1,…,pd} p(t)

p(xn|Yn) {d;t0,…,td;f1,…,fd} f(t)

p(xn|YN) {d;t0,…,td;s1,…,sd} s(t)

q(vn) {2d+1;t-d,…,td;q-d,…,pd} q(t)

48

1次トレンドモデルの場合

⼀期先予測

nnn

nnn

wtyvtt

1

数値積分による実現

0

11

1

( ) ( ) ( )

( ) ( )

d

j

j

t

i i it

d t

itj

d

i j jj

p p t q t s f s ds

q t s f s ds

t q f

( ) ( )( )

( )

n i ii i

n i i

r y t p tf f tC

r y t pC

0

11

1

( ) ( )

( ) ( )

( )

d

j

j

t

nt

d t

ntj

d

n jj

C r y t p t dt

r y t p t dt

t r y t p

各ステップの後で密度関数の全積分が１になるように規格化する

49

フィルタ

（数値積分：畳み込み積分）

数値積分による実現(平滑化）

平滑化

0

11

1

( ) ( )( ) ( )( )

( ) ( )( )( )

( )

d

j

j

t ii i i t

d t ii t

jd

i j ji

jj

q t u s us s t f t dup u

q t u s uf t dup u

q st f t

p

各ステップの後で密度関数の全積分が１になるように規格化する

50