パラメタの事後分布の推定

粒子フィルタによる事後確率分布の求め方

2016年3月4日 16：30～17：20

逆問題小委員会

講師：山本真哉（清水建設）

土木学会応用力学委員会

粒子フィルタ(Particle Filter)の特徴

• カルマンフィルタと同じ、フィルタ手法の一種

• モンテカルロ（アンサンブル）近似を利用

• 非線形・非ガウスの問題にも適用可能

• 用いられている分野– 気象・海洋：データ同化

– 画像処理：物体追跡

モデル カルマンフィルタ拡張カルマン

フィルタアンサンブルｶﾙﾏﾝﾌｨﾙﾀ

粒子フィルタ

非線形性 × 〇 〇 ◎

非ガウス性 × × △ ◎

Video Tracking with an Adaptive Particle Filter (Person)(https://www.youtube.com/watch?v=wCMk-pHzScE)

2

時間変化を伴う現象の状態を観測結果を用いて推定する手法

フィルタとは？

zt-1 zt zt+1

xt-1 xt xt+1

),( tttt wxHz );(~ ttt p Rww

),( 1 tttt vxFx );(~ ttt p Mvv

z： 観測量ベクトル, H: 観測モデル, w：観測誤差， R: 観測誤差共分散

システムモデル：状態の時間更新

観測モデル：状態と観測の関係

x: 状態（未知）量ベクトル, F：システムモデル, v：モデル誤差, M: 予測誤差共分散

便宜的に状態空間モデルで現象を表現

観測結果

状態（観測不可）

観測結果から未知の状態を推定

逆解析

3

状態量ベクトル・観測量ベクトルの例

支配方程式 t

hSC

x

hK

xS

)(

11

t

S

t hx

KxSC

th

h：水圧、

このとき状態量ベクトルは Tittt hh ,,1 x

TNtt

Mttt QQhh

~,,

~,

~,,

~ 11 z

)( 1 ttt xFx

K：透水係数

地下水モデルの例

t

hh

t

h tt

Δ1

とすると、

水圧や流量が観測されているとすると、

i:モデルの変数の数

Q~

観測量ベクトルは h~

：観測水圧 ：観測流量

地下水シミュレーションは

4

システム誤差と観測誤差

観測結果とシミュレーション結果は完全に一致しない⇒観測とモデルの誤差を観測誤差により確率分布として表現

結局、未知の状態xの確率分布を求める逆問題となる

),( tttt wxHz );(~ ttt p Rww

),( 1 tttt vxFx );(~ ttt p Mvv

z： 観測量ベクトル, H: 観測モデル, w：観測誤差， R:確率分布ﾊﾟﾗﾒｰﾀ

システムモデル：状態の時間更新

観測モデル：状態と観測の関係

x: 状態（未知）量ベクトル, F：システムモデル, v：システム誤差, M: 確率分布ﾊﾟﾗﾒｰﾀ

シミュレーションモデルは完璧に予測できない⇒モデルに含まれる不確かさをシステム誤差により確率分布として表現

←確率分布

←確率分布

5

ベイズフィルタ

ttttt

tttttt

dpp

ppp

xzxxz

zxxzzx

)|()|(

)|()|()|(

1:1

1:1:1

ベイズの定理より、状態量の事後分布は、事前分布を観測結果に応じて更新することにより推定される。

事後分布事前分布観測に関する分布

事前分布

不確さを含んだ観測結果

フィルタで得られた事後分布

H(x)

事後分布＝事前情報（分布）を観測結果に基づいて修正したもの6

事後分布の逐次更新

7

予測と更新（フィルタ）を繰り返し、より確からしい事後分布を得る

p(x0|z0:0) p(x1|z0:0)

p(x1|z0:1) p(x2|z0:1)

p(x2|z0:2)

予測（時間更新） zt

zt+1

初期分布

事前分布

時刻0 1 2

事後分布

事前分布

事後分布

ベイズフィルタ

予測フィルタ

マルコフ性を仮定すると

)|(),|( 11:11:1 ttttt pp xxzxx

)|(),|( 1:1:1 ttttt pp xzzxz

システムモデル

観測モデル

zt-1 zt zt+1

xt-1 xt xt+1

逐次的に事前分布と事後分布を求めることが可能

アンサンブル近似：多数の実現値（粒子）の集合で分布を近似

粒子を用いた確率密度分布の近似（粒子フィルタ）

右のような確率密度分布（PDF）をどう表現する？

⇒実用上、表現できる分布やモデルの次元に限界がある

ガウス分布で近似（拡張カルマンフィルタ）

ガウス和で近似 スプライン関数で近似

p(x)

N

ii

Np

1

)(1

)( xxx

ex. 粒子フィルタ、アンサンブルカルマンフィルタ

粒子＝状態変数ベクトル8

粒子フィルタの重みの計算

重みは各粒子の状態xが与えられたときの観測zの条件付分布

j

jttt

ittt

ip

pw

)|(

)|()(1|

)(1|

xz

xz

ttttt

tttttt

dpp

ppp

xzxxz

zxxzzx

)|()|(

)|()|()|(

1:1

1:1:1

N

i

itttitt wp )()|( )(

1|:1 xxzx

アンサンブル近似すると

重み

観測誤差が多変量ガウス分布の場合

2

)()(exp

)2(

1)|(

)(1T)()(

1|

ittt

itt

tm

itttp

xHzRxHz

Rxz

結局、重みwiは に比例

重みとは観測結果への近さ（尤度）

N

i

ittt

Np

1

)( )(1

)( xxx

事後分布は重み付きの粒子の集合

9

フィルタリング

予

測

フィルタリング

Sequential Importance Sampling (SIS)

10

重み計算

p(x1|z1)p(x1|z0) p(x2|z1)事前分布事後分布 事後分布

p(x2|z1:2)事前分布

重み計算

粒子N=10

y1

観測y2

観測

N

i

ittt

ittt wp )()|( )(

1|)(

:1 xxzx )|( )(1|

)(1

)( ittt

it

it pww xz

個々の粒子について予測とフィルタを繰り返す

粒子フィルタの弱点：退化

フィルタリングを繰り返すと、少数の粒子だけに重みが集中し、残りの粒子の重みはほぼ0になる。

事後分布が表現できなくなる

重みが0の粒子についてのムダな計算が生じる

事後分布の期待値がモデル誤差の影響を受ける

• 退化の指標：有効サンプル数

• 退化を抑制する方法⇒リサンプリング

N

i i

effw

N

1

2

1 Neff→ 1 ：完全に退化Neff →N ：各粒子が同じ重みを持つ

11

フィルタリング

予

測

フィルタリング

Sequential Importance Resampling (SIR)

12

重み計算

p(x1|z1)p(x1|z0) p(x2|z1)事前分布事後分布 事後分布

p(x2|z1:2)事前分布

復元抽出 重み計算 復元抽出

モデル誤差により、予測結果は一意とならない

粒子n=10

y1

観測y2

観測

重み＝1/n

重みの小さい粒子は捨て、代わりに重みの大きい粒子を複製

x

退化問題の困難さ

出典：「パターン認識と機械学習（上）」丸善出版

多次元空間で粒子をばらまいて答えを探すには膨大なサンプルが必要

x×× × x×× ××××

リサンプリングを行っても1種類の粒子しか残らなくなる

リサンプリング

• SIRでも退化を完全に防ぐことは不可能

リサンプリング

• 「次元の呪い」：問題（状態ベクトル）の次元数が大きくなるほど退化が生じやすくなる

13

退化の抑制に向けて

• 退化の抑制を目的とした粒子フィルタのアルゴリズムが研究・提案されている。

– Implicit PF

– Equivalent weights PF

– Gaussian mixture filter

– Iterative PF with Gaussian mixture model

– ...

• 退化抑制のコンセプト：適切な提案分布を導入する

)(

)(

)|(

)|()(

1|

)(1|

)(1|

)(1|

itt

itt

j

jttt

ittt

iq

p

p

pw

x

x

xz

xz

N

i

itttitt wp )()|( )(

1|:1 xxzx

)()(

)|()|(

1

)|()|(

)|()|()|( |1

|1

1:1

1:1

1:1:1 tt

tt

tttt

ttttt

tttttt q

q

pp

Adpp

ppp

xx

zxxz

xzxxz

zxxzzx

提案分布

14

提案分布を用いた粒子フィルタの概念

P. J. van Leeuwen: Nonlinear data assimilation in geosciences: an extremely efficient particle filter

通常の粒子フィルタ

提案分布による粒子フィルタ

提案分布を用いて粒子を観測に近づける

重みの大きい粒子が多く残る

15

多次元問題に適したアンサンブルカルマンフィルタ

16

1 t

Tt

Ttt RHHMHMK)( )()(

1|)(

1|)(

|i

titttt

itt

itt wHxzKxx

事前分布事後分布

x: 未知量ベクトル, z： 観測量ベクトル i: 粒子のｲﾝﾃﾞｯｸｽ，K:ｶﾙﾏﾝｹﾞｲﾝ,M: 予測誤差共分散行列， R: 観測誤差共分散行列， H: 観測行列

カルマンフィルタをアンサンブル近似で拡張したもの

時刻 t t+1予測 更新 予測

時刻 t t+1予測 更新

EnKFPF

この部分は共通

取捨選択

アンサンブル全体を近づける

粒子フィルタ vs. アンサンブルカルマンフィルタ

粒子フィルタアンサンブル

カルマンフィルタ

システムモデル 非線形 非線形

観測モデル 非線形 線形

確率分布 非ガウス ガウス

多次元問題 × ○

実装の容易さ ◎ △

• 次元があまり大きくない問題• 計算コストの小さいシミュレーション⇒粒子フィルタ

• 多次元の問題（例：気象シミュレーションのデータ同化）⇒アンサンブルカルマンフィルタ

17

モデルの仮定が一切ない粒子フィルタは事後分布の推定手法として魅力的

例題1：多峰性のある事後分布の推定

2自由度系のせん断モデルのパラメータ同定問題

18

m1=16.531x103, m2=16.131x103 [kg]

k1=θ1kn, k2=θ2kn, kn=29.7x103 [N/m]

• 未知量：ばね定数の補正係数 X1, X2 2個

• 観測量：固有周期 f1, f2 2個

• PF（SIR）により観測更新を1回だけ実行

21

21212221122221121

2

4)()(

2

1

mm

kkmmmkmkmkmkmkmkf

一次の固有周期

二次の固有周期21

21212221122221122

2

4)()(

2

1

mm

kkmmmkmkmkmkmkmkf

~ ~

未知

θ1

θ2

多峰性のある事後分布の推定

0.0 1.0 2.0 3.00.0

0.5

1.0

1.5

2

1

Analytical

0.0 1.0 2.0 3.00.0

0.5

1.0

1.5

2

1

p0()

Hz83.9~

Hz13.3~

2

1

f

f

2峰性の事後分布を推定する問題を設定

（θ1, θ2）をモード (1.3, 0.8)、分散（1.0, 1.0）の独立な対数正規分布から発生

事前分布 解析的に求めた事後分布

観測結果

粒子フィルタ(SIR)

19

SIRによる事後分布の推定結果

20

1,000粒子

50,000粒子

事前分布

事後分布

事後分布 事後分布

事前分布

事前分布

10,000粒子

100粒子

事後分布事前分布

θ1 θ1 θ1 θ1

θ1 θ1 θ1 θ1

θ 2 θ 2 θ 2 θ 2

θ 2 θ 2 θ 2 θ 2

完全に退化

事後分布の推定結果（その他のアルゴリズム）

0.0 1.0 2.0 3.00.0

0.5

1.0

1.5

2

1

EnKF (N = 1,000)

0.0 1.0 2.0 3.00.0

0.5

1.0

1.5

2

1

GMF (N = 1,000)

ガウス性を仮定するEnKFでは2峰性の分布は推定できない

EnKFの結果を利用して提案分布を作成し、粒子フィルタを実行

EnKF Gaussian Mixture Filter

1,000粒子

21

例題2：事後分布の逐次推定

22

• 未知量：コア部の透水係数（5領域）

※変状により１領域の透水性が高い

状況を想定

• 観測量：コア内部の間隙水圧（4点）

• アルゴリズム：SIR

P1

P2

P3

P4

基礎岩盤 1.0×10-6m/s

カーテングラウト 2.0×10-7m/s

コアゾーン（健全部） 1.0×10-7m/s

コアゾーン（変状部） 1.0×10-6m/s

間隙水圧計

飽和透水係数の真値

解析条件

0

20

40

60

80

100

0 50 100 150 200 250 300 350 400 450 500

Wa

ter

lev

el (

m)

Day

状態変数 ：節点水圧 ＋ 推定する対数透水係数

透水係数初期値 ：1.0×10-7m/s（健全部の透水係数）

システムノイズ ：対数透水係数に対して正規分布N(0, 0.01)を仮定

観測ノイズ ：各点で独立な正規ノイズN(0,0.025)を付加

粒子数 ：512サンプル

同化頻度 ：1日ごとに更新

貯水位の変動条件23

zone1

zone2

zone3

zone4

zone5

透水係数の同定結果

間隙水圧の同化結果

解析結果

24

実線：事後分布平均値 破線：観測値

P4P3P2P1

飽和透水係数は時不変だが、時間変化を許すものとして粒子フィルタを実行

健全部の透水係数

変状部の透水係数

透水係数の事後分布の変遷

貯水位zone1 zone2 zone3（変状） zone4

25

上昇

上昇

下降

真値

事後分布の形状から観測結果の影響度合いが確認できる

参考文献

書籍

• 「データ同化入門」 朝倉書店

• 「予測にいかす統計モデリングの基本―ベイズ統計入門から応用まで 」 講談社

• 「データ同化―観測・実験とモデルを融合するイノベーション」 京都大学学術出版会

論文

• 珠玖, 吉田, 山本, 田中, 藤澤, 野村：各種観測更新アルゴリズムによる事後確率分布の推定, 土木学会論文集A2, Vol.71, No.2, pp.59-70, 2015.

↑PFの各種派生手法について性能を比較

• P. J. van Leeuwen: Nonlinear data assimilation in geosciences: an extremely efficient particle filter, Quarterly Journal of the Royal Meteorological Society, Vol.136, No.653, pp.1991-1999, 2010.

26