View
3
Download
0
Category
Preview:
Citation preview
パラメタの事後分布の推定
粒子フィルタによる事後確率分布の求め方
2016年3月4日 16：30～17：20
逆問題小委員会
講師：山本真哉（清水建設）
土木学会応用力学委員会
粒子フィルタ(Particle Filter)の特徴
• カルマンフィルタと同じ、フィルタ手法の一種
• モンテカルロ（アンサンブル）近似を利用
• 非線形・非ガウスの問題にも適用可能
• 用いられている分野– 気象・海洋：データ同化
– 画像処理：物体追跡
モデル カルマンフィルタ拡張カルマン
フィルタアンサンブルｶﾙﾏﾝﾌｨﾙﾀ
粒子フィルタ
非線形性 × 〇 〇 ◎
非ガウス性 × × △ ◎
Video Tracking with an Adaptive Particle Filter (Person)(https://www.youtube.com/watch?v=wCMk-pHzScE)
2
時間変化を伴う現象の状態を観測結果を用いて推定する手法
フィルタとは？
zt-1 zt zt+1
xt-1 xt xt+1
),( tttt wxHz );(~ ttt p Rww
),( 1 tttt vxFx );(~ ttt p Mvv
z： 観測量ベクトル, H: 観測モデル, w：観測誤差， R: 観測誤差共分散
システムモデル：状態の時間更新
観測モデル：状態と観測の関係
x: 状態（未知）量ベクトル, F：システムモデル, v：モデル誤差, M: 予測誤差共分散
便宜的に状態空間モデルで現象を表現
観測結果
状態（観測不可）
観測結果から未知の状態を推定
逆解析
3
状態量ベクトル・観測量ベクトルの例
支配方程式 t
hSC
x
hK
xS
)(
11
t
S
t hx
KxSC
th
h：水圧、
このとき状態量ベクトルは Tittt hh ,,1 x
TNtt
Mttt QQhh
~,,
~,
~,,
~ 11 z
)( 1 ttt xFx
K：透水係数
地下水モデルの例
t
hh
t
h tt
Δ1
とすると、
水圧や流量が観測されているとすると、
i:モデルの変数の数
Q~
観測量ベクトルは h~
：観測水圧 ：観測流量
地下水シミュレーションは
4
システム誤差と観測誤差
観測結果とシミュレーション結果は完全に一致しない⇒観測とモデルの誤差を観測誤差により確率分布として表現
結局、未知の状態xの確率分布を求める逆問題となる
),( tttt wxHz );(~ ttt p Rww
),( 1 tttt vxFx );(~ ttt p Mvv
z： 観測量ベクトル, H: 観測モデル, w：観測誤差， R:確率分布ﾊﾟﾗﾒｰﾀ
システムモデル：状態の時間更新
観測モデル：状態と観測の関係
x: 状態（未知）量ベクトル, F：システムモデル, v：システム誤差, M: 確率分布ﾊﾟﾗﾒｰﾀ
シミュレーションモデルは完璧に予測できない⇒モデルに含まれる不確かさをシステム誤差により確率分布として表現
←確率分布
←確率分布
5
ベイズフィルタ
ttttt
tttttt
dpp
ppp
xzxxz
zxxzzx
)|()|(
)|()|()|(
1:1
1:1:1
ベイズの定理より、状態量の事後分布は、事前分布を観測結果に応じて更新することにより推定される。
事後分布事前分布観測に関する分布
事前分布
不確さを含んだ観測結果
フィルタで得られた事後分布
H(x)
事後分布＝事前情報（分布）を観測結果に基づいて修正したもの6
事後分布の逐次更新
7
予測と更新（フィルタ）を繰り返し、より確からしい事後分布を得る
p(x0|z0:0) p(x1|z0:0)
p(x1|z0:1) p(x2|z0:1)
p(x2|z0:2)
予測（時間更新） zt
zt+1
初期分布
事前分布
時刻0 1 2
事後分布
事前分布
事後分布
ベイズフィルタ
予測フィルタ
マルコフ性を仮定すると
)|(),|( 11:11:1 ttttt pp xxzxx
)|(),|( 1:1:1 ttttt pp xzzxz
システムモデル
観測モデル
zt-1 zt zt+1
xt-1 xt xt+1
逐次的に事前分布と事後分布を求めることが可能
アンサンブル近似：多数の実現値（粒子）の集合で分布を近似
粒子を用いた確率密度分布の近似（粒子フィルタ）
右のような確率密度分布（PDF）をどう表現する？
⇒実用上、表現できる分布やモデルの次元に限界がある
ガウス分布で近似（拡張カルマンフィルタ）
ガウス和で近似 スプライン関数で近似
p(x)
N
ii
Np
1
)(1
)( xxx
ex. 粒子フィルタ、アンサンブルカルマンフィルタ
粒子＝状態変数ベクトル8
粒子フィルタの重みの計算
重みは各粒子の状態xが与えられたときの観測zの条件付分布
j
jttt
ittt
ip
pw
)|(
)|()(1|
)(1|
xz
xz
ttttt
tttttt
dpp
ppp
xzxxz
zxxzzx
)|()|(
)|()|()|(
1:1
1:1:1
N
i
itttitt wp )()|( )(
1|:1 xxzx
アンサンブル近似すると
重み
観測誤差が多変量ガウス分布の場合
2
)()(exp
)2(
1)|(
)(1T)()(
1|
ittt
itt
tm
itttp
xHzRxHz
Rxz
結局、重みwiは に比例
重みとは観測結果への近さ（尤度）
N
i
ittt
Np
1
)( )(1
)( xxx
事後分布は重み付きの粒子の集合
9
フィルタリング
予
測
フィルタリング
Sequential Importance Sampling (SIS)
10
重み計算
p(x1|z1)p(x1|z0) p(x2|z1)事前分布事後分布 事後分布
p(x2|z1:2)事前分布
重み計算
粒子N=10
y1
観測y2
観測
N
i
ittt
ittt wp )()|( )(
1|)(
:1 xxzx )|( )(1|
)(1
)( ittt
it
it pww xz
個々の粒子について予測とフィルタを繰り返す
粒子フィルタの弱点：退化
フィルタリングを繰り返すと、少数の粒子だけに重みが集中し、残りの粒子の重みはほぼ0になる。
事後分布が表現できなくなる
重みが0の粒子についてのムダな計算が生じる
事後分布の期待値がモデル誤差の影響を受ける
• 退化の指標：有効サンプル数
• 退化を抑制する方法⇒リサンプリング
N
i i
effw
N
1
2
1 Neff→ 1 ：完全に退化Neff →N ：各粒子が同じ重みを持つ
11
フィルタリング
予
測
フィルタリング
Sequential Importance Resampling (SIR)
12
重み計算
p(x1|z1)p(x1|z0) p(x2|z1)事前分布事後分布 事後分布
p(x2|z1:2)事前分布
復元抽出 重み計算 復元抽出
モデル誤差により、予測結果は一意とならない
粒子n=10
y1
観測y2
観測
重み＝1/n
重みの小さい粒子は捨て、代わりに重みの大きい粒子を複製
x
退化問題の困難さ
出典：「パターン認識と機械学習（上）」丸善出版
多次元空間で粒子をばらまいて答えを探すには膨大なサンプルが必要
x×× × x×× ××××
リサンプリングを行っても1種類の粒子しか残らなくなる
リサンプリング
• SIRでも退化を完全に防ぐことは不可能
リサンプリング
• 「次元の呪い」：問題（状態ベクトル）の次元数が大きくなるほど退化が生じやすくなる
13
退化の抑制に向けて
• 退化の抑制を目的とした粒子フィルタのアルゴリズムが研究・提案されている。
– Implicit PF
– Equivalent weights PF
– Gaussian mixture filter
– Iterative PF with Gaussian mixture model
– ...
• 退化抑制のコンセプト：適切な提案分布を導入する
)(
)(
)|(
)|()(
1|
)(1|
)(1|
)(1|
itt
itt
j
jttt
ittt
iq
p
p
pw
x
x
xz
xz
N
i
itttitt wp )()|( )(
1|:1 xxzx
)()(
)|()|(
1
)|()|(
)|()|()|( |1
|1
1:1
1:1
1:1:1 tt
tt
tttt
ttttt
tttttt q
q
pp
Adpp
ppp
xx
zxxz
xzxxz
zxxzzx
提案分布
14
提案分布を用いた粒子フィルタの概念
P. J. van Leeuwen: Nonlinear data assimilation in geosciences: an extremely efficient particle filter
通常の粒子フィルタ
提案分布による粒子フィルタ
提案分布を用いて粒子を観測に近づける
重みの大きい粒子が多く残る
15
多次元問題に適したアンサンブルカルマンフィルタ
16
1 t
Tt
Ttt RHHMHMK)( )()(
1|)(
1|)(
|i
titttt
itt
itt wHxzKxx
事前分布事後分布
x: 未知量ベクトル, z： 観測量ベクトル i: 粒子のｲﾝﾃﾞｯｸｽ，K:ｶﾙﾏﾝｹﾞｲﾝ,M: 予測誤差共分散行列， R: 観測誤差共分散行列， H: 観測行列
カルマンフィルタをアンサンブル近似で拡張したもの
時刻 t t+1予測 更新 予測
時刻 t t+1予測 更新
EnKFPF
この部分は共通
取捨選択
アンサンブル全体を近づける
粒子フィルタ vs. アンサンブルカルマンフィルタ
粒子フィルタアンサンブル
カルマンフィルタ
システムモデル 非線形 非線形
観測モデル 非線形 線形
確率分布 非ガウス ガウス
多次元問題 × ○
実装の容易さ ◎ △
• 次元があまり大きくない問題• 計算コストの小さいシミュレーション⇒粒子フィルタ
• 多次元の問題（例：気象シミュレーションのデータ同化）⇒アンサンブルカルマンフィルタ
17
モデルの仮定が一切ない粒子フィルタは事後分布の推定手法として魅力的
例題1：多峰性のある事後分布の推定
2自由度系のせん断モデルのパラメータ同定問題
18
m1=16.531x103, m2=16.131x103 [kg]
k1=θ1kn, k2=θ2kn, kn=29.7x103 [N/m]
• 未知量：ばね定数の補正係数 X1, X2 2個
• 観測量：固有周期 f1, f2 2個
• PF（SIR）により観測更新を1回だけ実行
21
21212221122221121
2
4)()(
2
1
mm
kkmmmkmkmkmkmkmkf
一次の固有周期
二次の固有周期21
21212221122221122
2
4)()(
2
1
mm
kkmmmkmkmkmkmkmkf
~ ~
未知
θ1
θ2
多峰性のある事後分布の推定
0.0 1.0 2.0 3.00.0
0.5
1.0
1.5
2
1
Analytical
0.0 1.0 2.0 3.00.0
0.5
1.0
1.5
2
1
p0()
Hz83.9~
Hz13.3~
2
1
f
f
2峰性の事後分布を推定する問題を設定
（θ1, θ2）をモード (1.3, 0.8)、分散（1.0, 1.0）の独立な対数正規分布から発生
事前分布 解析的に求めた事後分布
観測結果
粒子フィルタ(SIR)
19
SIRによる事後分布の推定結果
20
1,000粒子
50,000粒子
事前分布
事後分布
事後分布 事後分布
事前分布
事前分布
10,000粒子
100粒子
事後分布事前分布
θ1 θ1 θ1 θ1
θ1 θ1 θ1 θ1
θ 2 θ 2 θ 2 θ 2
θ 2 θ 2 θ 2 θ 2
完全に退化
事後分布の推定結果（その他のアルゴリズム）
0.0 1.0 2.0 3.00.0
0.5
1.0
1.5
2
1
EnKF (N = 1,000)
0.0 1.0 2.0 3.00.0
0.5
1.0
1.5
2
1
GMF (N = 1,000)
ガウス性を仮定するEnKFでは2峰性の分布は推定できない
EnKFの結果を利用して提案分布を作成し、粒子フィルタを実行
EnKF Gaussian Mixture Filter
1,000粒子
21
例題2：事後分布の逐次推定
22
• 未知量：コア部の透水係数（5領域）
※変状により１領域の透水性が高い
状況を想定
• 観測量：コア内部の間隙水圧（4点）
• アルゴリズム：SIR
P1
P2
P3
P4
基礎岩盤 1.0×10-6m/s
カーテングラウト 2.0×10-7m/s
コアゾーン（健全部） 1.0×10-7m/s
コアゾーン（変状部） 1.0×10-6m/s
間隙水圧計
飽和透水係数の真値
解析条件
0
20
40
60
80
100
0 50 100 150 200 250 300 350 400 450 500
Wa
ter
lev
el (
m)
Day
状態変数 ：節点水圧 ＋ 推定する対数透水係数
透水係数初期値 ：1.0×10-7m/s（健全部の透水係数）
システムノイズ ：対数透水係数に対して正規分布N(0, 0.01)を仮定
観測ノイズ ：各点で独立な正規ノイズN(0,0.025)を付加
粒子数 ：512サンプル
同化頻度 ：1日ごとに更新
貯水位の変動条件23
zone1
zone2
zone3
zone4
zone5
透水係数の同定結果
間隙水圧の同化結果
解析結果
24
実線：事後分布平均値 破線：観測値
P4P3P2P1
飽和透水係数は時不変だが、時間変化を許すものとして粒子フィルタを実行
健全部の透水係数
変状部の透水係数
透水係数の事後分布の変遷
貯水位zone1 zone2 zone3（変状） zone4
25
上昇
上昇
下降
真値
事後分布の形状から観測結果の影響度合いが確認できる
参考文献
書籍
• 「データ同化入門」 朝倉書店
• 「予測にいかす統計モデリングの基本―ベイズ統計入門から応用まで 」 講談社
• 「データ同化―観測・実験とモデルを融合するイノベーション」 京都大学学術出版会
論文
• 珠玖, 吉田, 山本, 田中, 藤澤, 野村：各種観測更新アルゴリズムによる事後確率分布の推定, 土木学会論文集A2, Vol.71, No.2, pp.59-70, 2015.
↑PFの各種派生手法について性能を比較
• P. J. van Leeuwen: Nonlinear data assimilation in geosciences: an extremely efficient particle filter, Quarterly Journal of the Royal Meteorological Society, Vol.136, No.653, pp.1991-1999, 2010.
26
Recommended