隠れマルコフモデルによる時系列気象画像からの知識発見

高知大学理学部数理情報科学科本田研究室　 B003G013N 　

勝吉進一

背景

夏 冬

春、秋

１週間の時系列気象画像

近年、時間で変動するような画像が大量にデータベースへ蓄積されるようになってきた

時間空間変動パターン知識の抽出

現象の理解，予測

目的

時系列画像データベースから時間空間変動パターンを抽出する手法を確立 自己組織化マップ（ SOM) による画像系列を記号

系列に変換 隠れマルコフモデルによるモデル化

気象画像に対して適用し、その有用性を調べる

HMM ：隠れマルコフモデル

確率的な状態遷移と確率的な記号出力を備えた計算機の数学的モデル：オートマトンの一種

「光陰矢の如し」

品詞という状態が隠れている・・・【隠れ】

「時蝿は矢を好む」

Time flies like an arrow.

品詞：状態，単語：出力記号

名詞 , 動詞 , 前置詞 , 冠詞 , 名詞名詞 , 名詞 , 動詞 , 冠詞 , 名詞

隠れマルコフモデル（推定問題）

（１） Q ＝｛ q １ , ･･･ ,qN ｝：状態の有限集合（２）∑＝｛ o1, ･･･ ,oM}：出力記号の有限集合（３） A ＝{aij } 　 ：状態遷移確率分布（４） B ＝{bi(ot)} 　 　 ：記号出力確率分布（５） π ＝｛ πi ｝　　：初期状態確率分布 ５項組M=(Q,∑,A,B,π）　　　　　　　　　　　　　　　　　

出力記号系列 O から、 P(O|M) を最大にするようなモデル M を求める

問題[ バウム・ウェルチアルゴリズム ,EM アルゴリズム ]

推定問題

画像系列→記号

季節など→状態

実験条件

使用する画像データ・ 1997 年～ 2000 年の 1 月１日～１２月３１日の画像・気象衛星ひまわりによる日本上空の赤外画像（雲

画像）・高知大 , 菊地研究室でアーカイブ・計１３３５枚（欠損あり）・画像の記号系列の変換　　　クラスタ化・・・二段階ブロック化自己組織化マップ　　　　　（ KATAOKA １９９７）

クラスタリング結果

　０　　　１　　　２　　　３　　　４　　　５

　６　　　７　　　８　　　９　　　 10 　　 11

　 12 　　 13 　　　 14 　　 15 　　　 16 　　 17

　 18 　　 19 　　　 20 　　 21 　　　 22 　　 23

　 24 　　 25 　　　 26 　　 27 　　　 28 　　 29

　 30 　　 31 　　　 32 　　 33 　　　 34 　　 35 　

０，１，１，２，４，・・・・

クラスタの時系列展開

一年における気象画像出力

0510

15202530

3540

0 100 200 300 400

day　of　year97

cluster　ID

97年

実験

・隠れマルコフモデルによるモデル化・バウム・ウェルチアルゴリズム， EM アルゴリズムに

よってパラメータ推定・入力記号系列：クラスタの記号系列を 28 日ごとにセグ

メント化 [95 個 ]・状態数は２～８の変動パラメータとする。

モデルのパラメータの推定（状態遷移確率 , 記号出力確率 , 初期状態確率）

BIC （ベイズの情報量基準）による状態数選択

BIC 　‐＝ 2 （最大対数尤度）＋ dklogn　（ｄｋ：モデルの自由度 n: 出力記号数）

情報量基順のモデルの妥当性検証（学習データ２８日）

10000

11000

12000

13000

14000

15000

16000

17000

0 2 4 6 8 10

状態数

情報

量基

準

BIC

BIC が小→もっともらしい

モデル

実験結果１

真冬

春、秋

盛夏夏、秋

春、秋、梅雨

状態系列の復元

1

2

3

4

5

1 92 183 274 365

day　of　the　year(1997)

state　number

state5

手法：ビタビ・アルゴリズム

まとめ、今後の課題

考察・　自己組織化マップによるクラスタリングと、隠れ

マルコフモデルによって時間空間変動パターンに関する知識を抽出することができた。

・ BIC （ベイスの情報基準）より、状態数が５，６のときがモデルに適していることが分かった。

課題　・本研究のシステムを使い、他のもっと複雑な時系列

画像においても適用して有用性を確認する。

情報量基準

情報量基準の状態の妥当性検証（１４日）

10000

11000

12000

13000

14000

15000

16000

17000

0 2 4 6 8 10

状態数

情報

量基

準

BIC

情報量基準

情報量基準のモデルの妥当性検証（学習データ１４日）

10000

11000

12000

13000

14000

15000

16000

17000

0 2 4 6 8 10

状態数

情報

量基

準

AICBIC

実験結果

画像

システム概要

SOM 学習１ ２ ３ ４ ５ ６

７ ８ ９ ・・

・．

･･･

36

クラスタリング

パラメータ推定

EM アルゴリズム

バウム ウェル･チアルゴリズム

データ

AIC,BIC

HMM知識発見

記号系列 ABC を出力する状態遷移系列は？

S1－ S3－ S2, S2－ S1－ S2,

S2－ S3－ S2 の３種類。それぞれの確率は、

0.8×0.2×0.5×1.0×0.4×0.5 ＝ 0.016

0.2×0.5×0.1×0.8×0.5×0.5 ＝ 0.002

0.2×0.5×0.5×1.0×0.4×0.5 ＝ 0.01

よって隠れマルコフモデルが ABC を出力する確率は三つの合計 0.028 となる

記号 ABC を出力する確率

状態遷移系列を求めたい！！ S2

0.2

S10.8

S ３0.0

０．５０．５

０．４

０．５ ０．１ ０．

3

０．３

5.0:

5.0:

C

A

8.0:

2.0:

B

A

0.1:

0.0:

B

A

０．４

時系列気象画像のクラスタ ID

状態数２～８までにおいての最適なモデ

ル

最適な状態遷移系列ビタビ・アルゴリ

ズム

モデルのパラメータ推定には、バウ

ム・ウェルチアルゴリズム、 EM アルゴ

リズムを

使用

隠れマルコフモデル

画像データの説明

ヒストグラムを用いた二段階 SOMStep1: 時系列気象画像をｍ ×ｎに　　　　分割するStep2: 分割された画像を自己組織化　　　　マップによって学習させるStep3: 学習データのクラスタ ID の　　　　ヒストグラムをつくるStep4:ヒストグラムを再び自己組織

化　　マップにかけ学習するStep5 ：学習データが集合し、クラ

スタ　　　　に分けられる　　　　

時系列気象画像 SOM

SOM

１　　２　　３　　４　　５６　　７

　・・・・・・・・・・・・・

実験

・隠れマルコフモデルによるモデル化EM アルゴリズムによってモデルのパラメータ推定☆学習データとなる記号系列が必要である。今回本研究では、時系列気象画像のクラスタ IDを 97年から 00年まで1月 1日～ 12月 31日の順に並べ、記号系列とし、それぞれの年度は独立させる学習データとし、さらに２週間（ 14日）と４週間（２８日）に分け、２週間に対しては後半の一週間を次の系列の初めの一週間となるようにする。 (例：“ 13243433453213”→“34532133245671”)同じように４週間に対しては後半の二週間を次の系列の初めの二週間となるように反復させ、それぞれの１４日、２８日を独立させた記号系列を学習データとした。この学習データにより、モデルのパラメータを推定した

AIC,BIC

AIC （赤池の情報量基準） BIC （ベイスの情報量基準）　：情報量基準によるモデルの妥当性検証

AIC ‐＝ 2 （最大対数尤度）＋２ dk*

BIC 　‐＝ 2 （最大対数尤度）＋ dk*

*dk ：フリーパラメータ＝ O(O‐ １）＋ O(N-1)+O-1

O: 状態数　 N ：記号数　 n ：モデルにかかわる出力記号の数

nlog

状態遷移確率のフリ―パラメータ

記号出力確率のフリーパラメータ

初期状態確率のフリーパラ

メータ

状態遷移系列の復元（ビタビ・アルゴリズム）

・隠れマルコフモデルにおいての最適な状態遷移系列を求めるアルゴリズム

S １

S3

S2

S1

S2

S3

S1

S2

S3

A B C初期状態

0.0

0.2

0.8

0.2

0.5

0.0

[0.16]

[0.1]

[0.0]

S1→S2=0.5S1→S3=0.5S2→S1=0.1S2→S2=0.4S2→S3=0.5

0.8

0.0

1.0

[0.008]

[0.0]

[0.08]

0.5

0.0

[0.016]

ビタビ・アルゴリズム

最大の確率が得られた地点から太い矢印を逆向きにたどる

と

S2→S3→S1

従って最適な状態遷移系列は

S １→ S3→S ２となる

実験結果１ ( 学習データが２８日の状態 5 のモデル）

状態２ [0.7] （盛夏）

状態３ [0.19]状態４ [0.24]

状態５ [0.14]

状態１ [0.2] （春 , 秋）

0.02

0.030.87

0.01

0.01

0.94 0.9

0.02

0.910.95

0.85

0.090.25

0.0

状態 6[0.17]

謝辞

　本卒業研究に際して ,　数理情報科学科菊地時夫助教授には時系列気象画像データの提供を頂きました。ここで心からの感謝を申し上げたいと思います。ありがとうございました。