24
非ガウス構造方程式モデルにおける 因果順序の推定: 潜在交絡変数に頑健な方法 田代 竜也 *1 ,清水 昌平 *1 Aapo Hyvärinen *2 ,鷲尾 隆 *1 *1 大阪大学 産業科学研究所 *2 フィンランド ヘルシンキ大学 LDW 03

非ガウス構造方程式モデルにおける 因果順序の推定 潜在交絡 ...latent-dynamics.net/03/ppt/gen_Tashiro_LD03.ppt.pdf · 2012-09-26 · 概要 • 各事象(変数)間の因果構造を観測データのみを

  • Upload
    others

  • View
    0

  • Download
    0

Embed Size (px)

Citation preview

Page 1: 非ガウス構造方程式モデルにおける 因果順序の推定 潜在交絡 ...latent-dynamics.net/03/ppt/gen_Tashiro_LD03.ppt.pdf · 2012-09-26 · 概要 • 各事象(変数)間の因果構造を観測データのみを

非ガウス構造方程式モデルにおける因果順序の推定:

潜在交絡変数に頑健な方法

田代竜也*1,清水昌平*1,

Aapo Hyvärinen*2,鷲尾隆*1

*1大阪大学産業科学研究所*2フィンランドヘルシンキ大学

LDW 03

Page 2: 非ガウス構造方程式モデルにおける 因果順序の推定 潜在交絡 ...latent-dynamics.net/03/ppt/gen_Tashiro_LD03.ppt.pdf · 2012-09-26 · 概要 • 各事象(変数)間の因果構造を観測データのみを

概要• 各事象(変数)間の因果構造を観測データのみを用いて推定する.

• LiNGAM–データの非ガウス性を用いることでモデルを一意に同定可能.

–既存の推定手法ではデータが仮定を満たしていない場合,全く異なる結果を出力する場合がある.

• 提案手法–仮定破綻の典型的原因の一つである潜在交絡変数に対してロバストに因果構造を推定.

2

薬A遺伝子α

遺伝子γ

遺伝子β

[Shimizu et al., 2006]

Page 3: 非ガウス構造方程式モデルにおける 因果順序の推定 潜在交絡 ...latent-dynamics.net/03/ppt/gen_Tashiro_LD03.ppt.pdf · 2012-09-26 · 概要 • 各事象(変数)間の因果構造を観測データのみを

背景

3

Page 4: 非ガウス構造方程式モデルにおける 因果順序の推定 潜在交絡 ...latent-dynamics.net/03/ppt/gen_Tashiro_LD03.ppt.pdf · 2012-09-26 · 概要 • 各事象(変数)間の因果構造を観測データのみを

LiNGAMモデル

・互いに独立・非ガウス

対角成分が0の下三角行列・・・

4

[Shimizu et al., 2006]

Page 5: 非ガウス構造方程式モデルにおける 因果順序の推定 潜在交絡 ...latent-dynamics.net/03/ppt/gen_Tashiro_LD03.ppt.pdf · 2012-09-26 · 概要 • 各事象(変数)間の因果構造を観測データのみを

LiNGAMモデルの仮定

5

Page 6: 非ガウス構造方程式モデルにおける 因果順序の推定 潜在交絡 ...latent-dynamics.net/03/ppt/gen_Tashiro_LD03.ppt.pdf · 2012-09-26 · 概要 • 各事象(変数)間の因果構造を観測データのみを

潜在交絡変数

• 潜在交絡変数(Latent confounding variable)– 2つ以上の観測変数の親となるような未観測の変数.

6

未観測

未観測

Page 7: 非ガウス構造方程式モデルにおける 因果順序の推定 潜在交絡 ...latent-dynamics.net/03/ppt/gen_Tashiro_LD03.ppt.pdf · 2012-09-26 · 概要 • 各事象(変数)間の因果構造を観測データのみを

LvLiNGAM モデル

7

[Hoyer et al., 2008]

Page 8: 非ガウス構造方程式モデルにおける 因果順序の推定 潜在交絡 ...latent-dynamics.net/03/ppt/gen_Tashiro_LD03.ppt.pdf · 2012-09-26 · 概要 • 各事象(変数)間の因果構造を観測データのみを

LvLiNGAM モデル例

8

0.2

0.4

0.6

0.8※各列に非ゼロの要素を2つ以上持つ

Page 9: 非ガウス構造方程式モデルにおける 因果順序の推定 潜在交絡 ...latent-dynamics.net/03/ppt/gen_Tashiro_LD03.ppt.pdf · 2012-09-26 · 概要 • 各事象(変数)間の因果構造を観測データのみを

LvLiNGAMの既存推定手法9

[Entner et al., 2011]

[Hoyer et al., 2008]

Page 10: 非ガウス構造方程式モデルにおける 因果順序の推定 潜在交絡 ...latent-dynamics.net/03/ppt/gen_Tashiro_LD03.ppt.pdf · 2012-09-26 · 概要 • 各事象(変数)間の因果構造を観測データのみを

提案

10

Page 11: 非ガウス構造方程式モデルにおける 因果順序の推定 潜在交絡 ...latent-dynamics.net/03/ppt/gen_Tashiro_LD03.ppt.pdf · 2012-09-26 · 概要 • 各事象(変数)間の因果構造を観測データのみを

提案手法11

Page 12: 非ガウス構造方程式モデルにおける 因果順序の推定 潜在交絡 ...latent-dynamics.net/03/ppt/gen_Tashiro_LD03.ppt.pdf · 2012-09-26 · 概要 • 各事象(変数)間の因果構造を観測データのみを

外生変数と終点変数

• 外生変数– 親に観測変数と潜在交絡変数を持たない変数.

• 終点変数– 親に潜在交絡変数,子に観測変数を持たない変数.

12

外生変数

外生変数

終点変数

Page 13: 非ガウス構造方程式モデルにおける 因果順序の推定 潜在交絡 ...latent-dynamics.net/03/ppt/gen_Tashiro_LD03.ppt.pdf · 2012-09-26 · 概要 • 各事象(変数)間の因果構造を観測データのみを

外生変数の同定13

独立

外生変数

Page 14: 非ガウス構造方程式モデルにおける 因果順序の推定 潜在交絡 ...latent-dynamics.net/03/ppt/gen_Tashiro_LD03.ppt.pdf · 2012-09-26 · 概要 • 各事象(変数)間の因果構造を観測データのみを

外生変数の影響除去14

外生変数

Page 15: 非ガウス構造方程式モデルにおける 因果順序の推定 潜在交絡 ...latent-dynamics.net/03/ppt/gen_Tashiro_LD03.ppt.pdf · 2012-09-26 · 概要 • 各事象(変数)間の因果構造を観測データのみを

終点変数の同定15

終点変数

独立

Page 16: 非ガウス構造方程式モデルにおける 因果順序の推定 潜在交絡 ...latent-dynamics.net/03/ppt/gen_Tashiro_LD03.ppt.pdf · 2012-09-26 · 概要 • 各事象(変数)間の因果構造を観測データのみを

独立性検定• ノンパラメトリック独立性検定: HSIC.外生 : 一つの変数と複数の残差間で独立性検定を行う.

終点:一つの残差と複数の変数間で独立性検定を行う.

16

[Gretton, et. al, 2010]

外生?

HSIC test

終点?

HSIC test

Page 17: 非ガウス構造方程式モデルにおける 因果順序の推定 潜在交絡 ...latent-dynamics.net/03/ppt/gen_Tashiro_LD03.ppt.pdf · 2012-09-26 · 概要 • 各事象(変数)間の因果構造を観測データのみを

提案手法 -アルゴリズム 17

外生変数候補外生変数

外生変数候補

外生変数

終点変数候補終点変数

終点変数候補終点変数

Page 18: 非ガウス構造方程式モデルにおける 因果順序の推定 潜在交絡 ...latent-dynamics.net/03/ppt/gen_Tashiro_LD03.ppt.pdf · 2012-09-26 · 概要 • 各事象(変数)間の因果構造を観測データのみを

提案手法の問題点

• 因果的順序を全く推定できない場合がある.–Future work : このような場合でもより多くの因果的順序を推定

すること.

18

既存手法

観測データ

真のモデル 出力結果

なし

未観測

Page 19: 非ガウス構造方程式モデルにおける 因果順序の推定 潜在交絡 ...latent-dynamics.net/03/ppt/gen_Tashiro_LD03.ppt.pdf · 2012-09-26 · 概要 • 各事象(変数)間の因果構造を観測データのみを

評価実験

19

Page 20: 非ガウス構造方程式モデルにおける 因果順序の推定 潜在交絡 ...latent-dynamics.net/03/ppt/gen_Tashiro_LD03.ppt.pdf · 2012-09-26 · 概要 • 各事象(変数)間の因果構造を観測データのみを

評価実験 -設定20

Page 21: 非ガウス構造方程式モデルにおける 因果順序の推定 潜在交絡 ...latent-dynamics.net/03/ppt/gen_Tashiro_LD03.ppt.pdf · 2012-09-26 · 概要 • 各事象(変数)間の因果構造を観測データのみを

設定したネットワーク21

0.30

0.40

0.20

0.70

0.50

0.80

0.50

0.60

0.800.70

Page 22: 非ガウス構造方程式モデルにおける 因果順序の推定 潜在交絡 ...latent-dynamics.net/03/ppt/gen_Tashiro_LD03.ppt.pdf · 2012-09-26 · 概要 • 各事象(変数)間の因果構造を観測データのみを

評価方法22

Page 23: 非ガウス構造方程式モデルにおける 因果順序の推定 潜在交絡 ...latent-dynamics.net/03/ppt/gen_Tashiro_LD03.ppt.pdf · 2012-09-26 · 概要 • 各事象(変数)間の因果構造を観測データのみを

実験結果23

Page 24: 非ガウス構造方程式モデルにおける 因果順序の推定 潜在交絡 ...latent-dynamics.net/03/ppt/gen_Tashiro_LD03.ppt.pdf · 2012-09-26 · 概要 • 各事象(変数)間の因果構造を観測データのみを

まとめ

• LiNGAMを推定する既存手法では,仮定を満たしていないとき全く異なる結果を出力する場合があった.

• 提案手法では潜在交絡変数を考慮することで,既存手法よりも信頼性が向上.

• 実験結果では既存手法よりも良い推定結果を得ることができた.

24