PRML10.1～10.4まとめ

大域的変分推論法

@sesenosannko

目次

変分法とは

変分近似法の概要

大域的変分推論法の概要

大域的変分推論法の利点

目次

変分法

関数⋯入力した値xに対してy(x)を返す

汎関数⋯入力した関数y(x)に対してF [y]を返す（関数の関数）

↓

微分⋯xの微小変化に対する関数y(x)の変化

変分⋯ y(x)の微小変化に対する汎関数F [y]の変化

変分近似法は近似だが、変分法自体は近似ではない

変分法とは

変分法を用いて何を近似するのか

変分法⇒汎関数を最大化することができる

（簡単には求められない）確率分布を

単純な確率分布の組合せで近似したい

⇑何かを最大化する組み合わせの確率分布の組合せを求める

⇑変分法！！

変文近似法の概要

変分近似法の種類

変分推論法（変分ベイズ法）

大域的変分推論法

全ての確率分布についての事後分布の近似

局所的変分推論法

モデルの各変数（または変数群）の関数の近似

EP法考え方が異なる変分近似法（ここでは説明は省略する）

変文近似法の概要

大域的変分推論法で扱うモデル

潜在変数Zを持つモデルを対象とする

（このモデルではパラメータも潜在変数Zに含めます）

観測データXに対して潜在変数Zの事後確率p(Z∣X)が知りたい

事後確率p(Z∣X)が簡単には求まらないとする

例：

混合ガウス分布（Z⋯平均μ・分散Σ・潜在変数Z）

ベイズ線形回帰（Z⋯パラメータw・超パラメータα)

大域的変分推論法の概要

事後分布はどうすれば求まる？

任意の確率分布q(Z)に対して以下が成り立つ

lnp(X) = L(q) + KL(p∣∣q)

ただし

L(q) = q(Z)ln dZ

KL(p∣∣q) = − q(Z)ln dZ

大域的変分推論法の概要

∫ {q(Z)

p(X,Z)}∫ {

q(Z)p(Z∣X)}

事後分布はどうすれば求まる？

ここでlnp(X)が一定であるため

L(q)の最大化⟺KL(p∣∣q)の最小化

⇒ q(Z)が任意であればq(z) = p(Z∣X) （KL(p∣∣q)の形式より）

大域的変分推論法の概要

事後分布はどうすれば求まる？

p(Z∣X)は厳密には求められない（仮定）

↓q(Z)を単純な確率分布の組み合わせなどで近似

↓L(q)の最大化するq(Z)はp(Z∣X)の近似となる

汎関数L(q)の最大化⇐変分法！！！

大域的変分推論法の概要

大域的変分推論法の利点

EMアルゴリズムについて（最尤推定とベイズ推定の違い）

モデルの複雑さに自動的にペナルティを与える

混合ガウス分布などの要素が縮退することがない

適切な混合要素数を決定できる

ベイズ線形回帰について（超パラメータの点推定との比較）

完全なベイズモデルになる（超パラメータに関する積分）

大域的変分推論法の利点

まとめ

変分法を用いた確率分布の近似が変分推論法

大域的変分推論法では汎関数L(q)の最大化を経由して事後確率p(Z∣X)を求める

変分近似法によりベイズ推定を適用できる対象の幅が広がる

まとめ