Prml11.3~11.4

PRML11.3ギブスサンプリング～スライスサンプリング

Yuki

11.3ギブスサンプリング ~ 11.4スライスサンプリング

ギブスサンプリングとは

単純で適応範囲の広い

マルコフ連鎖モンテカルロアルゴリズム

であり

メトロポリスヘイスティング法の特別な場合

とみなすことができる


サンプリングしたい確率分布 p(z) = p(z1, ...., zM )

マルコフ連鎖の初期状態を選択し

p(zi|z\i) からサンプリング

から

条件付き分布

ある分布に従ってランダムに更新する順番に更新する

z_iを

ギブスサンプリング概要

更新順序


p(z1|z(⌧)2 , z(⌧)3 )

p(z2|z(⌧+1)1 , z(⌧)3 )

p(z3|z(⌧+1)1 , z(⌧+1)

2 )

と更新しサンプル点を一つ得る

⌧

p(z1, z2, z3)

ステップ数

z(⌧)1 , z(⌧)2 , z(⌧)3値

z(⌧+1)1 をサンプルするから

から…

ex. 3変数分布の場合

サンプリングしたい分布


一般的な場合


この手続きが求めたい分布からのサンプルを生成することを示す

分布 p(z)がギブスサンプリングの

マルコフ連鎖全体でも不変である

p(zi|z\i)の値は変更されないのでz\i

p(z\i) は明らかに不変周辺分布

各ステップは定義により正しい条件付き分布からサンプリングを行う。

これらの条件付き分布と周辺分布によって同時分布が指定されるため、同時分布も不変である

からサンプリングするときこれは

ということから導かれる

p(zi|z\i)

各ステップで不変であり


ギブスサンプリングが正しい分布からのサンプリングを生成するために満たすべき２つ目の要求はエルゴート性

十分条件条件付き分布分布の確率が0となる場合がないこと

マルコフ連鎖におけるエルゴート性規約性::どの状態から出発しても、どの状態にも遷移する可能性がある

(周期性)状態i への回帰がk の倍数回のみに見られ、しかもk がこの性質を持つ最大の数である場合

再帰性::状態iへ戻る確率が1

正再帰性::再帰性に加え状態iへ初めて戻る経過時間の平均が有限

非周期性::


ギブスサンプリングの手続きをMetropolis-Hastingsサンプリングの特別の場合として得ることができる

遷移確率 qk(z?|z) = p(z?k|z\k)

z?\k

z?\k = z\k

p(z) = p(zk|z\k)p(z\k)

受理確率

A(z?, z) =p(z?)qk(z|z?)p(z)qk(z?|z)

=p(z?k|z?\k)p(z?\k)p(zk|z?\k)p(zk|z\k)p(z\k)p(z?\k|z\k)

= 1

詳細釣り合い条件と上記より

はこのステップでは変更されない


二次元ガウス分布で考える

条件付き分布

周辺分布

サンプル点

典型的なステップサイズは条件付き分布に支配されるので

のオーダーとなるl

状態はランダムウォークに従って発展するので

独立なサンプルを分布から得るために必要なステップ数は

(L\l)2 のオーダーである


過剰緩和(over-relaxation)自己相関を減少させる方法進行方向への移動を促進する

適応可能なもの条件付き分布がガウス分布

p(zi|·)⇠N (µi,�2)の場合条件付き分布が

z0i = µi + ↵(zi � µi) + �i(1� ↵2)1/2⌫

とサンプル点が置き換えられる

N (⌫|0, 1)

�1 < ↵ < 1

ex.)

任意のパラメータ


↵ < 0 の時ステップは平均と反対方向へバイアスがかかる。

の時↵ = 0

標準的なギブスサンプリングと等価

Neal, Radford M. (1995). Suppressing Random Walks in Markov Chain Monte Carlo Using Ordered Overrelaxation (Technical report).


ギブスサンプリングが実際に適応可能かどうかは条件付き分布からサンプルが容易に抽出できるかどうかに依存する。

対数凹なら適応棄却サンプリングを使おう

指数分布族かつ親子関係が共役を保存するならギブスサンプリング


ICM

ギブスサンプリングアルゴリズムの各ステップ条件付き分布

からサンプルを抽出せず

条件付き分布の最大値で与えられる変数値の点推定を用いるなら

ICMアルゴリズが得られる


ブロック化ギブスサンプリング

個々の変数ではなく変数のグループを

必ずしもブロック間でお互いに背反でない

変数のブロックを順に選択し

各ブロックの残りの変数で条件付けて

同時にサンプリングする

連続してサンプリングする


スライスサンプリング

Metropolisアルゴリズムの難点ステップサイズに敏感

ステップサイズを分布の形状から自動的に調整しよう

が評価できることが必要正規化されていない分布

スライスサンプリング

p̃(z)


目的は以下で与えられる分布

uの値は無視することでp(z)からサンプリングができる

これはuとzを交互にサンプリングすることで達成される

スライスサンプラー流れ


1.

2.

3.4.

5.実線

から一様に新しいをサンプリングする

p̃(z) を求める0 µ p̃(z)

を固定µ

{z : p̃(z) > µ}で定義される分布のスライス

1.2.

適当なの値が与えられる

3.4.

z

z

から一様にuをサンプル


4.がネック

分布のスライスから直接サンプリングするのは困難なことがあり

代わりに p̂(z, µ)

を不変にするサンプルスキームを定義する

？これは詳細釣り合い条件が満たされることを保証することで達成される?詳細釣り合いをどうしたらいいのかわかりませんでしたすみませんこの次に説明するのが多分このスキームの話です


サンプリングのスライスのインターバルをどう決めるか？

zmin

z zmax

がサンプリングが非効率にならないように、この領域がスライスの外に出ることをできるだけ少なくしたい

領域にできるだけ多くのスライスを含むようにしたい


幅 w の領域

a. 幅 w を定義する

b. を含む,z(⌧)

Author::Optimsmoose

z(⌧)

z0

z0

z(⌧)

c. 端点までインターバルを増加

d. スライスの外のサンプルを得る

e.得られたサンプル点をインターバルの端点とする

f. スライスに含まれるサンプル点が得られた

多変量化はギブスサンプリングのように一変数づつ更新を行う

http://commons.wikimedia.org/w/index.php?title=User:Optimsmoose&action=edit&redlink=1


GibbsSampling2D Normal

p(x) = N (x|µ,⌃)

2.97より

分散二次元正規分布

多変量正規分布の条件付け確率は

Data & Analytics

Prml11.3~11.4