Embed Size (px)
DESCRIPTION
PRML復習レーンの発表資料です．
Citation preview
2.3 ガウス分布
#PRMLrevenge
@nokuno
＜ぜひ熟読されたい
1次元ガウス分布
中心極限定理
多次元ガウス分布
マハラノビス距離
共分散行列の固有値問題
正定値行列と半正定値行列
変数変換後のガウス分布
ガウス分布のバリエーション
教科書の流れ 2
数学的にも実用的にも数学的にも実用的にも扱い易く、
最も基本的な連続値の分布
1次元ガウス分布 3
2
22/12
2 )(2
1exp
)2(
1),|(
xxN
][xE平均
][2 xV分散
(2.42)
図1.13 1次元ガウス分布
2
2
1exp
2
1)1,0|( xxN
標準正規分布
実世界で正規分布が多く現れる理由となっている
観測数を増やすと、サンプル平均の分布は
正規分布に収束する
中心極限定理 4
図2.6一様分布に従うN個のサンプル平均のヒストグラム
)1,0|(~
)(
lim 1 xNn
Xn
i
i
n
サンプル平均
多次元ガウス分布は(2.43)となる（ｷﾘｯ
多次元ガウス分布 5
)()(2
1exp
)2(
1),|( 1
2/12/μxΣμx
ΣΣμx
T
DN
(2.43)
付録Cと副読本の２冊を参考にします
分からないのでしばらく復習が続きます！
Bishop先生、分かりません＞＜ 6
線形代数の復習（付録C) 7
TTTABAB )( (C.1)
転置の性質
111)( ABAB (C.3)
逆行列の性質
TT )()( 11 AA (C.4)
IAAAA 11 (C.2)
jiij
T A)(A （定義）
行列式の性質
BAAB
AA
11
AA T
(C.12)
(C.13)
平均が0、共分散行列がIの正規分布。
これなら分かる！
多次元標準正規分布 8
2
2/ 2
1exp
)2(
1),|( xI0x
DN
確率密度が等しい線（面）が円（超球）となる
IxxxxxTT
2
(N.1)
なので(2.43)の特殊な場合
変数変換 9
Axy
21
2/
1
2
1exp
2
1,|
1)( yA
AI0yA
Ay
DNp
と変数変換すると、
yAAyyAAyyAyAyA11111
21 TTTTT
(N.3)
TAAΣ とおくと、
yΣyΣ
y1
2/12/ 2
1exp
)2(
1)( T
Dp
yAx1 なので
2/12/1
ΣAAA T(N.4)
(N.2)
expの中身は
(N.2)に代入して (N.3)
正則行列Aを用いて
ここで
行列をかける＝線形写像
行列式＝面積拡大率
変数変換・図解 10
2
10
12
A
A
Axy
標準正規分布から、
拡大縮小・回転・平行移動による変換で一般化
変数変換のまとめ 11
(N.1) (2.43)
拡大・回転 移動
)()(2
1exp
)2(
1),|( 1
2/12/μxΣμx
ΣΣμx
T
DN
(2.43)
TAAΣ ただし
A μ
演習2.17： 精度行列に非対称成分があってもマハラノビス距離(2.44)から消えることを示せ。
共分散行列の対称性 12
ji
k
jkikij ΣAAΣ なので∑が対称行列なのは明らか
別解
)()( 12μxΣμx T
(2.44)マハラノビス距離：
演習2.22：対称行列の逆行列も対称行列であることを示せ。
111 AAATT
固有値問題（付録C) 13
iii uAu
M×Mの正方行列Aについての固有値問題
iu ：固有ベクトル i ：固有値
Mi ,...,1
(C.29)をまとめて書くと
(C.29)
※これはM次方程式となり、M>4のときはべき乗法などの反復計算が必要
MuuU 1
Mdiag ,, 21Λ
よってUの逆行列が存在すれば、Aを対角化できて
1 UUΛA
UΛAU （対角行列）
(N.5)
(C.38)
0 IA i (C.30)固有方程式
対称行列の場合（付録C） 14
(N.5)の転置をとって
TTTTTTT UUUUUU ΛΛΛA111
より(N.5)と(N.6)を比較して
1UU T(N.7)
つまりUは直交行列となる。このとき(N.5)とその逆行列は
(N.6)
TUUΛA (C.43)TUU 11 ΛA (C.43)
ベクトルで書くと、
M
i
T
iii
1
uuA (C.45)
M
i
T
ii
i1
1 1uuA
(C.46)
AA TAが対称行列の場合、
共分散行列の対角化 15
)()(
))(()(
)()(
1
1
12
μxΛμx
μxΛμx
μxΣμx
TTT
TT
T
UU
UU
(2.44)
よって )( μxy TU とおくと
対称行列∑を固有値行列Λと固有ベクトル行列Uによって対角化すると
D
i i
iT y
1
2
12
yyΛ (2.50)
元の分布を変数変換すると
(2.52)'
D
i i
i
D
yp
1
2
2/12/ 2
1exp
)2(
1)(
Σy (N.8)
対角化によって拡大率と回転後の基底ベクトルが分かる
楕円体 16
図2.7 ガウス分布の密度が一定になる楕円体の説明
拡大縮小→回転→平行移動 の順に変換すれば良い
線形写像Aの分解 17
(N.1) (2.43)
拡大 回転 移動
ΣΛΛΛΛΛAA TTTTT UUUUUU )())(( 2/12/12/12/1
2/1Λ U μ
2/1ΛA U とすると、
よって∑が与えられたとき、元の写像Aは以下のように分解できる
79pの件 18
http://togetter.com/li/23801
結論：79p. 4l. の「(2.51)が定数となる～」→「(2.50)が定数となる～」
(a) 一般行列は斜めの楕円
(b) 対角行列は軸方向の拡大縮小
(c) 等方行列は同心円状
行列の形を制限することでパラメータを削減できる
ガウス分布のバリエーション 19
図2.8 行列の形を制限した場合のガウス分布
ご清聴ありがとうございました
20
自然言語処理に関する勉強会をやります
昨日グループを作ったばかりで詳細未定
発表者と会場提供を募集中
輪読にちょうどいい教科書があったら教えてください
宣伝 21
http://groups.google.co.jp/group/tokyotextmining
Twitter: @nokuno
はてな：id:nokuno
Social IME開発者
自然言語処理とか
RとかPRMLとか
Web業界でプログラマをやってます
自己紹介 22
Rのコード 23
> x <- rnorm(10000)
> y <- rnorm(10000)
> plot(x,y,xlim=c(-5,5),ylim=c(-5,5),cex=0.1)
> x2 <- 2*x
> y2 <- x+y
> plot(x2,y2,xlim=c(-5,5),ylim=c(-5,5),cex=0.1)
> plot(x,y,xlim=c(-5,5),ylim=c(-5,5),cex=0.1,axes=FALSE,frame.plot = TRUE)
> plot(x2,y,xlim=c(-5,5),ylim=c(-5,5),cex=0.1,axes=FALSE,frame.plot = TRUE)
> plot(x2,y2,xlim=c(-5,5),ylim=c(-5,5),cex=0.1,axes=FALSE,frame.plot = TRUE)
> plot(x2+2,y2-1,xlim=c(-5,5),ylim=c(-5,5),cex=0.1,axes=FALSE,frame.plot = TRUE)
