Upload
koji-matsuda
View
1.831
Download
1
Embed Size (px)
DESCRIPTION
Citation preview
Unified Expecta.on Maximiza.on R. Samdani, M. Chang ,Dan Roth
(NAACL’12)
すずかけ論文読み会 2013 / 03 / 23 紹介者:matsuda
1
Unified EM Algorithm
• [Samdani+ NAACL’12] – EMによる(Semi-‐supervised)学習の統一的な解釈 • この論文のアイデアは非常にシンプル
– 構造に「制約」が無い場合は簡単(アニーリングEMの拡張)
– 構造に「制約」が入る場合はややこしい • Prior Work – Posterior Reguraliza.on [Ganchev+ JMLR’10] – Constraint Driven Learning [Chang+ ACL’07]
2
主にこっちのお話をします
構造に制約が無いEM
• ふつうの EM アルゴリズム – 色々な定式化があるが,ここでは発表者スライドに合わせて
• E-‐step: argminq KL(qt(y),P
(y|x;wt)) • M-‐step:
argmaxw Eq log P (x, y; w)
現在のパラメータのもとで,尤もらしい ラベルyの分布qを求める
求めた分布qの期待値が最大 になるようにパラメータwを更新
3
自然言語処理における 具体的な事前知識の例
• 文書分類 – ある割合の文書はあるクラスであるということが分かっている
• POS-‐tagging – 各文に最低一つは動詞,名詞が含まれている – ある語が多数のPOSに割り当てられることは少ない
• Rela.on Informa.on Extrac.on – ある種類のEn.tyと他の種類のEn.tyの間には,特定のRela.onしか成り立たない • LOCATION – PERSON間 なら LIVE-‐IN とか.
• (SMTにおける)アラインメント – L1 -‐> L2の対応は, L2 -‐> L1の対応と等しい – L1のある語がL2の多数の語と対応することは少ない
多数のラベルつきデータがあれば,そこから自然に学習が可能そう しかし,ラベルつきデータが利用できない場合でも,事前知識をモデルに取り込みたい
4
EM学習において, どのように事前知識を入れるか
• 制約をどのように表現するか • 制約を用いた学習はどうすれば良いか
Posterior Regulariza.on [Ganchev et al, 2010]
COnstraint Driven Learning [Chang et al, 2007]
制約を「ソフト」に入れる 「制約を満たす分布」とのKLダイバージェンス最小化
制約を「ハード」に入れる ビームサーチ + hard EM (今回は紹介しません)
Unified EM 一つパラメータを導入することで,一般的な解釈 ラグランジュ緩和に基づく効率的なE-‐stepの計算
5
Posterior Regulariza.on
• ふつう “Regulariza.on” というと – パラメータw(とかθ)に対する事前知識の導入
• しかし,出力(の構造)に事前知識を入れたい – Posterior Regulariza.on – Constraint Driven Learing – Generalized Expecta.on Criteria
w! = argminw
L(x, y,w)+!R(w)"正則化項(L2ノルムなど)
6
・・・どうやって??
正則化と言われてすぐ思いつく例
PRにおける制約の表現(1/2)
• 制約の「素性表現」を導入 – 文書分類の例) ある文書が”poli.cs”
• 素性の「期待値」を取る – 文書分類の例) 25%の文書が”poli.cs”
!(x, y) = 1 if y is "politics"0 otherwise
!"#
$#
Ep!["(x, y)]= b
b = 0.25
期待値を取るのは「モデル全体として」のソフトな制約を入れるため (期待値をとらないハードな手法もある) bは一般にはベクトル表現になる(多数の制約を入れるため)
7
PRにおける制約の表現(2/2)
• 制約を満たす確率分布の集合を定義 – 先ほどの例なら,”poli.cs”が25%であるような分布の集合(一般には,不等式制約で書く)
• 分布の集合とのKLダイバージェンスを定義 • 最大化する目的関数
制約を満たす分布qの中で,最もモデルの分布と近いものとのKLダイバージェンス
モデルの尤度を 最大に
制約分布とのKLダイバージェンスを最小に 8
PRにおけるEM学習(1/2)
• Jensenの不等式で尤度の下限をおさえる
9
q, θを交互に最大化
PRにおけるEM学習(2/2)
• 先ほどの制約を導入した目的関数
10
つまり, q∈Qの範囲でE-‐stepの探索を行えばよい
PRにおけるEM学習(図解)
11
PRにおいては,制約を満たすqの中で,もっとも尤もらしい事後分布にprojec.on
ここに問答無用で近づけるのが ふつうのEM
実装例
12
constraint.project() は問題(制約)依存だが既存のgradientベースのソルバで解ける
Unified EM(ここからが本論文)
• PRのE-‐StepはKLダイバージェンスを最小化 KL(q , p) = ∑y q(y) log q(y) – q(y) log p(y)
• modified KL Divergenceを導入 KL(q , p; °) = ∑y ° q(y) log q(y) – q(y) log p(y)
• ここで°がどういう役割を果たしているか考える
13
γの効果
Original Distribu.on p
q with ° = 1
q with ° = 0
q with ° = 1
q with ° = -‐1
KL(q , p; °) = ∑y ° q(y) log q(y) – q(y) log p(y)
14 γは事後分布のエントロピーを制御するパラメータとみなすことができる
qのエントロピー q,pのクロスエントロピー
γの効果
15
制約なし
制約あり °
1 0 -1 1
Hard EM
CODL
EM
PR
Determinis.c Annealing (Smith and Eisner, 04; Hofmann, 99)
γを導入することで,過去に提案されてきたさまざまなEMベースの 学習アルゴリズムを統一的に解釈できる
LP approx to CODL
制約つきE-‐Stepの計算
16
modified KL divergence
制約の期待値
q(y)のsimplex制約
γ ≧ 0 であればconvexなので,(劣)勾配法で最小化が可能
制約つきE-‐Stepの計算
• ラグランジュ変数λを各制約に対して導入 – あとは劣勾配法でλとqを更新していくだけ
17
G(・)は論文参照 いわゆるヘルパ
制約付きE-‐Stepの計算
• 制約および分布が分解できる場合は双対分解を用いることができる
18
たとえば,等式制約を 二つの不等式制約 (上下から抑える)に 分けたり, アラインメントのように 双方向で一致するような 制約を入れたりできる
実験(POS tagging) • Un(semi-‐)supervised POS Tagging
– モデル : HMM(First Order, 制約なし) – 初期値 : Uniform or few Labeled Example
19
γ = 1(EM), γ = 0(Hard EM) より,γを調整した方が 高いAccuracy (初期値に依存する)
傾向としては,初期値 が良ければEMよりHard EM のほうが優れている
実験(Rela.on Extrac.on)
• Semi Supervised En.ty-‐Rela.on Extrac.on – モデル: log linear(en.ty extrac.on, rela.on classifica.on) – 制約:
• Type Constraint : ( (Loc,Per) -‐> LIVE IN ) etc.. • Count Constraint : データ内のRela.on数から±20%
20
γの調整は 2-‐fold CV. 0.5-‐0.6くらいに 最適値があるらしい
実験(Word Alignment)
• モデル: HMM,MBRデコード • 制約:bi-‐direc.onal agreement • E-‐Stepは双対分解(ループ数5,けっこう重い?)
21
γはdevelopment setで決定, 0.5-‐0.7くらいに最適値があるらしい
まとめ
• EMに基づくun(semi) supervisedな学習において,事前知識を導入する手法のひとつPosterior Regulariza.on を紹介
• PRを含んだ様々な(制約付き)EMアルゴリズムを内包するアルゴリズムとして,UEMを紹介
• この論文のContribu.on – KLダイバージェンスにパラメータを一個足すことで,CoDL, PRを一般化できることを示した
– ラグランジュ緩和による効率的なE-‐Stepの計算法を示した – 実験において,PR(γ=1)とCoDL(γ=-‐inf)の間に最適なγがあることを明らかにした – (EM, PRのコードがあれば)実装が非常に簡単なのもポイントらしい
• 感想 – 思っていたのとはちょっと違った,Posterior Regulariza.onは面白そう,双対分解する必要性がどれくらいあるものなの?ICML Workshopにまったく同じ内容の論文出てますね(今気づいた)
22
Further Reading • Posterior Regulariza.on for Structured Latent Variable
Models [Ganchev+ JMLR 2010] – PRについて恐らくもっとも詳しく書いてある文献
• Rich Prior Knowledge in Learning for NLP [Druck+ ACL 2011 Tutorial] – PR, CODL, その他の類似フレームワークについて整理されたチュートリアル.スライドがわかりやすい.
– hup://sideinfo.wikkii.com/
• MALLET – PR,GE (for Maxent, linear-‐chain CRF)のコードが含まれている – hup://mallet.cs.umass.edu/ge-‐classifica.on.php
23