文献紹介2014/12/05

長岡技術科学大学自然言語処理研究室

岡田正平

文献情報Duyu Tang, Furu Wei, Bing Qin, Li Dong, Ting Liu and Ming ZhouA Joint Segmentation and Classification Framework for Sentiment AnalysisIn Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp 477-487.2014.

2014/12/05 文献紹介 2

概要• 典型的な sentiment classification (pipeline method)

segmentation → classification

– error propagation• segmentation error は classification に影響e.g.)〈bad, not bad〉, 〈a great deal of, great〉

2014/12/05 文献紹介 3

概要• 典型的な sentiment classification (pipeline method)

segmentation → classification

• 提案手法 (joint segmentation and classification, JSC)

segmentation classification

2014/12/05 文献紹介 4

sentiment-specific segmentorを学習

概要Joint segmentation and classification framework (JSC)

2014/12/05 文献紹介 5

概要• segmentation candidates をスコア付し，上位のものを極性分類の素性として用いる

• segmentation の極性を予測，segmentatorの更新に利用

• 訓練データは極性情報のみ

• SemEval 2013 の Twitter sentiment classification dataset にて state-of-the-art な手法と同等の性能を達成

2014/12/05 文献紹介 6

手法

手法3種のモデルを利用

1. candidate generation model (CG)2. segmentation ranking model (SEG)3. sentiment classification model (SC)

2014/12/05 文献紹介 8

手法

2014/12/05 文献紹介 9

iteration※上向き矢印：update model下向き矢印：use model

手法

2014/12/05 文献紹介 10

iteration※上向き矢印：update model下向き矢印：use model

Candidate generation• phrase table による制約を用いたビーム探索を利用

• Mikolov et al., 2013

𝑓𝑓𝑓𝑓 𝑤𝑖 ,𝑤𝑗 =𝑓𝑓𝑓𝑓 𝑤𝑖 ,𝑤𝑗 − 𝛿

𝑓𝑓𝑓𝑓 𝑤𝑖 × 𝑓𝑓𝑓𝑓(𝑤𝑗)– 閾値を設け，phrase table を取得

2014/12/05 文献紹介 11

Candidate generation

• 分割数が少ない方から𝑁個を候補とする

2014/12/05 文献紹介 12

手法

2014/12/05 文献紹介 13

iteration※上向き矢印：update model下向き矢印：use model

手法

2014/12/05 文献紹介 14

iteration※上向き矢印：update model下向き矢印：use model

Segmentation rankingsegmentation candidates に実数値のスコア付け

𝜙𝑖𝑗 = exp 𝑏 + �𝑠𝑓𝑓𝑖𝑗𝑖 ⋅ 𝑤𝑖𝑖

𝑠𝑖 : 𝑖番目の文Ω𝑖𝑗 : 𝑠𝑖の𝑗番目の segmentation candidate𝜙𝑖𝑗 : Ω𝑖𝑗のスコア𝑠𝑓𝑓𝑖𝑗𝑖 : Ω𝑖𝑗の𝑘番目の素性

2014/12/05 文献紹介 15

Segmentation ranking損失関数

𝑙𝑙𝑠𝑠 = −� log∑ 𝜙𝑖𝑗𝑗∈𝐻𝑖∑ 𝜙𝑖𝑗𝑗′∈𝐴𝑖

+ 𝜆 𝑤 22

𝑇

𝑖=1𝑇 : 訓練事例𝐴𝑖 : 𝑠𝑖に対する全 segmentation candidates𝐻𝑖 : 𝑠𝑖の segmentation candidates 中で

予測された極性が正解と一致しているもの

2014/12/05 文献紹介 16

Segmentation ranking素性 𝑠𝑓𝑓𝑖𝑗𝑖• Segmentation-Specific Feature• Phrase-Embedding Feature

– Skip-Gram model (Mikolov et al., 2013)

2014/12/05 文献紹介 17

Segmentation ranking素性 𝑠𝑓𝑓𝑖𝑗𝑖• Segmentation-Specific Feature• Phrase-Embedding Feature

– Skip-Gram model (Mikolov et al., 2013)

2014/12/05 文献紹介 18

Segmentation ranking

2014/12/05 文献紹介 19

Segmentation ranking素性 𝑠𝑓𝑓𝑖𝑗𝑖• Segmentation-Specific Feature• Phrase-Embedding Feature

– Skip-Gram model (Mikolov et al., 2013)– classification model でも利用

2014/12/05 文献紹介 20

Segmentation ranking畳み込み関数により導かれたベクトルの結合で表現される

𝑝𝑓 𝑠𝑓𝑠 = 𝑝𝑓𝑚𝑚𝑚 𝑠𝑓𝑠 ,𝑝𝑓𝑚𝑖𝑚 𝑠𝑓𝑠 ,𝑝𝑓𝑚𝑎𝑎(𝑠𝑓𝑠)𝑝𝑓 𝑠𝑓𝑠 𝑚 = 𝜃𝑚 𝐿𝑝𝑝 𝑠𝑠𝑎

𝜃𝑚 : 𝑝𝑓𝑚の畳み込み関数𝐿𝑝𝑝 𝑠𝑠𝑎

: 結合された𝑠𝑓𝑠中の単語の列ベクトル𝐿𝑝𝑝 : phrase embedding の lookup tabke

2014/12/05 文献紹介 21

手法

2014/12/05 文献紹介 22

iteration※上向き矢印：update model下向き矢印：use model

手法

2014/12/05 文献紹介 23

iteration※上向き矢印：update model下向き矢印：use model

Classification nodel• 訓練事例を用いて教師あり学習

2014/12/05 文献紹介 24

手法

2014/12/05 文献紹介 25

iteration※上向き矢印：update model下向き矢印：use model

実験

実験 1Twitter sentiment classification dataset in SemEval 2013• 2値分類 (positive/negative) のみ

2014/12/05 文献紹介 27

実験 1

2014/12/05 文献紹介 28

実験 2JSC と pipeline method の比較

pipeline 1: bag-of-words

pipeline2: segmentation candidate with maximum phrase

2014/12/05 文献紹介 29

実験 2JSC と pipeline method の比較

PF: phrase embeddingSF:

segmentation-specificCF:

classification-specific

2014/12/05 文献紹介 30

まとめJoint segmentation and classification framework (JSC)

state-of-the-art な手法と同等の精度達成

2014/12/05 文献紹介 31

ReferencesTomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. 2013. Distributed representations of words and phrases and their compositionality. Conference on Neural Information Processing Systems.

2014/12/05 文献紹介 32