View
506
Download
0
Category
Preview:
Citation preview
KDD 2016 読み会 ;Smart Reply : Automated
Response Suggestion for EmailAnjuli Kannan, Karol Kurach, Sujith Ravi, Tobias Kaufmann, Andrew Tomkins, Balint Miklos,
Greg Corrado, Laszlo Lukacs, Marina Ganea, Peter Young, Vivek Ramavajjala
2016/10/01 ( esaken )
https://www.google.com/inbox/
Gmail の次世代UIとして Inbox が開発される• https://www.google.com/inbox/
• アメリカのみの対応で、 2014/10/22 に第一弾が公開 https://en.wikipedia.org/wiki/Inbox_by_Gmail https://www.wired.com/2016/03/google-inbox-auto-answers-emails/
• Inbox の中の Smart Reply というサービスについてのシステム:本論文• Inbox のほかの機能
• 自動カテゴライズ• ハイライト• リマインダー• スヌーズ
2Smart Reply : Automated Response Suggestion for Email
著者はGoogle Research所属 (一部 Brain Team)• https://research.google.com/teams/brain/
3
First Author
Deep Learning Model
NLP ( Graph propagation)
Smart Reply : Automated Response Suggestion for Email
(提案手法) SmartReply のコンポーネント図
4
4 つのコンポーンネントで構成される。① Response selection in Section 3.
② Response set generation in Section 4.
③ Diversity in Section 5.
④Triggering model in Section 6.①
②
③
④
Smart Reply : Automated Response Suggestion for Email
サービスとして目指すアウトプット
5
受信メッセージから見て生成確率の高いレスポンスの上位 N 件を表示すればいいわけではない。
Smart Reply : Automated Response Suggestion for Email
サービス化に向けて必要な4つのチャレンジ• Challenges• Deep Learning を自然文応答支援サービスとして利用するため生じる課題• Response quality : 誰かに送るメッセージにふさわしい記述
• Utility : 3件の提示で入力を省く支援を実現する必要性
• Scalability : 数百万件発生するメッセージに対する応答• Privacy : ML をチューニングする時細かい調整が困難に情報検索、情報推薦、レコメンデーションでも議論されたトピック
6Smart Reply : Automated Response Suggestion for Email
(提案手法) SmartReply のコンポーネント図
7
for scalability
for utility
for response quality
for utilityfor scalability
for scalability
for privacy
① ②
③
④
4 つのコンポーンネントで構成される。① Response selection in Section 3.
② Response set generation in Section 4.
③ Diversity in Section 5.
④Triggering model in Section 6.
LSTM model を拡張 したモデルを学習
Semi-Supervised Graph Construction (Intent)を学習し、 Response Target Space を構築
Omitting Redundant / Enforcing Negative
Response する message かを FFNN で学習
Smart Reply : Automated Response Suggestion for Email
①Replyの自動生成問題• 受信メッセージを条件付きとする最大尤度のメッセージを学習・探索
8Smart Reply : Automated Response Suggestion for Email
https://research.googleblog.com/2016/05/chat-smarter-with-allo.html
O
r
LSTM Model の概要
9Smart Reply : Automated Response Suggestion for Email
LSTM model 自体への改良 Preprocessing, Addition of a recurrent projection layer, gradient clipping ( with the value of 1 )
RNN で学習できるタイムラグ LSTM で学習できるタイムラグ
LSTM Model
http://colah.github.io/posts/2015-08-Understanding-LSTMs/
Sequence to sequence Learning with Neural Network.
10Smart Reply : Automated Response Suggestion for Email
Recurrent Continuous Translation Models(EMNLP 13)
MLNLP 13 と類似して、 Input Context を v に変換する LSTM逐次出力を予測する LSTM の2階層モデルを採用
③Suggestion Diversity• サービスに適用するために2つの仮説を提案• 同じカテゴリ( Intent) の応答支援は必要ない。
• 学習データに含まれる応答は、ポジティブな応答が多い
11
尤度最大化では選ばれないためネガティブな応答に限定して探索する
Ex. Sure , I’ll be there. Yes, I’ll be there. Yeah, I’ll be there.
Response set generation で構築したグラフから得られるクラスからは1メッセージだけ提示
Smart Reply : Automated Response Suggestion for Email
EVALUATION AND RESULTS• Data: サンプリングしたアカウントのデータ (238 million
messages) 46%のメッセージが応答ありのデータ• 評価結果• Perplexity: 31.4 (n-grams language model) -> 17.0 (Propose)
12
45% , 35%, 20% (1-3 positions)
Results : Smart Reply のサービスは全受信の10%の応答で利用中Smart Reply : Automated Response Suggestion for Email
参考文献• Sequence to Sequence Learning with Neural Networks(NIPS 14)• Recurrent Continuous Translation Models(EMNLP 13)• LONG SHORT TERM MEMORY (• NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN
AND TRANSLATE ( ICLR 15)• Learning Phrase Representations using RNN Encoder-Decoder for
Stastical Machine Translation(• Grammar as a Foreign Language(
13Smart Reply : Automated Response Suggestion for Email
Recommended