Gunosy Inc.吉田 宏司

2017.5

Gunosy DM #120 論文紹介 Attention and Engagement-Awareness in the Wild: A

Large-Scale Study with Adaptive NotificationsTadashi Okoshi, Kota Tsubouchi, Masaya Taji and Takanori Ichikawa, Hideyuki Tokuda

2©Gunosy Inc.

この資料について

Gunosyデータマイニング研究会 #120 の発表資料です

3©Gunosy Inc.

Attention and Engagement-Awareness in the Wild: A Large-Scale Study with Adaptive Notifications

● 著者

— Tadashi Okoshi (Keio University, Japan), Kota Tsubouchi, Masaya Taji and Takanori Ichikawa (Yahoo Japan Corporation, Japan), Hideyuki Tokuda (Keio University, Japan)

● 学会

— IEEE PerCom 2017● PerCom = Pervasive Computing and Communications ● ユビキタス領域のトップカンファレンス

● 内容

— プッシュ通知が開封されやすいタイミングの予測

— Yahoo! JAPAN初となる論文の世界TOP3入り、ユビキタス領域の二大国際会議の一つで達成 / プレスルーム - ヤフー株式会社

紹介する論文

4©Gunosy Inc.

たくさんのアプリケーションがある中で、ユーザの注意を引くことは重要だが、通知は邪魔になることが多い

邪魔にならないタイミングの検知の研究はたくさん行われてきた

しかし、実際にユーザが使用しているサービスで評価されたことはない

本研究は、大規模な実サービスで、ユーザに取って邪魔にならないタイミングの検知（interruptibility、通知を受け入れやすいタイミング）とユーザのエンゲージメントの変化を検証した初の研究

Yahoo! JAPANのAndroidアプリに、モバイルセンシングと機械学習を用いたinterruptibilityの推定ロジックを組み込み、68万ユーザに対して、3週間の実験を行った

結果として、ユーザの通知への反応時間を49.7%短縮し、通知開封数やユーザエンゲージメントも改善させることが出来た

Abstract

5©Gunosy Inc.

ランダムなタイミングでプッシュ通知を表示することは、ユーザにとって邪魔だったり集中力の妨げに繋がる

2つの連続するユーザ行動の境界である「Breakpoint」は、ユーザ負荷が小さいタイミングと知られている

筆者らは、モバイルセンシングと機械学習を用いて、Breakpointのリアルタイム検知の研究を行ってきた

しかし、以下の3つの課題が残っている● １．実サービスでの検証

● ２．システムアーキテクチャの提案

● ３．ユーザエンゲージメントまで含めた包括的な検証

本研究の貢献は、この3つの課題に取り組んでいる点

1. INTRODUCTION

6©Gunosy Inc.

現代の生活は、不適切な方法で表示される多くの通知により、Interruption Overload（中断過多）に悩まされている

Interruption OverloadはInformation Overload（情報オーバーロード）の一種

この分野では、よく使われる考えで、たくさん研究されてるらしい

2. INTERRUPTION OVERLOAD

7©Gunosy Inc.

Cognitive Load : the total amount of mental effort allocated to working memory● 3つの計測方法がある

— subjective rating-based methods— task performance-based methods— physiological response-based methods

直接Cognitive Loadを検知するのではなく、Interruptibilityを検知する研究● 2種類の研究がある

— estimation of interruptibility at a certain timing period based on a user’s context

— detecting the user’s breakpoint● breakpoint : 2つの連続するユーザ行動の境界でユーザ負荷が小さいタイ

ミングと知られている

Introductionで述べた3つの課題が残ってる

3. RELATED WORK - Sensing User’s Cognitive Load

8©Gunosy Inc.

3つの課題に取り組むために、以下のアプローチを取る

● 日本で人気のYahoo! JAPANのAndroidアプリに、Interruptibility推定ロジックを組み込む

● 実際のプッシュ通知を用いて実験を行う

● プッシュ通知に対する開封までの経過時間や開封率といった単発の指標のみではなく、ユーザエンゲージメントも計測する

4. RESEARCH GOALS AND APPROACHES

9©Gunosy Inc.

実サービスで検証を行う上で必要になるシステムデザインと開発について● ユーザ負荷は最小にする

— 新しく権限取得するとか

● 電源消費は最小にする

● 複数プラットフォーム（OS、Android）も考える

● データ収集はプラポリ守る

● ビジネス目的のプロダクトマネジメントに準拠する

5. REQUIREMENTS FOR SYSTEM DESIGN AND DEVELOPMENT

10©Gunosy Inc.

Breakpointには2種類ある● Device Interaction Breakpoints● Physical Activity Breakpoints

— 権限とかクロスプラットフォーム対応とか的にこっちを用いる

6. SYSTEM DESIGN - Detecting of Physical Activity Breakpoints

11©Gunosy Inc.

Yahoo! JAPAN アプリの4種類の通知の内、Recommendationsをテストに用いる● 毎日8、12、18、21時のプッシュ通知

6. SYSTEM DESIGN - Notification to Be Tested

12©Gunosy Inc.

システム全体像● Breakpoint検知モデルはサーバで学習して、アプリにダウンロードさせる

6. SYSTEM DESIGN - System Architecture

13©Gunosy Inc.

6. SYSTEM DESIGN - System Architecture

Breakpoint検知ロジックのライフサイクル● プッシュ通知が届いた後は、Mobile Sensingによって新しいデータが取得されるた

びにBreakpoint判定を行い、Breakpoint判定されたら通知が発火される

● 1時間ずっと、Breakpoint判定がFalseだった場合も発火する

14©Gunosy Inc.

6. SYSTEM DESIGN - System Architecture

Mobile Sensingで取得するデータ● AndroidのAPIで取得できる

15©Gunosy Inc.

6. SYSTEM DESIGN - System Architecture

Breakpoint判定で使用される387個の特徴量● プッシュ発火から10秒以内にプッシュを開封した場合をBreakpointの教師データとし

て用いた

16©Gunosy Inc.

6. SYSTEM DESIGN - System Architecture

深夜バッチでモデルを更新する

1日1回アプリがモデルをダウンロードする

モデルは教師データを32分割して作ったロジスティック回帰をマージしたもの● Because the size of the client log is expected to be huge,we prepared a

dedicated Hadoop [54] cluster with 32 workers for model training.● After the log data from the clients are split into 32 buckets at the server side,

each worker creates a logistic linear regression on LIBLINEAR [55].● The 32 generated models will then be merged into a final unified model

considering the bias of the number of training data.

17©Gunosy Inc.

最初に、プロトタイプ作って、39端末で35日間、社内実験をした

この時のログを使って初回のBreakpoint判定器を学習した

10-fold cross validationでAccuracy 94.8%....!?重みの大きい特徴量は以下

7. INITIAL MODEL TRAINING

18©Gunosy Inc.

テスト期間 : 2016年9月の3週間

テスト対象ユーザ数: 687,840● Yahoo! JAPAN Androidアプリの約10%

— 3週間UUは、約687万？

● treatment/controlは50%ずつに分けた

性別・年代の構成比は左図● Gunosyの決算資料と比較すると

— 男女比はニュースパスと同じ位で、年

代はニュースパスよりも高い年代の割

合が多い

— グノシーの方が、女性と若い層の比

率が高い

8. EVALUATION - Participants & Experiment Procedure

19©Gunosy Inc.

最終的なモデルは、10-fold cross validationでAccuracy 91.6%....!?Breakpoint判定されたタイミング

● STILLからTILTINGが一番多い

— “when a device is picked up from a desk”— “a user who is sitting stands up”

8. EVALUATION - Results and AnalysisBreakpoint and Activity Change

20©Gunosy Inc.

プッシュ通知送信からBreakpoint判定までの経過時間● 10秒以内が70%● 平均は236.8秒● 1時間Breakpoint判定されないのは1.11%

8. EVALUATION - Results and AnalysisNotification Delay Due To Breakpoint

21©Gunosy Inc.

プッシュ通知発火から開封までの経過時間● 平均経過時間は、Breakpoint判定してる方で1639秒、してない方は3,258秒で、

49.7%短縮

● プッシュ通知送信から開封までの経過時間でも、Breakpoint判定してる方が短い

8. EVALUATION - Results and AnalysisUser’s Response to Notifications

22©Gunosy Inc.

プッシュした記事の閲覧数の比較● 平均で1.91%大きい

— 元々開封率高いユーザ集合かも知れ

ない気もする

● 平日は平均2.39%で、休日の1.00%に比

べ効果的

● プッシュした記事の閲覧数/プッシュ送信数

は、10~20%程度

● 1回システムダウンしてる

8. EVALUATION - Results and AnalysisUser’s Response to Notifications

23©Gunosy Inc.

Yahoo! JAPANでよく用いてるユーザのエンゲージメントレベルを週に何日アプリを利用す

るかによって、5段階に分ける方法を用いた

● 1 : 0日、2 : 1日、3 : 2~3日、4 : 4~5日、5 : 6~7日— 週に3+α日だけ使用するユーザが多い

● 徐々に、エンゲージメントレベル向上してる感ある

— 週の起動日数が0.003日増加で、WAU/3WAUが30%だとすると、DAUは

5000~1万増加位だろうか？

— 下図のように、徐々にgainが大きくなるなら効果大きそう

8. EVALUATION - Results and AnalysisUser’s Longer-Term User Engagement

24©Gunosy Inc.

所感

「ユーザごとにプッシュ通知を受け取りやすいタイミングの判定をして、そのタイミングでプッシュ通知は発火させる」という考えは新鮮だった

● プッシュ通知のコンテンツ×タイミング×頻度をパーソナライズできたら未来感ある

Yahoo! Japan Androidの色んな数値が見えて面白かった

● この実験を実施出来ていることから、開発リソースの規模の大きさを感じた

25©Gunosy Inc.

Yahoo! JAPAN初となる論文の世界TOP3入り、ユビキタス領域の二大国際会議の一つで達成 / プレスルーム - ヤフー株式会社

参考文献