Recommender System and user experience...Sep.07 Oct.07 Nov.07 Dec.07 Jan.08 Feb.08 Mar.08 Apr.08...

Recommender Systemand

user experienceYoshifumi Seki

Gunosy, Inc

2013/02/09

World IA Day Tokyo

What’s Gunosy?

• ユーザの嗜好に合わせたウェブコンテンツを毎日届けるレコメンドサービス

• 2011年10月末公開– 開発理由：夏休み暇だった

– データマイニングを研究する学生3人で開発

• 登録するとSNSのアカウントを元にユーザの嗜好を解析し，毎日25個のウェブコンテンツを届ける

• 2012年度未踏発掘・育成事業採択

• App Store 無料6位

Motivation

• 自分たちが欲しい物を作った

– RSSリーダーをどうも好きになれない

• 未読が三桁になって見るのも嫌になってしまう

– 読むべき情報を知りたい

• 簡単に真似できないものを作りたかった

– 研究分野への勉強という意味も含めて

– データマイニングの面白さと実践の溝

ビジネス系

エンジニア系

スポーツ系

Sep.07 Oct.07 Nov.07 Dec.07 Jan.08 Feb.08 Mar.08 Apr.08 May.08 Jun.08 Jul.08 Aug.08 Sep.08 Oct.08 Nov.08 Dec.08 Jan.09

ユーザ数の推移

60%以上のユーザがアクティブ

今日のお話

• 現代のウェブにおける推薦エンジンの価値

• 推薦エンジン研究の最近のトレンドの話– 推薦エンジンの歴史

– 既存の評価指標の限界• Filer Bubble

– From Algorithms To User experience

• ウェブの情報体験が旧来メディアの体験を超えるには？– ウェブの情報体験の変化

– Gunosyのビジョン

What’s Recommender System

• 膨大な情報の中からユーザに適した情報を探索し，ユーザに提供する

– ユーザの情報を特徴付ける

• ユーザのプロフィール

• アイテムに対する評価データ

– アイテムの情報を特徴付ける

• アイテムの中身

• 他のユーザの評価

– ユーザ・アイテム間の類似性を評価する

ウェブと推薦エンジン

• ECサイトへの導入– Amazon, e-bay

• パーソナライゼーション– Google Search

– Facebookのタイムライン

• スマートフォンの普及– 画面が小さい、操作性が低い、通信速度が遅い

– 大量の情報を以下に表示するか？

– 情報を減らす• パーソナライゼーション

History

Microsoft Academic Search

History

• 誕生は90年代– 協調フィルタリング

• 現在でも多くのシステムで活用されている手法• あなたの買った◯◯を買った人は××も買っています

• 2000年代– インターネット・バブル

• Amazon等ECサイトにおける推薦エンジンの成功• Netfix Prize

– 推薦エンジンの精度向上コンテスト– 多くの新しい手法が生み出されたが結局実際には使われなかったとの批判も

– 新しい手法は多く生み出されたが協調フィルタリングが圧倒的優位

– 推薦システムを売りにしたベンチャーの多くは倒産または売却• 売上への寄与が見えづらく，売りにくい• 単純なモデルを実装した営業力の強い会社の勝利

• 汎用的に使えるものはなく，チューニングが必要なため外注ではなかなかマネタイズしない

協調フィルタリング

• 既存のユーザコミュニティの過去の振る舞いや意見を用いて、利用者の好みや興味を予測し、情報を発掘すること

• ユーザベース協調フィルタリング– あなたと興味の近い人はこんな商品を買っています

– 類似するユーザの評価値を元に，未知のアイテムに対する評価値を予測する

• アイテムベース協調フィルタリング– この商品を買っている人はこんな商品も買っています– ユーザベースの転置行列を解く

• 実際の行動に基づいた高精度な推薦が可能• 行動ログが必要• 新しいユーザ，新しい商品に推薦できない

内容ベースフィルタリング

• アイテムの情報をユーザのプロファイルを元に推薦する

• ルールベース– 業界における常識や知見などに基づいてアイテムを勧める

• デジカメ買った人にSDカードを勧める

• メモリベース– ユーザとコンテンツのと距離を元に推薦する

– ユーザとコンテンツをそれぞれベクトル空間に射影し，その座標間の距離を元に推薦する

• モデルベース– 大量の行動履歴からユーザの行動をモデル化し推薦ルール

を作成する

知識ベース推薦

• 行動ログがあまりたまらない分野における推薦システム– 家、車などは人生で数回しか買わない上に、次買うときは興味などが変わる

– 購入を決定付ける素性を人の知識から獲得する• 値段、性能の定量化、

• 最適化した探索を行う検索システム

• ユーザの嗜好をベースにした対話型推薦システム

Filter Bubble

• The Filter Bubble: What the Internet Is Hiding from You– Eli Pariser (2011)

• ウェブにおけるパーソナライゼーションの負の側面を指摘– 多様な情報に触れる機会が減らされている．

• Recsys 2011でFilterBubbleのWorkshopが開かれる．– Are there “filter bubbles”?

– To what degree is personalized filtering problem?

– What should we as a community do to address the filter bubble issue?

Filter Bubble

• Recsys2011での議論– Are there “filter bubbles”?

• 本質的にはトレードオフである

– To what degree is personalized filtering problem?• すべての情報を人が網羅することは不可能なのでフィルタリング技術

は必須である

– What should we as a community do to address the filter bubble issue?• 推薦の透明性，説明性を確保すべき• 利用者が現在求めるものだけでなく，長期的多様性も考慮• アイテムごとの個別判断ではなく，推薦リスト全体の良さを追求

• 何が問題だったのか？(私見)– 推薦システムの評価方法がユーザ体験を考慮していない

• ５年分のデータのうち最初の１年で残りの４年を予測する• ユーザの行動予測問題

From Algorithm to User Experience

• Recommender Systems: from algorithms to user experience– Joseph A. Konstan and John Riedl,User Modeling and User adapted

Interaction(2012)– 推薦システムのユーザ体験評価についてのサーベイ論文

• 推薦システムが悪いとユーザのサービスに対する満足度を落とす(Cosley et al. 2003)– ユーザは推薦システムが悪いとは認識しない

• 推薦システムのライフサイクル– 新規ユーザと既存ユーザの推薦システムに対する期待の違い．

• より洗練された評価基準– ユーザ行動予測以外の評価基準– 推薦結果全体の評価、多様性

• ユーザが推薦システムをコントロールすること

User Recommender Lifecycle

• New User Problem– 評価値データがない( cold start problem)

– 人気なものと，評価が割れるものを混ぜて推薦するものが継続率が高い ( Rashid et al 2002)• 推薦していないにも関わらずユーザはすごく精度が高いと評価する

• ユーザモデルも作りやすい

• User Lifecycle (McNee 2006)1. 推薦エンジンを観察する．

2. 推薦されるアイテムに関心をもち，多くのアイテムを評価するようになる

3. 推薦システムとして活用するようになる

Recommender System Quality

• Top-N Recommendation– Mean Absolute Error

• 平均絶対誤差

– Precision, Recall• 検索エンジンの指標

– False positive, False negative• ROE curve トレードオフ,

• Diversity Problem (Ziegler et al. 2005)– 推薦対象でないものを結果リストに差し込む

• ユーザは個人に最適化されてないことを認識するが，差し込まれた量が全体の30%程度であれば差し込まれた方を好む

• Data quality– ユーザにアイテムを再評価させると評価結果が改善す

る.(Amatriain et al. 2009)

Explanations and Transparency

• Explanations of recommendation (Tintarev et al. 2007)– Transparency

• どのように推薦結果が決められたか説明することで信頼性を上げることができる

– Trust• 推薦結果の正確性以外の部分で努力する必要がある．

– Scrutability• ユーザが推薦に用いるデータの過ちに気づき，改善を自身で行うこと

ができる．

• 説明性を高めることで，ユーザの意思決定を促進することできる．– アルゴリズムが洗練されて正しいことより，近い友人が薦めて

いるという説明のほうが効果がある． (Herlocker et al. 2000)

– 多様性を計算することより，タグをつけて多様であるように見えるほうが効果がある．(Vig et al. 2009)

継続率の変化

0

5000

10000

15000

20000

25000

30000

35000

40000

45000

58

60

62

64

66

68

70

72

74

76

78

one_month_active_rate

user_num

アルゴリズム変更

スコアとクリック率との比較

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

通常

普通の記事

ranking

click rate

表示順位とスコアの比較

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

アルゴリズム

逆表示

click rate

ranking

ウェブにおける情報体験の変化

ウェブにおける情報体験の変化

情報体験

• ウェブの情報体験– 自分から情報を取りに行かなくてはいけない– 探すためのリテラシーが必要– 能動的

• 旧来メディアの情報体験– 新聞：毎日やってくる– テレビ：つければ入ってくる– 受動的

• 受動的な情報体験が人々の基本的な情報体験として根付いている– ウェブがテレビ・新聞を超えられない理由はここにあるのではないか？

Gunosy’s Vision

• ウェブにおける受動的な情報体験を設計する– 普段通り過ごすだけでGunosyが必要な情報を集めてくれる– ユーザに考えさせない，情報を入力させない

• 登録はSNSアカウントのみ• 設定もほぼなし

– クリックなどのGunosy利用状況に応じて最適化する• RSSやSNSで特定の情報をすでに見ている人に対してはそれ以外の情報

を出す

– アルゴリズムの評価はユーザ継続率ベース• 使い続けることが重要• 毎日使うサービスではなく時々使うサービス• 見ていないことに対してストレスを与えない

– RSSリーダの未読(9999)って辛いよね。がスタート

• 機械が得意なことは機械にやらせよう– 大量の選択肢からの単純な意思決定は機械のほうが得意– 労働集約型産業へのイノベーションを起こす

まとめ：IAと推薦システム

• 推薦システム研究におけるユーザ体験設計はまだ非常に尐ない– 推薦を受ける前と受けたあとで間違いなく行動は変わる

– 目的変数はユーザ行動の予測ではない

• より抽象度の高い目的変数が必要である．– 継続率を生み出す推薦リストとは？– 人はなにが推薦されると嬉しいのか？– 人はなにを推薦されるといやなのか？

• IAの知見を指標化・定式化すればよりよい推薦システムを起こせるのでは

• ビッグデータは魔法の杖ではない．活用目的となる目的変数を定義しなくてはならない．そのためのIA