データ分析グループの組織編制とその課題マーケティングにおけるKPI設計の失敗例

ABテストの活用と、機械学習の導入

Cloudera World Tokyo 20162016/11/08

中山ところてんEmotion Intelligence株式会社

お前誰よ

@tokoroten

http://twitter.com/tokoroten

Emotion Intelligence株式会社

http://emin.co.jp/

http://www.zenclerk.com/

高機能雑用

現職：ECデータ分析、新規開発、営業

昔：半導体計測器屋、ゲームディレクター、セキュリティ

目次

データ分析グループの組織編制とその課題 データ分析グループの仕事の範囲 データ分析グループの組成失敗例 データ分析グループを正しく運用するには

マーケティングにおけるKPI設計の失敗 デジタルマーケティングにおけるKPI偏重の問題 ABテストによるリフト計測

ABテストから機械学習へのシームレスな移行 ABテストの向こう側へ、マーケティングオートメーション マーケティングオートメーションの悲哀 機械学習の投入と、その限界 アップリフトモデリング

目次

データ分析グループの組織編制とその課題 データ分析グループの仕事の範囲 データ分析グループの組成失敗例 データ分析グループを正しく運用するには

マーケティングにおけるKPI設計の失敗 デジタルマーケティングにおけるKPI偏重の問題 ABテストによるリフト計測

ABテストから機械学習へのシームレスな移行 ABテストの向こう側へ、マーケティングオートメーション マーケティングオートメーションの悲哀 機械学習の投入と、その限界 アップリフトモデリング

データ分析の流れ

データ分析グループは、アプリ運用で生まれたログデータを解析、改善活動を行っていくことでビジネスに生かす

必然的にカバー範囲は、研究からアプリ運用

研究 開発システム運用

アプリ運用

営業活動

ログデータ

データ分析グループ

データ分析に必要な人材

データサイエンティスト協会 データサイエンティストのスキルセットhttp://www.datascientist.or.jp/news/2014/pdf/1210.pdf

データ分析グループはチーム戦

研究開発から運用までを一気通貫で行う

チーム内に「ビジネス」「サイエンス」「エンジニアリング」の能力を全部持つ必要がある

一人で全部をカバーする必要はない、複数人でカバー

データ分析チームが失敗する条件

チーム内の能力の欠如（Biz、Sci、Eng）

チームに与えられた業務範囲が限定的

業務範囲についての、経営者・開発ラインからの無理解

データ分析グループの組成失敗例①

大企業はプロセスごとに会社が切れている

会社の壁を超えてログデータを手に入れることが困難

しかし、会社からは「データ分析しろ」という命令が…

仕方ないので、他社と「共同研究」という形でお茶を濁す…

研究 開発システム運用

アプリ運用

営業活動

研究所 事業会社 孫会社 孫会社 代理店

ログデータ

データが無いのに分析しろって言われても…

データ分析グループの組成失敗例②

データサイエンティスト＝高学歴、研究者 で採用

雇ったら、研究的な仕事しかしたがらない

難しい問題を、難しく解きたがる

研究における価値と、ビジネスにおける価値の混同

ビジネスは「難しい問題を、簡単に解く」ことに価値がある

売り上げに繋がらない

研究 開発システム運用

アプリ運用

営業活動

ログデータ

データ分析グループ

やったー面白いデータだ！！

あいつら、現場に何も還元しないで、好きなことばっかり

やりやがって……

データ分析グループの組成失敗例③

現場を改善するためにアナリストを雇う

研究系とアナリスト系で、データ分析グループが空中分解グループが二つに割れる

双方が「あいつらは仕事をしていない」と言い合って対立

現場の改善と、研究で、サービスのコアの開発に入っていかないので、サービスが進歩しない

グループ内での業務範囲の共有の失敗が原因

研究 開発システム運用

アプリ運用

営業活動

データ分析グループ①

データ分析グループ②

好きなことばっかりやりやがって……

好きなことばっかりやりやがって……

データ分析グループの組成失敗例④

データ分析グループは、スキルセット的に広範囲をカバー

エンジニアと営業の間に落ちた問題を拾うことが増える

SQL叩いてExcelで集計するだけの簡単なお仕事

同僚から感謝されるため、ついやってしまうが、本質的な価値を生む仕事ができない

研究 開発システム運用

アプリ運用

営業活動

エンジニア、DevOpsデータ分析グループ

営業グループ

バグ見つけてくれて助かるわー お客さんからの依頼で、

データ出力してくれ

データ分析グループの組成失敗例⑤

データ分析グループが本来の領分で仕事をしようとすると、エンジニアの領分と重複

言語や品質の面でエンジニアと対立

いくら分析をしても、本番に導入することができない

ともすると、企画の領分とも衝突、企画にデータ分析に対する理解が無いと頓挫する

研究 開発システム運用

アプリ運用

営業活動

データ分析グループ

エンジニア、DevOps

PythonやRはメンテできないから無理データ分析のコードは品質が悪い

データ分析グループの組成失敗例⑥

データ分析インフラに対する投資をしないで、人だけ雇う

データ分析以外のところに多大な工数がかかる状態

データレイク（データ蓄積基盤＋データ処理基盤）の不在

Hadoopやredshift等のインフラに適切に投資する必要

研究 開発システム運用

アプリ運用

営業活動

データ分析グループ

ログデータ

え、本番サーバにログインして、ログファイル拾ってくるんですか…

うわ、手元のPCだと、処理に50時間かかる……

データ分析グループの組成失敗例⑦

インフラ投資をしてデータだけ貯める データ分析＝ビッグデータ＝データ蓄積の箱 という勘違い

数年前は「面白いデータがある会社にデータ分析者が集まる」という時代だったので、これは正解だった いまはデータ＋データ分析基盤の両方が無いと人が集まらない

データ分析者がいないため、ログ設計がグチャグチャ あとから分析者が入っても使いものにならないケースが多い

研究 開発システム運用

アプリ運用

営業活動

よくわからんけど、お偉方がログをサーバに貯めろっていうから仕方なく入れるか

何が問題なのか？

データ分析グループは近年できた新しい組織形態

その運用方法を知っている人が少ない

データ分析者当人も知らないことが多い

だから、研究者とアナリストで空中分解

気付くと、SQL叩いてExcelで集計する仕事になってしまう

データ分析グループとは何か？

研究からアプリ運用までを一気通貫でPDCA

他の職種の領域と重複する

膨大なデータを取り扱うためのシステム投資が必要

データ分析グループを正しく運用するには

エグゼクティブのサポートが必要 カバー範囲の明確化

会社として、データ分析グループのカバー範囲を明確にし、周知する

データ分析者自身にも、この範囲を意識させる

チームとして、カバー範囲を満たせるように人材を集める

システム面のサポート データへの自由なアクセス、データの一元化

ログ収集インフラ、データ分析インフラの構築

データ分析者の書いたコードが、サービスに影響を与えないようにアーキテクチャを設計

会社として十分なお膳立てがなければ、ワークしない データ分析は空軍みたいなモノ。パイロットだけでは機能しない

航空機だけでも機能しない、地上設備も必須

目次

データ分析グループの組織編制とその課題 データ分析グループの仕事の範囲 データ分析グループの組成失敗例 データ分析グループを正しく運用するには

マーケティングにおけるKPI設計の失敗 デジタルマーケティングにおけるKPI偏重の問題 ABテストによるリフト計測

ABテストから機械学習へのシームレスな移行 ABテストの向こう側へ、マーケティングオートメーション マーケティングオートメーションの悲哀 機械学習の投入と、その限界 アップリフトモデリング

計測できないものは改善出来ない

デジタルマーケティングはKPIだらけ

CPA、CTR、CVR、ROAS、……

KPIを基準とした改善

より反応率の高いクリエイティブを

より反応率の高いセグメントを

より……

KPIを重視した改善を行うあまり、失敗するケースが多い

KPIの本質を考えないで、数値だけによる改善が行われている

改善の過程で忘れられているモノ①

限界効用逓減の法則

投入したコストに対して、得られる効用は次第に減って行く

10万円投入したときの1,000人獲得できても、1000万円投入したときには10,000人だったり… …

効用

コスト

なぜABテストをするのか？

費用対効果が高いクリエイティブを探し、より良いものに対して大規模出稿するため

費用対効果がリニアな世界のデータを元に、大規模投資を行おうとして爆死する

費用対効果がリニアで点線の世界であるという勘違い

効用

コスト

改善の過程で忘れられているモノ②

KPIの改善は売上の改善に結びついているのか？ デジタルマーケティングは施策が複雑なので、

KPIがいつの間にか売上とリンクしなくなっている

ECでの例 純広告で広く流したら、反応率がものすごく悪かった

カート落ちしたユーザにリタゲ広告打ったら反応率がとても良かった

現実の小売店に置き換えて考えてみる 折り込みチラシを出したら、反応率が悪かった

レジに並んでいる人に広告を渡したら、反応率が良かった

KPIを重視した結果

デジマケの現場で何が起こっているのか

過剰な単純化

CPAやROASというKPIは、施策やセグメントが異なっても、共通で評価できる

複雑な商材も、CPAやROASをベースに比較可能

自分が理解不可能なものもKPIベースで判断可能に

KPIをベースに意思決定、業績評価を行えばよい

分かりやすさ重視

施策が複雑すぎるので、直接計測可能なものだけ信頼

計算によって間接的に算出される数値は信頼できない

よくある話

書籍：ヤバい予測学 334p

http://scientificmarketer.com/2007/02/response_16.html

何を間違えているのか？

施策無し 施策あり

ココは計測可能

計測できないことが多い

成果

評価すべき場所

計測可能な数値だけを見て判断

差を計測する

施策を行わなかった場合を考える必要 施策を行う、行わないのABテストを行えばよい

ABテストにより、「増分」を計測可能になり、真の売上貢献が分かる

駄目な例 レジ前にいる人にチラシを渡したら、95%の反応率でした！！

ABテストを活用した例 ある店舗では、レジに一度並んだ人は、95%が買いものをしました

別の店舗では、レジに並んでいる人にチラシを渡したら、95%の人が買いました

したがってレジに並んでいる人に広告を渡しても効果がありません

最近はブランドリフト広告という形で、広告の増分が計測可能に

ブランドリフト広告

一部の顧客に広告を「見せない」ことで差を計測

https://www.ja.advertisercommunity.com/t5/%E6%97%A7%E3%83%96%E3%83%AD%E3%82%B0%E8%A8%98%E4%BA%8B/Google-%E5%BA%83%E5%91%8A-

%E3%83%96%E3%83%A9%E3%83%B3%E3%83%89%E5%8A%B9%E6%9E%9C%E6%B8%AC%E5%AE%9A-%E6%B4%BB%E7%94%A8%E4%BA%8B%E4%BE%8B/ba-p/12384

http://web-tan.forum.impressrd.jp/e/2016/02/23/22150

変わるKPI

施策の有り無しのABテストにより、KPIは「現在の値」から「増分(リフト)」へ

ABテストにより進歩するマーケティング ABテストの結果を活用することで、パーソナライゼーションや、マーケティングオートメーションが可能に

機械学習への活用にも繋がってくる

機械学習を導入したいのであれば、まずABテストから 機械学習の一足飛びの導入は困難

機械学習が入った際に改善できる業務フローを作る

目次

データ分析グループの組織編制とその課題 データ分析グループの仕事の範囲 データ分析グループの組成失敗例 データ分析グループを正しく運用するには

マーケティングにおけるKPI設計の失敗 デジタルマーケティングにおけるKPI偏重の問題 ABテストによるリフト計測

ABテストから機械学習へのシームレスな移行 ABテストの向こう側へ、マーケティングオートメーション マーケティングオートメーションの悲哀 機械学習の投入と、その限界 アップリフトモデリング

ABテスト

ただのクリエイティブのABテスト

A:B=60CV:50CV

クリエイティブAを選ぶと、60CVが取れる

クリエイティブA クリエイティブB

60CV 50CV

クロス集計・パーソナライゼーション

ABテストの結果をセグメント情報とクロス集計 男性に画像A：男性に画像B=40CV:20CV

女性に画像B：女性に画像B=20CV:30CV

ターゲティング配信を実施すれば、ABテストより結果が向上 男性にA、女性にBを見せれば、合計70CV

この一連のプロセスがMA（マーケティングオートメーション）の流れ

セグメント クリエイティブA クリエイティブB

男性 40CV 20CV

女性 20CV 30CV

全体 60CV 50CV

マーケティングオートメーションの悲哀

セグメントを増やしてパソナライゼーションを進めると成果がどんどん上がっていく

軸となる変数を増やすと組み合わせ爆発が発生する 2変数で4セグメント、3変数で8セグメント、10変数で1024セグメント

サンプル数が少なくなり統計的優位性が確認できなくなる

CV改善幅が少しずつ小さくなっていき、管理コストが増大していく これによりMA運用の現場は疲弊している

機械学習による自動化が求められている

セグメント 画像A 画像B

男性 40CV 20CV

女性 20CV 30CV

全体 60CV 50CV

セグメント 画像A 画像B

男性-30歳未満 30CV 5CV

男性-30歳以上 10CV 15CV

女性-30歳未満 10CV 25CV

女性-30歳以上 10CV 5CV

全体 60CV 50CV合計70CV合計80CV

機械学習の投入

クリエイティブのABテストから、学習データを生成

説明変数：年齢、性別、職業、配偶者…、クリエイティブ

目的変数：CVしたか否か

機械学習を行い、ユーザがどちらのクリエイティブより反応しそうかを予測

予測されたCVRが最も高いクリエイティブを表示する

アドテクなどではロジスティック回帰などを利用して、このような問題を解いている

画像Aだと予測CVRは3%

画像Bだと予測CVRは5%

画像Bを出しとこ

30代男性、未婚、サイト訪問回数は4回、未購入….

機械学習によるターゲティング

クリエイティブA クリエイティブB

予測値

このユーザは画像Aだと予測CVRは3%

画像Bだと予測CVRは5%

画像Bを出しとこ

単純な機械学習の限界

クリエイティブA クリエイティブB

予測値 え？

予測値＝真の値＋予測誤差

単純な機械学習の限界

MAを機械学習で置き換えるのは有効 大量の変数による手動のセグメンテーションを、機械学習に代替

従来人間がやっていたことを、そのまま自動化させられる

複数の機械学習の予測値から良いものを選ぶのは実は危険 予測値A＝真の値A＋誤差A

予測値B＝真の値B＋誤差B

サンプル数が少ないと誤差項が大きくなる

真の値AとBの差が小さいと、意思決定が誤差項に引きずられる

アドテクでは何故うまくいくのか？ 広告の表示回数が多く、誤差Aと誤差Bが小さい値になる

男性にはスポーツ用品、女性には化粧品といった形で、真の値が大きく異なる広告が存在する

広告なので、多少は興味を外した人に出しても許される

アップリフトモデリングへ

単純な予測から、差を予測するモデルへ

クリエイティブA クリエイティブB

予測値 このユーザは画像Aと画像Bでは、画像Bのほうが良く反応しそうだゾ

アップリフトモデリングとは？

疫学から生まれた統計手法 対照実験と機械学習を組み合わせた手法 その後、ダイレクトメールや、クーポン配布などに発展

差を学習するために教師データが特殊 説明変数：患者の年齢、性別、症状、住環境… 介入行動：薬を投与するか否か 目的変数：患者の生存

何が分かるのか？ ある薬がどのような患者に効くのか この患者には薬を投与するべきか否か

詳しい説明は「ヤバい予測学」の316pからを参照

クーポン配布への応用

クーポンの問題

買う気マンマンの人にクーポンを配布すると損失

買う気の全くない人にクーポンを配布するとブランド毀損

クーポン配布への応用

クーポンを貰ったら購買に転じるユーザか否かを予測したい アップリフトモデリングの教師データ 説明変数：ユーザの年齢、性別、訪問回数、見ているページ、etc…

介入変数：クーポンを渡すかどうか

目的変数：CVしたかどうか

ユーザを四象限に分類、赤枠のセグメントに送らないことが重要

ZenClerkは、アップリフトモデリングに

より、できるだけクーポンを配布しないサービス

まとめ

デジタルマーケティングは魑魅魍魎 KPIによる単純化により、本質を見失っていることが多い

ABテストにより「増分」を計測する必要がある

ABテストからアップリフトモデリングまでの流れ ABテストにより、よりよいクリエイティブを選択

クロス集計を行い、セグメントごとの反応率を調べる

セグメントごとに別のクリエイティブを出し、反応率を高める

マーケティングオートメーションによりセグメントを増やし、より反応率を高める

機械学習を導入し、MAのオペレーションコストを削減する

アップリフトモデリングを導入し、より精度を高める