インパクトのあるデータ分析をするための鬼１０則

自己紹介普川泰如（ふかわたいすけ）オイシックスの中の人です。元々はWebエンジニア今マネージャデータ分析好きでチームを作った

オイシックスでエンジニアが機械学習とデータ分析を本格的に始めて１年たちました。

他社の専門家に依頼したり社内で、開発・分析・サービス展開を色々失敗を積み重ねた結果振り返ってみて、わかったことを披露します。

他の人がテクニカルなものがおおいので、どちらかというと考え方についての発表です

第１則チェーホフの銃バイアスに気をつけろ

チェーホフの銃“物語に拳銃がでてきたら、それは発射されなければならない”

覚えたてのアルゴリズムは使いたくなってしまう

某 O社の例>pip install scikit-learn

「レコメンドをしよう」「ロジスティック回帰で顧客の属性予測してレコメンドだ！」

✖️本当にそれが解くべきイシューなのか✖️本当にそのアルゴリズムを使うべきか

第２則インパクトの大きいイシューを設定しろ！

「どんな商品をレコメンドすべきか」

問題です：　以下のイシューを修正してより、インパクトのあるイシューにしてください

「受注率をあげるためにどんな商品をレコメンドすべきか」

正解例：

・そのサービスのより本質的なイシュー・分析の方向性がよりクリアーになる

イシューの設定の仕方：

Oisixで見ている LTV（顧客生涯利益）週１回の定期購入モデル・注文単価・受注率（リピート率）・解約率

ただのレコメンド　→しいて言えば購入単価

受注率をあげるためのレコメンド　→長期的な LTVが上昇

本質的なイシューか？

・受注率あげるにはどういう人達にレコメンドすると良いんだっけ→ヘビーユーザよりミドルユーザ

分析の方向性をクリアにする

・受注率をあげるにはどういうものをレコメンドするんだっけ→サービスのメカニズムを深掘る

お客さまが注文しようと判断する思考→今週は送料が無料になるくらい買うものがあるか？

購入判断を時間軸別に考えてそれぞれのレコメンドを考える

①もともと買う予定のもの②売り場で買うと決めもの

③ついでに買うと決めたもの

・受注に関係あるのは①と②じゃないのか？・①が１０００円以上あると売り場に来やすくなるぞ・①＋②で１０分以内に２５００円にならないとだめ

第３則一発で完璧な答えがでる分析など（おそらく）ない

・分析を繰り返すことを前提にスケジュールとリソース調整をしておく

いろいろデータ整備した結果あれもわかりそう、これもわかりそう。「よしじゃあ、 3人いるから３つずつ進めよう。」→１サイクルまわした時点で、また新たな分析したい内容がでてくる。「じゃあ、１人そっちの分析にまわって」→せっかく途中まで分析したこれはどうなるんでしたっけ？

第４則精度は必要十分で！

某 O社の例「レビューのネガポジ判定の精度が８０％以上あがりません！」「よし、係り受け分析だ。」「 NGワードの設定を自動化して」「教師データを増やして、、」

・とりあえず、精度ある程度のところまでいったら、あとは手動で選別もあるよ。

まとめ①覚えたてのアルゴリズムは寝かせてから使う②イシュー大事③一発ですごい結果はでない④精度は必要十分で⑤プレ調査を行っていけるいけないを見極める⑥フィードバックのとり方も最初に設計⑦普段からのデータ整備大事⑧わからないときはローデータも見る⑨分析結果を生かす社内の体制づくり⑩運用フェーズまで考慮しよう！