【14-B-2】グリーを支えるデータ分析基盤の過去と現在（橋本泰一〔グリー〕）

Copyright © GREE, Inc. All Rights Reserved.

Developers Summit 2014

グリーを支えるデータ分析基盤の過去と現在

2014/02/14

グリー株式会社Web Game 事業統括本部

橋本泰一


• 1997年東京工業大学情報工学科卒業

• 2002年東京工業大学大学院情報理工学系研究科修了博士（工学）

• 2002年東工大助手 & 特任准教授

• 2012年グリー株式会社

• 自然言語処理、情報検索、〇〇マイニング、機械学習…• GREE PlatformおよびWebベースのソーシャルゲームの

データ分析基盤を担当

自己紹介：橋本泰一（はしもとたいいち）Self-introduction


過去の話…


過去の話2011年

ディレクタエンジニア


過去の話2012年


Analytics DB(SQL Server)


• データほしい人が増えてきた…• 理由：サービスが増えた、人が増えた、…

• データ提供が正直しんどくなってきた…

過去の話だんだんと困ってきたこと…


今の話…


Any questions?

• Accessability• だれでも自由に

• Scalability• どれだけ貯めこんでも

GREE Platformのデータ分析基盤

コンセプト


•ゲーム• Treasure Data ベース

• ゲームへのアクセスログ

• GREE Platform• Hadoop ベース

• ゲームからAPIへのログ

• ユーザ情報

グリーのデータ分析基盤


● Hadoopクラスタの構築が不要ですぐに利用可能

● ログのコレクトからストアまでワンストップで提供

● fluentd のプラグインで実現

● スキーマレスで自由度の高いログフォーマット

● time int, v map<string, string>

● データ・ウェアハウスの運用コストの低減

● BIツールとの容易なインテグレーション

ゲームのデータ分析基盤

Treasure Data


ゲームのデータ分析基盤基本的な構成

Log Aggregator Server 2台

Web Server Treasure Data

あるゲームサービス


● 約20ゲームタイトル

● Web サーバー x 2000台以上

● log aggregator サーバー 40台以上

● 送信データ量 1TB/月


データについて


ゲームのデータ分析基盤ダッシュボード


• ログデータをゲーム改善のアクションにつなげる• アクセス遷移分析

• Webサイト分析では一般的な手法を、ソーシャルゲームに導入

• ジョブ管理をしっかりする• ジョブ管理ツール

ゲームのデータ分析基盤データを使って何をやるかが大事


• ページ遷移

• 起点のページから何割のユーザーが目的のページに到達したか?

• 離脱

• 離脱率の高いステップはどこか？

• クリック

• ページ内のどのリンクがクリックされているか？


アクセス遷移分析


ゲームのデータ分析基盤ページ遷移分析

TOPページからアイテムをクリッ

ク

アイテムを選ぶ

庭に種を植える

完了



TOPページから次のページへ遷移したユーザーの割合を表示

アイテム一覧に遷移したユーザーは全体の○○%



TOPページからアイテム一覧でイベントアイテムを選んで、庭に種を植えたユーザーは、全

体の○○%


• ゲームをプレイしてくれたけど、すぐにやめてしまったユーザーの行動？

• 新規ユーザー

• チュートリアル？

• 休眠復帰（n日以上間あけて遊びにきてれた）ユーザー

• カムバックボーナス？

• どういう遷移の後、最後にどのページで離脱してしまうのか？

離脱分析


• ページ遷移 + ユーザセグメント → 離脱原因をさぐる


離脱分析

プレイをやめてしまうまでの経路と割合を分析

プレイ時間も参考に



クリック分析

● データソースは、アクセス遷移分析結果● Chrome Extension を利用して、実際の画面にオー

バーレイ表示

● UI・UXの改善に

<a href=”.....”> <span class=”....”> 10.01% </span></a>


ゲームのデータ分析基盤クリック分析

● クリックのログをJavaScript でサーバーへ送信

● お知らせやランキングの効果などで活用


• データを社内に開放

• 非効率なジョブが大量に投げ込まれる


ジョブ管理ツール


• ジョブのモニタリングと管理が重要• Treasure Data の API を使ってモニタリング

• ジョブを可視化

• ジョブの送信元の特定

• スロークエリの可視化と特定

• 強制KILL

ゲームのデータ分析基盤リソースは限られているのです


• 時系列に実行中とキューイングされているjobを集計

ゲームのデータ分析基盤ジョブの可視化


• クエリ実行の際に送信者を自動付与

ゲームのデータ分析基盤ジョブの送信元を特定

-- analysis biSELECT TO_DATE( FROM_UNIXTIME(time) ) AS day, COUNT(DISTINCT uid) AS dauFROM accessGROUP BY TO_DATE( FROM_UNIXTIME(time) )


• 閾値以上時間のかかっているジョブの統計と一覧を表示

ゲームのデータ分析基盤スロークエリの可視化と特定


• Treasure Data を使ってます

• ログデータをゲーム改善のアクションにつなげる• アクセス遷移分析

• Webサイト分析では一般的な手法を、ソーシャルゲームに導入

• ジョブ管理をしっかりする• ジョブ管理ツール


まとめ


•ゲーム• Treasure Data ベース

• ゲームへのアクセスログ

• GREE Platform• Hadoop ベース

• ゲームからAPIへのログ

• ユーザ情報

グリーのデータ分析基盤


GREE Platformのデータ分析基盤概要

MySQL

HBase

db-express

Storage Solaris(log archives)

Webサーバ

MR

HiveWeb

HDFS

Presto

Azkaban

MacaronHDFS

zookeeper

Analysis Data Hub

サービス

速報用Storage



• JDK7 + CDH4 + Apache Hive (v0.12+α)• HiveServer2

• 追加パッチ• Kryo serialization (Hive 1511, etc.)• …

• 独自拡張 • 社内認証システムとの連携

• auto-load extra UDFs

GREE Platformのデータ分析基盤主な構成


Any questions?

• 5000ジョブ/ 日

• 60TB• 圧縮, レプリカを除く

• 100ユーザ

• ほとんどが非エンジニア

GREE Platformのデータ分析基盤利用状況



MySQL

HBase

db-express


Webサーバ

MR

HiveWeb

HDFS

Presto

Azkaban

MacaronHDFS

zookeeper

Analysis Data Hub

サービス

速報用Storage



• 直接アクセス

• SQuirreLSQL• JDBC, ODBC 接続できるものなら

• グラフ化

• Macaron• 自社製

• その他• Shell, Python, R, PHP, …• thanks to Thrift


データへのアクセス方法



SQuirrelSQL


Any questions?

• データのグラフ化

• RDB/Hiveに対応

• キャッシュ機能

• 出力:画像、HTML


Macaron

画像内のデータはサンプルです


Any questions?

• HQL の中に Ruby のコードを埋め込む• HQL（SQL）で書きにくいクエリを処理できる

• https://github.com/gree/hive-ruby-scripting


Ruby Scripting in Hive Query Language

HQLの中でRubyの関数を定義

定義した関数を実行

https://github.com/gree/hive-ruby-scripting

https://github.com/gree/hive-ruby-scripting



MySQL

HBase

db-express


Webサーバ

MR

HiveWeb

HDFS

Presto

Azkaban

MacaronHDFS

zookeeper

Analysis Data Hub

サービス

速報用Storage



Any questions?

GREE Platformのデータ分析基盤データのインポート

• ログデータのインポート

• ハイブリッド: bulk copy + streaming log events• Fluentd & WebHDFS（まだ不安定）

• MySQLからのインポート: db-express• Sqoopのラッパー

• Cooperation w/ in-house DSN catalog• Parallel import Sharded DataBases / Tables

• 手動インポート

• ブラウザからアップロード


• GREE Platform のデータ分析基盤は、Hadoopをベースにして自作

• CDH4 + Hive + α

• Macaron• Ruby Scripting in Hive Query Language• db-expess


まとめ


近い未来の話


近い未来の話

Speedyより速く

Intelligentlyより高度に

コンセプト


Any questions?

• Presto と Spark（YARN）に注目

近い未来の話必要な機能

機能選択肢

ダッシュボード・BI Macaron, Metric Insights, Tableau, …

データカタログ Hive (HCatalog), …

ジョブ管理・ワークフロー Azkaban, Oozie, …

クエリ言語（エンジン） Hive, Pig, Cascading, Spark, FlumeJava, …

分散処理

MR, MPP ( Vertica, RedShift, … )

Impala, Presto, …

分散ファイルシステム HDFS, S3, MapR FS, Tachyon, CFS …


Any questions?

• リソース管理をやりやすく

近い未来の話

YARN


• OSSな分散SQLエンジン: http://prestodb.io/• Facebookが開発

• Hiveよりも速い

近い未来の話

Presto

http://prestodb.io/


Any questions?

• データ処理フレームワーク• 開発: AMPLab in UC Berkeley• 速いのが特徴

• 機械学習での利用に最適

近い未来の話

Spark


• Accessability、Scalability• ゲーム：Treasure Data• プラットフォーム：Hadoop

• Speedy、Intelligently• クエリの高速化

• 機械学習を利用したデータの活用

まとめ


Technology

【14-B-2】グリーを支えるデータ分析基盤の過去と現在（橋本泰一〔グリー〕）