6 月 18 日 Next - Google Cloud Platform で ビッグデータ

Google Cloud Platform でビッグデータインフラストラクチャーではなく、

インサイトに焦点を当てる

管理

モバイル

開発者ツールコンピュート

ネットワーク

ビッグデータ

サービス

ストレージ

Source: IDC, 2014

生み出されるデータが

10倍に増加

（2013年には4.4ZBだったが、

2020年には44ZB に）

320億のIoTデバイス

（2020年までにインターネッ

トに接続される）

データの40％が2020年までにクラウドに

ビッグデータ: 見逃せないオポチュニティ

さらに多くのデータや新たなデータソースに

常に対処

あらゆるビジネス機能のあらゆるデータを

キャプチャ・保存

一貫して使いやすいビッグデータ システムの

構築・維持の複雑さ

データ収集から行動までの時間を削減

既存のデータにおける価値を容易に見出す

1

2

3

4

ビッグデータでイノベーションや

イテレーションを実行するためのハードル

5

システムの信頼性を維持し、

持続的に稼働させる

データを安全に保つ

組織内、組織間のコラボレーション7

8

9

6

今までのビッグデータ＝頭の痛い課題

2002 2004 2006 2008 2010 2012

Dremel ColossusMapReduce

GFS BigTable Spanner

2014

Dataflow

ビッグデータの問題に取り組んだ十数年

BigQuery

プログラミング

リソースプロビジョニング

性能チューニング

モニタリング

信頼性デプロイメント＆構成

規模の高まりに対処

利用の向上

典型的なビッグデータ処理

インフラストラクチャーではな

く、インサイトに焦点を当てる

プログラミング

Googleを使ったビッグデータ処理

インサイトを得るまでの時間を短縮

Google confidential │ Do not distribute

概要:処理するデータ : Consolidated Audit Trail (CAT)のデータ . 全普通株、オプション注文、見積もり、イベントのデータレポジトリ

課題:どうCATを処理し、1000億の市場イベントを 4時間以内に “オーダー ライフサイクル ”へと整理するか

6年分（～30PB)のデータを保存

Cloud Bigtable でクエリを処理・実行し、データ量の増加に対応

60億の市場イベントを

1時間ごとに書き込み

1.7 GB毎秒

毎時

6 TB

100億書き込み

毎時　バースト

1.7 ギガバイト　　　毎秒

10 テラバイト毎時

Google confidential │ Do not distribute

Overview:Data to process: standard game KPIs, marketing data, custom game insight

Several dozen gigabytes of raw logs per day

Challenges:Struggled to process large volume of data

Long delays between triggering logs and querying data; problematic for games running live events

Issues controlling permissions

Long-running queries, clunky analysis

概要:処理するデータ: 標準的なゲームKPI、マーケティングデータ、 カスタムゲームのインサイト

1日に数十ギガバイトの生ログ

課題:大量のデータの処理に苦労していた

ログのトリガーからデータのクエリまでに長い遅延が生じ、ライブイベントを行っているゲームにとって厄介な問題となっていた

パーミッション制御に関する問題

実行時間のかかるクエリ、ぎこちない解析

“BigQuery のおかげで、実際にデータを使うことに集中できるようになり、データの入手に体力を消耗することがなくなりました”

処理

150ギガのデータを

15秒で

即時の

ログのインジェスチョン

スケールシステムの動作を

妨げない

パーミッション

制御に対する

柔軟性

ビッグデータの全ライフサイクルを管理

保存 解析処理キャプチャ

ビッグデータの全ライフサイクルを管理

Cloud Logs

Google App Engine

Google Analytics Premium

Cloud Pub/Sub

キャプチャ 保存 解析

バッチ

Cloud DataStore

処理

ストリーム

Cloud Monitoring

Cloud Bigtable

リアルタイム アナリティクスおよびアラート

Cloud Dataflow

デモ

ビッグデータを実際に体験！

Manage the Entire Lifecycle of Big Data

Cloud Logs

Google App Engine

Google Analytics Premium

Cloud Pub/Sub

BigQuery (テーブル)

Cloud Bigtable(NoSQL)

Cloud Storage(ファイル)

Cloud Dataflow

BigQuery Analytics(SQL)

キャプチャ 保存 解析

バッチ

Cloud DataStore

処理

ストリーム

Cloud Monitoring

Cloud Bigtable

リアルタイム アナリティクスおよびアラート

Cloud Dataflow

ビッグデータ の パートナーエコシステム

Chartio

結論

1. 他のビッグデータ クラウドサービスと異なり、Googleは業界唯一の

　フルマネージド（運用レス）のビッグデータ プラットフォームを提供

2. インフラストラクチャーは私たちに任せて、それぞれの事業に集中: 誰でも小規

模でスタートし、安心して規模を拡大していきたいと考えていること理解した上

で、Googleはビッグデータ サービスを設計

3. クラウドでビッグデータ: DIY よりも低TCO

cloud.google.com