Upload
google-cloud-platform-japan
View
188
Download
1
Embed Size (px)
Citation preview
Google Cloud Platform でビッグデータインフラストラクチャーではなく、
インサイトに焦点を当てる
管理
モバイル
開発者ツールコンピュート
ネットワーク
ビッグデータ
サービス
ストレージ
Source: IDC, 2014
生み出されるデータが
10倍に増加
(2013年には4.4ZBだったが、
2020年には44ZB に)
320億のIoTデバイス
(2020年までにインターネッ
トに接続される)
データの40%が2020年までにクラウドに
ビッグデータ: 見逃せないオポチュニティ
さらに多くのデータや新たなデータソースに
常に対処
あらゆるビジネス機能のあらゆるデータを
キャプチャ・保存
一貫して使いやすいビッグデータ システムの
構築・維持の複雑さ
データ収集から行動までの時間を削減
既存のデータにおける価値を容易に見出す
1
2
3
4
ビッグデータでイノベーションや
イテレーションを実行するためのハードル
5
システムの信頼性を維持し、
持続的に稼働させる
データを安全に保つ
組織内、組織間のコラボレーション7
8
9
6
今までのビッグデータ=頭の痛い課題
2002 2004 2006 2008 2010 2012
Dremel ColossusMapReduce
GFS BigTable Spanner
2014
Dataflow
ビッグデータの問題に取り組んだ十数年
BigQuery
プログラミング
リソースプロビジョニング
性能チューニング
モニタリング
信頼性デプロイメント&構成
規模の高まりに対処
利用の向上
典型的なビッグデータ処理
インフラストラクチャーではな
く、インサイトに焦点を当てる
プログラミング
Googleを使ったビッグデータ処理
インサイトを得るまでの時間を短縮
Google confidential │ Do not distribute
概要:処理するデータ : Consolidated Audit Trail (CAT)のデータ . 全普通株、オプション注文、見積もり、イベントのデータレポジトリ
課題:どうCATを処理し、1000億の市場イベントを 4時間以内に “オーダー ライフサイクル ”へと整理するか
6年分(~30PB)のデータを保存
Cloud Bigtable でクエリを処理・実行し、データ量の増加に対応
60億の市場イベントを
1時間ごとに書き込み
1.7 GB毎秒
毎時
6 TB
100億書き込み
毎時 バースト
1.7 ギガバイト 毎秒
10 テラバイト毎時
Google confidential │ Do not distribute
Overview:Data to process: standard game KPIs, marketing data, custom game insight
Several dozen gigabytes of raw logs per day
Challenges:Struggled to process large volume of data
Long delays between triggering logs and querying data; problematic for games running live events
Issues controlling permissions
Long-running queries, clunky analysis
概要:処理するデータ: 標準的なゲームKPI、マーケティングデータ、 カスタムゲームのインサイト
1日に数十ギガバイトの生ログ
課題:大量のデータの処理に苦労していた
ログのトリガーからデータのクエリまでに長い遅延が生じ、ライブイベントを行っているゲームにとって厄介な問題となっていた
パーミッション制御に関する問題
実行時間のかかるクエリ、ぎこちない解析
“BigQuery のおかげで、実際にデータを使うことに集中できるようになり、データの入手に体力を消耗することがなくなりました”
処理
150ギガのデータを
15秒で
即時の
ログのインジェスチョン
スケールシステムの動作を
妨げない
パーミッション
制御に対する
柔軟性
ビッグデータの全ライフサイクルを管理
保存 解析処理キャプチャ
ビッグデータの全ライフサイクルを管理
Cloud Logs
Google App Engine
Google Analytics Premium
Cloud Pub/Sub
キャプチャ 保存 解析
バッチ
Cloud DataStore
処理
ストリーム
Cloud Monitoring
Cloud Bigtable
リアルタイム アナリティクスおよびアラート
Cloud Dataflow
デモ
ビッグデータを実際に体験!
Manage the Entire Lifecycle of Big Data
Cloud Logs
Google App Engine
Google Analytics Premium
Cloud Pub/Sub
BigQuery (テーブル)
Cloud Bigtable(NoSQL)
Cloud Storage(ファイル)
Cloud Dataflow
BigQuery Analytics(SQL)
キャプチャ 保存 解析
バッチ
Cloud DataStore
処理
ストリーム
Cloud Monitoring
Cloud Bigtable
リアルタイム アナリティクスおよびアラート
Cloud Dataflow
ビッグデータ の パートナーエコシステム
Chartio
結論
1. 他のビッグデータ クラウドサービスと異なり、Googleは業界唯一の
フルマネージド(運用レス)のビッグデータ プラットフォームを提供
2. インフラストラクチャーは私たちに任せて、それぞれの事業に集中: 誰でも小規
模でスタートし、安心して規模を拡大していきたいと考えていること理解した上
で、Googleはビッグデータ サービスを設計
3. クラウドでビッグデータ: DIY よりも低TCO