Google Cloud Platform 概要

Google Cloud Platform 概要

Google Cloud Platform 2

世界中の情報を整理し、世界中の人々がアクセスできて使えるようにする

Google のミッション

2

“

Googleは過去15年間にわたり、地球上で最も高速でパワフルそして高品質なクラウドインフラストラクチャを構築してきました

世界を駆け巡るGoogle バックボーンネットワーク

Building what’s next 8

33カ国 70箇所のエッジロケーション

クラウドプロバイダーの中で最大

Google-Grade Networking

2012 2015

MapReduce

Spanner

2003 2006 2010 2011

GFS

Borg

Colossus

Dremel

Bigtable

Chubby

2004

http://research.google.com/archive/mapreduce.html

http://research.google.com/archive/mapreduce.html

http://research.google.com/archive/spanner.html

http://research.google.com/archive/spanner.html

http://research.google.com/archive/gfs.html

http://research.google.com/archive/gfs.html

http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/en//university/relations/facultysummit2010/storage_architecture_and_challenges.pdf

http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/en//university/relations/facultysummit2010/storage_architecture_and_challenges.pdf

http://research.google.com/pubs/pub37217.html

http://research.google.com/pubs/pub37217.html

http://research.google.com/archive/bigtable.html

http://research.google.com/archive/bigtable.html


?

クラウドの進化

コロケーション

自分達の物理サーバを他人のデータセンターで

自分で運用

1st Wave

Virtualized Data Centers

Standard virtual kit, for rent. Still yours to manage.


2nd Wave




自分で運用

1st Wave仮想データセンター

2nd Wave

標準的な仮想リソースを借りることができる

自分で管理

Virtualized Data Centers

Automated ServicesScalable Data

3rd Wave

Invest your energy building great apps

Standard virtual kit, for rent. Still yours to manage.


2nd Wave




自分で運用

1st Wave仮想データセンター

2nd Wave

標準的な仮想リソースを借りることができる

自分で管理

自動化されたサービススケーラブルデータ

3rd Wave

より良いアプリケーションを作るためにフォーカス


Source: google.com/green

Googleのデータセンターが消費するエネルギーは通常のデータセンターの半分

Green is Good

環境に優しいクラウドの方が良い

Green is Good

Google が使うエネルギーの35%は再生可能エネルギー

Source: google.com/green


基盤およびオペレーション

データサービス

アプリケーションサービス実行環境


Complete Range of Compute

IaaSにするかPaaSにするか

ハイパーバイザー

ゲスト環境

app コード

app 実行環境

ゲストOS

ライブラリ

Googleが管理Googleが管理

ユーザ管理

ユーザ管理

HW

Compute Engine

IaaSInfrastructure-as-a-Service

Compute EngineApp Engine

PaaSPlatform-as-a-Service


Google App Engine

インフラストラクチャではなくコード

好きな言語で開発

クリックするだけでデプロイ

自動的にスケールアウト

セキュリティスキャナにより脆弱性を発見


Data Services

Foundation - Infrastructure & Operations

Application Runtime Services


Google Compute Engine

Googleインフラの上に構築された仮想マシン

柔軟なプラットフォームの構築

Best Of Bleed

GCE プリエンプティブルVMを使うと通常のVM価格の30%で利用可能

ライブマイグレーション

Data Services





Google Container Engine

コンテナによる革命が起こりつつある

開発者にとって :開発環境、テスト環境の構築が容易

マイクロサービスを構築するのが容易

1コマンドで容易にクラスタをアップデート可能

運用管理者にとって :Kubernetes が管理してくれる

アプリケーションのデプロイが容易

ポータビリティ

Data Services




Compute EngineGoogle Cloud Platform

高速なインスタンス起動低コスト

● VMあたり20秒から40秒程度で起動

● クラスタサイズを増や

しても変わらない

ブートしてSSH可能になるまでの時間

クラスタサイズ

VMあたりの起動時間

（秒

）

最低10 分より1分単位で課金

使った分だけの課金

• 使えば使うほど、単価が安くなる

• 自動的に適用される

• 事前に支払う必要なし

• ロックインされることもない

• 複雑な計画も必要ない

使いつづけると自動的に割引が適用

ムーアの法則に則り継続的に値下げを実施

プリエンプティブルVM

• データセンターの予備リソースを利

用するため、通常のVM費用の70%

オフで利用可能

• 起動後24時間で停止

• システムイベントにより停止する可能性が

ある

• ライブマイグレーション未対応

• 短期間のバッチジョブに最適

• 価格は固定VMインスタンスを作成するときに、フラグを付けることでプリエンプティブルVMになる

価格の優位性

● ロードバランサーは

“google.com”と同じインフ

ラを使用

● 準備時間の必要なく100万 QPSのリクエストに対応可

能

100万 QPS トータルコスト10 USD

4秒で起動

120秒以内に安定

source: Google

高性能なロードバランサー

● 1 IP アドレス

● リクエスト元のロケーション

に応じて一番近いデータセ

ンターに振り分け

● 障害検知が早い

source: Google

グローバルロードバランサー

Google

Cloud Platform

region 2 region 3region 1

VMs VMs VMs

:::::::::::::::::::::::::::::::::::::::::::::::HTTP LB

DNS :)One global IP: 11.22.33.44

source: Google

透過的なメンテナンス


Google におけるコンテナ

Googleではすべてがコンテナで動いている

ランタイムとアプリケーションを疎結合にする

週に20億コンテナを起動している

コンテナベースのコンピューティング

Google Innovation

オープンソースのコンテナオーケストレーション

独立した機関により管理され、業界の多くの会社がサポート

マルチクラウド、オンプレミス仮想環境、ベアメタルをサポート

Google 社内の経験を元に作成される

Kubernetesのフルマネージドサービス

1クリックでクラスタの作成が可能

Kubernetes

Container Engine

150万devices activated/day

60億hours

watched/month200億

pages crawled/day9億

active users


Big Data


自動的にスケール

セットアップや管理作業が不要

秒間 100,000 行の投入が可能

3rd パーティソフトウェアと容易に統合

Google BigQuery大規模データセットに対して高速なクエリー

Data Services





90秒以内でクラスタの構築が可能

Spark/Hadoop ジョブを容易に管理

通常のマシン利用量に加えてたったの1セント

/vCPU

Google Cloud Platform の他の製品と統合

Google Cloud Dataproc高速、パワフルなSpark/Hadoop クラスタを簡単に構築

Data Services





バッチ処理とストリーム処理の統合

データ処理パイプライン

モニタリング機能

大幅にコスト削減

Google Cloud Dataflow複雑なデータ分析をシンプルに

Data Services




BigQueryGoogle Cloud Platform

Google Cloud Platform

BigQuery とは

● 億件レベルの大規模データセットに対する高速クエ

リー

● 分析用のデータウェアハウス

○ NO INSERT/DELETE/UPDATE

● セットアップ、パフォーマンスチューニングやクラスタ

拡張といったインフラ作業不要

● ストレージ容量無制限。自動スケールアウト

● 低コスト


BigQuery とは

● BIツールを使って非技術者でも操作可能

○ Tableau, QlickView, Google Spreadsheet / Microsoft Excel

● ETL

○ クエリー結果をテーブルに出力可能

○ JSON関数/正規表現関数

● データ処理エンジンとの連携

○ Hadoop, Cloud Dataflow


BigQuery 参考構成

BigQuery

ログ収集/分析基盤

Cloud Logging

App EngineAnalytics Server

Google Analytics

Compute Engine

On-premise / 他社クラウドGoogle

Spreadsheet

Stream API

File

41

Google confidential | Do not distribute

BigQuery UI

Google confidential | Do not distribute

BigQuery UIBigQuery UIBigQuery UI

17億件（72.7GB）のフルスキャンが6.7秒！

早さの秘訣: カラム指向ストレージ

早さの秘訣 : 多段の処理ツリー

顧客

Aiming : ゲーム基盤/ログ分析

“既存のゲームのインフラを Google Compute Engine へ移行して低コストに運用したり、人気ゲームのログデータを BigQuery で解析したり。特にログ解析は、BigQuery で集計をリアルタイムに行えるようになり、さらにコストは 1/5 になりました。”

Fairy Devices : 音声認識サービス

“ 最大の理由はコストです。今までのクラウドサービスで一番困るのはリザーブドインスタンスという仕組みが使いにくいこと”

“ 万一の手当のために無駄なマシンを確保しておく必要がないので、ランニングコストを最低限に保つことができる”

アドイノベーション: 広告効果測定ツール

“ 「多言語対応のスマートフォン広告効果測定ツールを Google Cloud Platform 上で開発。お客様のトラフィックの急増にもまったく問題なく対応でき、お客様自身がリアルタイムで情報へアクセスでき、その上、従来の 1/4 のメンバーで開発できました。”

ブロードリーフ: 自動車部品管理

“Google BigQuery で 100 万規模のデータを統合、最短数秒で結果を返すシステムを構築しました。いままでの技術、やり方だとできなかったようなことを、Google Cloud Platform を使って可能にしていくというのはエンジニアとしても興味深いチャレンジです。”

Thank You


Technology

Google Cloud Platform 概要