AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。 …roadshow.awseventsjapan.com/doc/crs-sapporo-aws-03.pdf · データベースを数分で作成可能障害の自動検知と自動フェールオーバー

AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。

使ってみよう！データベースとストレージ

Getting Started withAWS Database and Storage Services

アマゾンウェブサービスジャパン株式会社

技術本部ソリューションアーキテクト

柴田竜典


自己紹介柴田竜典（しばたたつのり / シバタツ）

◦データベースソリューションアーキテクト

◦ データベース関係の相談ごと何でも担当

◦好きなAWSのサービス：RDS

◦ @rewse


クラウドサービスで生活を変えるAWSのデータベースサービスやストレージサービスを使うだけで変わる部分とは？


その前にAWSの基本的なお話


世界中に存在するAWSの拠点


リージョン／アベイラビリティゾーン

東京リージョン

Availability

Zone A

AvailabilityZone B

・リージョンとはクラウドの拠点が存在する地域・アベイラビリティゾーンとはリージョン内にある物理的に離れたデータセンター


データベースの管理


データベース運用どうしてますか？データベースの運用は大変◦ めったに止められない

◦何かあると広範囲のサービス影響しやすい

◦バックアップやらチューニングやら覚えることが多い

◦などなど……

DBAのみなさんは胃の痛い思いをしている


DBAの役割DBA (Database Administrator) の仕事◦ スキーマやクエリーのチューニング◦ DBの構造を理解した上での、適切な改善

◦ DBサーバー、クラスターの管理◦ 構築、キャパシティ、パフォーマンス、障害対応

現在、どちらに費やしている時間が多いでしょうか？


クラウドサービスで変わる事


完全マネージド型で、セットアップ、運用、拡張が容易なリレーショナル・データベースサービス

RDS

DynamoDB

完全マネージド型で、高速なパフォーマンス、シームレスな拡張性と信頼性のNoSQLサービス

Redshift

高速で管理も万全なペタバイト規模のデータウェアハウスサービス

ElastiCache

完全マネージド型で、セットアップ、運用、拡張が容易なキャッシュサービス

DMS

完全マネージド型で、異機種間のデータベース移行も可能なデータベース移行支援サービス


完全マネージド型で、セットアップ、運用、拡張が容易なリレーショナル・データベースサービス

RDS

DynamoDB

完全マネージド型で、高速なパフォーマンス、シームレスな拡張性と信頼性のNoSQLサービス

Redshift

高速で管理も万全なペタバイト規模のデータウェアハウスサービス

ElastiCache

完全マネージド型で、セットアップ、運用、拡張が容易なキャッシュサービス

DMS

完全マネージド型で、異機種間のデータベース移行も可能なデータベース移行支援サービス


Amazon RDS


データベース管理を簡単にデータベースを数分で作成可能

障害の自動検知と自動フェールオーバー

自動でパッチの適用

数クリックでスケールアウト可能

S3への継続的なバックアップ


Amazon AuroraAmazonがクラウド時代のRDBMSアーキテクチャを1から考え直して構築したDBエンジン◦ 1970年代の方法で実装はしない

◦ AWSサービスを活かすことができ、スケールアウトが簡単で、セルフヒーリングができるようなデータベースを作りたいと考えた

結果として、エンタープライズグレードの可用性とOSSレベルのコストを両立


数クリックで完了する構築

◦ DBエンジン

◦ インスタンスクラス

◦ ディスクの種類とサイズ

◦などを選ぶだけ

◦数分で起動しデータベースとして動き始める


耐障害性

フェイルオーバーなどの耐障害性を高めるための機能を

構築するのは手間がかかる

◦ クラスターウェアの謎の障害に苦しんだ経験は？

◦ データセンター障害に対応する必要性は感じるが、面倒で何もやっていないシステムは？


耐障害性：クラスターエンドポイント

一般的にデータセンターレベルの冗長化を実現するのは大変

高い技術力を持つDBAが行っていた設計をそのままサービス化

Aurora Writer Aurora Reader

クラスタエンドポイント

Write

Multi-AZ


耐障害性：フェイルオーバー発生時

フェイルオーバー発生時はAuroraノードの昇格が行われ、クラスターエンドポイントの指し先が変わる

Aurora Writer Aurora Writer

クラスタエンドポイント

Write

Multi-AZ


耐障害性：キャッシュレイヤーの分離

SQL

Transactions

Caching

SQL

Transactions

Caching

SQL

Transactions

Caching

キャッシュプロセスをDBプロセス外におくことでDBプロセスの再起動でも

キャッシュが残る


AuroraのストレージSSDを利用したシームレスにスケールするストレージ

標準でHighly availableを実現◦ 3AZに6つのデータのコピーを作成

SQL

Transactions

AZ 1 AZ 2 AZ 3

Caching

Amazon S3


Auroraのストレージ2つのディスクが利用不能でも読み書き可能

SQL

Transactions

AZ 1 AZ 2 AZ 3

Caching

Amazon S3


Auroraのストレージ3つのディスクが利用不能の場合は読み込みのみ可能

SQL

Transactions

AZ 1 AZ 2 AZ 3

Caching

Amazon S3


運用：メンテナンス（パッチ適用等）DBAがパッチ当てを行う場合、最新の注意を払って影響範囲の調査や適用方法の作業計画を立てて行う必要があった

AWS側でメンテナンスウインドウで指定した曜日・時間帯に自動実施

メンテナンス内容◦ セキュリティ、機能追加等に関わるソフトウェアパッチを自動適用

メンテナンスは数ヶ月に一度の頻度で発生(毎週必ずではない）


バックアップ：Streaming snapshotとPITRAmazon Auroraでは各セグメント毎にAmazon S3へ継続的に増分バックアップを取得

Amazon Auroraが使用しているディスクの仕組みによりパフォーマンスへ影響を与えない

Aurora Writer

常にストリーミングでバック

アップデータを送り続けている

Amazon S3

5分前まで戻れるバックアップが常に取られて

いる状態


ここでストレージサービス


Amazon Simple Storage Service (S3)容量無制限◦ 1ファイル最大5TBまで

高い堅牢性◦ 99.999999999%

安価なストレージ◦月額1GB / 約1〜4円※

スケーラブルで安定した性能◦ データ容量に依存しない性能

※ 2016.9.28時点


Amazon S3の構成

データセンタ A

データセンタ B

データセンタ C

東京リージョン

AWSリージョンを指定可能

3箇所以上で自動複製高い堅牢性を実現

ネットワーク越しにファイルを格納

データ

バケット


S3

Glacier

StorageGateway

EBS

安価かつ高い耐久性を持つオンラインストレージサービス

超安価かつ高い耐久性を持つアーカイブストレージサービス

オンプレミス環境と連携したバックアップ&大容量

ストレージサービス

仮想サーバ(Amazon EC2)にマウントできるディスク

サービス

EFS

複数の仮想サーバ(Amazon EC2)から同時マウントできる

共有ストレージサービス


AWSでデータベースを運用したくなってきましたか？


AWS Data Migration Service (DMS)異環境、異機種間データベースの移行は大変だった◦ レプリケーションインスタンスをセットアップすると、ソースDB/ターゲットDB間のデータ移動を実行

◦異なるRDBMS間のデータ移動をサポートしているので、商用RDBMSからAurora等への移行も実現

◦一括移行（フルロード）、継続同期（レプリケーション）など様々な移行方法

DMS

オンプレRDB

RDS

RDB on EC2

オンプレRDB

RDS

RDB on EC2

※オンプレ to オンプレは非サポート


データベースマイグレーション例オンプレデータベースからAmazon RDSへのマイグレーション

オンプレRDB

RDB on EC2

DMSインスタンス

Aurora for RDS

VPN/専用線経由でレプリケーションを張りクラウド

側へ継続同期


ビッグデータ移行

データウェアハウスなどの非常に大きなサイズのデータベースをオンプレから移行したい場合など、ペタバイトクラスのデータをどう移行すればいい？

インターネット経由のコピーでは数カ月、専用線接続でも数週間はかかることもある


E-ink 送り状

“8.5Gまでの耐衝撃性”を担保するパッケージ

エンドツーエンドのデータ暗号化50TB/ 80TB

10Gb ネットワーク

耐水&耐ダスト設計

タンパープルーフケース&回路

アプライアンスによるペタバイト規模のデータ転送ソリューションデータのImport/Exportに対応

AWS Import/Export Snowball


通常の手順

S3

Snowball 使用

初回バックアップ

差分バックアップ


データベースサービスの使い分け


データストアの特性による使い分け

Amazon DynamoDB

Amazon RDS

Amazon ElastiCache

Amazon Redshift

SQL

NoSQL• 低レンテンシ• インメモリ

• 3拠点間でのレプリケーション

• SSDに永続化

• トランザクション処理

• 汎用用途

• 集計・分析処理• 大容量データ• DWH


Amazon RDSRDBをマネージドで提供するサービス◦様々なデータベースエンジンが使用可◦高可用性◦ フェイルオーバー、バックアップ

◦ Aurora等の先進的な試み

ユースケース◦ 殆どのユースケースにマッチ◦ 課金系（トランザクション）


Amazon Redshiftクラウド上のマネージドDW

◦ 最大128ノードの並列処理

◦ 160GBから最大1.6PBまで拡張可能

◦ PostgreSQL互換のSQL

ユースケース

◦ ユーザー行動解析

◦ ログ分析

◦ 業務分析

大規模分散処理で分析SQLを高速実行


Amazon ElastiCacheインメモリキャッシュをマネージドで提供するサービス

◦ キャッシュクラスタを数クリックで起動

◦ 2種類のエンジン(Memcached, Redis)をサポート

ユースケース

◦ アプリケーションキャッシュ

◦ セッションキャッシュ


Amazon DynamoDB完全マネージド型の NoSQL データベースサービス◦ ハイスケーラブル、低レイテンシー◦ 高可用性◦ ストレージの容量制限がない◦ プロビジョンドスループット

ユースケース◦ ゲーム◦ 広告配信◦ DMP◦ センサーデータ◦ モバイルアプリケーションのバックエンド


まとめ


クラウドアーキテクチャ

自動バックアップスナップショット(自動/手動)

データ同期

非同期レプリケーション

自動フェイルオーバー

Binlog(トランザクション

ログ)（5分間隔)


ログ)5分に1度保存

Binlog

S3 Availability Zone A Availability Zone B


既存のアーキテクチャ（例）

自動バックアップフルバックアップ(手動)

データ同期実装


フェイルオーバ実装




ログ)5分に1度保存(手

動)

Binlog

ストレージサーバデータセンタA データセンタB


既存のアーキテクチャ（例）

自動バックアップフルバックアップ(手動)

データ同期実装


フェイルオーバ実装




ログ)5分に1度保存(手

動)

Binlog

ストレージサーバデータセンタA データセンタB

データセンタAが失われるとバックアップも失われて

本末転倒

太い専用線を引く

サーバ発注／サーバ構築／ラッキング／NW配線など

など

レプリを貼る作業を行う


クラウドアーキテクチャ

自動バックアップスナップショット(自動/手動)

データ同期


自動フェイルオーバー




ログ)5分に1度保存

Binlog

S3 Availability Zone A Availability Zone B


まとめクラウドでしか実現できない事を実現するためのピースとしてのストレージやデータベースサービスの紹介

AWSの提供する各種サービスを上手く選択する事で少ない労力でサービスの開発スピードの最大化、運用負荷の最小化も可能となる

ユースケースによって適切なサービスを使い分けることが大事


ご清聴ありがとうございました

Documents

AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。 …roadshow.awseventsjapan.com/doc/crs-sapporo-aws-03.pdf · データベースを数分で作成可能 障害の自動検知と自動フェールオーバー

AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。 …roadshow.awseventsjapan.com/doc/crs-sapporo-aws-03.pdf · データベースを数分で作成可能障害の自動検知と自動フェールオーバー