AWS Storage Gateway 詳細 - AWSマイスターシリーズ

AWSマイスターシリーズ “Reloaded”〜AWS Storage Gateway〜

2012年2月8日エバンジェリスト玉川憲 (@KenTamagawa )ソリューションアーキテクト松尾康博 (@understeer)

Webセミナーほぼ週刊AWSマイスターシリーズ Reloaded!ほぼ週刊AWSマイスターシリーズ

� 1/30 IAM & Consolidated Billing � 2/6 AWS Direct Connect� 2/8 AWS Storage Gateway� 3/12 HPC

http://aws.amazon.com/jp/event_schedule/申し込みサイト昨年の資料集 http://aws.amazon.com/jp/aws-meister/

セミナーのAgendaAWS Storage Gatewayとは？運⽤から⾒る Storage Gateway詳細

Copyright © 2011 Amazon Web Services

AWS Storage Gatewayとは？既存データセンタのデータを、クラウドのストレージに安全にバックアップするサービス� Amazon S3にデータをバックアップ

• 耐久性が高く、安価(1G/月=約10円)� データ転送/保存、ともに暗号化される� 東京リージョンをはじめ、世界各地域で利⽤できる� バックアップ、ディザスタリカバリのコストを最小化

Amazon S3

既存アプリケーションサーバ

オンプレミスのデータセンタ AWSクラウドAWS Storage Gateway

バックアップ

リストア

前提知識の復習Amazon S3EBSスナップショット仮想アプライアンスiSCSI

Amazon S3は、データ保存の基盤は、データ保存の基盤は、データ保存の基盤は、データ保存の基盤

東京リージョン東京リージョン東京リージョン東京リージョン

3か所以上でか所以上でか所以上でか所以上で

自動複製自動複製自動複製自動複製

S3

バケットバケットバケットバケット

高い耐久性で

データ失わない:99.999999999%

世界中のリージョンから選択

安価な従量課金

1GB/月 –約10円

データセンターA

データ置くだけ。イ

ンフラ、電源、気に

しない。

データセンターB

データセンターC

ファイルファイルファイルファイル(バイナリ、バイナリ、バイナリ、バイナリ、

テキスト、画像、動画テキスト、画像、動画テキスト、画像、動画テキスト、画像、動画)

保存するデータは、

自動で暗号化

(AES-256)することも可能

AWS クラウド(東京リージョン)AWS クラウド(東京リージョン)

EC2 アベイラビリティゾーン

EBSスナップショット

EC2 アベイラビリティゾーン

S3

EC2 EC2EBS EBS EBS EBS EBS EBSスナップ

ショットEBSスナップ









ショット

EBSは、EC2のための仮想ディスク

EBSはいつでも、EBSはいつでも、バックアップをとれる

(スナップショットと呼ぶ)

EBSスナップショットは差分で保存される(保存料⾦が安

くなる)

いつでも任意のスナップショットからEBSを作成できる

起動しているEC2にEBSを

アタッチできる

仮想アプライアンスとは？VMware, Xenといった仮想化技術の上で動作するよう設計された仮想イメージOS、各種ソフトウェアをあらかじめインストール、設定しており、ハイパーバイザーの上ですぐに使えるようになっている

オンプレミスのデータセンタ物理サーバ

ハイパーバイザ

仮想アプライアンス

すぐ動く！すぐ動く！すぐ動く！すぐ動く！

iSCSIとは？コンピュータとストレージ装置の通信に使うSCSIコマンドをIPネットワークで送受信するためのプロトコルiSCSI対応ストレージは、LANを経由してローカルドライブとして利⽤できる利⽤側はiSCSIイニシエータを用いる

オンプレミスのデータセンタ物理サーバ

iSCSIイニシエータ

iSCSI対応ストレージ

ネットワーク経由でローカルドライブに！

前提知識を⽤いて、Storage Gatewayを

もう⼀度みてみましょう


Storage Gatewayは仮想アプライアンス

オンプレミスのデータセンタSGサーバ


Storage Gateway

(仮想アプライアンス)

Storage Gatewayは、仮想アプライアンスとして、AWSからダウンロードできる

ハイパーバイザの上でハイパーバイザの上で稼働するだけで、

iSCSI対応のストレージになる

ハイパーバイザは、VMWare ESXi 4.1(無償)

に対応

iSCSI対応のストレージになる

オンプレミスのデータセンタアプリ・サーバ


SGサーバ


Storage Gateway

ネットワーク経由

アプリ・サーバからは、iSCSI形式で

ローカル側でディスクとして利⽤できる

iSCSIを利⽤する側はWindows, RedHatのイニシエータを使う

SG上のデータを、S3に自動転送

Amazon S3

AWS Storage Gateway サービス

Amazon Web Services

オンプレミスのデータセンタアプリ・サーバ


SGサーバ


Storage Gateway

SGに書き込まれたデータを、スケジュールにあわせ、

自動的にAmazon S3に転送

差分のみ、圧縮して、

暗号化して転送！

データ復旧、システムリカバリ

Amazon S3

AWS Storage Gateway サービス

Amazon Web Servicesオンプレミスのデータセンタ

SGサーバ


Storage Gateway

EBSスナップショットEBSスナップショットEBSスナップショットEBSスナップショット

保存形式は、EBSスナップショットなので、差分のみ料⾦がかかる

Amazon EBS

Amazon EC2

データのリストアも容易にできる

AWSクラウド上でシステムリカバリ

も可能！

AWS Storage Gatewayのユースケースのユースケースのユースケースのユースケース

バックアップテープを別拠点に送付する必要が無く、別拠点の準備も必要ないバックアップ先のストレージのスペースを、先に購入しておく必要が無く、S3の場合は容量無制限で利⽤できるバックアップのスケジュールも容易に周期設定できる

ディザスタリカバリとBCP ディザスタリカバリ用のデータセンタ、サーバを用意する必要がなく、ハードウェア投資を削減仮想サーバ(Amazon EC2)の準備のために、既存のVMイメージをクラウドに持ち込んでもよい(VM Importと呼ばれる)

データ移⾏データを既存データセンターからクラウドへ移⾏

セキュリティへの配慮セキュリティへの配慮セキュリティへの配慮セキュリティへの配慮

AWSと各ゲートウェイの間のデータ転送は、SSLで暗号化

クラウド側のデータ(耐久性99.999999999%設計のAmazon S3に保存される)は、AES-256を用いて暗号化

iSCSIのイニシエータは、CHAP (Challenge-Handshake Authentication protocol)を用いて、暗号化認証を実施

AWS Storage Gatewayの詳細機能の詳細機能の詳細機能の詳細機能

ストレージゲートウェイのコントロールWebコンソールから、ボリューム作成、

１ボリューム最大1TiB１ゲートウェイで最大12TiB (12ボリューム)ボリューム上限緩和申請も可能

スナップショット作成/復旧、作成スケジュールの構成1, 2, 4, 8, 12, 24時間間隔で設定可能

現状はWebコンソールでの操作のみ。APIは後程提供

https://aws-portal.amazon.com/gp/aws/html-forms-controller/StorageGatewayRequest

AWS Storage Gatewayの詳細機能の詳細機能の詳細機能の詳細機能

ストレージゲートウェイの自動アップデートアップデートやパッチを自動的にダウンロード、インストール、デプロイメンテナンスウィンドウを設定可能。

Amazon CloudWatchを用いて、各ゲートウェイを監視し、ログ化、アラーム設定を⾏える

転送ネットワークのオプションローカルのプロキシサーバ経由も可能専用線接続サービス( AWS Direct Connect)利⽤も可能

利用料金利用料金利用料金利用料金

利⽤料⾦は、ゲートウェイの利⽤数、データ保存料⾦、データ転送料⾦からなるゲートウェイ利⽤数

毎月$125/1ゲートウェイデータ保存料⾦

通常のEBSスナップショットの料⾦が適用(注: S3のPUTの料⾦などはかからない)

データ転送料⾦WSに向かう転送量は通常通り無料→バックアップ時のデータ転送は無料AWSから出るデータ転送料が通常どおり必要 →リストア時

いまなら、ゲートウェイ利⽤料⾦が2か⽉無料！AWS無料使⽤枠の利⽤条件も適⽤される

AWS Storage Gatewayとは？既存データセンタのデータを、クラウドのストレージに安全にバックアップするサービス� Amazon S3にデータをバックアップ

• 耐久性が高く、安価(1G/月=約10円)� データ転送/保存、ともに暗号化される� 東京リージョンをはじめ、世界各地域で利⽤できる� バックアップ、ディザスタリカバリのコストを最小化

Amazon S3

既存アプリケーションサーバ

オンプレミスのデータセンタ AWSクラウドAWS Storage Gateway

バックアップ

リストア

セミナーのAgendaAWS Storage Gatewayとは？運⽤から⾒るStorage Gateway詳細


ローカル側の構成についてESXi4.1環境� 最小構成 4vCPU 7.5GB RAM� 最低1物理NIC

ストレージ環境� DAS (最低でも75GBのOVAインストール先ボリューム）� iSCSI ストレージ（任意)� NFSストレージ(任意)

AWSへアップロードするSSL経路� インターネット回線� Direct Connect（任意）

ローカル側ストレージの構成例

Working Working storageVM boot VM boot storage

HDDVMFSVMFS

HDD HDDRAIDRAID

VMDKVMDKVMDK

VMFSVMDK

共有ストレージ

VMDK

SGサーバVMWare ESXi 4.1

VMDKの払い出し方法はESXi標準• ローカルディスクのVMFSから• NFS経由のVMFSから• iSCSI論理ボリュームのVMFSから• iSCSI論理ボリュームに直接接続※ボリュームは最大12個※1VMDKのMax 1TiB※各種冗⻑化はVM/ストレージ層で実装

LUN

VMFSVMDK

LUN LUN

iSCSIiSCSINFSNFS

iSCSI

ローカル側ストレージの構成例

仮想ディスクを適宜追加� Boot用� Working Storage用� iSCSI target用稼働中の追加も動的に認識可能冗⻑化は物理層で実装注意点� SCSIコントローラは「準仮想化」

ローカル側ネットワークの構成例

仮想NICを用意� iSCSI target及びAWSへの転送用� 仮想NICを分けることも可能

NIC,N/W冗⻑化等は物理層で実装

ローカル側ネットワークの構成iSCSIの通信用AWSとの経路� HTTPSで通信� インターネット回線� Direct Connect

SOCKS Proxy� Proxy経由でAWSにアクセスする際

に設定が必要� Consoleから設定

ローカル環境の特記事項時刻同期� ESXiにてNTPサーバと同期� SGサーバは ESXiと同期させる

IPアドレス� SGサーバはDHCPでIP取得� 固定するならDHCPサーバにてMACアドレスで制御冗⻑構成(N/W, HDD)� ESXiやストレージのレイヤで実装

監視� 外部からのPing監視� ESXiレイヤで計測できるメトリクスを利⽤

Management Consoleの管理項目Gateway管理� 帯域制御� メンテナンスウインドウ設定ボリューム管理� ボリューム作成、削除、リカバリ� iSCSIターゲット管理� スナップショット作成、管理� 定期スナップショットスケジュール設定

監視� スナップショットの進捗� CloudWatchによる各種パフォーマンス監視

帯域制御AWSとのUp/Down帯域を指定� デフォルトは無制限

SGサーバ自動メンテナンス設定メンテナンスウインドウを指定可能� メンテナンス内容はパッチの自動適用等

ボリューム管理

iSCSI target� AWS側で⾒えるボリュームと１：１で対応� ローカル側ディスクをボリュームとして紐付けることで iSCSI

ターゲットへ� IQNはボリューム作成と同時に設定・開始

作成方法は3種類� 新規作成� S3上のSnapshotを基に、オンプレミス側を作成� オンプレミス側ディスクを基に、S3上のSnapshotを作成ボリュームのステータス管理

ボリューム管理（作成）

VMWare側のボリュームと１：１でマッピング

ボリューム管理（作成）

ローカルのボリュームと１：１でマッピング� 作成と同時に、iSCSI target IQNも決定され、自動開始

ボリューム管理

ボリュームの状態確認� 各ボリュームのステータスを確認可能ステータスの例� AVAILABLE (正常)� PASS THROUGH, etc. (異常状態）

http://docs.amazonwebservices.com/storagegateway/latest/userguide/StorageVolumeStatuses.html

スナップショット管理（定期実⾏）

ボリューム毎に設定� 1時間〜24時間間隔まで� デフォルトは作成時刻で24時間間隔

スナップショット管理

作成したスナップショットはEC2タブのスナップショット一覧に表示

性能監視CloudWatchにて各種メトリクスを監視可能� しきい値を設定してアラーム通知も可能

想定利用ケース（バックアップサーバ）想定利用ケース（バックアップサーバ）想定利用ケース（バックアップサーバ）想定利用ケース（バックアップサーバ）

バックアップサーバ用iSCSIストレージとして

� S3へのスナップショットが、遠隔バックアップの役割を果たす

� 定期的に書き込まれるバックアップとスナップショット取得のタイミン

グを調整することでタイムラグを削減可能

iSCSI

GatewayStorage Gateway

NetBackup/NetVault/ARCserve/etc

Local Backup

S3

Snapshots

DAS/SAN

DBサーバサーバサーバサーバ/Fileサーバサーバサーバサーバ

定期バックアップ

想定利用ケース（ファイルサーバ）想定利用ケース（ファイルサーバ）想定利用ケース（ファイルサーバ）想定利用ケース（ファイルサーバ）

ファイルサーバ用iSCSIストレージとして

� 更新サイズ・スナップショット頻度が許容できる場合


� DB側ですぐにファイルサーバとして復元可能

iSCSI


NFS/Windows Storage Server

Local Volume

S3

Snapshots

想定利用ケース（想定利用ケース（想定利用ケース（想定利用ケース（DBサーバ）サーバ）サーバ）サーバ）

直接DBサーバとして

� 更新量が性能的に許容できる場合（参照がメインなど）


� AWS側ですぐにDBとして復元可能

iSCSI


MySQL/Oracle

Local Volume

S3

Snapshots

Web/APサーバサーバサーバサーバ

想定利用ケース（ストレージサーバプロキシ）想定利用ケース（ストレージサーバプロキシ）想定利用ケース（ストレージサーバプロキシ）想定利用ケース（ストレージサーバプロキシ）

iSCSI targetのヘッドとして

� 既存のiSCSIストレージ環境に挿し込む形

� 更新量が性能的に許容できる場合に限られる（参照がメインなど）


iSCSI


iSCSIStorage

S3

Snapshots

DBサーバサーバサーバサーバ/Fileサーバサーバサーバサーバ/etc

iSCSI

想定利用ケース（想定利用ケース（想定利用ケース（想定利用ケース（w/ Direct Connect））））

Direct Connectを利用

� 転送帯域・速度を確保

� 大量の更新データを高頻度にスナップショット取得可能

� VPC接続の場合は、VPC内にSOCKS PROXYを別途用意、設定

iSCSI


Local Backup

S3

Snapshots

Direct Connect

動作の詳細動作の詳細動作の詳細動作の詳細

重要な項目

� スナップショット

� Working Storage

� ボリューム

� EBS

ボリュームの作成新規作成の場合� ボリューム内は空（既存データが存在するとクリア）� スナップショットは存在しない� 初回スナップショットで、ボリューム内の全データをアップ

ロード

volume snapshot

ボリュームの作成新規作成（既存データを使用）の場合� ボリューム内のデータを残して利⽤� 作成時に、ボリューム内の全データをアップロードしてスナップ

ショット作成� 既存データの移⾏などで使⽤

volume snapshot

ボリュームの作成新規作成（既存のスナップショットを使用）の場合� 作成時に、スナップショット内の全データをダウンロードして

スナップショット作成� ボリュームリカバリなどで使用� （EBSのスナップショットはサポート対象外）

volume snapshot

ボリュームの作成（EBS)スナップショットからEBSを作成� 通常のEBS・スナップショットの操作と同じ� EBS化したデータはEC2から読み書き可能

volumesnapshot volume

EC2

Working StorageWorking Storageとは� iSCSI経由で書きこまれたデータを一時的に保持するために必要� Snapshot作成時にAWSに転送後、クリアされる� 最大2TiB（複数ボリュームで構成可能）

Working Storage（Snapshot直後）ある時点で、snapshotをとった直後の状態

volume Working Storage snapshot

Working Storage（通常状態）Snapshot取得後、ボリュームにデータが書き込まれる� Working Storageにも更新データを保持

volume Working Storage snapshotiSCSI

Working Storage（Snapshot取得）Snapshot時にWorking Storageのデータをアップロード� Working Storageにも更新データを削除

volume Working Storage snapshot

Working Storageがあふれると異常ステータス PASS THROUGHに遷移するスナップショットが取れない状態� ローカルディスクの読み書きは可能� 実質、S3へのアップロードが停止している状態復旧するには� Working Storageの増強( ただし Max 2TiBまで）� ボリューム削除・再作成（サイズに応じた時間がかかる）

Working Storageの容量管理が重要の容量管理が重要の容量管理が重要の容量管理が重要

溢れないようにする� 書き込み頻度・量を考慮� AWSへのN/W帯域を太く（ Direct Connect等)� いつでもWorking Storageを追加できるH/W構成

監視する（ CloudWatch、vSphere Client等)� WorkingStorageUsed� WorkingStorageFree� WorkingStoragePercentUsed

http://docs.amazonwebservices.com/storagegateway/latest/userguide/MainAddLocalDiskWorkingStorage.html

参考情報AWS Storage Gateway� http://aws.amazon.com/jp/storagegateway/

Blog� http://aws.typepad.com/aws_japan/2012/01/aws-

storage-gateway.htmlFAQ� http://aws.amazon.com/jp/storagegateway/faqs/

ユーザーガイド� http://docs.amazonwebservices.com/storagegateway/late

st/userguide/GettingStarted.htmlビデオ� http://www.youtube.com/watch?v=Fu4VuQ8bdJY

AWSプレミアムサポート

アーキテクチャ設計に関するガイダンス、ベストプラクティス

も日本語でご案内できます

aws.amazon.com/jp/premiumsupport/


ブロンズブロンズブロンズブロンズシルバーシルバーシルバーシルバーゴールドゴールドゴールドゴールドプラチナプラチナプラチナプラチナ

初回応答時間初回応答時間初回応答時間初回応答時間１２時間４時間１時間１５分

サポート連絡先サポート連絡先サポート連絡先サポート連絡先１人２人３人無制限

24/365対応対応対応対応なしなしありあり

TEL可能可能可能可能不可不可可能可能

専任スタッフ専任スタッフ専任スタッフ専任スタッフなしなしなしあり

特別サポート特別サポート特別サポート特別サポートなしなしなしあり

料金料金料金料金 $49AWS利用総額の

5%

AWS利用総額の

$0~$10K: 10%$10K~$80K: 7%$80K~: 5%（最低$400）

AWS利用総額の

10%

（最低$15K）

AWS無料使用枠、Linux, Windows各1台ずつ無料

Q & A


Technology

AWS Storage Gateway 詳細 - AWSマイスターシリーズ