Upload
amazon-web-services-japan
View
1.492
Download
5
Embed Size (px)
DESCRIPTION
ほぼ週間AWSマイスターシリーズReloadedのAWS Storage Gatewayの回の資料です。
Citation preview
AWSマイスターシリーズ “Reloaded” ~AWS Storage Gateway~
2012年2月8日
エバンジェリスト 玉川 憲 (@KenTamagawa )
ソリューションアーキテクト 松尾 康博 (@understeer)
セミナーのAgenda
AWS Storage Gatewayとは?
運用から見る Storage Gateway詳細
Copyright © 2011 Amazon Web Services
AWS Storage Gatewayとは?
既存データセンタのデータを、クラウドの ストレージに安全にバックアップするサービス
Amazon S3にデータをバックアップ
• 耐久性が高く、安価(1G/月=約10円)
データ転送/保存、ともに暗号化される
東京リージョンをはじめ、世界各地域で利用できる
バックアップ、ディザスタリカバリのコストを最小化
Amazon S3
既存アプリケーションサーバ
オンプレミスのデータセンタ AWSクラウド
AWS Storage Gateway
バックアップ
リストア
前提知識の復習
Amazon S3
EBSスナップショット
仮想アプライアンス
iSCSI
Amazon S3は、データ保存の基盤
東京リージョン
3か所以上で
自動複製
S3
バケット
高い耐久性で
データ失わない:
99.999999999%
世界中のリージョンから選択
安価な従量課金
1GB/月 – 約10円
データセンターA
データ置くだけ。インフラ、電源、気に
しない。
データセンターB
データセンターC
ファイル(バイナリ、
テキスト、画像、動画)
保存するデータは、自動で暗号化
(AES-256)する
ことも可能
AWS クラウド(東京リージョン)
EC2 アベイラビリティゾーン
EBSスナップショット
EC2 アベイラビリティゾーン
S3
EC2 EC2
EBS EBS EBS EBS EBS
EBSスナップショット
EBSスナップショット
EBSスナップショット
EBSスナップショット
EBSスナップショット
EBSは、EC2のための仮想ディスク
EBSはいつでも、 バックアップをとれる
(スナップショットと呼ぶ)
EBSスナップショットは差分で保存される
(保存料金が安くなる)
いつでも任意のスナップショットからEBSを作成できる
起動しているEC2に EBSを
アタッチできる
仮想アプライアンスとは?
VMware, Xenといった仮想化技術の上で動作するよう設計された仮想イメージ
OS、各種ソフトウェアをあらかじめインストール、設定しており、ハイパーバイザーの上ですぐに使えるようになっている
オンプレミスのデータセンタ
物理サーバ
ハイパーバイザ
仮想 アプライアンス
すぐ動く!
iSCSIとは?
コンピュータとストレージ装置の通信に使うSCSIコマンドをIPネットワークで送受信するためのプロトコル
iSCSI対応ストレージは、LANを経由してローカルドライブとして利用できる
利用側はiSCSIイニシエータを用いる
オンプレミスのデータセンタ
物理サーバ
iSCSI イニシエータ
iSCSI対応 ストレージ
ネットワーク経由で ローカルドライブに!
前提知識を用いて、
Storage Gatewayを
もう一度みてみましょう
Copyright © 2011 Amazon Web Services
Storage Gatewayは仮想アプライアンス
オンプレミスのデータセンタ
SGサーバ
ハイパーバイザ
Storage Gateway
(仮想 アプライアンス)
Storage Gatewayは、 仮想アプライアンスとして、 AWSからダウンロードできる
ハイパーバイザの上で 稼働するだけで、
iSCSI対応の ストレージになる
ハイパーバイザは、 VMWare ESXi 4.1(無償)
に対応
iSCSI対応のストレージになる
オンプレミスのデータセンタ
アプリ・サーバ
iSCSI イニシエータ
SGサーバ
ハイパーバイザ
Storage Gateway
ネットワーク経由
アプリ・サーバからは、
iSCSI形式で ローカル側でディスクとして
利用できる
iSCSIを利用する側は Windows, RedHatの イニシエータを使う
SG上のデータを、S3に自動転送
Amazon S3
AWS Storage Gateway サービス
Amazon Web Services
オンプレミスのデータセンタ
アプリ・サーバ
iSCSI イニシエータ
SGサーバ
ハイパーバイザ
Storage Gateway
SGに書き込まれたデータを、 スケジュールにあわせ、
自動的にAmazon S3に転送
差分のみ、 圧縮して、
暗号化して転送!
データ復旧、システムリカバリ
Amazon S3
AWS Storage Gateway サービス
Amazon Web Services
オンプレミスのデータセンタ
SGサーバ
ハイパーバイザ
Storage Gateway
EBSスナップショット EBSスナップショット EBSスナップショット EBSスナップショット
保存形式は、 EBSスナップショットなので、
差分のみ料金がかかる
Amazon EBS
Amazon EC2
データの リストアも
容易にできる
AWSクラウド上で システムリカバリ
も可能!
AWS Storage Gatewayのユースケース
バックアップ
テープを 別拠点に送付する必要が無く、別拠点の準備も必要ない
バックアップ先のストレージのスペースを、先に購入しておく必要が無く、S3の場合は容量無制限で利用できる
バックアップのスケジュールも容易に周期設定できる
ディザスタリカバリとBCP
ディザスタリカバリ用のデータセンタ、 サーバを用意する必要がなく、ハードウェア投資を削減
仮想サーバ(Amazon EC2)の準備のために、既存のVMイメージをクラウドに持ち込んでもよい(VM Importと呼ばれる)
データ移行
データを既存データセンターからクラウドへ移行
セキュリティへの配慮
AWSと各ゲートウェイの間のデータ転送は、 SSLで暗号化
クラウド側のデータ(耐久性99.999999999%設計のAmazon S3に保存される)は、AES-256を用いて暗号化
iSCSIのイニシエータは、CHAP (Challenge-Handshake Authentication protocol)を用いて、 暗号化認証を実施
AWS Storage Gatewayの詳細機能
ストレージゲートウェイのコントロール
Webコンソールから、ボリューム作成、
1ボリューム 最大1TiB
1ゲートウェイで最大12TiB (12ボリューム)
ボリューム上限緩和申請も可能
スナップショット作成/復旧、作成スケジュールの構成
1, 2, 4, 8, 12, 24時間間隔で設定可能
現状はWebコンソールでの操作のみ。APIは後程提供
https://aws-portal.amazon.com/gp/aws/html-forms-
controller/StorageGatewayRequest
AWS Storage Gatewayの詳細機能
ストレージゲートウェイの自動アップデート
アップデートやパッチを自動的にダウンロード、 インストール、デプロイ
メンテナンスウィンドウを設定可能。
Amazon CloudWatchを用いて、 各ゲートウェイを監視し、ログ化、アラーム設定を行える
転送ネットワークのオプション
ローカルのプロキシサーバ経由も可能
専用線接続サービス( AWS Direct Connect)利用も可能
利用料金
利用料金は、ゲートウェイの利用数、データ保存料金、データ転送料金からなる
ゲートウェイ利用数
毎月$125/1ゲートウェイ
データ保存料金
通常のEBSス ナップショットの料金が適用 (注: S3のPUTの料金などはかからない)
データ転送料金
WSに向かう転送量は通常通り無料 →バックアップ時のデータ転送は無料
AWSから出るデータ転送料が通常どおり必要 →リストア時
いまなら、ゲートウェイ利用料金が2か月無料!
AWS無料使用枠の利用条件も適用される
AWS Storage Gatewayとは?
既存データセンタのデータを、クラウドの ストレージに安全にバックアップするサービス
Amazon S3にデータをバックアップ
• 耐久性が高く、安価(1G/月=約10円)
データ転送/保存、ともに暗号化される
東京リージョンをはじめ、世界各地域で利用できる
バックアップ、ディザスタリカバリのコストを最小化
Amazon S3
既存アプリケーションサーバ
オンプレミスのデータセンタ AWSクラウド
AWS Storage Gateway
バックアップ
リストア
セミナーのAgenda
AWS Storage Gatewayとは?
運用から見るStorage Gateway詳細
Copyright © 2011 Amazon Web Services
ローカル側の構成について
ESXi4.1環境
最小構成 4vCPU 7.5GB RAM
最低1物理NIC
ストレージ環境
DAS (最低でも75GBのOVAインストール先ボリューム)
iSCSI ストレージ(任意)
NFSストレージ(任意)
AWSへアップロードするSSL経路
インターネット回線
Direct Connect(任意)
ローカル側ストレージの構成例
Working storage
VM boot storage
HDD
VMFS
HDD HDD
RAID
VMDK
VMDK
VMDK
VMFS
VMDK
共有ストレージ
VMDK
SGサーバ
VMWare ESXi 4.1
VMDKの払い出し方法はESXi標準 • ローカルディスクのVMFSから • NFS経由のVMFSから • iSCSI論理ボリュームのVMFSから • iSCSI論理ボリュームに直接接続 ※ボリュームは最大12個 ※1VMDKのMax 1TiB ※各種冗長化はVM/ストレージ層で実装
LUN
VMFS
VMDK
LUN LUN
iSCSI iSCSI NFS
iSCSI
ローカル側ストレージの構成例
仮想ディスクを適宜追加
Boot用
Working Storage用
iSCSI target用
稼働中の追加も動的に認識可能
冗長化は物理層で実装
注意点
SCSIコントローラは「準仮想化」
ローカル側ネットワークの構成例
仮想NICを用意
iSCSI target及びAWSへの転送用
仮想NICを分けることも可能
NIC,N/W冗長化等は物理層で実装
ローカル側ネットワークの構成
iSCSIの通信用
AWSとの経路
HTTPSで通信
インターネット回線
Direct Connect
SOCKS Proxy
Proxy経由でAWSにアクセスする際に設定が必要
Consoleから設定
ローカル環境の特記事項
時刻同期
ESXiにてNTPサーバと同期
SGサーバは ESXiと同期させる
IPアドレス
SGサーバはDHCPでIP取得
固定するならDHCPサーバにてMACアドレスで制御
冗長構成(N/W, HDD)
ESXiやストレージのレイヤで実装
監視
外部からのPing監視
ESXiレイヤで計測できるメトリクスを利用
Management Consoleの管理項目
Gateway管理
帯域制御
メンテナンスウインドウ設定
ボリューム管理
ボリューム作成、削除、リカバリ
iSCSIターゲット管理
スナップショット作成、管理
定期スナップショットスケジュール設定
監視
スナップショットの進捗
CloudWatchによる各種パフォーマンス監視
帯域制御
AWSとのUp/Down帯域を指定
デフォルトは無制限
SGサーバ自動メンテナンス設定
メンテナンスウインドウを指定可能
メンテナンス内容はパッチの自動適用等
ボリューム管理
iSCSI target
AWS側で見えるボリュームと1:1で対応
ローカル側ディスクをボリュームとして紐付けることで iSCSIターゲットへ
IQNはボリューム作成と同時に設定・開始
作成方法は3種類
新規作成
S3上のSnapshotを基に、オンプレミス側を作成
オンプレミス側ディスクを基に、S3上のSnapshotを作成
ボリュームのステータス管理
ボリューム管理(作成)
VMWare側のボリュームと1:1でマッピング
ボリューム管理(作成)
ローカルのボリュームと1:1でマッピング
作成と同時に、iSCSI target IQNも決定され、自動開始
ボリューム管理
ボリュームの状態確認
各ボリュームのステータスを確認可能
ステータスの例
AVAILABLE (正常)
PASS THROUGH, etc. (異常状態)
http://docs.amazonwebservices.com/storagegateway/lates
t/userguide/StorageVolumeStatuses.html
スナップショット管理(定期実行)
ボリューム毎に設定
1時間~24時間間隔まで
デフォルトは 作成時刻で24時間間隔
スナップショット管理
作成したスナップショットはEC2タブのスナップショット一覧に表示
性能監視
CloudWatchにて各種メトリクスを監視可能
しきい値を設定してアラーム通知も可能
想定利用ケース(バックアップサーバ)
バックアップサーバ用iSCSIストレージとして
S3へのスナップショットが、遠隔バックアップの役割を果たす
定期的に書き込まれるバックアップとスナップショット取得のタイミングを調整することでタイムラグを削減可能
iSCSI Storage
Gateway
NetBackup/NetVault/ARCserve/etc
Local
Backup
S3
Snapshots
DAS/SAN
DBサーバ/Fileサーバ
定期バックアップ
想定利用ケース(ファイルサーバ)
ファイルサーバ用iSCSIストレージとして
更新サイズ・スナップショット頻度が許容できる場合
S3へのスナップショットが、遠隔バックアップの役割を果たす
DB側ですぐにファイルサーバとして復元可能
iSCSI Storage
Gateway
NFS/Windows Storage Server
Local
Volume
S3
Snapshots
想定利用ケース(DBサーバ)
直接DBサーバとして
更新量が性能的に許容できる場合(参照がメインなど)
S3へのスナップショットが、遠隔バックアップの役割を果たす
AWS側ですぐにDBとして復元可能
iSCSI Storage
Gateway
MySQL/Oracle
Local
Volume
S3
Snapshots
Web/APサーバ
想定利用ケース(ストレージサーバプロキシ)
iSCSI targetのヘッドとして
既存のiSCSIストレージ環境に挿し込む形
更新量が性能的に許容できる場合に限られる(参照がメインなど)
S3へのスナップショットが、遠隔バックアップの役割を果たす
iSCSI
Storage
Gateway
iSCSI
Storage
S3
Snapshots
DBサーバ/Fileサーバ/etc
iSCSI
想定利用ケース(w/ Direct Connect)
Direct Connectを利用
転送帯域・速度を確保
大量の更新データを高頻度にスナップショット取得可能
VPC接続の場合は、VPC内にSOCKS PROXYを別途用意、設定
iSCSI Storage
Gateway
Local
Backup
S3
Snapshots
Direct
Connect
動作の詳細
重要な項目
スナップショット
Working Storage
ボリューム
EBS
ボリュームの作成
新規作成の場合
ボリューム内は空(既存データが存在するとクリア)
スナップショットは存在しない
初回スナップショットで、ボリューム内の全データをアップロード
volume snapshot
ボリュームの作成
新規作成(既存データを使用)の場合
ボリューム内のデータを残して利用
作成時に、ボリューム内の全データをアップロードしてスナップショット作成
既存データの移行などで使用
volume snapshot
ボリュームの作成
新規作成(既存のスナップショットを使用)の場合
作成時に、スナップショット内の全データをダウンロードしてスナップショット作成
ボリュームリカバリなどで使用
(EBSのスナップショットはサポート対象外)
volume snapshot
ボリュームの作成(EBS)
スナップショットからEBSを作成
通常のEBS・スナップショットの操作と同じ
EBS化したデータはEC2から読み書き可能
volume snapshot volume
EC2
Working Storage
Working Storageとは
iSCSI経由で書きこまれたデータを一時的に保持するために必要
Snapshot作成時にAWSに転送後、クリアされる
最大2TiB(複数ボリュームで構成可能)
Working Storage(Snapshot直後)
ある時点で、snapshotをとった直後の状態
volume Working Storage snapshot
Working Storage(通常状態)
Snapshot取得後、ボリュームにデータが書き込まれる
Working Storageにも更新データを保持
volume Working Storage snapshot iSCSI
Working Storage(Snapshot取得)
Snapshot時にWorking Storageのデータをアップロード
Working Storageにも更新データを削除
volume Working Storage snapshot
Working Storageがあふれると
異常ステータス PASS THROUGHに遷移する
スナップショットが取れない状態
ローカルディスクの読み書きは可能
実質、S3へのアップロードが停止している状態
復旧するには
Working Storageの増強( ただし Max 2TiBまで)
ボリューム削除・再作成(サイズに応じた時間がかかる)
Working Storageの容量管理が重要
溢れないようにする
書き込み頻度・量を考慮
AWSへのN/W帯域を太く( Direct Connect等)
いつでもWorking Storageを追加できるH/W構成
監視する( CloudWatch、vSphere Client等)
WorkingStorageUsed
WorkingStorageFree
WorkingStoragePercentUsed
http://docs.amazonwebservices.com/storagegateway/lates
t/userguide/MainAddLocalDiskWorkingStorage.html
参考情報
AWS Storage Gateway
http://aws.amazon.com/jp/storagegateway/
Blog
http://aws.typepad.com/aws_japan/2012/01/aws-storage-gateway.html
FAQ
http://aws.amazon.com/jp/storagegateway/faqs/
ユーザーガイド
http://docs.amazonwebservices.com/storagegateway/latest/userguide/GettingStarted.html
ビデオ
http://www.youtube.com/watch?v=Fu4VuQ8bdJY
AWSプレミアムサポート アーキテクチャ設計に関するガイダンス、ベストプラクティスも日本語でご案内できます aws.amazon.com/jp/premiumsupport/
Copyright © 2011 Amazon Web Services
ブロンズ シルバー ゴールド プラチナ
初回応答時間 12時間 4時間 1時間 15分
サポート連絡先 1人 2人 3人 無制限
24/365対応 なし なし あり あり
TEL可能 不可 不可 可能 可能
専任スタッフ なし なし なし あり
特別サポート なし なし なし あり
料金 $49 AWS利用総額の
5%
AWS利用総額の
$0~$10K: 10%
$10K~$80K: 7%
$80K~: 5%
(最低$400)
AWS利用総額の
10%
(最低$15K)
AWS無料使用枠、Linux, Windows各1台ずつ無料
Q & A
Copyright © 2011 Amazon Web Services
詳細条件
iSCSIのクライアントは、Microsoft Windows Initiator形式と、RedHat iSCSI
initiator形式をサポート
VMware ESXi 4.1形式のVMイメージ
バックアップの容量制限について
S3には無限に保存できる
ストレージゲートウェイは、Maxで 1TB(EBSの制限) x 12個
VMイメージのための最低必要スペック
2 Virtual Processors, 4GB RAM, 60GB disk
MicrosoftのVolume Shadow Copy Service (VSS)もサポート予定
現状、Gateway-Storedボリュームのみサポート。今後、Gateway-Cached
ボリュームをサポート予定
Gateway-Storedは完全コピー。Geateway-Cachedは一部ローカルに保存できる
CloudWatch メトリクス
Storage Gateway全体
CloudBytesDownloaded
CloudBytesUploaded
CloudDownloadLatency
QueuedWrites
ReadBytes
ReadTime
WorkingStorageFree
WorkingStoragePercentUsed
WorkingStorageUsed
WriteBytes
WriteTime
Volume単位
QueuedWrites
ReadBytes
ReadTime
WriteBytes
WriteTime