57
AWS Storage Gateway AWS Black Belt Tech Webinar 2014 ( 旧旧旧旧旧旧旧旧旧旧 ) 旧旧旧旧旧旧旧旧旧旧旧旧旧旧旧旧旧旧旧 旧旧旧旧旧旧旧旧旧旧旧旧旧 旧旧 旧旧

AWS Black Belt Techシリーズ AWS Storage Gateway

Embed Size (px)

DESCRIPTION

AWS Black Belt Tech Webinar 2014 (旧マイスターシリーズ) AWS Storage Gateway

Citation preview

Page 1: AWS Black Belt Techシリーズ  AWS Storage Gateway

AWS Storage Gateway

AWS Black Belt Tech Webinar 2014 ( 旧マイスターシリーズ )

アマゾンデータサービスジャパン株式会社ソリューションアーキテクト 北迫 清訓

Page 2: AWS Black Belt Techシリーズ  AWS Storage Gateway

Agenda

1. AWS Storage Gatewayとは2. Gateway タイプの特徴3. AWS Storage Gateway 詳細4. AWS Storage Gateway Tips5. プライシング6. まとめ

Page 3: AWS Black Belt Techシリーズ  AWS Storage Gateway

AWS Storage Gateway とは

Page 4: AWS Black Belt Techシリーズ  AWS Storage Gateway

AWS Storage Gateway その 1

• オンプレミス環境と連携可能なデータバックアップおよびクラウドストレージを提供するゲートウェイサービス

オンプレミス環境 クラウド環境

AWS Storage Gateway

AmazonS3

AmazonGlacier

Internet

オンラインストレージ

アーカイブストレージ

 ゲートウェイ

サーバ

データ連携

データ格納

バックアップ( Gateway-Stored Volumes

/ Gateway-VTL )

容量拡張(Gateway-Cached Volumes)

Page 5: AWS Black Belt Techシリーズ  AWS Storage Gateway

AWS Storage Gateway その 2

• AWS 上で、大容量オンラインおよびバックアップストレージを活用するためのゲートウェイサービス

クラウド環境

AWS Storage Gateway

AmazonS3

AmazonGlacier

オンラインストレージ

アーカイブストレージ

 ゲートウェイ

サーバ

データ連携

データ格納

バックアップ( Gateway-VTL )

容量拡張(Gateway-Cached Volumes)

Page 6: AWS Black Belt Techシリーズ  AWS Storage Gateway

データ保管ストレージ

• データ保管先に、安価かつ耐久性の高いAmazon S3 および Amazon Glacier(※1) を使用

格納容量無制限 安価なストレージ

高い堅牢性 セキュア

( キャパシティプランニングが不要 )

(99.999999999%   3 拠点以上の DC へ自動複製 )

( 月額 1GB / 約 4 円〜 )

( 厳重に管理された DC/ 全て暗号化でやりとり )

※1 Gateway-VTL のみ利用可能

Page 7: AWS Black Belt Techシリーズ  AWS Storage Gateway

AWS Storage Gateway

• 活用領域• オンプレミス環境から AWS 環境へのデータのレプリケー

ションする Disaster Recovery 用ストレージとして利用

• オンプレミスおよび AWS 環境での大容量オンラインストレージとしての利用

• オンプレミスおよび AWS 環境でのバックアップデータ格納ストレージとしての利用

Page 8: AWS Black Belt Techシリーズ  AWS Storage Gateway

AWS Storage Gateway

大容量かつ堅牢性の高いクラウドストレージをオンラインストレージおよびバックアップ用途で、オンプレミスおよび AWS など様々な環境で利用を可能とするサービス

Page 9: AWS Black Belt Techシリーズ  AWS Storage Gateway

Gateway タイプの特徴

Page 10: AWS Black Belt Techシリーズ  AWS Storage Gateway

Gateway タイプ

Gateway-Stored Volumes

Gateway-Cached Volumes

Gateway-VTL

Page 11: AWS Black Belt Techシリーズ  AWS Storage Gateway

Gateway タイプ

Gateway-Stored Volumes

Gateway-Cached Volumes

Gateway-VTL

Page 12: AWS Black Belt Techシリーズ  AWS Storage Gateway

Gateway-Stored Volumes

• オンプレミス環境のディスクデータを AWS Storage Gateway 経由で Snapshot として Amazon S3 上に取得し、 AWS 環境での Disaster Recovery を実現

– オンプレミスのローカルディスク (Volume Storage) のバックアップを自動的に AWS 側で実施

– 更新データは非同期で AWS に転送

– オンプレミス側の Storage Gateway へリストア、もしくは AWS 上でEBS ディスクへのリストアも可能

Page 13: AWS Black Belt Techシリーズ  AWS Storage Gateway

Gateway-Stored Volumes

AWS Storage Gateway(Gateway-Stored Volumes)

Amazon S3

Internet

ローカルストレージのバックアップ

災害時 AWS 側にリカバリ

Snapshot

Snapshot

EC2

EBS

リストア

Volume Storage( ローカル格納用 )

Upload Buffer( 転送一時格納用 ) Snapshot

リストア

パターン 1

パターン 2

• Architecture

DAS/SAN

Disk Volume

Page 14: AWS Black Belt Techシリーズ  AWS Storage Gateway

Gateway-Stored Volumes

• Gateway-Stored Volumes の特徴– Volume Storage は 1Volume 1GB ~ 1TB まで指定可能

– 1 Gateway で最大 12 個の Volume Storage を作成可能 ( 最大 12TB)• Volume Storage 毎に iSCSI Target を持つため、複数のサーバを Gateway に接続

することが可能

– Volume Storage 単位で S3 上に EBS Snapshot を取得• ESB Snapshot は差分で取得可能• 手動およびスケジューリングによる Snapshot の取得にも対応

– Upload Buffer は 1GB ~ 2TB まで• Upload Buffer は Gateway 内で共有利用されるため、書き込み容量と AWS への

データ転送速度を基準に、 Upload Buffer があふれないようにサイジング

Page 15: AWS Black Belt Techシリーズ  AWS Storage Gateway

Gateway タイプ

Gateway-Stored Volumes

Gateway-Cached Volumes

Gateway-VTL

Page 16: AWS Black Belt Techシリーズ  AWS Storage Gateway

Gateway-Cached Volumes

• Storage Gateway 経由で Amazon S3 を直接利用することで、堅牢性の高い大容量ストレージを実現– Storage Gateway 経由で、 S3 をファイルシステムとして利用可能

– オンプレミスおよび AWS の EC2( 仮想サーバ ) 環境で利用可能

– アクセス頻度の高いデータは、キャッシュとしてローカルに保持

– オンプレミス側の Storage Gateway へのリストア、もしくは AWS上の EC2 Gateway へのリストアも可能

Page 17: AWS Black Belt Techシリーズ  AWS Storage Gateway

Gateway-Cached Volumes

AWS Storage Gateway(Gateway-Cached Volumes)

Amazon S3

Internet

データ転送Snapshot

EC2

EBS

Upload Buffer( 転送一時格納用 )

DAS/SAN

• Architecture

Cache Storage( ローカルキャッシュ用 )

Volume Storage

リストア

AWS Storage Gateway(Gateway-Cached Volumes)

データ転送/ データアクセス

大容量ストレージ

Amazon S3

データアクセス

Disk Volume

Page 18: AWS Black Belt Techシリーズ  AWS Storage Gateway

Gateway-Cached Volumes

• Gateway-Cached Volumes の特徴– 1 Volume Storage は 1GB ~ 32TB まで指定可能

• Cache Storage は Gateway 内で共有利用され、 Gateway あたり 1GB ~ 16TB まで指定可能

– 1 Gateway で最大 20 個、合計 150TB までの Volume Storage を作成可能• Volume Storage 毎に iSCSI Target を持つため、複数のサーバを Gateway に接続すること

が可能

– Volume Storage 単位で S3 上に Snapshot を取得• Snapshot は差分で取得可能• 手動およびスケジューリングによる Snapshot の取得にも対応

– Upload Buffer は 1GB ~ 2TB まで• Upload Buffer は Gateway 内で共有利用されるため、書き込み容量と AWS へのデータ転送

速度を基準に、 Upload Buffer があふれないようにサイジング

Page 19: AWS Black Belt Techシリーズ  AWS Storage Gateway

Gateway タイプ

Gateway-Stored Volumes

Gateway-Cached Volumes

Gateway-VTL

Page 20: AWS Black Belt Techシリーズ  AWS Storage Gateway

Gateway-VTL

• 物理テープライブラリ装置の代替として、 Storage Gateway を仮想テープライブラリとして利用することで、堅牢性の高い外部保管バックアップストレージを実現– VTL(Virtual Tape Library) 対応バックアップソフトウェアを利用

し、 Storage Gateway を経由して、バックアップデータを S3 およびGlacier に格納

– オンプレミスおよび AWS の EC2( 仮想サーバ ) 環境で利用可能

– バックアップソフトウェアにてテープの取り出しオペレーションを行うことで、より安価なアーカイブストレージ (S3 → Glacier) にデータを退避

Page 21: AWS Black Belt Techシリーズ  AWS Storage Gateway

Gateway-VTL

AWS Storage Gateway(Gateway-VTL)

Amazon S3

Internet

バックアップデータ転送

仮想テープ

EC2EBS

Upload Buffer( 転送一時格納用 )

DAS/SAN

Cache Storage( ローカルキャッシュ用 )

AWS Storage Gateway(Gateway-VTL)

MediaChanger

Tape Drive

仮想テープ

Amazon Glacier( VTS)

• Architecture

Amazon S3

仮想テープ

仮想テープ

MediaChanger

Tape Drive バックアップ

データ転送

アーカイブ

リトリーブ 仮想テープ

アーカイブ / リトリーブ

Backupサーバ

物理テープライブラリ装置の代替として

Page 22: AWS Black Belt Techシリーズ  AWS Storage Gateway

Gateway-VTL

• Gateway-VTL の特徴– 各 Gateway は、 iSCSI による仮想テープドライブと仮想メディアチェンジャーを

提供• 仮想テープドライブは最大 10 個 , 仮想メディアチェンジャーは 1 個

– 1 Gateway で最大 1,500 個の仮想テープもしくは合計 150TB まで格納可能• 各仮想テープは 100GB, 200GB, 400GB, 800GB, 1.5TB, 2.5TB を選択可能

– 仮想テープ単位で S3 および Glacier 上にデータが格納• オンラインテープは S3 上に格納。バックアップソフトウェア等を利用して仮想テープの取り出し

を行った際に、 Glacier(Virtual Tape Shelf) に移動• Glacier にアーカイブされた仮想テープは別の Gateway-VTL にリトリーブが可能

– Cache Storage は 1GB 〜 16TB まで、 Upload Buffer は 1GB ~ 2TB まで• Cache Storage は Gateway 内で共有利用される• Upload Buffer は Gateway 内で共有利用されるため、書き込み容量と AWS へのデータ転送速度を

基準に、 Upload Buffer があふれないようにサイジング

Page 23: AWS Black Belt Techシリーズ  AWS Storage Gateway

Gateway Type

Gateway Type Gateway の利用用途 Gateway 動作環境環境

Gateway-Stored Volume オンプレから AWS への DR を目的とし、オンプレミス環境の特定ディスクボリュームを自動的に AWS 側に複製

オンプレミス環境

Gateway-Cached Volume

1 ボリューム最大 32TB の大容量ストレージが実現できるローカルキャッシュストレージとして利用

オンプレミス環境AWS 環境

Gateway-VTL 物理テープライブラリの代替として、バックアップ SW と組み合わせたクラウドデータバックアップとして利用

オンプレミス環境AWS 環境

Page 24: AWS Black Belt Techシリーズ  AWS Storage Gateway

Gateway Type ごとの利用構成例Gateway-Stored Volume によるシステム DR 環境

EC2

EBS

Snapshot Snapshot Snapshot

EC2

EBS

EC2

EBS

AWS Storage Gateway(Gateway-Stored Volume)

SystemA SystemB SystemC

VolumeA VolumeB VolumeC

VolumeA VolumeB VolumeC

VolumeA VolumeB VolumeC

SystemA SystemB SystemC

S3

ユーザ

リストア

リストア

ローカルにデータをリストア

EBS にデータをリストア

オンプレミス側災害時にAWS 側で復旧

災害時ユーザの接続先変更

AMI

Page 25: AWS Black Belt Techシリーズ  AWS Storage Gateway

Gateway Type ごとの利用構成例Gateway-Cached Volume による大容量ファイルサーバ

EC2

EBS

SnapshotAWS Storage Gateway(Gateway-Cached Volume)

ファイルサーバ

S3

ユーザ

Snapshot

SnapshotAWS Storage Gateway(Gateway-Cached Volume)

ファイルサーバ

S3

ユーザ

Snapshot

ユーザ

拠点 A

拠点 B

AWS 側でデータバックアップ

アクセス速度重視

拠点間での共有利用

Page 26: AWS Black Belt Techシリーズ  AWS Storage Gateway

Gateway Type ごとの利用構成例Gateway-VTL によるクラウドバックアップ ( 外部保管 )

EC2

EBS

AWS Storage Gateway(Gateway-VTL)

バックアップサーバ

S3

バックアップサーバ

統合バックアップ環境

仮想テープ

仮想テープ

仮想テープ

Glacier

オンライン保管 アーカイブ保管

3 箇所以上のDC

業務システム

業務システム on AWS

統合バックアップ環境

AWS Storage Gateway(Gateway-VTL)

S3 仮想テープ

仮想テープ

仮想テープ

Glacier

オンライン保管 アーカイブ保管

3 箇所以上のDC

外部保管

AWS 内での統合バックアップ

Page 27: AWS Black Belt Techシリーズ  AWS Storage Gateway

AWS Storage Gateway 詳細

Page 28: AWS Black Belt Techシリーズ  AWS Storage Gateway

仮想アプライアンス動作要件

• Gateway 動作環境

ハイパーバイザー

VMWare ESXi 4.1, 5.0Microsoft Hyper-V 2008R2 ※1

CPU 4 つ以上の Virtual Core

Memory 7.5GB 以上

HDD 75GB 以上 (SGW 用 )※2

※1 Gateway は Internet に通信できる NWが  接続されている必要があります。

EC2インスタンス

タイプ

m1.xlargem2.xlargem2.2xlargem2.4xlargec1.xlargehi1.4xlarge

hs1.8xlargem3.xlargem3.2xlargec3.2xlargec3.4xlargec3.8xlarge

から EC2 インスタンスイメージを起動可能

2014年 08 月時点

※2 Gateway には別途データ格納領域として   HDD の領域が必要となります。

オンプレミスGateway

EC2 Gateway

Page 29: AWS Black Belt Techシリーズ  AWS Storage Gateway

仮想アプライアンス動作要件

• 接続クライアントサポートする

iSCSI InitiatorWindows Server 2008, 2012Windows 7Red Hat Enterprise Linux 5VMWare ESX Initiator

• サポートソフトウェアVTL サポート

バックアップソフトウェア

Symantec BackupExec 2012Symantec Netbackup 7.5※1

SOCKS サーバ( Proxy 用 )

SOCKS5

• ネットワーク要件用途 プロトコル ポート Source Destination

S3 へのデータ転送 TCP 443 Storage Gateway Internet

Gateway Activation

TCP 80 ローカル NW Storage Gateway

iSCSI 接続 TCP 3260 ローカル NW Storage Gateway

※1 Gateway-VTL 対応バックアップソフトウェアバージョンに関しては、都度 SWベンダーに確認ください。

Page 30: AWS Black Belt Techシリーズ  AWS Storage Gateway

Network Architecture

サーバ

Local network

Management

Console管理者

InternetProxy サー

バ ( 環境により )

Proxy サーバ ( 環境によ

り )

Internet VPN

Direct Connect(専用線 )

パターン 1

パターン 2

パターン 3

VPC EC2

Storage Gateway

S3 Glacier

• オンプレミス Storage Gateway ネットワーク構成パターン例– パターン 1:インターネット経由 – パターン 2: VPN 接続経由– パターン 3:専用線経由

Storage Gatewayの Activation のため、 Management Console で設定を行う作業端末は Internet および Storage Gateway に対して直接通信できる必要がある

作業端末

Page 31: AWS Black Belt Techシリーズ  AWS Storage Gateway

Network Architecture

• EC2 Gateway ネットワーク構成パターン例– パターン 1: VPC 環境にデプロイ– パターン 2: EC2 Classic 環境にデプロイ ( サーバ間は PrivateIP で通信 )

Local network

Management

Console管理者

Internetパターン 2

VPC

Internet VPN

パターン 1

サーバ

EIP orNAT 経

由 サーバ

EIP orPublicDNS

EC2 Classic

PrivateIPPrivateI

PStorage Gateway

S3 GlacierStorage Gateway

EC2

作業端末

EC2

Direct Connect(専用線 )Storage Gatewayの Activation のため、 Management Console で設定を行う作

業端末は Internet および Storage Gateway に対して直接通信できる必要がある

Page 32: AWS Black Belt Techシリーズ  AWS Storage Gateway

Gateway セットアップまでの流れ

Gateway Type およびデプロイ環境の決定

VM 環境の構築および Gateway仮想マシンの起動

AWS Marketplace 経由で EC2インスタンスの起動

Gateway の Activation

Gateway に Storage を割り当て (Upload Buffer/Cache Storage)

クライアントから iSCSI で接続

Volume の作成 仮想テープの作成

オンプレミス AWS

Gateway-Stored VolumesGateway-Cached Volumes Gateway-VTL

Page 33: AWS Black Belt Techシリーズ  AWS Storage Gateway

クライアントマシンからの接続

• iSCSI イニシエータを利用して接続Storage Gateway MC画面の Gateway より Gateway の IP アドレスを確認

クライアントマシンの iSCSI イニシエータ経由でデバイスに接続

Windows iSCSI イニシエータ Windows デバイスマネージャ

Windows デバイスマネージャ

Gateway-Stored VolumesGateway-Cached Volumes

Gateway-VTL

• CHAP認証 (Challenge Handshake Authentication Protocol) にも対応

Page 34: AWS Black Belt Techシリーズ  AWS Storage Gateway

Volume の Snapshot

• Gateway-Stored Volume と Gateway-Cached Volumeで、 AWS 側で格納されたデータの Snapshot の取得を Volume単位で可能

• 手動取得– Storage Gateway 管理画面より、取得対象 Gateway の Volume を

選択し「 Create Snapshot」ボタンを押下

– Navigation バーの「 Snapshots」より取得した Snapshot が確認可能

Page 35: AWS Black Belt Techシリーズ  AWS Storage Gateway

Volume の Snapshot

• スケジュール設定– Storage Gateway 管理画面より、取得対象Gateway の「 Snapshot

Schedules」タブを選択し、「 Add/Modify Snapshot Schedule」を押下

– ポップアップ画面にて、取得対象 VolumeID 、開始時刻、取得間隔を指定• 取得間隔は 1,2,4,8,12,24 時間ごとを指定可能

– Navigation バーの「 Snapshots」より取得した Snapshot が確認可能

Page 36: AWS Black Belt Techシリーズ  AWS Storage Gateway

Snapshot からの Restore

• 取得した Snapshot からデータを Gateway にリストアする場合は、新規の Volume を作成

– Volume 単位のリストア– Volume 作成時に、リストア対象の Snapshot ID を指定– 既存のボリュームにはリストアできないことに注意

• iSCSI の Target Name が変更されるため、接続クライアント側の設定変更が必要となる– 同一リージョンであれば別の Gateway に対してもリストア可能

• Gateway-Stored Volume で EBS にリストアする場合

– EBS の画面より Snapshot ID を指定して新規の EBSVolume の作成を実施

Page 37: AWS Black Belt Techシリーズ  AWS Storage Gateway

Virtual Tape の Archive

• Gateway-VTL の Archive は S3 上にあるバックアップイメージが格納された仮想テープを Glacier に退避する

– バックアップソフトウェアの機能を利用して、仮想テープ毎に実施– バックアップソフトウェアでのテープの棚管理と同じオペレーションを実行– Archive 先として利用される VTS(Glacier) は、 Gateway が利用している S3 と同一

リージョンSymantec Netbackup の場合

Storage Gateway Virtual Tape Shelf(VTS)画面

Page 38: AWS Black Belt Techシリーズ  AWS Storage Gateway

Virtual Tape の Retrieve

• Glacier に Archive された仮想テープをオンライン仮想テープとしてRetrieve することが可能

– 仮想テープ毎に Retrieve– Retrieve は同一リージョン内の別の Gateway-VTL に対しても可能– バックアップソフトウェアの機能を利用して、オンラン化された仮想テープを認識– Retrieve の所要時間は 24 時間程度– Retrieve された仮想テープは読み取り専用

Storage Gateway Virtual Tape Shelf(VTS)画面

Page 39: AWS Black Belt Techシリーズ  AWS Storage Gateway

AWS Storage Gateway Tips

Page 40: AWS Black Belt Techシリーズ  AWS Storage Gateway

Gateway Tips

• AWS へのデータ転送方式– Upload Buffer に貯まる更新データをブロック単位で圧縮し、 HTTPS を利用し

AWS 側に転送

• セキュリティへの配慮– AWS と各 Gateway 間のデータ転送はすべて SSL で暗号化– クラウドストレージ側のデータは AES-256 を用いて暗号化– iSCSI イニシエータは、 CHAP(Challenge-Handshake Authentication

Protocol) にも対応し、暗号化認証が可能

• Storage Gateway の自動アップデート– アップデートやパッチを自動的にダウンロードし適用– メンテナンスウィンドウを指定可能

Page 41: AWS Black Belt Techシリーズ  AWS Storage Gateway

Gateway Tips

• Gateway のネットワーク要件– S3 へのデータ転送、パッチの自動ダウンロード等で Gateway 自身がインターネット

へのアクセスできる経路が必要– Management Console 経由で Gateway の Activation を行うため、設定するクライ

アント PC から Gateway に直接通信できる経路が必要– iSCSI で接続するサーバからローカルアドレスで接続できる通信経路が必要

• S3 へのデータ通信のためのネットワークオプション– オンプレミス Gateway

• ローカルプロキシサーバの指定可能 (Local Console より )• 複数 NIC の指定が可能

– EC2 Gateway• PublicDNS名、 EIP もしくは NAT インスタンスを利用

– S3 間の通信帯域の制限機能

Page 42: AWS Black Belt Techシリーズ  AWS Storage Gateway

EC2 Gateway Tips

• ストレージボリューム– Upload Buffer および Volume Storage には EBS を指定可能– EBS を選択した場合、 Provisioned IOPS も選択可能

• インスタンスタイプ– EBS Optimized をサポートしているインスタンスタイプを選択した場合は、

EBS Optimized Instance も指定可能

• iSCSI 接続– サーバ間の iSCSI 接続は EC2 インスタンスの Private IP アドレスを使用

Page 43: AWS Black Belt Techシリーズ  AWS Storage Gateway

EC2 Gateway Tips

• VPC 上での起動– Activation 時の Gateway アドレスには Management Console を起

動しているクライアント端末から Gateway に直接通信できるPrivate IP, Public IP もしくは割り当てた EIP アドレスを指定

– Private IP アドレスの固定化が可能なため、 Instance の Stop/Startが可能

– VPC の Private Subnet 上に Gateway を起動する場合は、 Activation前に、 NAT インスタンスへのルーティングの設定が必須

Page 44: AWS Black Belt Techシリーズ  AWS Storage Gateway

EC2 Gateway Tips

• EC2 Classic での起動– Activation 時の Gateway アドレスには Management Console

を起動している端末から通信できる Public DNS名のアドレス部分もしくは割り当てた EIP アドレスを指定

EC2 Public DNS: ec2-XXX-XXX-XXX-XXX.ap-northeast-1.compute.amazonaws.com

Gateway IP アドレス : XXX.XXX.XXX.XXX

– Instance を Stop した際、 Private IP が変更されるため iSCSI の接続アドレスも変更されることに注意

Page 45: AWS Black Belt Techシリーズ  AWS Storage Gateway

サイジング Tips

• Upload Buffer のサイジング– 1 Gateway で Upload Buffer は、共有利用されることに注意– Upload Buffer があふれないよう、 Gateway へのデータの書き込み量と、 S3 への

データ転送速度をもとに、 Upload Buffer のサイジングを行う

– 計算式

• Compression Factor は、通常のテキストデータであれば 2:1 、動画や画像などの圧縮済みデータに関しては 1:1 になることが多い

– 最低 150GB を指定することを推奨– Gateway 毎の最大容量は 2TB のため、 2TB 以上必要な場合は Gateway を分離

圧縮率 書込み時間書込みスループット 転送スループット

Page 46: AWS Black Belt Techシリーズ  AWS Storage Gateway

サイジング Tips

• Cache Storage のサイジング– 1Gateway で Cache Storage は、共有利用されることに注意– Upload Buffer より容量を大きくすることを推奨– Gateway 毎の最大容量は 16TB のため、 16TB 以上必要な場合は Gateway を分離

– バックアップユースケース• Upload Buffer の 1.1倍の容量を確保することを推奨

– その他のユースケース• Volume Storage の 20%増し、もしくは Upload Buffer の 1.1倍の容量を確保すること

を推奨

サイジング例

Page 47: AWS Black Belt Techシリーズ  AWS Storage Gateway

サイジング Tips

• 容量拡張– Storage Gateway のローカルストレージである、 Upload Buffer

および Cache Storage に関しては、 Online で新しいディスクデバイスを追加することで容量拡張が可能 ( 容量の増加のみ )

– Gateway-Stored および Gateway-Cached の Volume Storageは、容量を増加し、 Snapshot ID を指定した新規 Volume Storage の再作成が必要

• Target Name が変更されるため、クライアントからの再接続が必要

– Gateway-VTL は新規に仮想テープカートリッジの追加作成

Page 48: AWS Black Belt Techシリーズ  AWS Storage Gateway

サイジング Tips

• パフォーマンスチューニング

– ディスクの高速化 (Cache Storage, Upload Buffer, Volume Storage)– CPU リソースの追加– Upload Buffer と各種 Volume(Cache Storage/ Volume Storage) の物理

ディスクを分ける– Storage Gatewayホストの追加

– クライアントサーバと Gateway 間の通信帯域の増強– CPU リソースの追加

Gateway 側

クライアント側

Page 49: AWS Black Belt Techシリーズ  AWS Storage Gateway

環境監視 Tips

• CloudWatch を利用した環境監視– Storage Gateway のリソース監視は CloudWatch を利用してモニタリン

グすることが可能– クライアントと Gateway 間のパフォーマンス測定

– Gateway と AWS 間のパフォーマンス測定

スループット ReadBytes もしくは WriteBytes のメトリックスにて Sum値を秒間に変換することで、 bytes/秒のスループットを確認

レイテンシー ReadTime もしくは WriteTime のメトリックスにて Average値より指定 Period 期間のレイテンシーを確認

IOPSReadBytes もしくは WriteBytes のメトリックスにて Sample値を秒間に変換することで、 input, output/秒の IOPS を確認

スループット CloudBytesDownload もしくは CloudBytesUpload のメトリックスにて Sum値を秒間に変換することで、 bytes/秒のスループットを確認

レイテンシー CloudDownloadLatency メトリックスにて Average値より指定 Period 期間のレイテンシーを確認

Page 50: AWS Black Belt Techシリーズ  AWS Storage Gateway

環境監視 Tips

– Upload Buffer のモニタリング

– Cache Storage のモニタリング

※CloudWatch のアラート機能を利用して、一定閾値を超えた場合に 通知することも可能

利用状況 UploadBufferPercentUsed, UploadBufferUsed, UploadBufferFree メトリックスそれぞれの Average値を基準に利用状況を確認

Cache の利用状況 CachePercentUsed と TotalCacheSize メトリックスの Average値より、実際の Cache 領域の利用量および利用率を確認

Cacheヒット率 CacheHitPercent メトリックスの Average値を確認CacheHitPercent は高いことが望ましい

Dirty率(AWS へ未転送 )

CachePercentDirty メトリックスの Average値を確認CachePercentDirty は低いことが望ましい

Page 51: AWS Black Belt Techシリーズ  AWS Storage Gateway

リストア Tips

• Gateway-Stored Volume– ローカルの Storage Gateway にリストアする際は、 Snapshot データがローカルの

Volume Storage にすべて転送されるため、リストア時間およびデータ転送料金が発生

• Gateway-Cached Volume– S3 上の Volume Storage に Snapshot を展開する形となるため、即座にリストア可能な

うえ、ローカルの Storage Gateway へのリストアの場合は、アクセスしない限りデータ転送料金が発生しない

• Snapshot の Multi Region 利用– Snapshot のリージョン間転送機能を利用することで、他リージョンでの EBS へのリス

トア、もしくは Gateway-Cached Volume へのリストアが可能

• Gateway-VTL– VTS からの Retrieve は、同一リージョン内で Activate されている Gateway-VTL のみ

Page 52: AWS Black Belt Techシリーズ  AWS Storage Gateway

Pricing

Page 53: AWS Black Belt Techシリーズ  AWS Storage Gateway

Pricingモデル

② データ格納月額費用 $0.033/GB

③ スナップショット月額料金 $0.095/GB

④ データ IN 無料

⑤ OUT 最初の 1GB/ 月 $0.000/GB

OUT 10TB まで / 月 $0.201/GB

OUT次の 40TB まで / 月 $0.158/GB

OUT次の 100TB まで / 月 $0.137/GB

OUT次の 350TB まで / 月 $0.127/GB

OUT次の 524TB 以上 お問い合わせください

① 1 Gateway 月額費用 $119.00

• Gateway 利用料

• データ格納料

• データ転送料

②データ格納(S3)

Internet

バックアップサーバ

④データ転送(IN)  

⑤データ転送(OUT)  

2014年 8 月時点での東京リージョン価格

①AWS Storage Gateway  (Gateway-Stored Volume Gateway-Cached Volume)

③Snapshot(S3)

※EC2 Gateway

※ Storage Gateway on EC2 に関しては別途 EC2 インスタンスの時間 課金および EBS 容量課金が発生

Gateway の

60日無料枠

Page 54: AWS Black Belt Techシリーズ  AWS Storage Gateway

Pricingモデル

② 仮想テープ データ格納月額費用 $0.033/GB

③ 仮想テープシェルフデータ格納月額費用

$0.012/GB

④ シェルフからのデータ取得 $0.036/GB

⑤ 仮想テープ削除 無料※ 1

⑥ データ IN 無料

⑦ OUT 最初の 1GB/ 月 $0.000/GB

OUT 10TB まで / 月 $0.201/GB

OUT次の 40TB まで / 月 $0.158/GB

OUT次の 100TB まで / 月 $0.137/GB

OUT次の 350TB まで / 月 $0.127/GB

OUT次の 524TB 以上 お問い合わせください

① 1 Gateway 月額費用 $119.00

• Gateway 利用料

• データ格納料

• データ転送料

①AWS Storage    Gateway  (Gateway-VTL)

②仮想テープデータ

(S3)

Internet

バックアップサーバ

④ データ取得

※1 90日以内に仮想テープを削除した場合は $0.036/GB課金

③仮想テープシェルフデータ

(Glacier)

⑥データ転送(IN)  

⑦データ転送(OUT)  

⑤ 仮想テープ削除2014年 8 月時点での東京リージョン価格

Gateway の

60日無料枠

Page 55: AWS Black Belt Techシリーズ  AWS Storage Gateway

まとめ

Page 56: AWS Black Belt Techシリーズ  AWS Storage Gateway

まとめ

• Storage Gateway を利用することで、 Amazon S3 や Glacier を簡単に活用することが可能

• 場所を選ばずオンラインデータ、バックアップデータなど様々なデータを AWS のクラウド・ストレージに格納可能

• Amazon S3 や Glacier の特徴である、セキュアで高い堅牢性を持つストレージに重要なデータを保管

Page 57: AWS Black Belt Techシリーズ  AWS Storage Gateway

参考資料

• AWS Storage Gateway User Guidehttp://docs.aws.amazon.com/storagegateway/latest/userguide/WhatIsStorageGateway.html

• AWS Storage Gateway FAQhttp://aws.amazon.com/jp/storagegateway/faqs/

• AWS Storage Gateway 価格http://aws.amazon.com/jp/storagegateway/pricing/