AWS Storage gateway の使用レ
ポート
Takayuki Saito @taka3110_pcc
自己紹介
工場への人材営業から 24/365 の IT 運用スタッフへ転身という変わった経歴をもち、IT 運用スペシャリストを目指す現場主義のエンジニア。またの名を復旧請負人。NW 設計からクエリチューニングまでマルチレイヤでの対応をモットーとしている。現在は某 MSP にて誰もが幸せになれる、愛される IT 運用を実現すべく日々奮闘中。コードネームはドン。Zabbix 認定スペシャリスト / AWS 認定 SA第3回チューニンガソン 入賞インストールマニアックス Final 準優勝
Takayuki Saito ( 斉藤 孝之 ) @taka3110_pcc
https://github.com/taka3110
https://www.chatwork.com/don
menu
• AWS StorageGateway の特徴• 今回試した構成• 追加 EBS 、 samba 共有との性能比較• EBS との料金比較• 結果
※ 本資料は 2014/05/07 時点での検証結果に基づく資料です。
AWS storage gateway の特徴◎ iSCSI 接続が可能◎ 容量がほぼ無限 (EBS は 20TiB)
• よく使うファイルを EBS に置く ( キャッシュ / バッファ ) 事で、 S3 でも低レイテンシ接続が可能• 仮想テープ / バックアップ・ DR 用などに分かれており、用途によって使い分けが可能• スナップショット等、バックアップが簡単に取得出来る• 直接オンプレ仮想環境に接続させる事も可能だし、 EC2 で Gateway することも可能• などが、凄い詳しく載っている資料は↓
http://www.slideshare.net/AmazonWebServicesJapan/20130515-aws-meisterregeneratestoragegwpublic
by AWS 北迫さん
今回試した構成
• などの、作り方が凄い詳しく載っている資料は↓http://memocra.blogspot.jp/2013/02/storage-gatewayec2centoss3.htmlby アイレット miura satoru さん
iSCSI m1.xLarge
StorageGateway
instance
t1.micro
FileServerWindows2008R
2
5GBnormal
Upload Buffer
5GBnormal
Local Cache
100GB
Volume StorageStorageGatewa
y
atatched
atatched
Office
Internet
Client
Client
FileSharing
今回試した構成
• などの、作り方が凄い詳しく載っている資料は↓http://memocra.blogspot.jp/2013/02/storage-gatewayec2centoss3.htmlby アイレット miura satoru さん
iSCSI m1.xLarge
StorageGateway
instance
t1.micro
FileServerWindows2008R
2
5GBnormal
Upload Buffer
5GBnormal
Local Cache
100GB
Volume StorageStorageGatewa
y
atatched
atatched
Office
Internet
Client
Client
FileSharing
NTFS フォーマットネットワーク共有ドライブ
追加 EBS 、 samba 共有との性能比較
• FileServer 上から「 CrystalDiskMark 」を使用して性能比較http://crystalmark.info/
iSCSI m1.xlarge
StorageGateway
instance
t1.micro
FileServerWindows2008R
2
5GBnormal
Upload Buffer
5GBnormal
Local Cache
100GB
Volume StorageStorageGatewa
y
atatched
atatched
Office
Internet
Client
Client
FileSharing
FileServer 上で実施
追加 EBS 、 samba 共有との性能比較• 測定内容
シーケンシャルの read/write 速度512KB 、 4KB のランダム read/write 速度
• 実施内容測定回数: 2 回測定バイト数: 50MB
※ 課金が見えなかったので、かなり控えめ ( 最低条件 ) 実施。 参考程度の扱いでお願いします。
※ SMB 共有は EBS(OS) を ubuntu 上で samba を起動 し、ネットワークドライブとして windows で認識させたもの。 s3fs でマウントした領域を smb で共有した状態での テストも実施しましたが、そもそも書き込めませんでした。
EBS(OS)
EBS( 追加 )
SMB共有
StorageGW
単位 [MB/S] Read Write Read Write Read Write Read Write
シーケンシャル 103.1 29.34 99.14 27.90 8.626 8.425 13.95 11.07
512KB ランダム 98.89 25.78 95.47 24.82 8.836 10.35 12.87 10.70
4KB ランダム 7.808 1.290 7.615 1.175 1.732 1.001 1.012 0.442
4KB Queue Depth = 32
46.12 8.717 62.53 9.235 8.242 8.196 11.41 4.736
追加 EBS 、 samba 共有との性能比較
Seq 512K 4K 4KQD320
20
40
60
80
100
120
103.198.89
7.808
46.12
99.14 95.47
7.615
62.53
8.626 8.8361.732
8.24213.95 12.87
1.01211.41
READ
EBS(OS) EBS( 追加 ) SMB 共有 StorageGW
テスト項目
MB
/S
追加 EBS 、 samba 共有との性能比較
Seq 512K 4K 4KQD320
5
10
15
20
25
30
35
29.34
25.78
1.29
8.717
27.9
24.82
1.175
9.2358.42510.35
1.001
8.19611.07 10.07
0.442
4.736
WRITE
EBS(OS) EBS( 追加 ) SMB 共有 StorageGW
テスト項目
MB
/S
EBS との料金比較• EBS をファイルサーバストレージとする場
合とStorageGateway をストレージにする場合で料金を比較
• StorageGateway を EC2 上で使う為、専用インスタンス (m3.xlarge 以上 ) を使用※今回は m3.xlarge で計算
• FileServer 用インスタンスを用意※今回は m3.medium で計算
• StorageGateway は EBS が 2 つ(cache+buffer) 必要
• StorageGateway は Volume が安いが、必要なものが多い為、単純に容量比較をした場合は EBS より高くなる。
iSCSI m3.xlarge
StorageGateway
instance
m3.medium
FileServerWindows2008R
2
normal
Upload Buffer
normal
Local Cache
Volume StorageStorageGatewa
y
atatched
atatched
m3.medium
FileServerWindows2008R
2
atatchednormal
Storage
StorageGateway
EBS
EBS との料金比較• 固定費
EBS/StorageGW 双方 FileServer(m3.medium) = 2,538 円StorageGW のみ 専用インスタンス (m3.xlarge) =10,103 円
• ストレージ費用EBS Volume 1GB = 8.24 円StorageGateway Volume 1GB = 3.399 円
※ インスタンスの月額は全て 1年重度使用のリザーブドインスタンス (初期費用を 12 分割して足したもの )で計算※ 1 ドル =103 円で計算※ StorageGateway のバッファ / キャッシュは、それぞれ容量の 1/5 として計算。 ( 上限は 1TB とする )
※ 右表と別で通信料が必要となる。
容量 (GB) EBS 月額Storage
Gateway 月額500 ¥ 6,657 ¥ 28,245
1000 ¥ 10,777 ¥ 31,592
2000 ¥ 19,017 ¥ 38,287
3000 ¥ 27,257 ¥ 44,982
4000 ¥ 35,497 ¥ 51,677
5000 ¥ 43,737 ¥ 58,372
6000 ¥ 51,977 ¥ 61,771
7000 ¥ 60,217 ¥ 65,170
8000 ¥ 68,457 ¥ 68,569
9000 ¥ 76,697 ¥ 71,968
10000 ¥ 84,937 ¥ 75,367
結果• Buffer/Cache の容量を計算し、適切に見積もる事で StorageGateway は FileServer と
して使用するに十分に足りるレイテンシを確保可能
• S3 を使用する事で 99.999999999% の堅牢性を保持している為、バックアップや DR に対する運用コストを削減し、ファイル誤操作に対する運用に注力できる。
• 規模によっては StorageGateway の方が費用が高くなる。 Buffer/Cache の容量次第だが、単純比較では 8000GB 以上でお得に。容量計算方法: http://understeer.hatenablog.com/entry/2012/02/02/072607 understeerさん awsmemo より
• SMB 共有や NFS よりもある程度低レイテンシで接続が出来るようなイメージ。• 以下のような構成例の他、 Glacier と連携させる事で使わない画像データ等にも有効に使
える。医療やアニメ等の画像データ、 Web 上で蓄積させる為のデータには都合が良さそう。http://aws.amazon.com/jp/cdp/fileserver/?utm_source=AWS&utm_medium=awswebsite&utm_campaign=LP_jpcdp&00N500000026nJd=LP_jpcdp