Storage Gateway で大容量ストレージ構築
2015/04/25(土)JAWS-UG 沖縄勉強会
Cloud on the beach 2015株式会社レキサス 与儀実彦
自己紹介
与儀実彦 (よぎさねひこ)
所属:株式会社レキサスインフライノベーション部インフラデザインチーム
ロール:インフラエンジニア・AWSソリューションアーキテクトAWSシステム設計・提案・構築・運用オンプレも時々
好きなAWSサービス:Amazon S3好きな物理学者:リチャード・ファインマン
JAWS-UG沖縄コアメンバーとして活動中
JAWS DAYS 2015 登壇してきました。(2015/03/22)
好きな物理学者:リチャード・ファインマン (1918-1988)
最もポピュラーな(素粒子)理論物理学者の1人
ファインマンダイアグラム、経路積分法、くりこみ理論→ノーベル物理学賞受賞(1968年)
未来技術の可能性を提唱したことでも知られる
・ナノテクノロジーの可能性を提唱(1959年)
・量子コンピュータの可能性を提唱(1985年)
→いままさに実現されつつある技術
おススメ NHKスペシャル NEXT WORLD –私たちの未来-
http://www.nhk.or.jp/nextworld/
5つのテーマで、30年後2045年の未来予想を描いた
1.ビッグデータ・未来予測2.寿命・医療3.ロボティクス4.VR5.宇宙開発・建築技術
NHKの回し者ではないですが、これは必見!!
おススメ NHKスペシャル NEXT WORLD –私たちの未来-
5つのテーマで、30年後2045年の未来予想を描いた
1.ビッグデータ・未来予測2.寿命・医療3.ロボティクス4.VR5.宇宙開発・建築技術
おススメ NHKスペシャル NEXT WORLD –私たちの未来-
ビッグデータ(データ分析)・未来予測はその他未来技術の基礎となるためとても重要
本日の資料
多数引用させてもらってます。
http://aws.amazon.com/jp/aws-jp-introduction/
好きなAWSサービス :Amazon S3
AWS の誇るオンラインストレージサービス
→運用者手間いらず
好きなAWSサービス :Amazon S3
AWSを裏で支えている
Amazon RDS for Aurora → RDS の S3 版?
→運用者手間いらず
運用者手間いらず
(個人的妄想)S3、Aurora、ときたら、EC2 のS3 版サービスの登場もそう遠くないはず?
→運用者手間いらず→運用者いらず???
?
運用者手間いらず
サーバレスの時代
参照元URLhttp://www.slideshare.net/keisuke69/how-to-usecloudforprogrammer
本日のテーマ
Storage Gateway で大容量ストレージ構築
Storage Gateway 実際に使ったことのある方?
ざっくり言うと、オンプレサーバからも、EC2サーバからも
S3領域をマウントしたシステム領域として利用できるサービス
Storage Gateway とは?
オンプレからも
AWS上でも
S3へデータ保管
3種類の Gateway Type
3種類の Gateway Type
Gateay-Cached Volumes を利用
私の勘違い
Storage Gateway は S3 にファイルが保存されるので、
Storage Gateway 経由じゃなくても、直接ファイルへアクセス可能
と思っていた。
私の勘違い
→ 実際はアクセスできないStorage Gateway は S3 基盤を使っている
が、通常のS3とは別の領域
Storage Gateway は S3 にファイルが保存されるので、
Storage Gateway 経由じゃなくても、直接ファイルへアクセス可能
と思っていた。
私の勘違い
私の勘違い
●大容量ストレージ領域が必要なサービス
Storage Gateway 利用用途
●大容量ファイルを扱うサービスをオンプレミスで運用→サービスの拡大とともに、利用ストレージ容量も増加→拡大スピードにストレージ拡張が追い付かない→拡大に合わせて柔軟にストレージを拡張させたい
●NFSによる大容量ストレージサーバを利用
●諸事情によりアプリ改修ができない
→今後を見据えて、AWSへの移行実施
弊社事例ケース
Storage Gateway を選んだ理由
●NFSによる大容量ストレージサーバを利用
●諸事情によりアプリ改修ができない
→あまりよろしくないが、ほぼそのまんま移行きるので。。。
オンプレ(簡略図)
web01
DC
NASヘッドサーバweb02 Worker
db01
Storage
iscsi
NFS Client servers
NFS
ELB
AWS移行後(簡略図)
iscsi
NFS Client servers
web01 web02 Woker
NFS
RDS
NASヘッドサーバ
StorageGateway
StorageGatewayインスタンス
S3
その他、Storage Gateway の利点
●独自のプロトコルでS3へのファイル転送時にファイル圧縮されるため、容量が多少は少なくなる
●諸事情によりアプリ改修ができない
→あまりよろしくないが、ほぼそのまんま移行きるので。。。
現状構成の改善点・課題点1
●NFSポイント、つまりNASヘッドおよびStorage Gatewayインスタンスが単一障害点
→Storage Gateway を複数利用またはクラスター化には費用がかかる
→アプリ改修により、NFS構造から直接S3を参照する構成への変更が理想
→Storage Gateway からの脱却が望ましい
現状構成の改善点・課題点2
●キャッシュストレージ容量の最適化
→CloudWatchグラフで取得されるキャッシュヒット率や運用していく中で最適値を探るしかない
EBS が1ボリューム最大1TB から 最大16TBまで利用可能に。。。
Amazon Elastic File System (EFS) 登場。。。(まだLimited Preview版)
Amazon Elastic File System (EFS) 登場
参照元URLhttp://www.slideshare.net/tsuzy/20150422-new-services-meetup-elastic-file-system-efs
Amazon Elastic File System (EFS) 登場
参照元URLhttp://www.slideshare.net/tsuzy/20150422-new-services-meetup-elastic-file-system-efs
Amazon Elastic File System (EFS) 登場
参照元URLhttp://www.slideshare.net/tsuzy/20150422-new-services-meetup-elastic-file-system-efs
Amazon Elastic File System (EFS) 登場
参照元URLhttp://www.slideshare.net/tsuzy/20150422-new-services-meetup-elastic-file-system-efs
Amazon Elastic File System (EFS) 登場
参照元URLhttp://www.slideshare.net/tsuzy/20150422-new-services-meetup-elastic-file-system-efs
Amazon Elastic File System (EFS) 登場
参照元URLhttp://www.slideshare.net/tsuzy/20150422-new-services-meetup-elastic-file-system-efs
Amazon Elastic File System (EFS) 登場
参照元URLhttp://www.slideshare.net/tsuzy/20150422-new-services-meetup-elastic-file-system-efs
Amazon Elastic File System (EFS) 登場
参照元URLhttp://www.slideshare.net/tsuzy/20150422-new-services-meetup-elastic-file-system-efs
Amazon Elastic File System (EFS) 登場
参照元URLhttp://www.slideshare.net/tsuzy/20150422-new-services-meetup-elastic-file-system-efs
●Storage Gateway は単一障害点をどう回避するか課題
●キャッシュストレージの最適化が肝要
●Storage Gateway 、S3 、EBS、EFSとの使い分けは要検討
●アプリ・インフラ全体のシステム設計がやっぱり一番大事
まとめ