AWSではじめるGlusterFS

AWSではじめる GlusterFS

2012/7/26 Linux女子部

Copyright © 2012 Amazon Web Services

自己紹介

名前：片山暁雄 ( @c9katayama )

所属：アマゾンデータサービスジャパン

職種：ソリューションアーキテクト

好きなプログラム言語：

Java,C#,ActionScript

好きなLinux

Amazon Linux


本日のアジェンダ

AWS(Amazon Web Services)のご紹介

AWSではじめるGlusterFS

まとめ


AWS(Amazon Web Services)

のご紹介


AWS User Group Japan (JAWS-UG)

5

現在20支部ハッシュタグ #jawsug

宮崎

東京

札幌

仙台

名古屋

クラウド女子会

大阪

金沢京都

山口

佐賀

福岡

鹿児島

沖縄

熊本

浜松

静岡

神戸

Copyright © 2012 Amazon Web Services 6

カリフォルニアダブリン

シンガポール

東京

オレゴン

世界中でサービスを展開中

初期費用なしで全世界のインフラを利用可能

バージニア

サンパウロ

リージョン

エッジローケーション

GovCloud

データは指定した地域に置かれる


AWSの様々なサービス

7

お客様のアプリケーション

認証 AWS IAM

モニタリング Amazon

CloudWatch

Web管理画面 Management

Console

デプロイと自動化 AWS Elastic Beanstalk

AWS CloudFromation

IDEプラグイン Eclipse

Visual Studio

ライブラリ & SDKs Java, PHP, .NET,

Python, Ruby

Development &

Administration

コンテンツ配信 Amazon CloudFront

メッセージ Amazon SNS Amazon SQS

分散処理 Elastic MapReduce

メール配信 Amazon SES

キャッシング Amazon Elasticache

ワークフロー管理 Amazon SWF

Application

Service

コンピュータ処理

Amazon EC2 Auto Scale

ストレージ Amazon S3

Amazon EBS AWS StorageGateway

データベース Amazon RDS

Amazon DynamoDB Amazon SimpleDB

AWS グローバルインフラ Geographical Regions, Availability Zones, Points of Presence AZ Region

ネットワーク & ルーティング Amazon VPC / Amazon Elastic Load Balancer / Amazon Route 53 /AWS Direct Connect

Infrastructure

Service


Amazon EC2(Elastic Compute Cloud)

1 任意のゾーンに分散配置可能

リージョンアベイラビリティ

ゾーン A

EC2

アベイラビリティゾーン B

EC2

EC2

数分で起動可能な仮想サーバ

1時間ごとの従量課金で利用可能

14種類の仮想サーバを選択可能

Windows, Linuxなどx86-64アーキテクチャのOSが利用可能

OS以上は自由に触れる

GlusterFSでもJbossでもインストール可能

RHELも従量課金！！


Amazon EBS(Elastic Block Store)

EC2にマウント可能なストレージ

1EBSあたり最大1TB

複数のEBSを1つのEC2インスタンスにアタッチ可能

EBSを別のEC2にマウントしなおす事も可能

ただし複数のEC2から1つのEBSをマウントすることは出来ない

任意のファイルシステムでフォーマット

スナップショット機能

任意の時点の全データをS3へ保管

EC2

EBS

EBS /dev/xvdg

EBS /dev/xvdf

S3


AWSではじめるGlusterFS


GlusterFSをAWSで実行すると・・

サーバ、ディスクの調達が容易

時間課金で試すのが簡単

異なるデータセンター間・遠隔地へのレプリカテストが容易

世界中のデータセンターが使える

GlusterFSを使用して、冗長的なアーキテクチャを実装可能

最も困難なデータ冗長化を実現

クラウドアーキテクチャの自由度が大幅にUP



Step1 まずは2台でハンズオン

t1.microのLinuxインスタンスを同一AZに2台起動

GlusterFSのインストール

yum localinstall -y http://adsj-demo.s3.amazonaws.com/gluster-fs3.3/glusterfs-3.3.0-1.el6.x86_64.rpm http://adsj-demo.s3.amazonaws.com/gluster-fs3.3/glusterfs-server-3.3.0-1.el6.x86_64.rpm http://adsj-demo.s3.amazonaws.com/gluster-fs3.3/glusterfs-fuse-3.3.0-1.el6.x86_64.rpm

service glusterd start EC2 EBS

EC2 EBS

レプリカ


レプリカ設定

gluster peer probe EC2インスタンス1IP

gluster peer probe EC2インスタンス2IP

gluster vol create vol01 replica 2 EC2インスタンス1IP:/mnt/ebs/brick-vol01 EC2インスタンス2IP:/mnt/ebs/brick-vol01

gluster vol start vol01

マウント

mkdir /mnt/gluster-vol01

mount -t glusterfs EC2インスタンス1IP:/vol01 /mnt/gluster-vol01

Step1 まずは2台でハンズオン


片山さん、めんどくさいよ・・・


良いものアリます！

CloudFormation

POINT:テンプレートを元に、システムを一気に構成

ボタンをクリックでCF発動

CloudFormationテンプレート

http://adsj-demo.s3.amazonaws.com/gluster-fs3.3/gluster-fs-sample-2replica.json













http://adsj-demo.s3.amazonaws.com/gluster-fs3.3/Step1.html


Step２ AZ間のデータ同期

インスタンス起動

t1.microのLinuxインスタンスを異なるAZに2台づつ起動

GlusterFSを4台にインストール

レプリカ設定

レプリカを2に設定

AZで2対になるように設定

ファイルシステムにマウント

EC2 EBS

EC2 EBS

EC2 EBS

EC2 EBS

Zone-A

Zone-B

レプリカ

レプリカ


片山さん、更にめんどくさいよ・・・


もちろんアリます！

CloudFormation POINT:作ったシステム構成は、一気に破棄できます。

ボタンで発動

CloudFormationテンプレート http://adsj-demo.s3.amazonaws.com/gluster-

fs3.3/gluster-fs-sample-4replica-2az.json

http://adsj-demo.s3.amazonaws.com/gluster-fs3.3/gluster-fs-sample-4replica-2az.json
















Step3 よりグローバルなシステム

複数のリージョン

例えば日本とシンガポールをまたいだシステム構築

バックアップやDRも

Geo-Replication

遠隔地へ、非同期でデータを同期

マスター/スレーブモデル

Replicated Volumes Geo-replication

クラスター内でデータをミラーリング地理的に離れたクラスタでデータをミラーリング

高可用性を提供バックアップやＤＲ用途

同期処理非同期処理

Copyright © 2012 Amazon Web Services 20

カリフォルニアダブリン

シンガポール

東京

オレゴン

全世界17カ所でGluster可能

バージニア

サンパウロ

リージョン

アベイラビリティゾーン




AWS 無料使用枠（12ヵ月）

Amazon EC2 750時間/月のLinux マイクロインスタンス

複数インスタンスの場合も、合計750時間/月であれば無料利用枠に該当

Amazon EC2 750時間/月のWindows Server マイクロインスタンス

複数インスタンスの場合も、合計750時間/月であれば無料利用枠に該当

Amazon EBS

30 GB に加え、200万 I/O、スナップショットストレージ 1 GB

Elastic Load Balancing

750時間に加え 15 GB 分のデータ処理

帯域幅「送信（アウト）」15 GB

Amazon S3 ストレージ

5 GBの容量、20,000 Get リクエスト、2,000 Put リクエスト

DynamoDB、SimpleDB、SWF、SQS、SNS、CloudWatch

十分GlusterFS試せます！


Tips

ネットワークおよびEBSのIOパフォーマンスが欲しい場合

大きいインスタンス、大きいEBSボリュームを使用して下さい

EBSの場合、ストライピングも可能

使用前のウォームアップ

EBS全領域へ一度書き込む事をお勧めします

エフェメラルディスクでもGlusterFS

料金無料の内蔵ディスクもGlusterなら便利に利用可能

ログの保存などに

2TのSSDを内蔵したEC2インスタンスもリリース


まとめ


まとめ

GlusterFS試すならAWS!

無料枠でも十分試せます！

申し込み頂ければ$10チケット差し上げます

GlusterFSでクラウド設計をより柔軟に！

本番利用はRed Hat Storage Serverを！



来場登録ウェブサイトも 7月27日（金）

に公開・受付開始決定！

27

Technology

AWSではじめるGlusterFS