GlusterFS Updates (and more) in 第六回クラウドストレージ研究会

Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 1


Agenda

What is GlusterFS?

The latest GlusterFS

Real world GlusterFS


What is

GlusterFS?


分散ファイルシステム

出典：高橋敬祐「テクノロジー最前線今注目の分散ファイルシステム「GlusterFS」」『日経SYSTEMS 2014年10月号』 pp.54-59


What is GlusterFS?

Since 2005

目指す世界すべてのクラウド事業者がGoogleのようにスケーラブルなストレージ基盤を構築できること

クラウド事業者が自由にハードウェアを選べるようにソフトウェアを実装すること


What is GlusterFS?

特徴中央サーバを持たない構成

サーバサイドはシンプル。クライアントが豊富な機能を備える。

多様なインタフェース


特徴１：中央サーバを持たない構成



特徴２：クライアントに豊富な機能



特徴３：多様なインタフェース



self-heal



The latest

GlusterFS


The latest GlusterFS

3.6.0beta3, 3.5.3beta1

Bug triage中 (7回目, 10/29時点) トリアージ対象のバグは全て解消

新たなトリアージ対象11件


GlusterFS 3.6 でのアップデート

Erasure Coding

ヘテロジニアスなブリック

ボリュームをスコープとしたglusterdのロックが可能に

ボリュームのスナップショット

レプリケーションのチェンジログ

SSLサポートの強化

RDMAの強化


将来の機能追加予定

ストレージ自動階層化

ログをベースとしたチェイン・レプリケーション

ゴミ箱

小容量ファイルに関する性能向上

リバランスの性能向上

SELinuxとのインテグレーション

ポリシーベースのsplit brain解決

GlusterFS Serverのクォーラム

REST API

カスタム・トランスレータ追加の簡易化

etc...


参考: ストレージ自動階層化

出典：http://gluster.org/community/documentation/index.php/Features/gluster_compliance_archive


その他の話題

OpenShift

GlusterFlow


GlusterFlow

出典: http://glusterflow.org/


GlusterFlow

出典: http://glusterflow.org/


Real world

GlusterFS


ストレージプール

事例：OpenStackとのインテグレーション

GlusterFS GlusterFS GlusterFS GlusterFS

qemu

libgfapi I/F

Nova

KVMゲスト

Cinder Block

Storage

qemu

libgfapi I/F

Nova

KVMゲスト

Cinder Block

Storage

qemu

libgfapi I/F

Nova

KVMゲスト

Cinder Block

Storage

qemu

libgfapi I/F

Nova

KVMゲスト

Cinder Block

Storage

qemu

libgfapi I/F

Nova

KVMゲスト

Cinder Block

Storage

......


イベントテーマ「分散ストレージを評価してみた」

性能 libgfapi vs FUSE vs NFS

KVMゲストの収容限界調査

評価環境 10Gig-E SSD

CentOS 7, Kernelチューニング済み OpenStack Icehouse

GlusterFS 3.5.2, 各パラメタチューニング済み

ベンチマークツール：fio 2.1.7 各KVMゲスト上で5回計測、平均値を採用 record size = 4KB

file size = 10GB

jobs数 = 8

iodepth = 8, 1 (それぞれseq, rand)

参考値(rand r, rand w, seq r, seq w, IOPS) 東芝SSD&XFS ... 76213, 29371, 98295, 112217

上記+GlusterNative ... 16464, 14927, 17553, 26624


libgfapi vs FUSE vs NFS

・KVMゲスト50VM

・このうち10VM上でfioを同時実行

・各KVMゲストのIOPS上限を1000に制限 ↓

・ホストOSのload average, iowaitに関して、libgfapiに大きなアドバンテージ。

・KVMゲストのiowaitもlibgfapiが優位。


KVMゲストの収容限界調査(libgfapi, IOPS)

・qemu-kvmのバージョン2.0を使用 (1.5.3使用時は、KVMゲスト50VM時にVMがio-errorでクラッシュ)

・各KVMゲストのIOPS上限を1000に制限(10VM

以上の場合)


KVMゲストの収容限界調査(libgfapi, スループット)


イベントテーマ「SDS導入に必要なことは？」

冷静になって考える本当に必要か？なぜ必要なのか？

インタフェースは最適か？

２冗長？３冗長？

パフォーマンスのスケールアウトに対する考察

収容設計は入念にアクセスパターン

要求されるスループット

ログの管理も要検討ログローテーション

ログコレクタの活用


Conclusion

GlusterFSについて紹介しました。

実装予定機能や関連ツールなど、技術的な話題は（今も昔も）豊富にあります。

多数の商用実績があります。今回は２つの事例を紹介しました。

評価として、OpenStack Cinderとしてのユースケースにおける性能評価を紹介しました。

Software Defined Storageの導入は計画的に。

Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 27 To contact us, e-mail here -> [email protected]

Technology

GlusterFS Updates (and more) in 第六回クラウドストレージ研究会