17
-0- 2015年11月 Ceph ベンチマーク結果 アファーム・ビジネスパートナーズ株式会社 データソリューション・サービス事業部 川端 利海 ~ SDS製品 QuantaStorでの検証 ~

Ceph ベンチマーク

Embed Size (px)

Citation preview

- 0 -

2015年11月

Ceph ベンチマーク結果

アファーム・ビジネスパートナーズ株式会社

データソリューション・サービス事業部

川端 利海

~ SDS製品 QuantaStorでの検証 ~

- 1 -

1. QuantaStor とは - ① SDSとしての機能

QuantaStor は、x86系サーバにインストールすることで、仮想的なストレージを実現します。

ストレージ専用機に匹敵する機能を、ソフトウェアベースで提供するSDS(Software Defined Storage)の

代表的な製品です。併せて、 Cloud Storage Gateway の機能も有しています。

Copyright 2015 AFfirm Business Partners All Rights Reserved.

Server

Disk

仮想ストレージ

Server

Disk

Server

Disk

Server

Disk

ストレージ

高価な専用ストレージを利用(ベンダー主体の販売戦略)

安価なx86系サーバを用いて仮想ストレージを利用(ユーザー主体の購入)

QuantaStor とは ベンチマーク目的

検証環境 結果

QuantaStor

- 2 - Copyright 2015 AFfirm Business Partners All Rights Reserved.

オンプレミス クラウド

ハードウェア

ソフトウェア

StorSimple

TwinStrata

AltaVault

SAN/NAS

SDS

Cloud Storage Gateway

Storage Gateway Cloud Storage System

Scale Out

Scale Out

Scale Up

QuantaStor は、以下の様なポジションを持つユニークで非常に優れたプロダクトです。

QuantaStor

QuantaStor とは ベンチマーク目的

検証環境 結果1. QuantaStor とは - ② ストレージ製品群でのポジション

- 3 -

1. QuantaStor とは - ③ 他社Ceph製品との優位性

Copyright 2015 AFfirm Business Partners All Rights Reserved.

QuantaStor は独自のGUIを用いて、Cephの設定や運用管理を簡単に行う事ができます。

一般的なCeph製品

QuantaStor とは ベンチマーク目的

検証環境 結果

% ssh user@ceph-server% sudo useradd -d /home/ceph -m ceph% sudo passwd ceph% echo "ceph ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/ceph% sudo chmod 0440 /etc/sudoers.d/ceph% ssh-keygen

Generating public/private key pair.Enter file in which to save the key (/ceph-client/.ssh/id_rsa):Enter passphrase (empty for no passphrase):Enter same passphrase again:Your identification has been saved in /ceph-client/.ssh/id_rsa.Your public key has been saved in /ceph-client/.ssh/id_rsa.pub.

% ssh-copy-id ceph@ceph01% ssh-copy-id ceph@ceph02% ssh-copy-id ceph@ceph03% git clone https://github.com/ceph/ceph-deploy.git ~/ceph-deploy% sudo apt-get update ; sudo apt-get -y install python-virtualenv% cd ~/ceph-deploy% ./bootstrap% ceph-deploy new ceph01 ceph02 ceph03% ceph-deploy install ceph01 ceph02 ceph03% ceph-deploy mon create ceph01 ceph02 ceph03% ceph-deploy gatherkeys ceph01 ceph02 ceph03% ceph-deploy osd create create ceph01:/dev/sdb ceph02:/dev/sdbceph03:/dev/sdb% ceph-deploy mds create ceph01 ceph02 ceph03

・・・・・・・・・・・・% rbd create foo --size 4096% sudo modprobe rbd% sudo rbd map foo --pool rbd --name client.admin

コマンドラインを用いた煩雑な設定!スクリプトで以前よりは簡素化されたが、専門の知識が必要

OSSで管理用のGUIが存在するが、別途Webサーバを構築する必要があり、設定するには手間がかかる!

QuantaStor

必要な設定や運用管理を、統一されたGUIで一元的に簡単に対応可能!

Network設定 Cluster設定 User設定Storage設定

Ceph OSD設定 Ceph Pool設定 Ceph 運用監視Ceph Device設定

- 4 -

1. QuantaStor とは - ④ サポート体制

Copyright 2015 AFfirm Business Partners All Rights Reserved.

QuantaStor は米国 OSNEXUS社が開発を行い、日本では当社(アファーム・ビジネスパートナーズ

株式会社)が総販売代理店として、皆様にご提供いたします。

OSNEXUS Corporation

設立 :2010年1月

CEO :Steven Umbehocker

VERITAS社、Citrix Systems社を経て、

OSNEXUS社を設立

所在地:アメリカ ワシントン州 Bellevue

http://www.osnexus.com/

日本国内総販売代理店製品開発

アファーム・ビジネスパートナーズ株式会社

設立 :2008年5月

代表取締役社長:藤生 徹

サン・マイクロシステムズ社、ベリタス・ソフト

ウエア社、EMCジャパン社などを経て

アファーム・ビジネスパートナーズ社を設立

所在地:東京都港区赤坂

http://affirmbp.com/

QuantaStor とは ベンチマーク目的

検証環境 結果

- 5 - Copyright 2015 AFfirm Business Partners All Rights Reserved.

QuantaStor の基本的なご利用パターンは、以下の様になります。

Cloud Backup

Replication

QuantaStor

データセンタークラウドサービス

Object

Storage

QuantaStor

オンプレミス自社システム

拠点A

オンプレミス自社システム

拠点B

( 2 ) Cloud Storage Gateway

対障害性を考慮したバックアップ

これらの利用パターンをもとに、様々なソリューションとして応用できます。

1. QuantaStor とは - ⑤ ご利用のパターン

Server

Disk

仮想ストレージ

Server

Disk

Server

Disk

Server

Disk

( 1 ) SDS

大容量のスケールアウト ストレージ

QuantaStor

QuantaStor とは ベンチマーク目的

検証環境 結果

- 6 -

1. QuantaStor とは - ⑥ 導入事例 IBM/SoftLayer様

Copyright 2015 AFfirm Business Partners All Rights Reserved.

IBM/SoftLayer 上でのLAN経由 専用ディスク サービスは、QuantaStor を用いて提供されています。

QuantaStor とは ベンチマーク目的

検証環境 結果

種別 構成 用途

ローカル ディスク

サーバ内臓 SATA / SAS / SSD

SAN接続 SAN

LAN経由ディスク

共有

ファイルストレージ

CIFS / NFS / FTP

ブロックストレージ

iSCSI

オブジェクストレージ

Potal / REST API

専有 QuantaStor iSCSI / NFS / CIFS

仮想ストレージ

iSCSI CIFS/NFS

物理ディスク

ベアメタルサーバ(ユーザ専有)

QuantaStor

他のサーバ

IBM / SoftLayer ホームページ

SoftLayer Summit 2015での講演「SoftLayerの最大の特徴は、

IBM製品との親和性とIBMの品格」

その品格あるストレージ専有サービスとして、IBMが選んだSDS製品がQuantaStor

IBM / SoftLayer のストレージ サービス メニュー

- 7 -

2. ベンチマークの目的

Copyright 2015 AFfirm Business Partners All Rights Reserved.

QuantaStor を用いて提供される Ceph の基本機能を、パフォーマンスの観点から検証する。

QuantaStor とは ベンチマーク目的

検証環境 結果

共有ファイルサーバ、 VMイメージストア、 OpenStack用ストレージ想定ユースケース

iSCSI(QuantaStorが提供する機能)、 RBDドライバ(Ceph Native) ※Object Storageは今回の対象外Cephへの接続

同一環境でのローカルHDD、 NFS比較対象

アクセス中にノード1台をダウンさせ、サービス提供に影響が無い事を確認耐障害性試験

- 8 -

3. 検証環境 ① ハードウェア/ソフトウェアの構成

Copyright 2015 AFfirm Business Partners All Rights Reserved.

検証で利用した環境は、以下の通りです。

QuantaStor とは ベンチマーク目的

検証環境 結果

Super Micro Computer製サーバIntel Xeon CPU E5-2670 v3 @ 2.30GHz * 216GB memoryRAID LSI SMC3108HDD SEAGATE ST300MM0026 278.875GB SAS *12SSD Intel DC S3500 300GB *1

サーバ ハードウェア 10Gbps, MTU 9,000ネットワーク

Ceph Cluster : QuantaStor v3.16 (Ceph 0.94 “Hammer”)Ceph Client : CentOS 7 3.10.0-229.14.1

ソフトウェア

アクセス中にノード1台をダウンさせ、サービス提供に影響が無い事を確認耐障害性試験

ディスクI/O ベンチマーク測定ツール「fio」を使用

テスト シナリオ・ブロックサイズ 4KB、ファイルサイズ 1GB・ランダム リード/ライト、シーケンシャル リード/ライト・純粋なストレージ性能計測の為に、各種キャッシュからではなくデータが

ディスクから呼び出されるようにする(“offset_increment=XX”を設定)・各タイプは3回実行して平均値を参照

ベンチマーク ツール

☆ Special Thanks ☆

ハードウェアご提供及び検証作業サポート:株式会社トゥモロー・ネット様

- 9 -

3. 検証環境 ② システム構成

Copyright 2015 AFfirm Business Partners All Rights Reserved.

検証で利用したシステム構成は、以下の通りです。

QuantaStor OS

Storage Pool (XFS)

Storage Pool (Ceph)

Storage Volume#1 Storage Volume#2

OSD#1

SSDDisk

HDDDisk

HDDDisk

HDDDisk

HDDDisk

HDDDisk

HDDDisk

CephJournal

RAID5Hardware RAID5 Unit

HDDDisk

Storage Pool (XFS)

OSD#2

HDDDisk

HDDDisk

HDDDisk

HDDDisk

HDDDisk

RAID5Hardware RAID5 Unit

OSD#3 OSD#5 OSD#6OSD#4

RAID1

QuantaStor Server#2 QuantaStor Server#3QuantaStor Server#1

HDDDisk

HDDDisk

HDDDisk

HDDDisk

HDDDisk

fio

ベンチマークファイル

【 ローカルHDD 環境 】

HDDDisk

HDDDisk

HDDDisk

HDDDisk

HDDDisk

ベンチマークファイル

fioNFS mount

10Gbps

NFS V4

【 NFS 環境 】

fio fio

iSCSI Ceph Native Client

ベンチマークファイル

【 Ceph 環境 】

Linux Client

Linux Client Linux Client

10Gbps

10Gbps 10Gbps

10Gbps 10Gbps

QuantaStor とは ベンチマーク目的

検証環境 結果

RAID5RAID5

- 10 -

4. 結果 ① ランダム アクセス リード/ライト ミックス

Copyright 2015 AFfirm Business Partners All Rights Reserved.

各システム構成で計測したIOPS値は、以下の通りです。

0

500

1,000

1,500

2,000

2,500

3,000

IOPS

ランダム アクセス リード/ライト ミックス リード 70%

893 368 371 146 2,883 1,159 2,609 1,058

Local HDD NFS QuantaStoriSCSI

QuantaStorRBD

read write read write read write read write

QuantaStor とは ベンチマーク目的

検証環境 結果

- 11 -

4. 結果 ② ランダム アクセス リード

Copyright 2015 AFfirm Business Partners All Rights Reserved.

各システム構成で計測したIOPS値は、以下の通りです。

0

10,000

20,000

30,000

40,000

50,000

70,000

IOPS

ランダム アクセス リード

2,653

Local HDD NFS QuantaStoriSCSI

QuantaStorRBD

60,000

64,325 3,825 42,703

QuantaStor とは ベンチマーク目的

検証環境 結果

- 12 -

4. 結果 ③ ランダム アクセス ライト

Copyright 2015 AFfirm Business Partners All Rights Reserved.

各システム構成で計測したIOPS値は、以下の通りです。

0

200

400

600

800

1,000

1,400

IOPS

ランダム アクセス ライト

549

Local HDD NFS QuantaStoriSCSI

QuantaStorRBD

1,200

146 1,259 1,142

QuantaStor とは ベンチマーク目的

検証環境 結果

- 13 -

4. 結果 ④ シーケンシャル アクセス リード/ライト

Copyright 2015 AFfirm Business Partners All Rights Reserved.

各システム構成で計測したIOPS値は、以下の通りです。

0

50,000

100,000

150,000

200,000

250,000

300,000

IOPS

シーケンシャル アクセス リード/ライト

99,667 17,000 282,417 15,667 226,000 70,167 252,000 62,417

Local HDD NFS QuantaStoriSCSI

QuantaStorRBD

read write read write read write read write

QuantaStor とは ベンチマーク目的

検証環境 結果

- 14 -

4. 結果 ⑤ パフォーマンス総括

Copyright 2015 AFfirm Business Partners All Rights Reserved.

ランダム アクセス リード/ライト ミックス ランダム アクセス リード

ランダム アクセス ライト シーケンシャル アクセス リード/ライト

Local HDD

NFS

QuantaStoriSCSI

QuantaStorRBD

全般的に QuantaStor/Ceph の方がパフォーマンスに優れている。QuantaStor/Ceph へのアクセスは、iSCSI/RBD ではほぼ同程度のパフォーマンスとなっている。

QuantaStor とは ベンチマーク目的

検証環境 結果

- 15 -

4. 結果 ⑥ 耐障害性の確認

Copyright 2015 AFfirm Business Partners All Rights Reserved.

アクセス中にノード1台をダウンさせても、サービス提供に影響が無い事を確認できた。

Server

Disk

仮想ストレージ

Server

Disk

Server

Disk

QuantaStor

Linux Client

ノード ダウンに伴うOSDクラスタマップ更新やレプリケーション処理でサービスのパフォーマンス劣化が発生するが、サービス提供に影響はない。fioの計測では、復旧処理中は50%程度パフォーマンスが低下した。

QuantaStor とは ベンチマーク目的

検証環境 結果

- 16 -

今後の対応

Copyright 2015 AFfirm Business Partners All Rights Reserved.

今回のベンチマーク実施は、時間やリソースに制約があり以下の検証ができなかった。

近日中に改めてベンチマークを行う予定である。

他社Cephとの比較 サーバ スペックとの関係

ブロック サイズとの関係 ファイル サイズとの関係 ノード数/OSD数との関係

VMイメージ ストア利用時のVM数増加に伴う影響

Coming Soon !