NTTデータ様講演 OpenStack最新情報セミナー 2014年6月

Copyright © 2014 NTT DATA Corporation

2014年6月5日株式会社NTTデータ

基盤システム事業本部方式技術事業部桝本圭

OpenStack Swiftによるプライベート・クラウドストレージの活用

2 Copyright © 2014 NTT DATA Corporation

Swift はOSSの分散ストレージ大量のIAサーバをまとめ一つの大きなストレージにみせる技術のこと


技

OpenStack Swiftとは

OpenStack Swiftの活用シーン

NTTData プロフェッショナルサービス紹介


RackSpaceのオンラインストレージサービスで使われていた基盤ソフト

IaaS (nova)で使うなら VMイメージのバックアップストレージ

世界中で昨今エンタープライズ用途での適用が進行中


技術概要

利用者端末

ストレージサーバ



プロキシサーバ

外部NW

PUT/GET /DELETE

○

○ ○ ○

○ リングファイル

ユーザデータ（オブジェクト）

2 2

712

105

2

パーティション


○

2

a b c d

Proxyは振分け、Storageはデータ格納

1 2 3 … 2^n

格納先ディスクID ① a b c … z

格納先ディスクID ② b c a … q

格納先ディスクID ③ c d d … w

退避先ディスクID ① d a b … a

… … … … … …

退避先ディスクID x y z … d

乱数表（リングファイル）


パーティション番号(n=1…32)

システム内の全物理ディスク

物理ディスク

/swift/2 ∟ 0241.data ∟ 0432.data

/swift/105 ∟ 0314.data ∟ 0431.data

/swift/712 ∟ 0324.data ∟ 0531.data ∟ 0621.data

オブジェクト（=ファイル）

パーティション（＝ディレクトリ）


技術概要

利用者端末




プロキシサーバ

外部NW

PUT/GET /DELETE

○

1 2 3 … 2^n

格納先ディスクID ① a b c … z

格納先ディスクID ② b c a … q

格納先ディスクID ③ c d d … w

退避先ディスクID ① d a b … a

… … … … … …

退避先ディスクID x y z … d

乱数表（リングファイル）


パーティション番号(n=1…32)

システム内の全物理ディスク

○ ○ ○

○ リングファイル

ユーザデータ（オブジェクト）

2 2

712

105

2

物理ディスク


/swift/2 ∟ 0241.data ∟ 0432.data

/swift/105 ∟ 0314.data ∟ 0431.data

/swift/712 ∟ 0324.data ∟ 0531.data ∟ 0621.data

オブジェクト（=ファイル）

パーティション（＝ディレクトリ）


○

2

退避

a b c d

監視＆検知

故障を踏まえて複数のレプリカを書き込む


技術概要

(1)定期的にお互いのオブジェクトを監視

(4) ディスク復旧時の回復

(3) オブジェクトの退避

(2) ディスク障害発生と検知

Swiftプロセスディスク

(５) 退避オブジェクトの削除

Node 1 Node 2 Node 3 Node 4

Node 2 Node 3 Node 4


通常

障害

復旧


Node 1


ディスク故障やデータ破損時は自動復旧


技術概要

Proxy

Storage

Storage

Storage

Proxy (増設)

（１）プロキシサーバ増設（２）ストレージサーバ増設

①

②

Proxyを増やせばスループットが増え Storageを増やせば容量が増える

Proxy

Storage

Storage

Storage

Proxy

Storage

(増設)

リバランス

①

②

③

④


一通り想定される使い方は全てサポート

GUI

CUI

AP開発

http://Server_Address/Account_name/Container_name/Object_name > Host: swift-proxy-1:8080 > Accept: */* > X-Auth-Token: 73e1e431-f7e0-4dc0-897a-ee76596ab66f > Content-Length: 290 > X-Object-Meta-MyAttr: some-attribute-here > X-Object-Meta-MyAttr2: other-attribute-here-2

①ダウンロード

③アップロード

②編集


技

OpenStack Swiftの活用シーン

11 Copyright © 2014NTT DATA Corporation

Swiftを使うのはどんなとき？

高速・性能重視（DBなど）

スケールアウト型

長期保存型

ある程度の規模を前提に

・小さく初めて大きく育てる場合・終局見積困難の場合

・ハードベンダ非依存・無停止で徐々にデータの移行が可能

・うまい表現が見つからず恐縮ながら要するに大量のアクセスが一つのデータに集中する場合


例：階層型ストレージ

システムイメージ・利用イメージ背景・ニーズ

① 過去の資料を廃棄できない・部門ファイルサーバなど

② 頻度は多くないが閲覧は必要・複数年分保存が必要な場合が大半

・厳しい容量制限はやりづらい

概要

現行のストレージに加え、前年度以前のデータをSwiftに格納するタイプ

選定ポイント

① スモールスタート・最小限の初期投資

② データ増量に応じて拡張・上限は（ほぼ）なし・拡張時も無停止で実施可能

※ あくまで一般的なお話です。当社顧客とは一切関係がございません。

windows explorer

Swift用 explorer

エンドユーザ

システムA

システムB Connecter(FUSE/ISCSI)

Swift

現行サーバ


データ保管サービス

利用シーン例背景・ニーズ

① 終局容量の見積困難・エンドユーザの増加傾向は数年後判明

・終局を見越した投資は高すぎる

② 高い稼働率の要求・24H365D

・災害時ですら止められないサービスも

③ 長期保存の要求・ハードの保守切れの影響は最小限に

概要

エンドユーザ数に応じてデータが増えていくタイプ

選定ポイント

① データ増量に応じて拡張・上限は（ほぼ）なし

・拡張時も無停止で実施可能

② 分散効果による耐故障性・ノードダウンでもサービス影響なし

③ ハード非依存

※ あくまで一般的なお話です。当社顧客とは一切関係がございません。

mobile

data

back

ups

health

care

data

inte

gra

tion

Dig

ital life

record

ing

SaaS

EHR


サービス概要

NTTDataのプロフェッショナルサービス


サービス概要

コンサル・構築・保守まで

ワンストップサポートで

お客様のDCにSwiftを導入

要件確認

周辺技術のインテグレーション

機能拡張

設計

構築・試験

運用支援

障害解析支援

定期バグレポート


Swift運用をトータルサポート

Proxy

Storage Storage Storage

東京DC

Proxy

Storage Storage Storage

シンガポールDC

バッチ同期

Proxyサーバ

object object

index index

PUT

※本年度リリース

予定

tftpd

dhcpd

httpd tempest

dispersion puppetd Deploy server

Swift clusters

Swift 分散ストレージプラグイン

分散ストレージ向け推奨監視設定

Swift 運用補助ユーティリティ


保守体制

お客様設備 (S

wift

）

保守・サポート窓口

システム運用 - システム監

視 - パッチ適用 - 設定変更等

① 技術問い合わせ ② 障害対応支援

サポート体制お客様

お客様

システム部門

OS

OSライブラリ群

Swift

HW

HWベンダ

サポート対象スタック

ソフ

トウ

ェア

領域

をカ

バー

ドライバ

連携

運用監視

支援ツール

OpenStack 保守サポートサービス

OSSサポートサービス (Linaccident)

持株ＯＳＳセンタ

OpenStackコミュニティ

① ＳＷ情報提供（パッチ、バージョン等）

安定運用を弊社Linaccidentと共に強固な体制でサポート


謝辞

本ソリューションの一部は、総務省の以下の委託研究の成果を利用しています。

・「H21年度セキュアクラウドネットワーキング技術の研究開発

（クラウドサービス連携技術）」

・「H23年度最先端のグリーンクラウド基盤に向けた研究開発」



Technology

NTTデータ様講演 OpenStack最新情報セミナー 2014年6月