ブロケード WEBセミナーシリーズ第5回

“見てわかる”ファイバーチャネルSAN基礎講座(第2弾)～FC SAN設計における勘所とは?～

本日のWEBセミナーの注意点とお願い

• 【質問】タブで随時質問を受け付けます。

‒【質問】タブへの記載は、講師のみが閲覧できます

‒質問内容は、講師が読み上げさせていただきます

• セミナー終了後、アンケート画面に遷移します。ぜひご協力お願いします！※メールアドレス記載の上、ご回答いただいた方の中から抽選でブロケードロゴグッズプレゼント！

2

Brocade WEBセミナーシリーズ• 最近、いろいろ情報発信しています

‒ Twitter: https://twitter.com/brocadejapan

‒ Facebook: https://www.facebook.com/brocadejapan/

‒ Brocade Japan Blog: http://community.brocade.com/t5/Brocade-Japan/bg-p/Brocade-Japan

‒ YouTube:https://www.youtube.com/user/brocadejapan

‒ SlideShare: http://www.slideshare.net/brocade/tagged/Japanese

• そんななかのWEBセミナーです！3

講師のご紹介

• 辻 哲也 (つじ てつや)

• 2002年 ブロケード入社

‒ブロケード日本法人では「古株」です。

‒最近はバックエンドの支援業務が中心ですが、昔はいろいろとマーケティング活動もやってました。

• ブログ連載してますので、よろしければアクセスしてみてください。

‒ http://community.brocade.com/t5/Brocade-Japan/bg-p/Brocade-Japan

4

(@ITさんより)

“見てわかる”ファイバーチャネルSAN基礎講座シリーズ構成 (案)

• 第1弾: 「検討」編

‒ まず理解しよう！基本の “キ”～

• 第2弾 (今回): 「設計」編

‒ FC SAN設計における勘所とは?

• 第3弾: 「導入」編

• 第4弾: 「運用」編

※上記は変更される可能性もありますので、あらかじめご了承ください。。。

5

本日のテーマ

• テーマ

‒ FC SAN導入を決定した”あるIT管理者の物語”

‒ FC SANの設計において、注意すべきポイントを解説

• セミナーの目的・主旨

‒ FC SANインフラを設計する上での注意点、ポイントを紹介。

‒「特定の製品」に依存した話ではなく、一般的な内容を解説します。

• 少しだけBrocade製品の話もしますが。。。

6

“登場人物”のご紹介 (おさらい)

• 出得多 千太 (でえた せんた)

‒とある製造業のIT部門で勤務する、中堅のITインフラ管理者

• 将来のビジネスを支えるIT基盤の選定から構築・運用までを任される見込み

• ストレージ・インフラの更改プロジェクトを担当

• いろいろな技術を検討した上で、FC SANベースのオール・フラッシュストレージを選択 (前回)

‒新人時代にはデータセンター内のストレージ・インフラの運用を担当

• 「データセンター内でのみ生きることができる」という謎の人物 (?)と出会う

7

FC SAN導入において検討する事項

8

1. 必要なコンポーネント

2. SANの拡張性

3. ストレージ・アクセスのパフォーマンス

4. 信頼性

？？？

1. 必要なコンポーネント

FC SAN導入に必要なコンポーネント

10

• HBA (Host Bus Adapter)

‒サーバーがファイバーチャネル (FC)プロトコルで通信するために必要なカード

‒ハードウエアでFCプロトコルを処理

‒冗長性を考慮する場合は、1サーバーに2枚以上搭載

• 1枚のカードで2ポート持つ製品もあり

• マルチパスドライバ

‒サーバー/ストレージ間で複数の「パス」を制御するソフトウエア

‒サーバーのOSにインストール

• Microsoft MPIO (Multi Path I/O)等

‒パスの冗長化および負荷分散を実現

FC SAN導入に必要なコンポーネント (続き)

11

• FCスイッチ (SANスイッチ)

‒サーバー (HBA)とストレージ間を接続

‒複数のFCスイッチで「FCファブリック」を構成

• 各種のファブリックサービスを提供 (ログインサーバー、ネームサーバー等)

• ストレージ装置

‒ FCインタフェースを持つ共有ストレージ装置

ケーブル/コネクタ

• 光ファイバケーブルを使用

• 2Gbps FC以降では、主にLCコネクタ形状の物を使用

• Small Form-factor Plug (SFP/SFP+)を使用

• Short Wavelength (SWL) Laserでは数100mまでサポート

• FC速度およびケーブルに依存

• Long Wavelength (LWL) Laserでは最大10Kmまでサポート

• 1つのSFPで、全ての速度に対応するものは存在しない

‒ 対応可能な最大速度から下位2世代をサポート

• 8G SFP: 2/4/8Gbps

• 16G SFP: 4/8/16Gbps

• 32G SFP: 8/16/32Gbps

光ファイバケーブルLCコネクタ

SWL LWL

SFP (8Gbps対応)

12

2. 拡張性

• LANの“N”etworkは「コミュニケーション」

• 様々なデバイスが、様々なアプリケーションで多種多様に通信し合うためのネットワーク

‒ Web, Mail, VoIP, VOD・・・

LA”N”とSA”N”の基本的な「違い」“Network”が提供するサービスの違い

• SANの“N”etworkは「経路の共用」

• サーバーの通信対象はストレージのみ

‒ 1対1で繋いでいた補助記憶装置のインターフェースをスイッチで束ねたもの

‒ 言い換えれば「DAS環境の集合体」

14

初期導入時のSANスイッチ選定ポイント

• カスケードを前提とした構成はしないことが望ましい

‒ カスケードの場合、トラフィック量と可用性を考慮した設計が重要

‒ 初期導入時からカスケード構成は避けるべき

‒ カスケード自体は難しくはない

• スイッチ間をケーブルで接続 (ISL接続)するだけ

• 機器増設する前提で構成することが望ましい

‒ 共通基盤化環境では、想定以上にサーバ・ストレージが集約されることがある

‒ 初期導入時には十分な空きポートを確保できるスイッチを選定

• ファブリックは冗長構成 (“Redundant”)にすることが必須

‒ 必ず独立した2つ以上のファブリックでSANを構成

15

「ポート数」の考え方

• スイッチポート数 (Switch Ports)

‒ ファブリック内の全てのスイッチのポート数の合計

【スイッチポート数】 = 【スイッチ台数】×【スイッチ当たりのポート数】

• ユーザーポート数 (User Ports)

‒ ISL接続後に、ホストおよびストレージ接続に使用できるポート数

‒ スイッチ台数の増加と共に、ユーザーポート数も増加

【ユーザーポート数】 = 【スイッチポート数】 -【ISL本数× 2】

• 未使用ポート数 (Unused Ports)

‒ ISLおよびホスト/ストレージ接続後の空きポート数

‒ 既存のSAN環境がどこまで拡張できるかを示す

【未使用ポート数】 = 【ユーザーポート数】 -【ホスト接続ポート数】 -【ストレージ接続ポート数】

16

・スイッチポート数16 x 4 = 64ポート

・ユーザーポート数64 – 6 x 2 = 52ポート

・未使用ポート数52 – 2 = 50ポート

FC SAN (ファブリック)のトポロジー

• FCファブリックでは、どんなトポロジーでも構成可能！

‒ FSPF (前回説明)のおかげで、イーサネットにおける「スパニングツリー」のようなものは存在しない

‒拡張性や冗長性、運用保守性などの観点で適切なトポロジーを選択

17

“カスケード”トポロジー

“リング”トポロジー “フルメッシュ”トポロジー

シングルスイッチ・トポロジー

• 1台のスイッチに全サーバ、ストレージを接続

‒ 多ポートスイッチに適したトポロジー

• Brocade DCX8510の場合、1スイッチで最大512ポートまで対応

• 初期導入時のSANで多く用いられる構成

• メリット

‒ スイッチ間カスケードがなく、パフォーマンスを確保しやすい

‒ 設計と運用管理が容易

• ローカリティ設計がしやすい

‒ 導入するスイッチの台数が少なく、初期導入コストを抑制

• デメリット

‒ スイッチのポート数に拡張性が制限

‒ スイッチ障害が全てのサーバ/ストレージに影響18

“コア・エッジ”トポロジー• スイッチを階層構造化して、サーバ/ストレージ間を接続

‒ 5台以上のスイッチで構成する場合の推奨トポロジー

• 2種類の役割

‒ エッジ (Edge)スイッチ: サーバ/ストレージを収容するスイッチ

• コストパフォーマンスが求められる

‒ コア (Core)スイッチ: Edgeスイッチを収容するスイッチ

• 高い信頼性が求められる

• 階層の種類

‒ 2 tier (2階層)

• “サーバEdge”および”Core”スイッチから構成する場合が多い

‒ 3 tier (3階層)

• “サーバEdge”, ”Core”, “ストレージEdge”スイッチから構成

• トポロジーの種類

‒ シングルCore構成: Coreスイッチの障害がファブリック全体に影響 (小-中規模構成向き)

‒ マルチCore構成: Coreスイッチを冗長化 (中-大規模構成向き) 19

サーバ

Edge

ストレージ

Edge

Core

“コア・エッジ”トポロジー (続き)

• メリット

‒ サーバ、ストレージの増加に柔軟に対応可能

• スイッチ追加時のISL追加本数は、フルメッシュトポロジーに比べて少ない

‒ Edgeスイッチレベルで障害の局所化が可能

‒ ファブリック単位でバックアップ/ストレージ統合を実現

‒ ファブリック単位で一元的なパフォーマンス管理を実現

• DLS/DPS、ISL Trunkingによるパフォーマンス向上が容易

‒ フルメッシュ・トポロジーと同様、パスの冗長化に対応

• デメリット

‒ 初期導入コストが高い

20

[3Tire Core-Edgeトポロジー]

Coreスイッチ

(Dual Core)

Edgeスイッチ

Edgeスイッチ

[2Tire Core-Edgeトポロジー]

Coreスイッチ

(Dual Core)

Edgeスイッチ

ボックス型スイッチの拡張性 (Brocade)“Port On Demand (PoD)”ライセンス

• ボックス型スイッチは「ポート拡張ライセンス (PoD)」の追加によって非活性ポートが使用可能

• 初期導入時に拡張ポートを使い切るとデバイス増設時にスイッチの追加・カスケードが必要

‒ 初期導入時は、ポート拡張しなくて済むスイッチを選定するのが望ましい

21

初期導入 一次拡張 二次拡張

将来の為に初期導入時は使わない初期導入で必要になる場合は、上位スイッチの基本構成を検討

例) Brocade 6510の場合

ポート拡張ライセンス入れた最大構成よりも、上位スイッチの基本構成がお勧め

3. パフォーマンス

ストレージのGen6化はまだ・・・でもWEBセミナー第3回より

23http://www.thefibrechannel.com/articles-by-tfc/demartek-evaluates-emulex-gen-6-fibre-channel-adapters/

フラッシュ・ストレージの外部インタフェースが8G FCでも、

HBA-スイッチ間を32G FCにすることでパフォーマンスが向上！

Fan out/Over-subscription ratio• Fan outとは?

‒ 1つのストレージポートにアクセスするサーバーポートの比率(帯域換算)

• ISL (Inter Switch Link)とは?

‒ スイッチとスイッチをカスケード接続するリンク

• ISL Over-subscription ratio (比率)とは?

‒ デバイス接続用ポートの帯域とISL用ポートの帯域の比

‒ 高負荷時に輻輳が起こりうる可能性を示す値

‒ 1:1では輻輳は発生しないが、比率を1:1にする必要はない

• 多くの場合、“7:1”程度で構成

• ISL帯域をより確保する場合は、”3:1”程度で構成

‒ 同一スイッチに接続するサーバ・ストレージには関係しない

‒ ISL本数もしくは「ローカリティ」の改善で調整24

ISL

ISL Over-Subscription ratio”7:1” の例

Brocade ISL Trunking

• スイッチ間リンク (Inter Switch Link)を増設してスイッチ間の帯域をアップ

• 設定が不要

‒スイッチ間をケーブルでつなぐだけ

• 「仮想的な1本のISL」として認識

‒トランクを構成する条件

• 同じリンク速度

• 同一のポートグループ内

• “Deskew time”が一定の範囲内

25

Brocade G620 Brocade G620

64Gbps (32Gbps x2)の

“仮想リンク”を構成

ISLを追加 (1本)

Brocade G620 Brocade G620

96Gbps (32Gbps x3)の

“仮想リンク”へ増速

4. 信頼性

26

冗長構成の考え方LANの場合

• 二重化された機器は全て接続しておく

‒ 物理的に全て接続された経路を作る

‒ どこか切断しても迂回経路を確保

‒ Ethernetはスイッチの先のリンクが切れてもサーバは認識できない

WAN

サーバー

Accessスイッチ

Core/Aggregationスイッチ

単一ネットワークを構成

この経路が切断してもサーバには分からない

[チーミングによるアクティブ－スタンバイ構成]・サーバに直接つながっている経路が切れたとき

に切り替わる

27

冗長構成の考え方SANの場合

• 物理的に独立した複数の経路を確保する

‒ 経路が切れた場合、片方のネットワークがダウンした場合、マルチパスドライバで経路を切り替えて継続運用可能

‒ SANを“ネットワーク“ではなく、サーバとストレージを直結している”経路”と認識

ストレージ

サーバー

Edgeスイッチ

Coreスイッチ

[マルチパスドライバ]・ファブリック上の経路断を検知して経路を切り替え

“独立した”複数ネットワークを構成！

＝サーバー

ストレージ

この経路が切断するとファブリック全体に通

知される

28

“冗長性”と”回復性”• 冗長性 (Redundancy)

‒ 独立したファブリックを「複数」配備し、アクセスパスの冗長性を確保

‒ システム全体の冗長性はOSのマルチパスドライバーの領域

• 回復性 (Resiliency)

‒ ファブリック内のデザイン

‒ ファブリックとしての単一障害点 (SFOF: Single Point of Failure)がない設計

• SANデザインの原則

‒ 冗長性は必ず確保する

• ファブリック内の全てのスイッチでファブリックサービス (ゾーニングDBなど)を共有しているため、デバイスが物理的に異なるスイッチに冗長接続されていたとしも、ゾーニングの設定ミスなどのファブリック内全スイッチに影響を及ぼすような障害には対応できない。

‒ 回復性は可能であれば確保する

• 大規模なファブリックでは重要な要素

ファブリックA ファブリックB

経路冗長構成

回復性のあるファブリック

経路切替はマルチパスドライバ

29

まとめ

千太くんがデザインしたFC SAN構成イメージ

31

32Gbps FC (Gen6)に対応したBrocade G620を選定 (2台)

(32Gbps FCを最大64ポート)

32Gbps FC (Gen6)に対応したHBAを2枚導入

サーバー群 (18台※拡張予定あり)

外部ストレージ(オール・フラッシュ)

32Gbps FC x1832Gbps FC x18

16Gbps FC x12

16Gbps FC x12

・・・

Fan out/Over Subscription比を3:1で設計

マルチパスドライバをインストール

Brocade G620 Brocade G620

ファブリックの冗長性を確保

本日のまとめ

• 千太くんがFC SANインフラの選定/設計に際して考慮したポイント

‒拡張性

• 空きポートを確保し、将来のサーバー/ストレージ増設やトポロジー (コア・エッジトポロジー)変更にも対応

‒パフォーマンス

• サーバー (HBA)およびFCスイッチは、32Gbps (Gen6)に対応した製品を選定

• フラッシュ・ストレージに合わせたFan out/Over Subscription比率 (3:1)

‒信頼性

• ファブリックの「冗長性」を確保し、パス障害に対応

• サーバーにマルチパスドライバをインストール32

！！！

次回の予告

33

• FC SANをベースにした、ストレージ・インフラの機器選定および設計を完了した千太くん。

• では、FC SANは実際にはどのように導入するのか?

• 次回 (第3弾)は「導入」編！

‒開催日時は、別途ご案内します。

‒是非、お楽しみに！

？？？

Q&A

34

Thank you

本件に関するお問合せ

http://www.brocade.com/ja/forms/contact-us.html

ブロケード コミュニケーションズ システムズ株式会社