PAN Manager 7/8 のご説明

2014年10月7日

イージェネラ株式会社

そもそも PAN Manager とは

• サーバの稼働率，可用性向上ための三大機能– 用途を限定しないサーバ（物理サーバの再利用）

– N+1 高可用性(HA): ハードウェア障害を検出し、待機ハードウェアに自動切替

– N+1 災害復旧(DR): システム構成情報を XML ファイルで保持し、待機システムを起動

• 前提– サーバは全て SAN ブート (サーバの内蔵ディスクは使用しない)

– I/O 仮想化対応のハードウェアがあること

PAN Manager の歴史

2001

Egenera BladeFrame Dell PAN System

良い I/O 仮想化機構

を持つハードウェアがなかったので，自前で

作りました

BladeFrameは高い！PAN Manager だけ使いたいというお客

様の声にお答えしました

2008 2011 - 2013

PAN7 for HP c7000

PAN7 for IBM BladeCenter

PAN7 for NEC SIGMABLADE

PAN7 for Fujitsu BX900

ハードウェアベンダーの I/O 仮想化機能を利用する PAN7 シリーズを開発しました

I/O 仮想化とは…~ I/O 仮想化が，無い時 ~

HBA

NIC

OSデータ

CPUIO

HUB

RAM

HBA が変わったら，そのままでは絶対に動きません．OS を格納しているディスクに到達できなくなります

NIC が変わったら，ネットワーク通信を復活させるために，OS を起動してから新しいデバイスを認識させて，チーミングや IP アドレスの再設定が必要な場合もあります

ネットワーク

BladeFrameで作った自前の I/O 仮想化機構とは

CLAN

CPUIO

HUB

RAM GISCSIvSCSI

vEth

OSデータ

vSCSI の target0 の lun0

(9.0.0.101)

cBlade でmap を保持

ソフトウェア的にMAC アドレスを持っているので如何様にでも…

vSwitch

この部分がごっそり変わっても問題無し！

この他に，SAN Boot を実現するために PXE でミニOS をブートしたり…いろいろやってます

Egenera Confidential – Do not copy

BladeFrame

余談… pBlade 間通信は cBlade を通りません！

p3

veth1

veth0

p1 veth0

p2 veth0

p4 veth0

p5 veth0

c1

eth1

c2

eth1

switch2

switch1

Every pServer’s veth has a software-

based Ethernet switch

/proc/egenera/.../ethX

cBlade’s VeRN also contains a

software-based Ethernet switch per

vSwitch with reth uplink

veth RVIs are connecting all the blades

attached to the same vswitch

A vSwitch in PAN is actually a distributed switching mechanism among the blades. Every pBlade has a software-based Ethernet

switch in itself. Please remember that the switch resides in the veth driver of egen mods.

ハードウェアベンダーの I/O 仮想化機構とは

• MACアドレス/WWN，ストレージブートパラメータをハードに固定せず，可変にする機構– NIC: 10GE登場〜– HBA: HBA rename とか…

• かつ，それが外部から設定可能

• サーバーの I/O 経路をある程度集約し，サーバーの物理的な移動に追従する機構…スイッチ– ネットワーク: VLAN⇔ポートの設定– SAN: Zoning の設定

• やっていることは普通のネットワーク管理やSAN管理と一緒だが，サーバーの稼働状況に合わせて実施するというハードルが…

ハードウェアベンダーの I/O 仮想化機構とは(続き)

ベンダー 技術・製品名 備考

HP Virtual Connect 基本，c7000のみ

富士通 VIOM BX900, BX400 のみ

IBM BOFMIFM

BladeCenterFlex System

NEC … 特に売り出していない筈です

当然，ベンダーによって管理手法は異なりますし，ベンダー内でもこのあたりの管理ソフトは全く一貫性がなく，適当にリリースされています．

PAN Manager により，ベンダー間，ベンダー内のツールの差異が吸収できるのです！

PAN7 システム構成 ~ HP c7000 の場合

c7000 背面

FlexFabricモジュール FlexFabricモジュール

OAモジュール OAモジュール

PAN OPServer2台

管理NW

業務NW

SAN

intnet

PAN7 構成のポイント

• PAN Manager は外立ての PAN OPServer(POPS) で稼働

• 管理NW (OOB: Out-Of-Band Management NW) と，業務NWが分離

• PAN Manager の操作は OOB から実施

• POPS は業務NWにも接続し，pServer のヘルスチェック，PAN Agent 通信を行う (専用VLAN: intnet)

POPS 要求スペック

Component Minimum Requirement(s)

CPU Sockets 1

CPU Cores 4

CPU Speed 2.13GHz

RAM 8GB

Memory Clock Speed 800MHz

Disk Space 300GB

Network BMC x1 (IPMI 2.0 compliant) + 100Mbit x4

OS RHEL6.5+ (64bit)

PAN7 でのフェイルオーバー(3タイプの死活監視)

Operating System

PAN heartbeat agent PAN Manager

VMkernel

PAN Manager

PAN Manager

BMC

Managed/Enhanced モード

Managed/Basic モード

Unmangedモード

BEEP (RFC 3080)

ping

電源の状態

ping

BladeFrame vs PAN7

比較項目 BladeFrame PAN7

pServerの I/O 帯域 1.25Gbps x2 10Gbps x2

Uplink の I/O 帯域 Ethernet: 1GbpsFC: 2Gbps

Ethernet: 10GbpsFC: 8Gbps

フェイルオーバー時間 (Blade抜去)

4分〜 8分〜

OS追従 遅い対応不可の場合も (ESXi)

早い

ストレージ管理 cBladeで見える LUN (9.X.Y.Z) を pServer に付ける

• vHBAのWWN，Boot Target を設定 (面倒)

• Storage Group を pServer に付ける (BladeFrame並に簡単)

pServerの I/O 経路冗長化 自動 自動 (PAN Tools による)

vBlade 有り 有り (PAN7.7以降: VMI)

PAN7 導入時の注意点

• ストレージ関連– ストレージ接続サーティフィケーションに Egenera は関与しません

– ストレージベンダーとサーバーベンダー間で確認していただければ OK です

– ただし StorageManager機能を使う場合，ストレージベンダー，機種が限定されます

• EMC, 3PAR, Eternus, NetApp, NEC

• ネットワーク関連– intnet用に 10.252.0.0/14 のアドレスが予約されます (変更可能ですが，/14 のサイズは変更できません)

• その他– BladeFrameは cBlade を核として pBlade との時刻同期を行いましたが，PAN7 ではそのような仕組みはありません

PAN MANAGER FOR RACKSERVER

PAN Manager 8

• 新 Emulex CNA とミドルウェアの登場により，ラックサーバーを pNode とすることが可能に！

– Emulex Emulex OCec14102-UX-Cloudcard– Emulex OpenWorks Connecter

• 対応機種– サーバー

• HP DL シリーズ (G6, G7, Gen8)• 富士通 RX200 S8，CX400/CX2550 M1

– ToRスイッチ• Brocade VDX6740• Cisco Nexus 5548UP

LAN

Storage

CloudCard

ToR SwitchCloud Director

PAN Manager

DMF Server

Emulex OpenWorks Connector との連携http://www.emulex.com/pr/2014-0825/

日本でも一部検証済み (2014/5)

Fabric Switch

Cisco Nexus 5548UP

PAN Manager

HP DL380p Gen8

pNode/Stateless Server

HP DL380p Gen8

CPU: Intel(R) E5-2690

v2 RAM: 128GB

Emulex Cloud Card

OOB Switch

HP ProCurve 2848

SAN Storage Array

HP 3PAR StoreServ 7400

Cloud Card

PAN Manager for Rack Server (製品版) の機器構成~ BladeFrameに準じたトポロジ ~

SAN

LAN

pNode

:

最大256台:

PAN Manager

OOB Switch

Fabric Switch

10Gbps

SAN

LAN

:

最大24枚:

ICMB

RS-485

pBlade

sBlade

cBlade

1.25Gbps

PAN Manager for Rack Server

BladeFrame

1.25Gbps CLAN ファブリック↓

10G イーサネットファブリック

製品版構成例

• ストレージ入り All-In-One ラック

• pNode (pBlade) 枚数: 24

• BladeFrameと同じ

• pNode のハードウェアタイプは異機種ミックス可能

導入イメージRack と Blade の混在

PAN 管理対象 1U ラックサーバ 37x5=185台，ブレードサーバ 16x3=48台PAN Managerストレージネットワーク