日本ヒューレット・パッカード株式会社
小川 大地 - Microsoft MVP for Virtual Machine
2011.02.16
Hyper-V の NIC チーミング・VLANに関するお話
© 2010 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Agenda
– 仮想化はネットワークの障害対策が重要
– サービス系セグメントの冗長化
– クラスタ系セグメントの冗長化
– まとめ
2
おさらい 仮想化はネットワーク冗長化の重要です
© 2011 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 3
サーバー向けCPUは、メンストリーム用でも 12コア 時代に突入
仮想化の集約率が急増してます
4 © 2010 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
2 Core 4 Core
2 Core 4 Core 6 Core
G5 G6
2006 2010 2009 2008 2007
2P/4C 2P/12C
3年で1.5倍
6 Core
12 Core
G7
1年で2倍に !!
2P/24C
Xeon 5100 Xeon 5300 Xeon 5400 Xeon 5500 (Nehalem) Xeon 5600
Opteron 200 Opteron 2200 Opteron 2400 Opteron 6100 Opteron 2300
2P/8C
1U の 2ソケットサーバー × 1台 で 24 コア の時代
集約率の増加に比例して、ネットワークが重要になっています
© 2010 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
仮想化の集約率が急増してます
5
「1コゕ:1VM」の法則だと、サーバー24台も集約
24VM
ネットワークの障害と帯域不足は致命的!
ネットワークの冗長化設計が最重要!
24core
実は色々と必要なんです…
© 2010 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Hyper-V 2.0 のネットワークって…
6
ネットワークの種類 接続先* 必要帯域 冗長化手法 備考
サービスネットワーク ゲストOS 数 Gbps~ NIC Teaming 帯域は要件次第
管理用ネットワーク
バックアップ取得用 ホストOS
100 Mbps ~
1 Gbps ~ NIC Teaming
iSCSI ホストOS 1Gbps ~ MPIO iSCSI ストレージを 利用する場合
WSFC ハートビート ホストOS 100 Mbps ~ 複数セグメント + 優先度設定
ライブマイグレーション を利用する場合
CSV データ通信用 ホストOS 1Gbps ~ 複数セグメント + 優先度設定
ライブマイグレーション を利用する場合
メモリデータ転送用 ホストOS 1Gbps ~ 複数セグメント + 優先度設定
ライブマイグレーション を利用する場合
* 「ホストOS」 = 親パーテゖション, 「ゲストOS」 = 子パーテゖション
1. サービス系セグメントの冗長化手法
© 2011 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 7
Teaming + tagged VLAN で対応
「NIC Teaming」で対応
© 2011 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
サービス系セグメントはどう冗長化する?
– NIC Teaming とは?
– Link Aggregation を設定することで、冗長化と同時に帯域不足も補える
8
SPOF ! Team でカバー
仮想ネットワーク 仮想ネットワーク
1 Gbps
4 Gbps
4本束ねれば… Link Aggregation
マクロソフト社のスタンス
© 2011 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Hyper-V における NIC Teaming
9
ハードウェゕベンダーにお任せ。
MS KB968703
Teaming で束ねた回線上で複数のセグメントを流す(タグVLAN)
© 2011 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Hyper-V の VLAN と Teaming の “併用”?
10
束ねた回線上で 単一のセグメントを流す
束ねた回線上で タグ(VID)を付けた 複数のセグメントを流す
Tagged VLAN
設定画面で言うと…
© 2011 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Hyper-V の VLAN 機能って?
11
ドライバが古いと NIC Team と併用 できないことも!
(単体利用はOK)
① Teaming ドラバをンストールしていない場合
© 2011 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
なぜ Teaming と VLAN は併用できないの?
12
○ 問題なし!
② Teaming ドラバをンストールした場合
© 2011 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
なぜ Teaming と VLAN は併用できないの?
13
× 接続不可…
③「VLAN Promiscuous」に対応したチーミングドラバの場合
© 2011 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
なぜ Teaming と VLAN は併用できないの?
14
○ 無事解決!
2011年5月 追記
Intel PROSet につきましては、バージョン15.0 以降で対応済みで、Broadcom BACS につきましても「設定次第で動いた」との報告がございます。
Hyper-V を検討の場合、まずは「NIC Teaming と tagged VLAN の同時利用」に関する最新情報と正式なサポート可否について、検討中のサーバーベンダーに確認してみることをお勧めします。
Hyper-V での「VLAN Promiscuous」に対応したものを選びましょう!
© 2011 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Hyper-V でのサーバー選び
15
2. クラスタ系セグメントの冗長化手法
© 2011 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 16
2つのセグメントを用意してプラオリテゖ設定で対応
実は色々と必要なんです…
© 2010 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Hyper-V 2.0 のネットワークって…
17
ネットワークの種類 接続先* 必要帯域 冗長化手法 備考
サービスネットワーク ゲストOS 数 Gbps~ NIC Teaming 帯域は要件次第
管理用ネットワーク
バックアップ取得用 ホストOS
100 Mbps ~
1 Gbps ~ NIC Teaming
iSCSI ホストOS 1Gbps ~ MPIO iSCSI ストレージを 利用する場合
WSFC ハートビート ホストOS 100 Mbps ~ 複数セグメント + 優先度設定
ライブマイグレーション を利用する場合
CSV データ通信用 ホストOS 1Gbps ~ 複数セグメント + 優先度設定
ライブマイグレーション を利用する場合
メモリデータ転送用 ホストOS 1Gbps ~ 複数セグメント + 優先度設定
ライブマイグレーション を利用する場合
* 「ホストOS」 = 親パーテゖション, 「ゲストOS」 = 子パーテゖション
「プラオリテゖ設定」で対応
© 2011 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
クラスタ系セグメントはどう冗長化する?
– プライオリティ設定 とは?
• 複数のネットワークセグメントを利用して、主回線・副回線を設定する
– NIC Teaming ではダメなの?
• 原則として問題ないですが、NIC Teaming や VLAN はスタックが複雑になり、
稀に若干の遅延が発生します。クラスタ系ネットワークではあまりお勧めしません。
18
192.168.100.1
192.168.200.1
192.168.100.2
192.168.200.2
Primary
Secondary
① WSFC ハートビート
© 2010 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
ラブマグレーション環境のネットワーク
– “クラスタノードの死活監視” のためのネットワーク
• WS2003時代のMSCSで 「内部クラスタ間通信」 と呼ばれていたもの
− WS2003 時代は NIC Teaming はできなかったが、WS2008 からはOK
• 流れるデータは非常に小さい
− 冗長化方法は、チーミングよりも複数のセグメントに相乗りさせるのが一般的。
19
① WSFC ハートビート の設定箇所
© 2010 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
ラブマグレーション環境のネットワーク
20
– 「フェルオーバー クラスター マネージャー」で GUI 設定
上記枠内はどちらでも有効となる
② CSV データ通信用
© 2010 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
ラブマグレーション環境のネットワーク
– “クラスタ共有ボリューム” のリダレクトゕクセス用
• 所有権の無いノードからフゔルのメタデータ操作を行う場合に利用される
− VHDフゔルに対する通常の Read/Write では利用されない
• 流れるデータが大きく、ネットワークが遅いとシステム性能に直結する
− 優先度設定を用いて、空いている高速なネットワークを指定する
21
SMB を無効にしてはダメ
② CSV データ通信用ネットワークの優先度設定
© 2010 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
ラブマグレーション環境のネットワーク
22
– WSFC の Power Shell モジュールを使用して CLI 設定
Role > 0 かつ “Metric” 値が小さいものが優先される
Role=3 Role=1
Role=0
③ メモリデータ転送用
© 2010 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
ラブマグレーション環境のネットワーク
– ラブマグレーション実行時にメモリデータを転送
• 稼働中のOSのデータはデゖスクとメモリ上に格納されている
− デゖスクは WSFC で引き継がれるが、メモリ上のデータはネットワーク転送
• ゲストOSに設定したメモリサイズとほぼ同量のデータが流れる
− ネットワークが遅いとライブマイグレーションの実行時間が長くなる
23
③ メモリデータ転送用ネットワークの優先設定
© 2010 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
ラブマグレーション環境のネットワーク
24
– 「フェルオーバー クラスター マネージャー」で GUI 設定
チェックが付き、最上位にあるネットワークから優先される
まとめ
© 2011 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 25
Hyper-V はセグメントが増えがちだけど…
HP Flex-10, FlexFabric で I/O 周りを潤沢かつシンプルに ①
© 2010 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
セグメントが増えがちな Hyper-V のために
– 本格的な仮想化システムを設計すると、I/O ポートが相当必要になります
26
ブレードサーバーにしたいけど
NIC と FC で 8Port も増設できない...
一般的なブレードサーバー
Port 用途 必要帯域 冗長化
Port 1
Port 2 親パーティション用 100 Mbps Team
Port 3
Port 4
CSV, WSFC 通信用
Live Migration 転送用
1 Gbps ~
1 Gbps ~ 2系統
Port 5
Port 6 サービス用 4 Gbps ~ Team
Port 7
Port 8
ストレージ用
(FC, iSCSI, SAS) 4 Gbps ~ あり
Hyper-V 2.0 / Live Migration 時の推奨構成
VM VM VM VM VM VM
Production (Guest OS)
Teaming
ストレージ用 HBA
Shared Storage
FC / iSCSI / SAS
…
Parent OS CSV / LM
必要に応じて NIC増設
VM VM VM VM VM VM
HP Flex-10, FlexFabric で I/O 周りを潤沢かつシンプルに ②
© 2010 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
セグメントが増えがちな Hyper-V のために
– HP なら、ブレードサーバーでも内蔵 NIC だけで OK!
• HP 独自の「Virtual Connect Flex-10 テクノロジー」で
内蔵の Dual-10GbE を 8 NIC に BIOS レベルで分割 できます。
• 分割にあたり、各帯域は 100Mbps 単位で自由に調節可能!
• 購入前のシステム設計と実際の運用が異なっても
帯域調節は “いつでも” “オンライン” で行えます!
27
内蔵NIC だけで OK!
HP Flex-10, FlexFabric で I/O 周りを潤沢かつシンプルに ③
© 2010 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
セグメントが増えがちな Hyper-V のために
– 「Ethernet ×6ポート + ストレージ ×2ポート」に必要な機材
28
2ポート 1Gb NIC
(内蔵)
4ポート 1Gb NIC
(増設)
2ポート FC-HBA
(増設)
2ポート Flex-10 NIC
(内蔵)
2ポート FC-HBA
(増設)
2ポート 10Gb CNA
(内蔵)
他社の一般的なブレード HP G6ブレード + Flex-10 HP G7 ブレード + FlexFabric
VC FlexFabric モジュール ×2
VC Flex-10 モジュール ×2 L2 Switch
モジュール ×6
FC-Switch モジュール ×2 FC-Switch
モジュール ×2
Outcomes that matter.