Hyper-V の NIC チーミング・VLANdownload.microsoft.com/download/3/2/F/32F63186-1D15-41C1-93A… · 日本ヒューレット・パッカード株式会社小川大地 - Microsoft

日本ヒューレット・パッカード株式会社

小川大地 - Microsoft MVP for Virtual Machine

2011.02.16

Hyper-V の NIC チーミング・VLANに関するお話

© 2010 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Agenda

– 仮想化はネットワークの障害対策が重要

– サービス系セグメントの冗長化

– クラスタ系セグメントの冗長化

– まとめ

2

おさらい仮想化はネットワーク冗長化の重要です

© 2011 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 3

サーバー向けCPUは、メンストリーム用でも 12コア時代に突入

仮想化の集約率が急増してます

4 © 2010 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

2 Core 4 Core

2 Core 4 Core 6 Core

G5 G6

2006 2010 2009 2008 2007

2P/4C 2P/12C

3年で1.5倍

6 Core

12 Core

G7

1年で2倍に !!

2P/24C

Xeon 5100 Xeon 5300 Xeon 5400 Xeon 5500 (Nehalem) Xeon 5600

Opteron 200 Opteron 2200 Opteron 2400 Opteron 6100 Opteron 2300

2P/8C

1U の 2ソケットサーバー × 1台で 24 コアの時代

集約率の増加に比例して、ネットワークが重要になっています


仮想化の集約率が急増してます

5

「1コゕ：1VM」の法則だと、サーバー24台も集約

24VM

ネットワークの障害と帯域不足は致命的！

ネットワークの冗長化設計が最重要！

24core

実は色々と必要なんです…


Hyper-V 2.0 のネットワークって…

6

ネットワークの種類接続先* 必要帯域冗長化手法備考

サービスネットワークゲストOS 数 Gbps~ NIC Teaming 帯域は要件次第

管理用ネットワーク

バックアップ取得用ホストOS

100 Mbps ~

1 Gbps ~ NIC Teaming

iSCSI ホストOS 1Gbps ~ MPIO iSCSI ストレージを利用する場合

WSFC ハートビートホストOS 100 Mbps ~ 複数セグメント + 優先度設定

ライブマイグレーションを利用する場合

CSV データ通信用ホストOS 1Gbps ~ 複数セグメント + 優先度設定


メモリデータ転送用ホストOS 1Gbps ~ 複数セグメント + 優先度設定


* 「ホストOS」 = 親パーテゖション, 「ゲストOS」 = 子パーテゖション

1. サービス系セグメントの冗長化手法


Teaming + tagged VLAN で対応

「NIC Teaming」で対応


サービス系セグメントはどう冗長化する？

– NIC Teaming とは？

– Link Aggregation を設定することで、冗長化と同時に帯域不足も補える

8

SPOF ! Team でカバー

仮想ネットワーク仮想ネットワーク

1 Gbps

4 Gbps

4本束ねれば… Link Aggregation

マクロソフト社のスタンス


Hyper-V における NIC Teaming

9

ハードウェゕベンダーにお任せ。

MS KB968703

Teaming で束ねた回線上で複数のセグメントを流す（タグVLAN）


Hyper-V の VLAN と Teaming の “併用”？

10

束ねた回線上で単一のセグメントを流す

束ねた回線上でタグ（VID）を付けた複数のセグメントを流す

Tagged VLAN

設定画面で言うと…


Hyper-V の VLAN 機能って？

11

ドライバが古いと NIC Team と併用できないことも！

（単体利用はOK）

① Teaming ドラバをンストールしていない場合


なぜ Teaming と VLAN は併用できないの？

12

○ 問題なし！

② Teaming ドラバをンストールした場合



13

× 接続不可…

http://f.hatena.ne.jp/ogawad/20101220082424

③「VLAN Promiscuous」に対応したチーミングドラバの場合



14

○ 無事解決！

2011年5月追記

Intel PROSet につきましては、バージョン15.0 以降で対応済みで、Broadcom BACS につきましても「設定次第で動いた」との報告がございます。

Hyper-V を検討の場合、まずは「NIC Teaming と tagged VLAN の同時利用」に関する最新情報と正式なサポート可否について、検討中のサーバーベンダーに確認してみることをお勧めします。

http://f.hatena.ne.jp/ogawad/20101220082423

Hyper-V での「VLAN Promiscuous」に対応したものを選びましょう！


Hyper-V でのサーバー選び

15

2. クラスタ系セグメントの冗長化手法


２つのセグメントを用意してプラオリテゖ設定で対応

実は色々と必要なんです…


Hyper-V 2.0 のネットワークって…

17

ネットワークの種類接続先* 必要帯域冗長化手法備考

サービスネットワークゲストOS 数 Gbps~ NIC Teaming 帯域は要件次第

管理用ネットワーク

バックアップ取得用ホストOS

100 Mbps ~

1 Gbps ~ NIC Teaming

iSCSI ホストOS 1Gbps ~ MPIO iSCSI ストレージを利用する場合

WSFC ハートビートホストOS 100 Mbps ~ 複数セグメント + 優先度設定


CSV データ通信用ホストOS 1Gbps ~ 複数セグメント + 優先度設定


メモリデータ転送用ホストOS 1Gbps ~ 複数セグメント + 優先度設定


* 「ホストOS」 = 親パーテゖション, 「ゲストOS」 = 子パーテゖション

「プラオリテゖ設定」で対応


クラスタ系セグメントはどう冗長化する？

– プライオリティ設定とは？

• 複数のネットワークセグメントを利用して、主回線・副回線を設定する

– NIC Teaming ではダメなの？

• 原則として問題ないですが、NIC Teaming や VLAN はスタックが複雑になり、

稀に若干の遅延が発生します。クラスタ系ネットワークではあまりお勧めしません。

18

192.168.100.1

192.168.200.1

192.168.100.2

192.168.200.2

Primary

Secondary

① WSFC ハートビート


ラブマグレーション環境のネットワーク

– “クラスタノードの死活監視” のためのネットワーク

• WS2003時代のMSCSで「内部クラスタ間通信」と呼ばれていたもの

− WS2003 時代は NIC Teaming はできなかったが、WS2008 からはOK

• 流れるデータは非常に小さい

− 冗長化方法は、チーミングよりも複数のセグメントに相乗りさせるのが一般的。

19

① WSFC ハートビートの設定箇所



20

– 「フェルオーバークラスターマネージャー」で GUI 設定

上記枠内はどちらでも有効となる

② CSV データ通信用



– “クラスタ共有ボリューム” のリダレクトゕクセス用

• 所有権の無いノードからフゔルのメタデータ操作を行う場合に利用される

− VHDフゔルに対する通常の Read/Write では利用されない

• 流れるデータが大きく、ネットワークが遅いとシステム性能に直結する

− 優先度設定を用いて、空いている高速なネットワークを指定する

21

SMB を無効にしてはダメ

② CSV データ通信用ネットワークの優先度設定



22

– WSFC の Power Shell モジュールを使用して CLI 設定

Role > 0 かつ “Metric” 値が小さいものが優先される

Role=3 Role=1

Role=0

③ メモリデータ転送用



– ラブマグレーション実行時にメモリデータを転送

• 稼働中のOSのデータはデゖスクとメモリ上に格納されている

− デゖスクは WSFC で引き継がれるが、メモリ上のデータはネットワーク転送

• ゲストOSに設定したメモリサイズとほぼ同量のデータが流れる

− ネットワークが遅いとライブマイグレーションの実行時間が長くなる

23

③ メモリデータ転送用ネットワークの優先設定



24

– 「フェルオーバークラスターマネージャー」で GUI 設定

チェックが付き、最上位にあるネットワークから優先される

まとめ


Hyper-V はセグメントが増えがちだけど…

HP Flex-10, FlexFabric で I/O 周りを潤沢かつシンプルに ①


セグメントが増えがちな Hyper-V のために

– 本格的な仮想化システムを設計すると、I/O ポートが相当必要になります

26

ブレードサーバーにしたいけど

NIC と FC で 8Port も増設できない...

一般的なブレードサーバー

Port 用途必要帯域冗長化

Port 1

Port 2 親パーティション用 100 Mbps Team

Port 3

Port 4

CSV, WSFC 通信用

Live Migration 転送用

1 Gbps ~

1 Gbps ~ 2系統

Port 5

Port 6 サービス用 4 Gbps ~ Team

Port 7

Port 8

ストレージ用

(FC, iSCSI, SAS) 4 Gbps ~ あり

Hyper-V 2.0 / Live Migration 時の推奨構成

VM VM VM VM VM VM

Production (Guest OS)

Teaming

ストレージ用 HBA

Shared Storage

FC / iSCSI / SAS

…

Parent OS CSV / LM

必要に応じて NIC増設

VM VM VM VM VM VM

HP Flex-10, FlexFabric で I/O 周りを潤沢かつシンプルに ②



– HP なら、ブレードサーバーでも内蔵 NIC だけで OK！

• HP 独自の「Virtual Connect Flex-10 テクノロジー」で

内蔵の Dual-10GbE を 8 NIC に BIOS レベルで分割できます。

• 分割にあたり、各帯域は 100Mbps 単位で自由に調節可能！

• 購入前のシステム設計と実際の運用が異なっても

帯域調節は “いつでも” “オンライン” で行えます！

27

内蔵NIC だけで OK！

HP Flex-10, FlexFabric で I/O 周りを潤沢かつシンプルに ③



– 「Ethernet ×6ポート + ストレージ ×2ポート」に必要な機材

28

2ポート 1Gb NIC

（内蔵）

4ポート 1Gb NIC

（増設）

2ポート FC-HBA

（増設）

2ポート Flex-10 NIC

（内蔵）

2ポート FC-HBA

（増設）

2ポート 10Gb CNA

（内蔵）

他社の一般的なブレード HP G6ブレード + Flex-10 HP G7 ブレード + FlexFabric

VC FlexFabric モジュール ×2

VC Flex-10 モジュール ×2 L2 Switch

モジュール ×6

FC-Switch モジュール ×2 FC-Switch

モジュール ×2

Outcomes that matter.

Documents

Hyper-V の NIC チーミング・VLANdownload.microsoft.com/download/3/2/F/32F63186-1D15-41C1-93A… · 日本ヒューレット・パッカード株式会社 小川 大地 - Microsoft

Hyper-V の NIC チーミング・VLANdownload.microsoft.com/download/3/2/F/32F63186-1D15-41C1-93A… · 日本ヒューレット・パッカード株式会社小川大地 - Microsoft