Oracle Solaris 11 Express ネットワーク仮想化と …...Oracle ホワイトペーパー — Oracle Solaris 11 Express ネットワーク仮想化とネットワークリソースの管理

Oracle ホワイトペーパー

2010 月 11 月

Oracle Solaris 11 Express ネットワーク

仮想化と

ネットワークリソースの管理

Oracle ホワイトペーパー — Oracle Solaris 11 Express ネットワーク仮想化とネットワークリソースの管理

免責事項

このドキュメントはオラクルの一般的な製品の方向性を概説するためのものです。情報提

供を唯一の目的とするものであり、契約とは一切関係がありません。商品、コード、また

は機能を提供するものではなく、購入の判断にご利用いただくためのものではありません。

オラクルの製品に関して記載されている機能の開発、リリース、および時期については、

弊社の裁量により決定されます。


概要 ..................................................................................................................................... 2

はじめに .............................................................................................................................. 2

ネットワーク仮想化 ........................................................................................................ 2

ネットワークリソースの管理 .......................................................................................... 3

パフォーマンス ................................................................................................................ 3

仮想化 .................................................................................................................................. 4

OS の仮想化 ................................................................................................................... 4

ハイパーバイザ仮想化 ..................................................................................................... 4

アーキテクチャ ................................................................................................................... 5

仮想ネットワークのシナリオ ............................................................................................. 8

まとめ ................................................................................................................................ 11

そのほかの情報 ................................................................................................................. 11


2

概要

本書は、さまざまな利点をもたらす Oracle Solaris 11 ネットワークスタックの広範にわたる再設

計について説明しています:

より効果的なネットワークリソースの共有と、サーバー統合プロジェクトの計画を進めるために、

完全に仮想化されたネットワーク環境を提供します。

ネットワークサービスの QoS 目標を達成する、ネットワークリソースの管理機能を提供します。

遅延時間を減らし、特にネットワークの負荷が増した場合でもスループットを高めます。

はじめに

Oracle Solaris 11 ネットワークスタックは、Crossbow プロジェクトと呼ばれる意欲的な取

り組みにおいて Oracle Solaris 10 から大幅に設計変更され、前述のような 3 つの目標を達

成しました。それぞれ詳しく説明します:

ネットワーク仮想化

ネットワーク仮想化の機能が追加されたことにより、サーバーを統合能力が向上しました。

ネットワーク機器の世界では「ネットワーク仮想化」といった場合、仮想 LAN や集約の

技術といった特定の問題を説明する言葉として参照される傾向があります。本書では、

サーバー仮想化の枠組みの中でネットワークトポロジのすべての側面が仮想化されると

いう一般的な抽象概念としてネットワーク仮想化をとらえて解説します。

Crossbow プロジェクトにおける仮想化の取り組みの多様な側面について見てみましょう:

ハードウェアのネットワークインタフェースコントローラ (NIC) を仮想 NIC (VNIC)

として仮想化することで、ネットワークリソースの共有をより直接的に効果的に行う

ことができます。VNIC 構造は、物理インタフェースからアプリケーションへの、カー

ネル強制の分離とネットワークスタックを作成するために、物理 NIC ポートを複数

の仮想化インタフェースに分割することを可能にします。

Oracle Solaris 11 Express のネットワーク仮想化の機能が向上したことで、ソフトウエア

「etherstub」構文を含むさまざまなメソッドを通じた VNIC 間の仮想切り替えを可能

にします。

仮想化はリンクの集約にも有効です。2 つの物理 NIC を集約して、その上に複数の

VNIC を構成すると、ネットワークリソースはより効率的に共有することができるよ

うになります。また、物理リンクの 1 つが失敗しても、冗長性によって継続的なネッ

トワークの可用性が保証されます。


3

業界標準の仮想 LAN (VLAN) 構成に対応しており、NIC や VNIC を VLAN に割り

当てることができます。このため、VLAN に対応したスイッチやルーターの環境でト

ラフィックが共有物理リンクで実行されていたとしても、エンドツーエンドのトラ

フィックは独立させたまま実行することができます。

さらに、Oracle Solaris 11 Express に含まれるその他のネットワーク要素、特にルーター、

ファイアウォール、最新の追加としてロードバランサも利用可能です。これらの要素を同

時に使用することで、1 つの物理サーバー内にネットワークトポロジ全体の構成が可能に

なり、設計、プロトタイプ作成、テスト、さらに配備といった作業に利用できます。構成

の例については本書で後述します。

ネットワークリソースの管理

ネットワークリソースの管理機能により、企業はネットワークサービスの QoS を提供で

きるようになります。Solaris 10 上のリソース管理は、保証されたリソールレベルを指定

することで実装されており、システムプロセスは最大限になります。管理者は、指定され

たアプリケーションやゾーンが、定義された使用の制限を超えないように、CPU とメモ

リーリソースの使用を管理します。同時に、これらのアプリケーションとゾーンは、リソー

スの要求に関わらず、最小限のリソースレベルで実行することができます。新しい Oracle

Solaris 11 ネットワークスタックアーキテクチャでは、ネットワークのリソース管理に関

連して 3 つの拡張が行われています:

優先度が高く、高い帯域幅のトラフィックの CPU にはより大きなリソースを、優先

度の低いトラフィックには限られたリソースを割り当てるといったように、特定の

CPU リソースを NIC ポートまたは仮想 NIC に割り当てることができます。この機

能は Oracle Solaris Zone と CPU プールとで、連動して動作します。CPU プールがあ

るゾーンに割り当てられて、VNIC はそのゾーンを同じプールに引き継ぐよう定義し

ていると、その VNIC に設定された CPU リソース制限はその CPU プールと同じに

なります。

帯域幅制限を NIC ポートまたは仮想 NIC ポートに設定することができます。この機

能は、1 つのインタフェースが制限を越えてネットワークを使用し、ほかのトラフィッ

クに悪い影響を与えないことを確実にするための最も有効な方法です。帯域幅の制限

を設定する際には、VNIC 帯域幅が下位ポートの物理帯域幅と適度に一致するように

注意が必要です。

こうしたネットワークリソース管理の機能によって、ネットワーク共有ポリシーを組織的

に実施するように作成できるようになります。これらのポリシーはデータセンターの運用

スタッフによって実施することができます。Crossbow プロジェクトの設計理念をアプリ

ケーションに組み入れる必要はありません。

パフォーマンス

Crossbow プロジェクトで、ネットワークスタックに加えられたこれらの変更により、ス

ケジューリングとパケット処理をより効率的に行うことで、ネットワークスループットを

向上させることができます。ネットワークスタックコードが管理可能なパケット分類、マ

ルチ受信、転送リングバッファを備えた、最新世代のインテリジェント NIC の場合に、

最高のパフォーマンスを得ることができます。効率化を容易に向上させるための設計には

さまざまな側面がありますが、最も大きな課題の 1 つはインバウンドパケットをどう扱

うかです。詳しくは、後述する「アーキテクチャ」の節を参照してください。


4

仮想化

Oracle Solaris 11 Express のネットワーク仮想化とネットワークリソースの管理は、サー

バー統合のための Oracle Solaris 仮想化テクノロジーの価値も高めます。

OS の仮想化

Oracle Solaris Zones1 は、1 つの OS のインスタンスで複数の分離した仮想化 OS 環境を

提供する仮想化のテクノロジーです。この手法による主な利点は、アプリケーションから

は専用の OS 環境に見えながら、実際には複数の Oracle Solaris Zone を Oracle Solaris 10

(または Oracle Solaris 11) のシングルインスタンスですべて実行できるということにあり

ます。結果として、1 つの OS が CPU、メモリー、ネットワークリソースの割り当てを

監視するため、ハイパーバイザ仮想化テクノロジーと比較すると、ゾーンはシステムリ

ソースを大幅に有効利用することができます。また、OS に対して非常に小さなシステム

のオーバーヘッドで済ませられるため、ゾーンは優れたスケーリングも提供します。最後

に、ゾーンの作成と破棄は、動的な環境での使用を容易にする軽量な作業です。たとえば、

Oracle Solaris に組み込まれた Oracle Solaris Trusted Extensions を使用するような非常にセ

キュアな環境には、ゾーンを介した別々のセキュリティレベルを確立しなければなりませ

ん。

Oracle Solaris 10 では、ゾーンで実行中のアプリケーションはネットワークインタフェース

にアクセスすることができますが、ゾーンのネットワークインタフェースの専用ネット

ワークスタックが必要とする場合には、専用の物理 NIC または専用の VLAN が要求さ

れました。Oracle Solaris 11 のネットワークの設計変更により、ゾーンは必要とされる仮想

NIC に必要なだけ割り当てることができ、それぞれが帯域幅と CPU 割り当てを管理でき

る専用のスタックを持ちます。

ゾーンとネットワーク仮想化により、複数のサーバーやサービスを Oracle Solaris のイン

スタンス上に配置することができるようになりました。ゾーンを起動する例については、

後述の節の説明を参照してください。

ハイパーバイザ仮想化

SPARC 用の Oracle VM サーバーは、ハイパーバイザアーキテクチャをベースにした

CMT SPARC システム用の仮想化テクノロジーです。管理インタフェースを介して、ネッ

トワークインタフェース (vnets) にそれぞれゲストドメインが割り当てられます。SPARC

用の Oracle VM サーバーネットワーク仮想化アーキテクチャは、Crossbow 仮想化データ

リンクレイヤーと密に統合されています。ゲストはゾーンだけでなく、Crossbow VNIC や

フローも使用することができます。

ここまで説明したように、Oracle Solaris 11 ネットワークアーキテクチャは、ネットワーク

仮想化とネットワークリソース管理に及ぼす影響についてはご理解いただけたと思いま

す。ここで、新しいアーキテクチャを理解するために、主な機能がどのように実行され、

新しい Oracle Solaris 11 ネットワークスタックが、単に仮想化のみにとどまらないことに

ついて見ていきましょう。新しいアーキテクチャは、ネットワークスタック全体、特に、

次世代ネットワークスタックの基礎を提供するために、データリンクレイヤーに影響しま

す。

1 Oracle Solaris 10 では Oracle Solaris Container として知られています。


5

アーキテクチャ

このアーキテクチャは、仮想 NIC または VNIC (物理 NIC を複数に仮想化されたものに

分割する構成) が基本的な構成単位です。VNIC デバイスは、物理 NIC がそうであるよ

うに、アプリケーションのビューポイントからアクセスされます。VNIC には、帯域幅と、

ダイナミックに制御するためにどの CPU リソースが割り当てられるかに特徴がありま

す。

新しいネットワークスタックは、完全に並列化したネットワークスタックとして設計され

ました。物理ネットワークリンクを道路として考えてみてください。新しいスタック設計

では、その道路を複数のレーンに分割することが可能です。各レーンはパケットのハード

ウェア分類を表わし、共通のキュー、共通のスレッド、共通のロック、共通のカウンター

を持たず、それぞれ独立に設計されています。このアーキテクチャを新しい NIC に結び

つけた図を次に示します。

図 1 –インテリジェント NIC によって分類されたトラフィックレーン

この設計で重要なのはハードウェアの分類で、図 1 の場合、分類は NIC によって行わ

れています。受信パケットが分類されると、囲んで陰になっている部分のように専用の

レーンに入ります。NIC は、各レーンに専用の、具体的には VNIC が属する MAC アド

レスに対して、転送 (Tx) と受信 (Rx) リングバッファを持ちます。Rx リングがいっぱい

になると、パケットはドロップします。通常はドロップするようなことはありませんが、

以下の説明でわかるように、負荷が増大してパケットドロップが必要な状態になった場合、

OS が CPU リソースを消費してドロップするよりも、NIC がドロップするほうが望まし

いのです。


6

転送側では、バッファが並行 DMA 転送の機能を提供することで、複数の CPU スレッ

ドがハードウェアから転送されるパケットをキューに入れることができるようにします。

たとえば、SPARC CMT システムの Tx スケーリングはこの機能によって実現されていま

す。

すべての NIC がハードウェア分類の機能を持つわけではなく、持っていたとしても、OS

に要求されるレーンの数は NIC が提供できる数を上回る可能性があります。このため、

新しいネットワークスタックデザインには、複数のオンボード転送、受信バッファ、フィ

ルタリングを持たない NIC を処理するためのソフトウェアレイヤーが含まれています。

図 2 を参照してください。最新世代の「スマート」NIC と区別するために、このように、

機能を持たない NIC を「ダム」NIC と呼びます。

図 2 – OS によって分類されたトラフィックレーン

この例では、VNIC を支えるすべてのアーキテクチャはカーネルの一部 (ソフトウエアの

レーン全体を作成するために、転送と受信に専念するソフトウエア分類子) になっていま

す。同じアプローチにより、たとえば 16 しかハードウェアリングを供給する分類子がな

いシステム上でも 20 VNIC を要求するアプリケーションに対応することが可能です。こ

のソフトウエアは実際のレーンをハードウェアに作成し、実際のレーンを共有する仮想

レーンも作成します。

ネットワークリソース管理は、新しいネットワークスタックアーキテクチャとレーンの特

徴を定義するためのもう 1 つの重要な側面であり、デザインの重要な部分です。上述し

たように、Crossbow は帯域幅の制限を管理できるようにし、トラフィックを処理するた

めに CPU の数を割り当てることができます。

これらのリソース管理機能は、アーキテクチャに完全に結び付けられています。ここに 2

つの例を示します:

パケットのフロー制御を NIC と密接に行うことは重要です。従来のフロー制御の実

装では、潜在的にドロップする可能性のある OS のキューにパケットを入れるだけ

だったため、パケット処理時間が全体的に増大する傾向にありました。フローが NIC

に存在すれば、パケットドロップによるシステムへの影響を尐なく押さえることが可


7

能です。Tx/Rx リングを管理する NIC の場合、パケットのドロップによる CPU の

オーバーヘッドはありません。

その他のサービス品質 (QoS) 実装は、ネットワークスタックに挿入された典型的なレ

イヤー (リソースの場所を主張しないチョークポイント) です。Oracle Solaris 11 リソー

ス管理では、リソース管理機能そのものはスタックアーキテクチャの中で設計されて

います。CPU、メモリー、全般に QOS に関わるネットワークリソースをもとに、ア

プリケーションに対するリソース管理制御を指定することが可能です。これは、Oracle

Solaris Zone 環境で特に有効です。Oracle Solaris Zone 環境では、適切なポリシーで、最

大のリソースレベルを確保しながら、アプリケーションによって 1 つのゾーンがネッ

トワークリソースを消費しすぎて、ほかのゾーンに悪い影響を与える可能性を最小に

します。

ネットワークリソース制御は VNIC に限りません。各ポートの帯域幅と CPU 制限を各

ポートに設定して管理するために NIC は複数の物理ポートを持つ場合、物理 NIC の管

理にも使用することもできます。

ネットワークリソース制御は、NIC ポートまたは VNIC を介した「すべてのトラフィッ

ク」だけでなく、よりきめの細かい設定に使用することもできます。トラフィックのサブ

セットを特定するために、Crossbow プロジェクトでは「フロー」という概念を導入しま

した。フローは、レイヤー 3 またはレイヤー 4 属性の範囲をベースにしたトラフィック

のサブセットを特定することができます。

ソースまたは送信先 IP アドレス

プロトコル

ポート

これは、操作上すべての HTTPS トラフィックが割り当てられることを意味します。たと

えば、高い帯域幅または FTP トラフィックの低い帯域幅、あるいはデフォルトトラ

フィックとは異なる帯域幅の特定の IP アドレスへの通信などの場合です。また、あるト

ラフィックタイプの履歴を追跡するような、特定のトラフィックのタイプを評価する場合

などには、フローを使用することもできます。

このアーキテクチャは監視機能も備えています。履歴ログを有効にすることで、リンクの

トラフィック量を監視することができるため、処理能力を確認したりさらにプランを立て

たりといったことに利用できます。フローが定義されれば、さらに掘り下げた調査が可能

になります。

アーキテクチャのもう 1 つの要素も取り上げておく価値があります。新しいスタック

アーキテクチャの割り込み処理の管理方法です。使用率が低いモードの場合、パケットは

従来の割り込み処理で扱われます。これは低速トラフィックには適したアプローチで、最

適な待ち時間を提供します。高速 (10GbE) で高いロードのネットワークでは、割り込み

はシステムスループットの全体に悪い影響を及ぼす可能性があります。この問題を回避す

るためにはさまざまな方法がありますが、ビジーなネットワークには基本的にパケットご

との割り込みは不向きです。再設計されたネットワークスタックは、パケットの到着速度

がスレッシュホールドを超えた場合に、パケットを割り込みモードからポーリングモード

への自動的に切り替えます。ポーリングをビジーネットワークに使用する最大の利点は、

ドライバからの 1 つのポーリングは、1 つの処理でたくさんのパケットチェーンを返す

ことができ、1 つの割り込みにつき 1 つのパケットよりもはるかに効率的であるという

点です。


8

仮想ネットワークのシナリオ

これまでの説明で、仮想ネットワークの価値はご理解いただけたと思います。仮想 NIC

とそれらのリソースを管理する能力の連携は、仮想サーバーテクノロジーにおける最適な

組み合わせです。たとえば、10Gb または 1Gb の物理インタフェースを小さい「レーン」

に分割して Oracle Solaris Zone に割り当てるという機能は優れています。1 つのゾーンが

予期されたネットワークリソースを超えた使用を避けるために OS が帯域幅やネット

ワーク CPU リソースを強制的に割り当てることができます。

図 3 – シンプルな仮想化シナリオ

この場合、3 つのシステムとそれぞれのアプリケーションが Oracle Soralis 11 Express

2010.11 システムに Oracle Solaris Zone を使用して統合されています。統合されたサー

バーは 1 ギガビット/秒 (Gbps) ネットワークに移行しました。2 つのゾーンが、統合前

に同じ帯域幅制限だったものが、統合後変化しています。3 つ目のゾーンには、新しくハ

イスピード VNIC が割り当てられています。このように、帯域幅はさまざまな設定が可

能ということを意味します。Oracle Solaris 11 の新しいネットワークスタックアーキテク

チャによって、管理者はサーバー統合の利点を堪能しつつ、ネットワークリソースの制御

が可能になります。

より複雑な仮想化プロジェクトの例を次に示します。


9

図 4 – 複雑な仮想化シナリオ

この従来型の 3 層のアーキテクチャでは、1 つのホストは Web サーバーを実行し、もう

1 つはアプリケーションサーバー、3 つ目はデータベースとして稼働しています。図には

1 つのクライアントがあります。開発者によっては、いくつかの要素がこれらの 3 つの

システム間を相互に作用するように、この環境を 1 つのシステム上に統合するかもしれ

ません。試験機関も、アプリケーション環境全体をテストする場合のハードウェア要求を

簡素化するために、この統合を採用するかもしれません。ここで、スイッチとルーターと

いう 2 つの新しい仮想化エレメントをこの例に追加していることに注目してください。

仮想スイッチは、ゾーン同士が直接通信できるようにします。仮想ルーターは、オープン

ソースの Quagga プロジェクトで Oracle Solaris 11 Express 2010.11 に含まれています。こ

のリリースには、IP フィルタファイアウォールも含まれており、これもサーバー統合化

に有効な機能です。

先の例で示したように、リソース管理を利用するとさまざまな異なるソリューションが可

能になります。この例では、アプリケーションサーバーとデータベースサーバーが 1Gb

リンクを介して通信している新しいアーキテクチャモデルを前提としています。または、

手軽に、統合済みの環境に合致するように帯域幅が設定されているとします。あるいは、

このシナリオを配備して生産する場合 (同時に外部ネットワーク接続を追加すると想定

して) 内部サーバー通信に帯域幅の制限を設定する理由はないかもしれません。3 層アー

キテクチャを、ハイパーバイザベースの仮想化を伴う 1 つのシステムへ配置するような

トポロジのシミュレーションは、仮想化マシンリソースが必要となるため、効率的とは言

えません。しかし、ゾーンのオーバーヘッドが低いことや、Crossbow のリソース管理と

仮想化機能によって、こうした一般的な仮想化トポロジを限られた物理リソースの単一の

ホスト上に容易に配備することができます。


10

最後の例では、ネットワークリソース管理にのみに注目します。すでに述べたとおり、こ

れらの制御はアプリケーションに組み組む必要はありません。たとえば、データセンター

はネットワークテープのバックアップを取っていると想定します。こうしたサービスは、

ネットワーク帯域幅を大量に消費してしまうことは珍しいことではありません。

図 5 は、バックアップが開始される前のサーバー 2 とそのほかのサーバーとの間のネッ

トワークトラフィックのフローを示します。

図 5 – バックアップ開始前

サーバー 2 のバックアップを開始すると、図 6 のような状態になります。ほとんどの帯

域幅がバックアップ作業に消費されていて (太い矢印) そのほかのトラフィックに悪い影

響 (細くなった矢印) を与えていることが分かります。

図 6 – バックアップ開始後

ネットワークリソース管理を使用すると、オペレーション担当者は Oracle Solaris の「フ

ロー」と呼ばれる機能で問題を見つけることができ、フィルタによって問題のトラフィッ

クを分類することができます。この例では、192.168.0.2 と 192.168.0.20 の間のトラフィッ

クで問題が発生しています。問題のフローが見つかれば、次はフローに帯域幅を設定しま

す。この例では、オペレーション担当者は図 7 で示すような通常のトラフィックレベル

になるまで、帯域幅を調整しています。


11

図 7 – ネットワークリソース管理適用後

このリソース管理タスクを実行するために、どのような場合でもアプリケーションを修正

する必要はありません。オペレーション担当者がいくつかのコマンドを入力することで、

フロー制御が NIC ポート (または VNIC) に適用されます。

まとめ

ネットワーク仮想化とネットワークリソースの管理に Crossbow プロジェクトの機能を

追加することで、Solaris ネットワークスタックを次の段階に進化させることが可能になり

ました。ネットワークリソース管理によって、データセンターのオペレーションが CPU、

メモリー、ネットワークリソース、さらにサービス品質の目標を満たすことができるよう

な制御を可能にしします。ネットワーク仮想化は、システム仮想化における重要な要素と

して、サーバーの仮想化のみにとどまらず、ファイアウォール、ルーター、ロードバラン

サ、スイッチなどを含むネットワークトポロジにも大きな役割を果たします。最後に、新

しい Oracle Solaris 11 ネットワークスタックは、デバイスから最適なパフォーマンスを引

き出すための NIC 設計の最近の傾向に適合するアーキテクチャを提供します。

そのほかの情報

開発者によって書かれた、Crossbow プロジェクトに関するさまざまなテクニカルホワイ

トペーパーを参照することができます。

「Crossbow Virtual Wire: Network in a Box」、LISA '09 会議で最優秀論文に選ばれました。

http://www.usenix.org/events/lisa09/tech/full_papers/tripathi.pdf

「Crossbow: From Hardware Virtualized NICs to Virtualized Networks」

http://www.opensolaris.org/os/project/crossbow/Docs/crossbow-sigcomm-visa09.pdf

「Crossbow: A Vertically Integrated QoS Stack」

http://www.opensolaris.org/os/project/crossbow/Docs/crossbow-sigcomm-wren09.pdf

ホワイトペーパータイトル

2010 年 [月]

著者: [任意]

寄稿者: [任意]

Oracle Corporation

World Headquarters

500 Oracle Parkway

Redwood Shores, CA 94065

U.S.A.

お問い合わせ:

電話: +1.650.506.7000

Fax: +1.650.506.7200

oracle.com

Copyright © 2010, Oracle and/or its affiliates. All rights reserved.

本文書は情報提供のみを目的として提供されており、ここに記載される内容は予告なく変更されることがありま

す。本文書は一切間違いがないことを保証するものではなく、さらに、口述による明示または法律による黙示を

問わず、特定の目的に対する商品性もしくは適合性についての黙示的な保証を含み、いかなる他の保証や条件を

提供するものではありません。オラクル社は本文書に関するいかなる法的責任も明確に否認し、本文書によって

直接的または間接的に確立される契約義務はないものとします。本文書はオラクル社の書面による許可を前もっ

て得ることなく、いかなる目的のためにも、電子または印刷を含むいかなる形式や手段によっても再作成または

送信することはできません。

Oracle と Java は、Oracle およびその子会社、関連会社の登録商標です。その他の名称はそれぞれの会社の商

標です。

AMD、Opteron,、AMD ロゴ、AMD Opteron ロゴは、Advanced Micro Devices の商標または登録商標です。Intel、

Intel Xeon は、Intel Corporation の商標または登録商標です。

すべての SPARC の商標はライセンスに基づいて使用される SPARC International, Inc の商標または登録商標

です。UNIX は X/Open Company, Ltd. からライセンス提供された登録商標です。

Documents

Oracle Solaris 11 Express ネットワーク仮想化と …...Oracle ホワイトペーパー — Oracle Solaris 11 Express ネットワーク仮想化とネットワークリソースの管理