openQRM Deployment Modelとストレージ

openQRM Deployment Modelと

ストレージ構成

2012/2/8

OSSラボ株式会社

120208 1 OSS Laboratories Inc. Copyleft http://creativecommons.org/licenses/by/2.1/jp/

openQRMのデプロイメントモデル

  デプロイメントとは、リソースの組み合わせのセットを指し、どのストレージからブートし、どのリソースを使用するのかを決定し、openQRMのストレージ／イメージ／アプライアンスの組み合わせによって設定される

  リソースとは、物理CPU/メモリ/ディスク/ネットワークIF、及び仮想化されたCPU/メモリ/ディスク/ネットワークIFを指す

  openQRMでは、管理下にある物理サーバ及び仮想化ホスト／ゲストのデプロイメントを動的に変更するために、ネットワークブート（PXE-boot）を使用する

  PXE-bootは元々nfs等のネットワークファイルシステムからブートするためのプロトコルであるが、openQRMは次ページのシークエンスにあるように、設定したアプライアンス（リソースの組み合わせ）とブートストレージをPXEプロトコルで設定するため、ネットワークファイルシステムだけでなくローカルストレージからのブートアップを指定できる

120208 OSS Laboratories Inc. Copyleft http://creativecommons.org/licenses/by/2.1/jp/ 2

openQRMでの基本ブートシークエンス


openQRMサーバストレージクライアント

①電源投入

BIOSはネットワークブート（PXE boot）に設定

②DHCP要求 ③アドレス割当 PXEサーバ通知

④PXE-NBP要求 ⑤カーネルファイル通知、送信

⑥tftpdダウンロード initrdマウント、ネットワーク初期化

⑧アイドル状態で待機

⑧Image-deployment hookをダウンロード、マウント要求

⑨マウント承認

イメージ／アプライアンスが割当済か？

Yes

No

⑩カーネルモジュールとOpenQRMクライアントをインストール、サーバ・イメージをRead Onlyで再マウント

⑪マウント承認 ⑫再マウントされたルートファイルシステムでinitを実行、サービス開始

openQRMリソースの状態遷移   openQRMのブートシークエンスでは、実際のルート・ファイル・システムが使用できるようになる前にマウントされる初期ルート・ファイル・システムであるinitrdが展開された状態をアイドル状態と呼ぶ

  Initrdはカーネルにバインドされ、カーネル・ブート・プロシージャーの一部としてロードされ、initrd がロードされると、カーネルはこれを、実際のファイル・システムを使用可能にするためのモジュールをロードした状態になる

  そして実際のルート・ファイル・システムの取得という次段階ブート・プロセスをopenQRMのアプライアンスマネージャの設定によって決定される


Reboot

Wake up

Start

Start

Sleep

Power off Stop

Stop Restart

停止状態

アイドル状態

稼働状態

WoL マネージャ

仮想化マネージャ

アプライアンスマネージャ

リソースマネージャ

デプロイメントのタイプ

  openQRMでは、アイドル状態から実際のルートファイルシステムを取得する際、ローカル・デプロイメントとネットワーク・デプロイメントの２種類のタイプがある

  ネットワーク・デプロイメントは、通常のPXEブート同様ネットワークファイルシステムからルートファイルをマウントしブートアップする

  ローカル・デプロイメントは、起動するサーバのローカルストレージからルートファイルをマウントしブートアップする

  openQRMでは、ローカル・デプロイメントを使用するか、ネットワーク・デプロイメントを使用するかによって、使用するストレージプラグインが異なる


デプロイメントタイプとプラグインの組み合わせ


物理サーバ物理サーバ物理サーバ物理サーバ

仮想 CPU

仮想 CPU

物理 CPU

仮想 disk

仮想 disk

物理 disk

仮想 CPU

仮想 CPU

物理 CPU

仮想 disk

仮想 disk

仮想 disk

共有ストレージ

KVM, VMware-ESX, Citrix, Xen, Vbox ＋

Lvm-storage (nfs/iSCSI/AoE) Nfs-storage, iSCSI-storage

Equallogic, Netapp, Sanboot, AOE, ZFS

KVM-storage XEN-storage Citrix-storage Lxc-storage

Openvz-storage

local-storage tmpfs-storage

ネットワーク・デプロイメントローカル・デプロイメント

吮呀吇叻呉

ネットワーク・デプロイメント（１）


openQRMサーバ

ストレージプラグイン

nfs-storageプラグインiscsi-storageプラグイン

lvm-storageプラグイン zfs-storageプラグイン

openqrm -client

共有ストレージ Linux／Solaris x86システム

ボリュームの作成/変更/削除

nfs/iscsi lvm/zfs

Swapのみ /root

openqrm -client

/rootの場所、起動方法の指定

起動時にマウント

Local-server/solx86プラグインのopenqrm-clientを使用した、ネットワークストレージ

・デプロイメント

サーバプラグイン

仮想化プラグイン

Local-serverプラグイン solx86プラグイン

kvmプラグイン vmware-esxプラグイン

Xenプラグイン Citrixプラグイン, Vboxプラグイン

被管理システム（仮想化ホスト）

VM

※被管理システムは、仮想化ホストだけでなく、物理サーバでも可能

※VMware ESXi/Xenには、openqrm-clientをインストールできないため、APIを使用している

ネットワーク・デプロイメント（2）


API

共有ストレージ NAS



Swapのみ /root

openqrm -client



NASネイティブ・プラグインを使用した、

ネットワークストレージ


Dell EquallogicNetapp FAS Coraid Etherdrive (AoE)

openQRMサーバ


equallogic-storageプラグインnetapp-storageプラグイン

aoe-storageプラグイン




kvmプラグイン vmware-esxプラグイン

Xenプラグイン Citrixプラグイン, Vboxプラグイン

VM

※被管理システムは、仮想化ホストだけでなく、物理サーバでも可能

※VMware ESXi/Xenには、openqrm-clientをインストールできないため、APIを使用している

ローカル・デプロイメント（１）


openQRMサーバ


Local-storageプラグイン tmpfs-storageプラグイン


被管理システム（物理サーバ）

swap/root

openqrm -client


内蔵ディスク

ローカルストレージプラグインのopenqrm-clientを使用した、

ローカルストレージ




ローカル・デプロイメント（2）


openQRMサーバ

仮想化ストレージプラグイン

kvm-storageプラグインopenvz-storageプラグイン

lxc-storageプラグイン citrix-storageプラグイン

xen-storageプラグイン

管理コンソール

共有ストレージ NAS/SAN


nfs/iscsi lvm/zfs


Swapのみ /root

openqrm -client



仮想化ストレージプラグインを使用した、

ローカルストレージ



Local-serverプラグイン

nfs exports, iscsi target等の設定

nfs マウント、 iscsi イニシエータ等の設定

openQRMではない設定 openQRMではない設定

※共有ストレージは、NASだけでなく、被管理システムからマウントでき

るストレージであれば、可

※kvm/OpenVZ/XenServer等で、Live-Migrationを行う場合は、全てのホストから同一のLUNをマウントできるように設定が必要

VM

NASの使用について

  openQRMでストレージサーバを構成するには、以下の方法がある。 1.  Linux/Solaris x86システムを、ストレージサーバとして使う

  ネットワーク・デプロイメント（１）、ローカル・デプロイメント（２）の方法が可能 2.  NASをストレージサーバとして使う

  Dell Equallogic、Netapp FAS、Coraid Etherdrive (AoE)では、ネットワーク・デプロイメント（２）、ローカル・デプロイメント（２）の方法が可能

  上記機種以外のNASでは、ローカル・デプロイメント（２）の方法が可能   ローカル・デプロイメント（2）の方法では、kvm, Citrix XenServer, OpenVZ, lxc等から接続／管理が可能だが、VMware-ESXi用のプラグインは未提供。

  従って、VMware-ESXiのストレージとしてNASを使用するには、次ページの方法のようにNASヘッドとしてLinuxシステムを使用する。   openQRMサーバなどを、NASヘッドとして共用する事も可能だが、ネットワークに負荷がかかるため、実運用環境では推奨しない


NASとVMware ESXiの接続


openQRMサーバ


nfs-storageプラグインiscsi-storageプラグイン

lvm-storageプラグイン


openqrm -client




Local-serverプラグイン

vmware-esxプラグイン

NASヘッド（Linux）

管理コンソール

共有ストレージ NAS

nfs/iscsi lvm/zfs

/root 起動時にマウント

nfs exports, iscsi targetの設定

nfs マウント、 iscsi イニシエータの設定

Swapのみ

API

VMware ESXi

VM

openQRMではない設定 openQRMではない設定

既存サーバのマイグレーション

  既存サーバをopenQRM配下にするには、下記の方法が用意されている   既存物理サーバ

  Local-serverプラグインを使用し、openQRMクライアントをインストールすることによって自動的に認識される   BIOS設定でDHCP/ネットワークブートに変更する必要があるが、IPアドレスは固定割当が可能で、起動もローカルストレージのま

まで変わらない   システムを移動／複製するためには、Local-storageプラグイン（Clonezilla）を使用し、ルートファイルシステムをクローニングする

  既存仮想化ホスト   VMware ESXiとXEN以外のKVM等の仮想化ホストは、上記既存物理サーバの手順でopenQRM配下にしてから、該当仮想化プ

ラグインを用いて仮想化ホストを作成する   仮想化ホストシステムを移動／複製するためには、既存物理サーバと同様に、Local-storageプラグインを使用する   VMware ESXiとXENは、VMware ESX/XENプラグインを使用してopenQRM配下に出来るが、仮想化ホストシステムの移動／複

製はできない（VMware ESXi/XENがPXEブートをサポートしない仕様のため）

  既存仮想化ゲスト   仮想化ゲストは、ルートファイルシステムを共有ストレージサーバの新規作成したボリュームにコピーが必要である。一旦

openQRMのボリュームにコピーすれば、そのボリュームからイメージを作成し、他の共有ストレージ環境のサーバにマイグレーションする事が可能になる

  既存仮想化ゲストからopenQRMの共有ストレージ環境へマイグレーションするには、新規作成した共有ストレージサーバ上のLVMボリュームに、ローカルのルートファイルシステムをrsyncでコピーし、コピーしたボリュームをルートとしてイメージを作成、アプライアンスを作成する


Technology

openQRM Deployment Modelとストレージ