自宅SAN友の会（#jitakusan）

島崎 聡史（＠smzksts）

#jitakusan #osc11tk

島崎聡史（twitter: @smzksts）

- 自宅SAN友の会 主宰

メーカー系研修ベンダーの講師

- サーバ仮想化＆ストレージ研修を担当

- VMware Certified Instructor （VCI）

- Xen, KVM, Solaris Containers

- プライベートクラウド（Eucalyptus）

- デスクトップ仮想化

インフラ系流行りモノ担当 便利屋さん。

Page 2

とある仮想化、クラウド、

シンクライアントベンダーのSE

- XenServer

- Cloudstack

- XenDesktop, XenApp

#jitakusan #osc11tk Page 3

#jitakusan #osc11tk

自宅SAN

- iSCSI

- Fibre Channel

-中古HW＋OSCでお安く

自宅ラック

- スチールラック同等の

スペース

- 高密度集約、高可動性

- 安全性

Page 4

#jitakusan #osc11tk

今回の基本方針

-省スペース

-低コスト

＋ 短時間でできる

＋ 初心者向け

これからお話するトピックは、

私自身が初心者です。 Page 5

#jitakusan #osc11tk

IPoIB (IP over Infiniband)で

CentOSのNFSサーバと

Citrix XenServerをつないでみた

Page 6

#jitakusan #osc11tk

IPoIBとは

- Infiniband上でIP通信を行う機能

Infinibandとは

- InfiniBand(インフィニバンド)とは、非常に高いRAS（信頼性・可用性・保守性)を持つ基幹系・HPC系のサーバ/クラスター用高速I/Oバスアーキテクチャ及びインターコネクトのこと。

※Wikipediaより引用

Page 7

#jitakusan #osc11tk Page 8

SDR DDR QDR FDR EDR HDR NDR

1X 2

Gbit/s

4

Gbit/s

8

Gbit/s

14

Gbit/s

26

Gbit/s

125

Gbit/s

750

Gbit/s

4X 8

Gbit/s

16

Gbit/s

32

Gbit/s

56

Gbit/s

104

Gbit/s

500

Gbit/s

3000

Gbit/s

12X 24

Gbit/s

48

Gbit/s

96

Gbit/s

168

Gbit/s

312

Gbit/s

1500

Gbit/s

9000

Gbit/s

構成ごとの理論スループット

#jitakusan #osc11tk

あんまり

家になさそう

Page 9

#jitakusan #osc11tk

1.ハードウェアの入手

2.ソフトウェアの入手

3.インストールと設定

Page 10

#jitakusan #osc11tk

例によってネットオークションで

HCA（Host Channel Adopter = Infinibandカード）

- ポート単価￥3K～6K 程度（SDR 10G）

IBケーブル

- ￥3K～6K 程度

IBスイッチ

- 希に見かける程度。

Page 11

直結構成なら

1万円未満で可能！ （※マシン費用は除く）

#jitakusan #osc11tk

CentOS

- そもそも無償

Citrix XenServer

- 最新バージョン 6.0（2011/11/19現在）

- 無償エディション or 評価版でOK

IB HCAのドライバやユーティリティ

- メーカーサイトからダウンロード

- 無償

Page 12

無料です

※一部コンテンツは有料だったりしません

#jitakusan #osc11tk Page 13

サーバ：富士通 MX130S1

HCA：Mellanox Infinihost III

Citrix

XenServer 6.0

VM稼働用

CentOS 5.7

VM格納用

NFSサーバ

#jitakusan #osc11tk

# cd /var/tmp

# wget http://www.mellanox.com/downloads/ofed/MLNX_OFED_LINUX-1.5.3-1.0.0.2-rhel5.7-i686.iso ※Mellanoxのサイトにディストリビューション、バージョン、アーキテクチャごとのISOイメージがあるので、そのアドレスをあらかじめ確認

# mount -o loop MLNX_OFED_LINUX-1.5.3-1.0.0.2-rhel5.7-i686.iso /mnt

# /mnt/mlnxofedinstall ※インストーラが実行されます

Page 14

#jitakusan #osc11tk

# vi /etc/sysconfig/network-scritps/ifcfg-ib0

DEVICE=ib0

TYPE=Infiniband

BOOTPROTO=static

BROADCAST=192.168.9.255

IPADDR=192.168.9.101

NETMASK=255.255.255.0

NETWORK=192.168.9.0

ONBOOT=yes

# chkconfig opensmd on ※ネットワーク内の1台のみ

# shutdown -r now

Page 15

#jitakusan #osc11tk Page 16

ドライバの準備

- MellanoxのドライバはXenServer用にビルドされていない

- XenServer上では直接ドライバをビルドできない

- DDK（Driver Development Kit 仮想アプライアンス）でビルドし、XenServerにコピーする

- DDKはCitrixからDLし、XenServerにインポートする

- XenServer6.0（5.6fp1以降）はCentOS 5.5（RHEL5.5）

32bit用のドライバが利用可能

#jitakusan #osc11tk

[root@localhost ~]# mount /dev/xvdb /mnt

[root@localhost ~]# /mnt/mlnxofedinstall

The 2.6.32.12-0.7.1.xs6.0.0.529.170661xen kernel is installed, but do not have drivers available.

Cannot continue. ※そのままインストールはできません。

[root@localhost ~]# cp /mnt/src/OFED-1.5.3-1.0.0.tgz /var/tmp

[root@localhost ~]# cd /var/tmp/

[root@localhost tmp]# tar xvfz OFED-1.5.3-1.0.0.tgz

(※省略）

[root@localhost OFED-1.5.3-1.0.0]# ls

BUILD_ID LICENSE README.txt RPMS SRPMS install.pl ofed.conf uninstall.sh

[root@localhost OFED-1.5.3-1.0.0]# ./install.pl

(※省略）

[root@localhost OFED-1.5.3-1.0.0]# ls -R RPMS/centos-release-5-5.el5.centos/i686/

RPMS/centos-release-5-5.el5.centos/i686/:

libibverbs-1.1.4-1.23.g6ccf63e.i386.rpm libmthca-1.0.5-0.1.gbe5eef3.i386.rpm

(※省略）

このrpmファイルをXenServerにコピーすると、rpmコマンドでインストールできます）

Page 17

#jitakusan #osc11tk

普通のNICならば、

XenServerの管理情報にNICを登録

仮想スイッチ（Linux BridgeやOpen vSwitch

）はEthernet用のため、IPoIBの場合は仮想スイッチを使わずに通信させる

＝先ほどのCentOSと同様に、ifcfg-ib0を作成

Page 18

#jitakusan #osc11tk

XenServerのGUIメニューで必要事項を記入

- SR名

- NFSサーバの情報

-アドレス

-パス

- NFSオプション

Page 19

#jitakusan #osc11tk

Infinibandも安価に試せる

-HWのライフサイクルが1周したものは

大抵中古が出回っている

-今回は手っ取り早く使ってみただけで、

もっと色々できる。

私も初心者です

-まず、手を動かして触ってみる！

Page 20