Oracle Database 11g Release 2 Oracle RAC 11g …h50146.®強固な関係にもとづき、最新データベースOracle Database 11g Release 2 においても引き続き HP-UX はオラクルの最重要プラットフォームとして位置づけられています。国内においても、日本HP

Copyright © 2010. Oracle. All Rights Reserved© Copyright 2010 Hewlett-Packard Development Company,L.P.

.

2011年 5月

Oracle Database 11g Release 2

Oracle RAC 11g Release 2 for HP-UX Itaniumの構成例

（SGeRAC 設定編）

Oracle Database 11g Release 2Oracle RAC 11g Release 2 for HP-UX Itaniumの構成例

Copyright © 2010. Oracle. All Rights Reserved.© Copyright 2010 Hewlett-Packard Development Company,L.P.

1

はじめに

日本ヒューレット・パッカード株式会社（代表取締役社長執行役員：小出伸一、本社：東京都千

代田区、以下日本 HP）と日本オラクル株式会社（代表執行役社長最高経営責任者：遠藤隆雄、

本社：東京都港区、以下日本オラクル）は、日本オラクル社内の IT 基盤検証施設「Oracle GRID

Center」を活用して、ソリューションの開発、提案から保守、最新技術情報の市場への提供を行う

など、協業を強化することに合意しています。「Oracle GRID Center」を活用した両社の協業強化

によって、「HP＋Oracle」ならではの堅牢でハイパフォーマンスな IT インフラストラクチャを提

案し、IT 投資の効率化、コスト削減を実現することで、お客様のビジネスにも貢献してまいりま

す。

すでに HP とオラクルは 28 年を超える製品開発から販売、保守に至る全方位での密接な協調関係

を通じ全世界で 14 万社を超えるお客様に共同でシステム導入してきました。その結果として、

「Oracle Database」においても「Oracle Applications」の稼動プラットフォームとしても HP サーバ

がもっとも多く利用され、HP 自身が世界最大規模のオラクル導入ユーザーでもあります。これら

の強固な関係にもとづき、最新データベース Oracle Database 11g Release 2 においても引き続き

HP-UX はオラクルの最重要プラットフォームとして位置づけられています。

国内においても、日本 HP と日本オラクルは相互に重要パートナーの一社として、20 年にわたっ

て強力なパートナーシップを構築してきました。特に、企業の IT 基盤の構築について、HP-UX 搭

載サーバーと「Oracle Database」や「Oracle Fusion Middleware」の組み合わせを中心としたプラッ

トフォームの提案を行い、日本市場でのオープン・エンタープライズシステムの普及を加速してき

ました。また、両社は、HP-UX 搭載サーバー、オラクルのデータベース技術を中核に、次世代デ

ータセンターやプライベートクラウドのような最新エンタープライズシステムの在り方を追求し、

お客様の経営課題、情報システムの課題を解決する提案を行っています。

日本 HP と日本オラクルは、Serviceguard/Serviceguard Extention for RAC（以下 SGeRAC）と Oracle

RAC 11g Release 2 の Grid Infrastructure（Oracle Clusterware と自動ストレージ管理）を組み合わせ

た RAC 構成の可用性検証を Oracle GRID Center で実施しました。本書を含む一連の手順書はそ

の構築手法を説明し、その中で本書は SGeRAC クラスターの構築方法について説明しています。



2

設計 ................................................................................................... 3

hostsファイルの変更......................................................................... 5

nsswitch.confファイルの変更 ............................................................ 5

ノードの時刻合わせ（NTP） ............................................................ 5

NTP サーバーの設定 .................................................................... 6

NTP クライアントの設定 ............................................................. 6

必要なパッチの入手 .......................................................................... 7

パッチの適用................................................................................... 14

cmclnodelist ファイルの作成 .......................................................... 15

ボリュームグループの構築（Webブラウザー編） .......................... 15

クラスターの構築（Webブラウザー編） ........................................ 26

クラスター構築後の確認（Webブラウザー編）.............................. 38

ボリュームグループの構築（コマンド編） ..................................... 40

ネットワークの確認（コマンド編）................................................ 43

クラスターの構築（コマンド編） ................................................... 43

OS起動時の自動起動....................................................................... 45

lvmconfファイルの編集 ................................................................... 46



3

設計

以下の設計表の設計値を記入します。これ以外はデフォルト値での構成が可能です。

設計値設計例

クラスター名 HPCL01

IP モニター OFF

ボリュームグループ名と

使用する物理ディスク

(Oracle Clusterware 用)

/dev/vg_asm1

/dev/disk/disk75 2GB





(Oracle Database 用)

/dev/vg_asm2




(リカバリ・ファイル用)

/dev/vg_asm3


ロックディスクに使用する物

理ボリューム名または Quorum

Server の IP アドレス

（ノード１用）

/dev/disk/disk75

（ロックディスクでの例）

ロックディスクに使用する物

理ボリューム名または Quorum

Server の IP アドレス

（ノード２用）

/dev/disk/disk75

（ロックディスクでの例）

表1 設計表

• 他のクラスター名と重複しない名前にします。

• IPモニターは必要であれば設定します。デフォルトはONです。

• 複数のボリュームグループを使用することは必須ではありません。本資料では、バックアップ方式を考慮し

て３つのボリュームグループを使用した例を用いています。

• ロックディスクは Oracle ClusterwareやDB などで使用するボリュームグループと兼用可能です。

• ASM上でOCR及び投票ディスクの冗長性を確保する場合、最低３つのディスクが必要です。

• ディスク容量は、設計に基づき指定してください。

設計値設計例

名前 / IP アドレス/プライマリ

NIC 名:スタンバイ NIC 名

ハートビート LAN （スタンバ

イ経路有り）用の IP アドレ

hp01-hb / 192.168.0.1 / lan1:lan5

（プライマリ NIC[lan1]に



4

ス。Oracle Clusterware のプラ

イベート IP アドレスと兼用


IP アドレスを事前に割当）

ハートビート LAN （スタンバ

イ経路有り）用の IP アドレ

ス。Oracle Clusterware のプラ

イベート IP アドレスと兼用


Hp02-hb/ 192.168.0.2 / lan1:lan5



パブリック IP アドレス


hp01 / 172.168.1.101 / lan0:lan4



パブリック IP アドレス


hp02 / 172.168.1.102 / lan0:lan4



表2 設計表

• 本設計では、プライベート LANのネットワークにSG のハートビートが流れます。

• これ以外の設計（例えば、ハートビート LAN,とOracle ClusterwareのプライベートLANを分離した構成）

も可能です。

•



5

hostsファイルの変更

＜全ノード（hp01、hp02）での作業＞

すでに存在するノード間の通信可能な全 IP アドレスに対して、hostname コマンドで表示されるホ

スト名をエイリアスとして設定します。

root # vi /etc/hosts

nsswitch.confファイルの変更


DNS を使用している場合は、先に hosts ファイルを参照させるため nsswitch.conf ファイルも変更

します。nsswitch.conf ファイルが存在しない場合は、nsswitch.hp_defaults をコピーして変更します。

以下は、nsswitch.conf ファイルが存在しない場合の変更例です。

root # cd /etcroot # cp nsswitch.hp_defaults nsswitch.confroot # chown bin:bin nsswitch.confroot # chmod u+w nsswitch.confroot # vi /etc/nsswitch.conf

root # chmod u-w nsswitch.conf

ノードの時刻合わせ（NTP）


NTP （Network Time Protocol）を使用して全ノードの時刻を合わせます。設置環境に既に NTP サ

ーバーが設置されている場合は、その方針に従って設定をします。設置環境に NTP サーバーが設

置されていない場合は、クラスター内の１ノードに NTP サーバーを構築し、残りのノードを NTP

（途中省略） hosts:のエントリー、ipnodes:のエントリーはそれぞれ１行で記述hosts: files [NOTFOUND=continue UNAVAIL=continue] dns [NOTFOUND=returnUNAVAIL=return]ipnodes: files [NOTFOUND=continue UNAVAIL=continue] dns [NOTFOUND=returnUNAVAIL=return]

（途中省略）

172.168.1.101 hp01.hp.com hp01172.168.1.102 hp02.hp.com hp02

192.168.0.1 hp01-hb1.hp.com hp01-hb1 hp01192.168.0.2 hp02-hb1.hp.com hp02-hb1 hp02

127.0.0.1 localhost loopback



6

クライアントにします。なお、HP は NTP を slew モードで設定することは推奨していませんが、

Oracle RAC 11g Release 2 では slew モードの設定が必要であり、これに従っています。

ここではノード hp01 を NTP サーバーに、その他のノードを NTP クライアントにする例を示し

ます。NTP の設定方法の詳細については、『HP-UX Internet Services Administrator's Guide (February

2007)』

（http://h20000.www2.hp.com/bizsupport/TechSupport/CoreRedirect.jsp?redirectReason=DocIndexPDF&pr

odSeriesId=4155379&targetPage=http%3A%2F%2Fbizsupport2.austin.hp.com%2Fbc%2Fdocs%2Fsupport

%2FSupportManual%2Fc02013582%2Fc02013582.pdf）の「4 Configuring NTP」を参照してください。

NTP サーバーの設定

＜hp01 での作業＞

NTP サーバーとしての設定をノード hp01 で行い、xntpd プロセスを起動後、動作を確認します。

root@hp01 # chmod u+w /etc/ntp.confroot@hp01 # vi /etc/ntp.conf

root@hp01 # chmod u-w /etc/ntp.confroot@hp01 # xntpd -xroot@hp01 # ntpq -p

remote refid st t when poll reach delay offset disp==============================================================================*LOCAL(1) LOCAL(1) 3 l 60 64 377 0.00 0.000 10.01

"*LOCAL(1)" と表示されていれば起動完了です。"*" が表示されるまで約５分程度かかります。

OS 再起動毎に NTP デーモンが自動起動されるように、netdaemons ファイルの XNTPD の値を

"1" にし、引数を指定します。

root@hp01 # chmod u+w /etc/rc.config.d/netdaemonsroot@hp01 # vi /etc/rc.config.d/netdaemons

root@hp01 # chmod u-w /etc/rc.config.d/netdaemonsroot@hp01 #

NTP クライアントの設定


（途中省略）server 127.127.1.1

（途中省略）export XNTPD=1export XNTPD_ARGS="-x"

（途中省略）



7

NTP クライアントとしての設定をノード hp02 で行い、動作を確認します。

hp02@root # chmod u+w /etc/ntp.confhp02@root # vi /etc/ntp.conf

hp02@root # chmod u-w /etc/ntp.conf

hp01 に時刻を合わせた後、xntpd プロセスを起動し、動作を確認します。

hp02@root # ntpdate -b hp01hp02@root # xntpd -xhp02@root # ntpq -p

remote refid st t when poll reach delay offset disp==============================================================================*hp01.hp.com LOCAL(1) 4 u 57 64 377 0.12 -0.204 0.03

"*hp01" と表示されていれば起動完了です。"*" が表示されるまで 5 分程度かかります。

OS 再起動毎に NTP デーモンが自動起動されるように、netdaemons ファイルの XNTPD の値を

"1" にし、引数を指定します。

hp02@root # chmod u+w /etc/rc.config.d/netdaemonshp02@root # vi /etc/rc.config.d/netdaemons

hp02@root # chmod u-w /etc/rc.config.d/netdaemons

必要なパッチの入手

パッチは IT リソースセンター（ITRC http://www.itrc.hp.com/）から入手します。IT リソースセン

ターをご利用になると、上記パッチやそのリプレースパッチ（上位版）あるいは依存関係のあるパ

ッチが既にシステムにインストールされているかどうかを調べ、一括ダウンロードすることができ

ます。

（途中省略）server hp01 version 3

（途中省略）export XNTPD=1export XNTPD_ARGS="-x"

（途中省略）



8

ユーザー登録（HP Support agreement が必要）を行い、ログインし、「パッチデータベース」をク

リックします。

図1 ITリソース・センター

「パッチ評価の実行」をクリックします。

図2 パッチデータベース（ITRC）



9

ステップ１の「新規システム情報をアップロードする」をクリックします。

図3 パッチ評価の実行（ITRC）

ITRC から swainv スクリプトをダウンロード後、パッチを適用したいサーバーで swinv スクリプト

を実行し、 inventory.xml ファイルを作成します。swinv スクリプト実行時は、以下のように

LANG=C をつけて root ユーザーで実行してください。LANG=C を付けないで実行すると、内部で

日付が日本語で取得され、後でブラウザー側での読み込みに失敗することがあります。また、各ノ

ードでハードウェア、ソフトウェア構成が異なる場合は、それぞれのノードで行います。

root # LANG=C sh /tmp/swinv.shroot #



10

作成された inventory.xml ファイルを ITRC のパッチ評価にアップロードします。

図4 システム情報のアップロード（ITRC）

パッチ評価の実行画面に戻り、ステップ２の「新規評価プロファイルを作成する」をクリックして、

評価プロファイルを作成します。

図5 パッチ評価の実行（ITRC）



11

プロファイル名（任意）を入力し、パッチオプションのすべてのチェックボックスをチェックしま

す。

図6 評価プロファイル

特定パッチ、パッチチェーン、必須パッチを要求のテキストボックスに、SG 11.19 のリリースノ

ートに記載されている HP-UX11.31 用の OS パッチ名を入力します。SG11.19 のリリースノート

に記載されているパッチは、PHNE_35894 です。また、PHSS_40886 も必要です。




12

パッチセットの特定システム用パッチセットのすべてのチェックボックスをチェックし、「保存」

をクリックします。


作成した評価プロファイルにチェックがあることを確認し、ステップ 3 の「候補パッチの表示」

をクリックします。

図9 パッチ評価の実行



13

警告や注記の内容を確認します。一番下の「すべて選択」をクリックし、「選択済みパッチリス

トに追加」をクリックします。

図10 パッチ評価結果

警告がでた場合は内容を確認し、パッチを使用するあるいは無視をし「続行」をクリックします。

画面の一番下の「選択済みパッチのダウンロード」をクリックします。

図11 選択済パッチリスト



14

サイズを確認します。アーカイブ形式「tar パッケージ」を選択し、「ダウンロード」をクリック

します。

図12 パッチのダウンロード

ダウンロード後、「ログアウト」します。

パッチの適用


ダウンロードしたファイル（例：hpux__11.31_04120542.tar）を転送し、解凍します。

root # mkdir -p /tmp/hpux_patch/hpux_20100412_01

（ここでは識別しやすいように、日付と連番などの入ったディレクトリ名にしています）

root # cd /tmp/hpux_patch/hpux_20100412_01root # tar xvf /tmp/hpux__11.31_04120542.tar

デポを作成します。

root # ./create_depot_hpux.11.31 -b 20100412_01_PATCHES -t “20100412_01 Patchesfor HP-UX” | tee c.log

-b オプションの後には日付と連番の入った名前（任意：パッチセット名となります）を指定し、-t

オプションの後にその説明文（任意）を指定しています。このようにすると、後で使用する swlist

コマンドの出力がわかりやすくなります。また、標準出力の内容を後で確認できるように tee コマ

ンドを使用し、ファイル c.log に標準出力の内容を出力しています。

もし ERROR が発生した場合はその内容をチェックし、やり直すなどの対応を行います。

デポの内容を確認します。



15

root # swlist -s /tmp/hpux_patch/hpux_20100412_01/depot

（途中省略）20100412_01_PATCHES B.2010.0412 20100412_01 Patches for HP-UX

適用されるパッチによっては、パッチのインストール後に OS 再起動をする場合があります。他の

作業中の方々への通知や動作中のアプリケーションの停止など、インストールを行う前に OS 再起

動をしても問題ないことを確認し、swinstall コマンドでパッチをインストールします。

root # swinstall -x autoreboot=true -x patch_match_target=true \-s /tmp/hpux_patch/hpux_20100412_01/depot | tee i.log

標準出力を後で確認したい場合は tee コマンドで取得します。いくつかのファイルセットの解析時

に ERROR が発生しても、その他のパッチは適用されますので中断せずに続行します。インストー

ルには暫く時間がかかります。その後、autoreboot=true が指定されているので自動的に OS が再起

動されます。OS 再起動後、パッチがインストールされているかどうかを確認します。

インストール作業の詳細は、/var/adm/sw/swagent.log ファイルに記録されます。

root # swlist | more

（途中省略）20100412_01_PATCHES B.2010.0412 20100412_01 Patches for HP-UX

詳細を見る場合は以下のコマンドを実行します。

root # swlist 20100412_01_PATCHES | more

（表示省略）

cmclnodelist ファイルの作成


クラスターのノード間の通信を許可するために、cmclnodelist ファイルを作成します。

root # vi /etc/cmcluster/cmclnodelist

root # chmod 444 /etc/cmcluster/cmclnodelistroot #

ボリュームグループの構築（Webブラウザー編）

ボリュームグループをコマンドで構築する場合は、こちらの手順は不要です。後述する「ボリュー

ムグループの構築（コマンドでの作成）」の手順に進んでください。

hp01 roothp02 root



16

＜任意の 1 ノード（ここでは hp01）での作業＞

Web ブラウザーから http:// クラスターのノード名または IP アドレス（任意の 1 ノード）:2301

にアクセスします。SMH のサインイン画面（図 13）が表示されますので、「User Name」に root 、

「Password」に root ユーザーのパスワードを入力し、「Sign in」をクリックします。

図13 SMHサインイン

メニューの「Tools」をクリックします。

図14 SMHのhome



17

「Disks and File Systems」グループ内にある「Volume Groups」をクリックします。

図15 Tools

「VG の作成...」をクリックします。

図16 HP-UX Disks and File Systems Tool



18

「ボリュームグループ名」欄にボリュームグループの名前を入力（ここでは vg_asm1）、ボリュー

ムグループのバージョンでは 2.1 を選択し、物理ディスクを選択するため「未使用ディスクの選

択」をクリックします。

図17 ボリュームグループの作成



19

このボリュームグループで使用するディスク（ここでは disk75、disk76、disk77）を選択し、「選

択」をクリックします。過去に使用されていたディスクを再利用する場合など、ディスク上に

LVM の構造が検知されると、「LVM データ構造が見つかりました」と注意画面が出ます。過去

のデータ構造を壊してよい場合は、「続行」をクリックします。

図18 未使用ディスクの選択



20

ボリュームグループのバージョン 2.0 以降用のエクステントサイズとボリュームグループの最大サ

イズの対応表（表 3）を参考に、ボリュームグループの最大サイズと物理エクステントサイズを入

力します。

ここでは、ボリュームグループバージョン 1.0 のデフォルトと同じ 4MB のエクステントサイズ

とそのボリュームグループの最大サイズ 128TB を指定し、「作成」をクリックします。

図19 ボリュームグループの作成

エクステントサイズ（MB）ボリュームグループの

最大サイズ（TB）

1 32

2 64

4 128

8 256

16 512

32 1024

64 2048

128 2048

256 2048

表3 エクステントサイズとボリュームグループの最大サイズの対応

（ボリュームグループバージョン2.0用）



21

エクステントサイズを小さくすると、論理ボリュームへのスペース割り当てを、よりきめ細かく制

御できるようになります。また、ミラーコピーへの IO が失敗した場合に、失効 (stale) するデー

タブロックが小さくなる効果もあります。論理ボリュームや物理ボリュームが小さい場合は、エク

ステントサイズを小さくすることで、無駄なスペースを減らすことができます。

論理ボリュームあるいは物理ボリュームあたりのエクステント数には限界値があるため、エクステ

ントサイズを小さくすると、論理ボリュームあるいは物理ボリュームの合計サイズを制限すること

になります。その逆に、エクステントサイズを大きくすると、より大きな論理ボリュームを作成で

きるようになり、より大きな物理ボリュームを使用できるようになります。

また、ボリュームグループのサイズには最大サイズまでの任意の値が指定できますが、将来のサイ

ズ拡張を考慮し最大サイズを指定しています。

完了画面で、ボリュームグループの作成が「Completed」であることを確認して、「Back」をクリ

ックします。

図20 ボリュームグループの作成実行



22

「論理ボリューム」タブをクリックします。

図21 ボリュームグループの作成実行

「LV の作成...」をクリックし、論理ボリュームを作成します。

図22 論理ボリューム



23

論理ボリュームを作成するボリュームグループ（ここでは vg_asm1）を選択し、LV 名（ここでは

lv01）とサイズ（３つのディスクのフリーエクステントの合計が 1905 であるため、１つのディス

クは 1905÷3 = 635 エクステント）を入力します。また、割り当てポリシーを「厳密隣接」に変更

することで、指定したエクステントを複数のディスクにまたがることなく確保するようにします。




24

「作成」をクリックします。


完了画面で、論理ボリュームの作成が「Completed」であることを確認して、「Back」をクリック

します。同様に他の論理ボリュームも作成します。

HP-UX Disk and File Systems Tools 画面の「ボリュームグループ」から、作成したボリュームグル

ープ（ここでは vg_asm1）を選択して「VG の配布」をクリックし、他のノードへボリュームグ

ループを展開（インポート）します。




25

クラスター構成予定のノードを選択し、「次へ」をクリックします。/etc/cmclnodelist ファイルを

作成していない場合は、ここにノードが表示されません。また、すでにボリュームグループの配布

がなされているノードも表示されません。

図26 ボリュームグループの配布

「配布」をクリックします。

図27 ボリュームグループの配布



26

ボリュームグループの配布の完了画面で、「Completed」であることを確認して、「Back」をクリ

ックします。

この時点では、ボリュームグループ vg_asm1 はノード hp02 ではアクティベイトされていません。

さらに、まだノード hp01 でアクティベイトされたままの状態です。ボリュームグループのモード

の変更は、次のクラスターの構築作業で行いますので、まだノード hp01 でアクティベイトの状態

のままにしておきます。また、まだ排他制御モードで保護されていないため、ノード hp02 でアク

ティベイトもしてはいけません。

同様に他のボリュームグループを作成します。

クラスターの構築（Webブラウザー編）

クラスターをコマンドで構築する場合は、こちらの手順は不要です。後述する「クラスターの構築

（コマンドでの作成）」の手順に進んでください。

＜ボリュームグループ作成時と同一ノード（ここでは hp01）での作業＞

SMH の Tools 画面を開き、「Serviceguard」の「Serviceguard Manager」をクリックします。

図28 Tools



27

「クラスターの作成」をクリックします。

図29 HP Serviceguard Manager

ネットワーク内で重複しないような「クラスター名」を記入し、クラスターに参加するノードを選

択します。さらに、「クロスサブネット構成を有効にするか、完全なネットワーク探索を実行しま

す」を選択します。これを選択していないと自動的にネットワークのスタンバイ NIC を探索しま

せん。「次へ」をクリックします。

図30 クラスターの作成（ノード）



28

必要な箇所があれば変更し「次へ」をクリックします。項目内容については「? 」（日本語ヘル

プ）を参照します。

図31 クラスターの作成（パラメータ）

【メンバータイムアウト】

デフォルトは 14 秒です。ハートビート経路が複数存在する場合は、Serviceguard Extension for

Faster Failover （SG11.19 以前の高速フェイルオーバーオプション製品）と同程度の高速なクラス

ター再構成時間にするためにより小さな値を設定することも可能です。最小サポート値は、2 ノ

ード構成時は 3 秒、3 ノード以上の構成時は 6 秒です。ハートビート経路が複数存在しない場合

は 14 秒未満はサポートされません。

負荷の高いシステムでは、ノードが落ちたと誤検知する可能性を低くするために、この値をより大

きな値に設定する場合もあります。負荷をかけた状態で、ハートビートをロストしていないか確認

しながら微調整を行うことをお奨めします。なお、この値はオンラインで変更可能です。



29

SG11.19 の新機能「ノードキャパシティ」の設定画面になりますが、これはパッケージ構築後に

必要であれば設定を行います。『HP Integrity サーバー + HP-UX 11i v3（11.31） + Serviceguard

11.19 その他の Serviceguard の設定』を参考にします。「次へ」をクリックします。

図32 クラスターの作成（ノードキャパシティ）

データ LAN 用（パブリック LAN 用）のサブネットを選択し、タイプ「モニターのみ」を選択し

ます（ハートビートと兼用の場合は「ハートビート」を選択します）。スタンバイインターフェー

スに表示されているインターフェースも選択します。

図33 クラスターの作成（ネットワーク）データLAN



30

スタンバイインターフェースを実装しているにも関わらず画面に表示されない場合は、「ノード」

をクリックし「クロスサブネット構成を有効にするか、完全なネットワーク探索を実行します」が

選択されているかどうかを確認します。選択されていない場合は、「取り消し」をクリックしてや

り直します。それでも画面に表示されない場合は、配線を再度確認します。

次にハートビート LAN のサブネットを選択し、タイプ「ハートビート」を選択します。ここでは

1 系統のハートビートを設定しています。先ほどと同様にスタンバイインターフェースに表示され

ているインターフェースも選択し、最後に「次へ」をクリックします。

図34 クラスターの作成（ネットワーク）ハートビートLAN



31

SG11.19 の新機能「IP モニター」の設定画面になりますが、これはパッケージ構築後に必要であ

れば設定を行います。モニターを「オフ」にし、「次へ」をクリックします。

図35 クラスターの作成（IP モニター）

Servicegurad にはノード障害やノード間のハートビート経路全滅時に、どのノードが生き残るかを

判断するタイブレーカーとして機能するクラスターロック機能があります。作成したボリュームグ

ループをクラスターロックとして使用するため、「単一ディスクロック」を選択し、使用するボリ

ュームグループ（ここでは vg_asm1 の/dev/disk/disk75）を選択します（1 つのボリュームグループ

しかない場合は自動的に選択されます）。「次へ」をクリックします。

図36 クラスターの作成（ロック）



32

ここではボリュームグループ vg_asm2、ボリュームグループ vg_asm3 のクラスター対応にチェッ

クをいれ、使用開始モードが共有読み書きのモードになっていることを確認したあとに、「次へ」

をクリックします。既にロックディスクとして使用されたボリュームグループ（ここでは

vg_asm1）は選択済とみなし表示されません。

図37 クラスターの作成（ボリュームグループ）

ロール（操作権限）機能は、パッケージ構築後に必要であれば設定を行います。「終了」をクリッ

クします。

図38 クラスターの作成（ロール）



33

サマリー情報を確認します。特に設定した項目が表示されていない等に注意し、不備がある場合は

下にある「構成の編集」をクリックして戻ります。「構成の検証」で確認をした後、「構成の適

用」をクリックします。

図39 クラスター構成の変更サマリー

操作ログ画面の「完了」を確認し、「OK」をクリックします。



34

Serviceguard Manager のクラスタープロパティ（メイン）画面に作成したクラスターが表示されま

す。

図40 クラスタープロパティ（クラスター停止）

「管理」プルダウンメニューから「クラスターの起動」をクリックして、クラスターを起動します。

図41 クラスターの起動



35

クラスターを起動するノードを確認し、「OK」をクリックします。

図42 クラスターの起動

確認画面がでますので、「OK」をクリックします。操作ログ画面の「完了」を確認し、「OK」を

クリックします。これでクラスターの起動が完了します。

図43 クラスタープロパティ（クラスター起動）



36

作業ノードでボリュームグループがアクティベイトのままであるため、これをディアクティベイト

しておきます。SMH の「Tools」、「Volume Groups」をクリックし、HP-UX Disks and File Systems

Tool 画面（図 44）へ移動します。

ここでは vg_asm1 をディアクティベイトする例として、vg_asm1 を選択し「VG の使用停止」を

クリックしています。


「使用停止」をクリックします。

図45 ボリュームグループの使用停止



37

ボリュームグループの使用停止の完了画面で、「Completed」であることを確認して、「Back」を

クリックします。ボリュームグループ vg_asm2、ボリュームグループ vg_asm3 についても同様に使

用停止します。

Oracle RAC のインストールでは、OS のパッチ適用によりノードをリブートする場合もあるため、

念のためクラスターを停止しておきます。Serviceguard Manager の「クラスタープロパティ」画面

の「管理」プルダウンメニューから「クラスターの停止」をクリックします。

図46 クラスタープロパティ（メイン）

「OK」をクリックします。

図47 クラスターの停止



38

確認画面が出ますので、「OK」をクリックします。操作ログ画面の「完了」を確認し、「OK」を

クリックします。クラスターの停止が完了します。

クラスター構築後の確認（Webブラウザー編）

Oracle RAC のインスタンスの順番は、Servicegurad が認識しているノードの順番と同じになります。

このため、Serviceguard が認識している順番を確認し、意図どおりになっていなければ、以下の手

順で変更します。


クラスターの設定ファイルを開き、意図した順番にノードごとのエントリーを上から記述します。

この例ではノード hp01 を最初に記述することで、ノード hp01 が Oracle RAC の１番のインスタン

スになるように設定しています。

root@hp01 # cd /etc/cmclusterroot@hp01 # vi HPCL01.ascii

クラスターロックとして指定したボリュームグループを確認します。OPS_VOLUME_GROUP でな

ければ修正します。

root@hp01 # cmapplyconf -C HPCL01.asciiDefaulting MAX_CONFIGURED_PACKAGES to 300.Defaulting MAX_CONFIGURED_PACKAGES to 300.Modifying configuration on node hp01Modifying configuration on node hp02

NODE_NAME hp01NETWORK_INTERFACE lan0STATIONARY_IP 172.168.1.101

NETWORK_INTERFACE lan4NETWORK_INTERFACE lan1HEARTBEAT_IP 192.168.0.1

NETWORK_INTERFACE lan5FIRST_CLUSTER_LOCK_PV /dev/disk/disk75




# Cluster-aware LVM Volume Groups# VOLUME_GROUP /dev/vg_asm1# None configured

# Cluster-aware OPS (shared) LVM Volume GroupsOPS_VOLUME_GROUP /dev/vg_asm1OPS_VOLUME_GROUP /dev/vg_asm2OPS_VOLUME_GROUP /dev/vg_asm3



39

Modifying node hp01 in cluster HPCL01Modifying node hp02 in cluster HPCL01

Modify the cluster configuration ([y]/n)? yCompleted the cluster creationroot@hp01 #



40

ボリュームグループの構築（コマンド編）

WEB ブラウザーを用いてすでにボリュームグループを構築している場合は、こちらの手順は不要

です。


HP StorageWorks のディスクアレイを使用している場合、LUN につけられた WWID によりどの

LUN かを区別することができます。以下のコマンドを使って、どの LUN がどのデバイスファイル

かを調べます。下の例では、ノード１（hp01）とノード２（hp02）で使用するすべてのデバイスフ

ァイルが同じであることを示しています。

root@hp01 # scsimgr -p get_attr all_lun -a device_file -a wwid

＜略＞/dev/rdisk/disk75:0x600508b40001430c0004c000008d0000/dev/rdisk/disk76:0x600508b40001430c0004c00000920000/dev/rdisk/disk77:0x600508b40001430c0004c00000970000/dev/rdisk/disk78:0x600508b40001430c0004c000009c0000/dev/rdisk/disk79:0x600508b40001430c0004c00000a10000root@hp01 #

root@hp02 # scsimgr -p get_attr all_lun -a device_file -a wwid

＜略＞/dev/rdisk/disk75:0x600508b40001430c0004c000008d0000/dev/rdisk/disk76:0x600508b40001430c0004c00000920000/dev/rdisk/disk77:0x600508b40001430c0004c00000970000/dev/rdisk/disk78:0x600508b40001430c0004c000009c0000/dev/rdisk/disk79:0x600508b40001430c0004c00000a10000root@hp02 #


使用するすべてのディスクを物理ボリュームとして初期化します。

root@hp01 # pvcreate /dev/rdisk/disk75root@hp01 # pvcreate /dev/rdisk/disk76root@hp01 # pvcreate /dev/rdisk/disk77root@hp01 # pvcreate /dev/rdisk/disk78root@hp01 # pvcreate /dev/rdisk/disk79

構築のやり直しなどでディスクに物理ボリュームの情報が残っている場合は、上記の pvcreate コマ

ンドは失敗します。この場合、-f オプションを使用して「pvcreate -f デバイスファイル名」を実行

することで、強制的に物理ボリュームを作成することが可能ですが、ディスクの内容を確認しない

で初期化しますので、事前にディスクが他で使われていないことを必ず確認するとともに最後の手

段としてのみご使用ください。

エクステントサイズとボリュームグループの最大サイズの対応表（表 4）を参考に、ボリュームグ

ループの最大サイズと物理エクステントサイズを決定します。ここでは、ボリュームグループバ

ージョン 1.0 のデフォルトと同じ 4MB のエクステントサイズとそのボリュームグループの最大サ

イズ 128TB とし、ボリュームグループを作成しています。



41

エクステントサイズ（MB）ボリュームグループの

最大サイズ（TB）

1 32

2 64

4 128

8 256

16 512

32 1024

64 2048

128 2048

256 2048

表4 エクステントサイズとボリュームグループの最大サイズの対応

（ボリュームグループバージョン2.0用）

root@hp01 # vgcreate -V 2.1 -s 4 -S 128t /dev/vg_asm1 /dev/disk/disk75root@hp01 # vgextend /dev/vg_asm1 /dev/disk/disk76root@hp01 # vgextend /dev/vg_asm1 /dev/disk/disk77root@hp01 # vgcreate -V 2.1 -s 4 -S 128t /dev/vg_asm2 /dev/disk/disk78root@hp01 # vgcreate -V 2.1 -s 4 -S 128t /dev/vg_asm3 /dev/disk/disk79root@hp01 # lvmadm -l--- Version 1.0 volume groups ---VG Name /dev/vg00PV Name /dev/disk/disk14_p2

--- Version 2.1 volume groups ---VG Name /dev/vg_asm1PV Name /dev/disk/disk75

/dev/disk/disk76/dev/disk/disk77

VG Name /dev/vg_asm2PV Name /dev/disk/disk78

VG Name /dev/vg_asm3PV Name /dev/disk/disk79root@hp01 #

サイズ 0MB の論理ボリュームを作成します。次に連続割り当てを指定しながら、作成した論理ボ

リュームを物理ボリューム上の最大サイズに拡張します。これにより、各物理ボリュームを複数の

ディスクとして認識することなく ASM を構築でき、物理デバイス間の I/O の最適化を行うことが

可能となります。

root@hp01 # lvcreate -n lv01 /dev/vg_asm1root@hp01 # lvcreate -n lv02 /dev/vg_asm1root@hp01 # lvcreate -n lv03 /dev/vg_asm1root@hp01 # lvcreate -n lv01 /dev/vg_asm2root@hp01 # lvcreate -n lv01 /dev/vg_asm3

root@hp01 # lvchange -C y /dev/vg_asm1/lv01



42

root@hp01 # lvchange -C y /dev/vg_asm1/lv02root@hp01 # lvchange -C y /dev/vg_asm1/lv03root@hp01 # lvchange -C y /dev/vg_asm2/lv01root@hp01 # lvchange -C y /dev/vg_asm3/lv01

root@hp01 # pvdisplay /dev/disk/disk75 | grep 'Free PE'Free PE 635root@hp01 # pvdisplay /dev/disk/disk76 | grep 'Free PE'Free PE 635root@hp01 # pvdisplay /dev/disk/disk77 | grep 'Free PE'Free PE 635root@hp01 # pvdisplay /dev/disk/disk78 | grep 'Free PE'Free PE 891root@hp01 # pvdisplay /dev/disk/disk79 | grep 'Free PE'Free PE 1659root@hp01 #

root@hp01 # lvextend -l 635 /dev/vg_asm1/lv01 /dev/disk/disk75root@hp01 # lvextend -l 635 /dev/vg_asm1/lv02 /dev/disk/disk76root@hp01 # lvextend -l 635 /dev/vg_asm1/lv03 /dev/disk/disk77root@hp01 # lvextend -l 891 /dev/vg_asm2/lv01 /dev/disk/disk78root@hp01 # lvextend -l 1659 /dev/vg_asm3/lv01 /dev/disk/disk79root@hp01 #

マップファイルを抽出し、ノード 2 に転送します。

root@hp01 # vgchange -a n vg_asm1root@hp01 # vgchange -a n vg_asm2root@hp01 # vgchange -a n vg_asm3root@hp01 # vgexport -s -p -m /tmp/vg_asm1_map /dev/vg_asm1root@hp01 # vgexport -s -p -m /tmp/vg_asm2_map /dev/vg_asm2root@hp01 # vgexport -s -p -m /tmp/vg_asm3_map /dev/vg_asm3

root@hp01 # ftpなどで /tmp/vg_asm[123]_map を hp02:/tmp にコピーします。root@hp01 #


マップファイルを利用して、ボリュームグループをインポートします。

root@hp02 # vgimport -s -N -m /tmp/vg_asm1_map /dev/vg_asm1root@hp02 # vgimport -s -N -m /tmp/vg_asm2_map /dev/vg_asm2root@hp02 # vgimport -s -N -m /tmp/vg_asm3_map /dev/vg_asm3root@hp02 # lvmadm -l--- Version 1.0 volume groups ---VG Name /dev/vg00PV Name /dev/disk/disk14_p2

--- Version 2.1 volume groups ---VG Name /dev/vg_asm1PV Name /dev/disk/disk75

/dev/disk/disk76/dev/disk/disk77



root@hp02 # vgchange –a y /dev/vg_asm1root@hp02 # vgchange –a y /dev/vg_asm2root@hp02 # vgchange –a y /dev/vg_asm3root@hp02 # vgcfgbackup /dev/vg_asm1root@hp02 # vgcfgbackup /dev/vg_asm2root@hp02 # vgcfgbackup /dev/vg_asm3



43

root@hp02 # vgchange –a n /dev/vg_asm1root@hp02 # vgchange –a n /dev/vg_asm2root@hp02 # vgchange –a n /dev/vg_asm3root@hp02 #

ネットワークの確認（コマンド編）

WEB ブラウザーを用いてクラスターを構築した場合は、こちらの手順は不要です。


スタンバイ NIC の確認は IP アドレスが存在しないため、データリンク層でチェックを行います。

ここではパブリック LAN が lan0 で、そのスタンバイ NIC が lan4 である場合の確認方法を示しま

す。

root # nwmgr -g -A all -c lan0lan0 current values:

Link State = UpSpeed = 1 Gbps Full Duplex (Autonegotiation : On)MTU = 1500MAC Address = 0x002655f31738Receive Flow Control = OnTransmit Checksum Offload = OffReceive Checksum Offload = OffVirtual MTU = 0

TCP Segmentation Offload is now disabled.Max Send Buffers = 10Max Send Coalesce Ticks = 150Max Recv Buffers = 1Max Recv Coalesce Ticks = 0Diagnostics Threshold = 0

root # nwmgr --diag -A dest=0x002655f31738 -c lan4lan4: Link check succeeded.root #

ハートビート LAN も同様に確認します。

クラスターの構築（コマンド編）

WEB ブラウザーを用いてクラスターを構築した場合は、こちらの手順は不要です。


クラスターの設定ファイルを作成し、編集します。

root@hp01 # cmquerycl -C /etc/cmcluster/HPCL01.ascii -n hp01 -n hp02root@hp01 # vi /etc/cmcluster/HPCL01.ascii

設計の設定例に従うと、以下のような記述になります。すると、変更あるいは修正の必要があるエ

ントリーは、以下のとおりです。



44

クラスターを作成します。

root@hp01 # vgchange –a y /dev/vg_asm1root@hp01 # cmcheckconf –C /etc/cmcluster/HPCL01.asciiroot@hp01 # cmapplyconf –C /etc/cmcluster/HPCL01.asciiroot@hp01 # vgchange –a n /dev/vg_asm1Defaulting MAX_CONFIGURED_PACKAGES to 300.Defaulting MAX_CONFIGURED_PACKAGES to 300.Adding node hp01 to cluster HPCL01Adding node hp02 to cluster HPCL01Completed the cluster creationroot@hp01 #

CLUSTER_NAME HPCL01NODE_NAME hp01NETWORK_INTERFACE lan0STATIONARY_IP 172.168.1.101






SUBNET 172.168.1.0IP_MONITOR OFF

SUBNET 192.168.0.0IP_MONITOR OFF

OPS_VOLUME_GROUP vg_asm1OPS_VOLUME_GROUP vg_asm2OPS_VOLUME_GROUP vg_asm3



45

OS起動時の自動起動


OS 起動時にクラスターを自動起動させたい場合は、cmcluster ファイルを編集します。

root # vi /etc/rc.config.d/cmcluster

デフォルトは AUTOSTART_CMCLD=0 で自動起動しません。デフォルトの設定のまま、障害発生

後はシステムの状態を確認した後に手動で起動する方が、より安全な運用となります。

【重要】作成した共有ボリュームグループを、OS 起動時に自動的にアクティベイトさせない

ように設定を行います（この設定をしなくても、クラスターで排他制御されていますのでエラーに

なるだけでアクティベイトはされません）。 /etc/lvmrc ファイルを編集して、

AUTO_VG_ACTIVATE=0 に設定します。また vg00 以外の共有でないボリュームグループは

custom_vg_activation 関数に追加しないといけません。MirrorDisk/UX 製品でミラーリングしてい

る場合は parallel_vg_sysnc の記述を加えます。

root # vi /etc/lvmrc（サンプル）

これらの設定はすべてのノードで行ないます。

（途中省略）AUTOSTART_CMCLD=1

（途中省略）

（途中省略）AUTO_VG_ACTIVATE=0

（途中省略）custom_vg_activation(){

/sbin/vgchange -a y -s /dev/vg01 … vg00 を除く共有でないボリュームグループを記述parallel_vg_sync “/dev/vg00 /dev/vg01”

# e.g. /sbin/vgchange -a y -s# parallel_vg_sync "/dev/vg00 /dev/vg01"# parallel_vg_sync "/dev/vg02 /dev/vg03"

return 0}



46

lvmconfファイルの編集


共有 LVM（SLVM）のオンライン再構成を可能にするために、lvmconf ファイルを作成し lvmpud

デーモンを起動します。

root # vi /etc/rc.config.d/lvmconf

root # /sbin/init.d/lvm startStarting up the lvmpud daemon

lvmpud already started, using pid: 9463root #

START_LVMPUD=1


2010年 6月

日本ヒューレット・パッカード株式会社

東京都千代田区五番町七番地

本書は Oracle GRID Center で実施された検証に関する技術情報を提供するものです。本書に記載した内容は、予告なしに変更する

ことがあります。本書中の技術的あるいは校正上の誤りや省略、また本書の内容に関連したいかなる損害に対しても責任を負いかね

ますのでご了承ください。記載されている会社名および商品名は、各社の商標または登録商標です。

© Copyright 2010 Hewlett-Packard Development Company,L.P.

Oracle Database 11g Release 2

2010年 6月

日本オラクル株式会社

東京都港区北青山2-5-8

オラクル青山センター

Copyright © 2010, Oracle and/or its affiliates. All rights reserved. 本文書は情報提供のみを目的として提供されており、ここに記載さ

れる内容は予告なく変更されることがあります。本文書は、その内容に誤りがないことを保証するものではなく、また、口頭による

明示的保証や法律による黙示的保証を含め、商品性ないし特定目的適合性に関する黙示的保証および条件などのいかなる保証および

条件も提供するものではありません。オラクルは本文書に関するいかなる法的責任も明確に否認し、本文書によって直接的または間

接的に確立される契約義務はないものとします。本文書はオラクル社の書面による許可を前もって得ることなく、いかなる目的のた

めにも、電子または印刷を含むいかなる形式や手段によっても再作成または送信することはできません。

Oracleは米国Oracle Corporationおよびその子会社、関連会社の登録商標です。その他の名称はそれぞれの会社の商標です。

0109

Documents