Oracle Database 11g Release 2 Oracle RAC 11g Release 2 …h50146. · 日本HP と日本オラクルは、Serviceguard/Serviceguard Extention for RAC（以下SGeRAC）とOracle RAC

Copyright © 2010. Oracle. All Rights Reserved© Copyright 2010 Hewlett-Packard Development Company,L.P.

.

2010年 6月

Oracle Database 11g Release 2

Oracle RAC 11g Release 2 for HP-UX Itanium の構成例

（Grid Infrastructure パッケージ構築編）

Oracle Database 11g Release 2Oracle RAC 11g Release 2 for HP-UX Itaniumの構成例

Copyright © 2010. Oracle. All Rights Reserved.© Copyright 2010 Hewlett-Packard Development Company,L.P.

1

はじめに

日本ヒューレット・パッカード株式会社（代表取締役社長執行役員：小出伸一、本社：東京都千

代田区、以下日本 HP）と日本オラクル株式会社（代表執行役社長最高経営責任者：遠藤隆雄、

本社：東京都港区、以下日本オラクル）は、日本オラクル社内の IT 基盤検証施設「Oracle GRID

Center」を活用して、ソリューションの開発、提案から保守、最新技術情報の市場への提供を行う

など、協業を強化することに合意しています。「Oracle GRID Center」を活用した両社の協業強化

によって、「HP＋Oracle」ならではの堅牢でハイパフォーマンスな IT インフラストラクチャを提

案し、IT 投資の効率化、コスト削減を実現することで、お客様のビジネスにも貢献してまいりま

す。

すでに HP とオラクルは 28 年を超える製品開発から販売、保守に至る全方位での密接な協調関係

を通じ全世界で 14 万社を超えるお客様に共同でシステム導入してきました。その結果として、

「Oracle Database」においても「Oracle Applications」の稼動プラットフォームとしても HP サーバ

がもっとも多く利用され、HP 自身が世界最大規模のオラクル導入ユーザーでもあります。これら

の強固な関係にもとづき、最新データベース Oracle Database 11g Release 2 においても引き続き

HP-UX はオラクルの最重要プラットフォームとして位置づけられています。

国内においても、日本 HP と日本オラクルは相互に最重要パートナーの一社として、20 年にわた

って強力なパートナーシップを構築してきました。特に、企業の IT 基盤の構築について、HP-UX

搭載サーバーと「Oracle Database」や「Oracle Fusion Middleware」の組み合わせを中心としたプラ

ットフォームの提案を行い、日本市場でのオープン・エンタープライズシステムの普及を加速して

きました。また、両社は、HP-UX 搭載サーバー、オラクルのデータベース技術を中核に、次世代

データセンターやプライベートクラウドのような最新エンタープライズシステムの在り方を追求し、

お客様の経営課題、情報システムの課題を解決する提案を行っています。

日本 HP と日本オラクルは、Serviceguard/Serviceguard Extention for RAC（以下 SGeRAC）と Oracle

RAC 11g Release 2 の Grid Infrastructure（Oracle Clusterware と自動ストレージ管理）を組み合わせ

た RAC 構成の可用性検証を Oracle GRID Center で実施しました。本書を含む一連の手順書はそ

の構築手法を説明し、その中で本書は Grid Infrastructure Multinode-package の構築方法について説

明しています。



2

Grid Infrastructure Multinode-package（GI M-pkg）とは .................. 3

GI_M-pkg作成のための準備 .............................................................. 4

GI_M-pkg作成（Webブラウザー編） ................................................ 5

GI M-pkgの操作（Webブラウザー編） ........................................... 14

GI_M-pkg作成（コマンド編）......................................................... 16

GI M-pkgの操作（コマンド編） ...................................................... 18



3

Grid Infrastructure Multinode-package（GI M-pkg）とは

Grid Infrastructure Multinode-package（GI M-pkg）は、Grid Infrastructure の起動処理および停止処理

を組み込んだ Servicegurad のマルチノードパッケージです。これにより、Servicegurad の１回のパ

ッケージの起動および停止で、すべてのノードの Grid Infrastructure 起動および停止が行えます。

なお GI M-pkg は１つのサンプル構成であり、必ずしも本書どおりに作成する必要はありません。

メリット

1. 従来と同じ操作性と誤操作の回避

共有ボリュームグループの操作と Grid Infrastructure の操作をパッケージで定義することで、

Serviceguard で行う通常の操作性と、SGeRAC クラスターと Grid Infrastructure の起動・停止順序の

誤操作を回避できます。例えば、 SGeRAC クラスターは GI M-pkg を停止すなわち Grid

Infrastructure を停止しなければ、クラスタを停止することはできません。また、パッケージ強制停

止オプションを使用した場合でも、先に全パッケージを停止してからクラスター自身を停止するこ

とになります。

2. Serviceguard Manager での可視化と操作性

Serviceguard Manager の GUI 画面から Grid Infrastructure の状態を直感的に把握することができます。

また、Serviceguard Manager のすぐれた操作性をそのまま利用することができます。

3. ユーザ固有処理の組み込みの容易性

ユーザ固有の処理（起動、停止時に管理ノードへの通知等）を必要に応じてパッケージの制御ファ

イル（シェルスクリプト）に簡単に記述できます。

制約事項

1. 独自に Grid Infrastructure の障害対応処理を組み込まない

Serviceguard のパッケージに Grid Infrastructure のプロセスの監視を記述したり、別途監視を作成し

て障害発見時に強制停止等をしてはいけません。Grid Infrastructure の各プロセスは Grid

Infrastructure 自身によって監視されており、障害時には自己判断で対応を行います。従って、重複

するような操作を Serviceguard で実施させると予期しない動作となる可能性があるためです。

2. Grid Infrastructure 起動時は online 確認後に 30 秒待つ

制御ファイルに crsctl コマンドによる Grid Infrastructure の起動処理を記述します。コマンド実行後、

crsctl コマンドによるチェックが全て online で表示されるまで待ちます。更にその後 Grid



4

Infrastructure が安定稼動するまで sleep コマンドで 30 秒待ちます。安定稼動前に次の処理をすると

正しく起動できない可能性があるためです。

3. Grid Infrastructure 停止後は ocssd.bin が終了するまで待つ

制御ファイルに、crsctl コマンドによる Grid Infrastructure の停止処理を記述しますが、コマンド実

行後 ocssd.bin プロセスが終了するまでボリュームグループを非アクティブ化させないように、無

限ループで待機させます。ocssd.bin 終了前にボリュームグループの非アクティブ化を行うと、

Device Busy で非アクティブ化に失敗しエラーが発生します。

4. 設定ファイルのサブネット監視を設定しない

Serviceguard のサブネット監視機能で Public LAN（VIP 付加 LAN）、Private LAN（インターコネク

ト）の監視を行ってはいけません。Grid Infrastructure でサブネットの監視は行っており、障害発生

時に対応動作が重複する可能性があるためです。

5. マルチノードパッケージの制限

マルチノードパッケージは、SG クラスタ内の複数のノードで同時に動作します。アプリケーシ

ョン、サービス、EMS リソースのようなパッケージの構成要素で障害が発生した場合には、障害

が発生したノード上のパッケージだけを停止します。ただし、再配置可能 IP アドレスやサブネッ

ト監視をマルチノードパッケージに設定することはできません。

GI_M-pkg作成のための準備

Servicegurad のパッケージから Grid Infrasturcture を起動するために、OS 起動時に Oracle

Clusterware が自動的に起動しないように、以下のコマンドを実行します。

＜ノード hp01 での作業＞

root@hp01 # /u01/app/11.2.0/grid/bin/crsctl disable crsroot@hp01 # cat /var/opt/oracle/scls_scr/hp01/root/ohasdstrdisable#


root@hp02 # /u01/app/11.2.0/grid/bin/crsctl disable crsroot@hp02 # cat /var/opt/oracle/scls_scr/hp02/root/ohasdstrdisable#

＜全ノード（hp01、hp02）での作業＞

DBCA でデータベースを作成した直後など Enterprise Manager が動作していれば、Oracle ユーザー

で Enterprise Manager を停止します。



5

oracle $ emctl stop dbconsole

root ユーザーでデータベースおよび Grid Infrastructure を停止します。

root # /u01/app/11.2.0/grid/bin/crsctl stop crs


共有ボリュームグループの非アクティブ化をします。

root@hp01 # cmdo vgchange –a n vg_asm1root@hp01 # cmdo vgchange –a n vg_asm2root@hp01 # cmdo vgchange –a n vg_asm3

GI_M-pkg作成（Webブラウザー編）

GI_M-pkg をコマンドで構築する場合は、こちらの手順は不要です。後述する「GI_M-pkg 作成

（コマンドでの作成）」の手順に進んでください。

＜任意の 1 ノード（ここでは hp01）での作業＞

SMH の Tools 画面を開き、「Serviceguard」の「Serviceguard Manager」をクリックします。

図1 Tools



6

「構成」の「パッケージの作成」を選択します。

図2 HP Serviceguard Manager

パッケージ名（ここでは GI_M-pkg）を入力します。

図3 モジュラーパッケージの作成



7

スクロールし、一番下にある「パッケージタイプ」でマルチノードを選択し、「次へ」をクリック

します。

図4 モジュラーパッケージの作成

モジュール名「sg/volume_group」と「sg/external」を選択します。ここでは必要最低限の選択を行

っていますが、これ以外のモジュールを選択することも可能です。また後からモジュールを追加す

ることも可能です。「次へ」をクリックします。

図5 モジュールの選択



8

ここでは、「初期自動起動」のチェックをはずし、クラスター起動時にパッケージが自動的に起動

しないようにしています。「次へ」をクリックします。

図6 パラメーターの設定

Grid Infrastructure が使用するボリュームグループ（ここでは vg_asm1, vg_asm2, vg_asm3）を選択

し、「LVM ボリュームグループのアクティブ化コマンド」はすべてのノードが同時にボリューム

のアクティブ化ができるように vgchange -a s を入力し、「次へ」をクリックします。

図7 ボリュームグループの選択



9

「パラメータ外部スクリプトのパス」に /etc/cmclustter/GI_M-pkg/GI-startstop.sh を入力し、「追

加」をクリックします。これにより「構成されているパッケージ外部スクリプト」にエントリーが

追加されます。「次へ」をクリックします。

図8 パッケージ外部スクリプトのパスの設定

構成サマリーの sg/external の「スクリプトの編集/配布」をクリックします。

図9 構成サマリー



10

「編集」をクリックします。

図10 スクリプトのパス

「デフォルトの生成」をクリックします。

図11 編集するファイルの選択



11

ファンクション start_command と stop_command を以下のように編集します。

この起動・停止処理はオラクルがサポートするコマンド及び使用条件を組み合わせて GRID Center

でサンプルとして考案し、検証を行ったものです。起動時には、crsctl のチェックの結果が全て

“online”であること、停止時には、ocssd.bin プロセスが終了していること、を確認できるまで

while 文で待機します。

function start_command{

sg_log 5 "start_command"

# ADD your package start steps here

unset NLS_LANGCRS_BIN="/u01/app/11.2.0/grid/bin"

sg_log 0 "Starting Oracle Clusterware."${CRS_BIN}/crsctl start crs

sg_log 0 "Wait for Oracle Clusterware to start."while (( `${CRS_BIN}/crsctl check crs | grep online | wc -l` != 4 )); dosleep 5

donesleep 30sg_log 0 "Oracle Clusterware is started."

return 0}

function stop_command{

sg_log 5 "stop_command"

# ADD your package halt steps here


sg_log 0 "Halting nodeapps and Oracle Clusterware."${CRS_BIN}/crsctl stop crs

sg_log 0 "Wait for Oracle Clusterware to halt."while (( `UNIX95=YES ps -eo args | grep "^${CRS_BIN}/ocssd.bin" | ¥

wc -l` != 0 )); dosleep 5

donesg_log 0 "Oracle Clusterware is halted."

return 0}



12

「保存と配布」をクリックします。

図12 ファイルを編集

「宛先ノード」を確認し、「保存と配布」をクリックします。

図13 宛先ノードを選択してファイルを保存

確認メッセージがでますので「OK」をクリックします。操作ログ画面の「完了」を確認し、

「OK」をクリックします。



13

元の画面に戻りますので、「構成の検証」で確認をした後、「構成の適用」をクリックします。

図14 クラスタ構成の変更サマリー

操作ログ画面の「完了」を確認し、「OK」をクリックします。

パッケージが作成されたことを確認します。

図15 クラスタープロパティ



14

GI M-pkgの操作（Webブラウザー編）

以下に GI M-pkg の Web ブラウザーを用いた操作例を示します。

すべてのノードで GI M-pkg パッケージを起動します。GI M-pkg パッケージを選択し右クリックで

「パッケージの起動」を選択します。あるいは「管理」メニューから「パッケージの起動」を選択

します。Grid Infrastructure の起動完了には時間を要するため、このコマンド完了にも多少時間が

かかります。

図16 パッケージの起動



15

すべてのノードで GI M-pkg パッケージを停止します。GI M-pkg パッケージを選択し右クリックで

「パッケージの停止」を選択します。あるいは「管理」メニューから「パッケージの停止」を選択

します。Grid Infrastructure の停止には時間を要するため、このコマンド完了にも多少時間がかか

ります。

図17 パッケージの停止



16

GI_M-pkg作成（コマンド編）

WEB ブラウザーを用いてすでに GI_M-pkg を構築している場合は、こちらの手順は不要です。

＜任意の 1 ノード（ここでは hp01）での作業＞

パッケージディレクトリを作成し、構成ファイルを作成します。

root@hp01 # mkdir /etc/cmcluster/GI_M-pkgroot@hp01 # chmod 755 /etc/cmcluster/GI_M-pkgroot@hp01 # cd /etc/cmcluster/GI_M-pkgroot@hp01 # cmmakepkg -m sg/multi_node -m sg/volume_group ¥

-m sg/external GI_M-pkg.confPackage template is created.This file must be edited before it can be used.root@hp01 # cp -p /etc/cmcluster/examples/external_script.template GI-startstop.shroot@hp01 #

構成ファイルを編集します。

root@hp01 # vi GI_M-pkg.conf

項目名設定値（例）説明

package_name GI_M-pkg 任意のパッケージ名

package_description "Grid Infrastructure Multinode

Serviceguard Package"

パッケージの説明

auto_run no SGeRACクラスター起動時のパ

ッケージの自動起動を解除

vgchange_cmd "vgchange -a s" ボリュームグループを活性化

時の実行コマンド

vg "vg_asm1" ボリュームグループ名



external_script /etc/cmcluster/GI_M-pkg/GI-

startstop.sh

Grid Infrastructure起動、停止ス

クリプト

表1 Grid Infrastructure Multinodeパッケージで設定が必要な項目

run_script_timeout と halt_script_timeout の値にデフォルトの no_teimout が設定された場合、タイム

アウトは設定されません。これらの値にタイムアウトを設定する場合は、Oracle Clusterware で使用

している disktimeout(デフォルト 200 秒) よりも長い値を設定します。さらに DB 起動、停止時間

も含まれるため 600 秒を加算した 800 秒より長い値にする必要もあります。他にタイムアウトを設

定している処理やサービスを組み込んでいる場合は、そのタイムアウト値と

SERVICE_HALT_TIMEOUT の値をこの 800 秒に加算した時間より長い値を設定します。



17

GI-startstop.sh ファイルを編集します。

root@hp01 # vi GI-startstop.sh

この起動・停止処理はオラクルがサポートするコマンド及び使用条件を組み合わせて MCCC でサ

ンプルとして考案し、検証を行ったものです。起動時には、crsctl のチェックの結果が全て

“online”であること、停止時には、ocssd.bin プロセスが終了していること、を確認できるまで

while 文で待機します。

function start_command{

sg_log 5 "start_command"

# ADD your package start steps here


sg_log 0 "Starting Oracle Clusterware."${CRS_BIN}/crsctl start crs

sg_log 0 "Wait for Oracle Clusterware to start."while (( `${CRS_BIN}/crsctl check crs | grep online | wc -l` != 4 )); dosleep 5

donesleep 30sg_log 0 "Oracle Clusterware is started."

return 0}

function stop_command{

sg_log 5 "stop_command"

# ADD your package halt steps here


sg_log 0 "Halting nodeapps and Oracle Clusterware."${CRS_BIN}/crsctl stop crs

sg_log 0 "Wait for Oracle Clusterware to halt."while (( `UNIX95=YES ps -eo args | grep "^${CRS_BIN}/ocssd.bin" | ¥

wc -l` != 0 )); dosleep 5

donesg_log 0 "Oracle Clusterware is halted."

return 0}



18

必要なファイルをノード２にコピーし、パッケージを構築します。

root@hp01 # cmexec hp02 mkdir /etc/cmcluster/GI_M-pkgroot@hp01 # cmcp GI-startstop.sh hp02:/etc/cmcluster/GI_M-pkgroot@hp01 # cmcheckconf -P GI_M-pkg.confAttempting to validate GI_M-pkg.The specified run script timeout is NO_TIMEOUT; using 1200 seconds as timeoutvalue.cmapplyconf will wait for this amount of time for thescript to complete before giving up.Validation for package GI_M-pkg succeeded via/etc/cmcluster/scripts/mscripts/master_control_script.sh.cmcheckconf: Verification completed with no errors found.Use the cmapplyconf command to apply the configuration.root@hp01 #root@hp01 # cmapplyconf -P GI_M-pkg.confThe specified run script timeout is NO_TIMEOUT; using 1200 seconds as timeoutvalue.cmapplyconf will wait for this amount of time for thescript to complete before giving up.Validation for package GI_M-pkg succeeded via/etc/cmcluster/scripts/mscripts/master_control_script.sh.

Modify the package configuration ([y]/n)? yCompleted the cluster updateroot@hp01 #

GI M-pkgの操作（コマンド編）

以下に GI M-pkg の主なコマンド操作の例を示します。

すべてのノードでパッケージを起動します。Grid Infrastructure の起動完了には時間を要するため、

このコマンド完了にも多少時間がかかります。

root # cmrunpkg –v GI_M-pkg

指定したノードのみでパッケージを起動します。Grid Infrastructure の起動完了には時間を要する

ため、このコマンド完了にも多少時間がかかります。

root # cmrunpkg –v –n hp01 GI_M-pkg

すべてのノードでパッケージを停止します。Grid Infrastructure の停止には時間を要するため、こ

のコマンド完了にも多少時間がかかります。

root # cmhaltpkg –v GI_M-pkg

指定したノードのみでパッケージを停止します。Grid Infrastructure の停止には時間を要するため、

このコマンド完了にも多少時間がかかります。

root # cmhaltpkg –v –n rx1 GI_M-pkg

パッケージの状態を確認します。



19

root # cmviewcl –v –p GI_M-pkg

ログファイルの確認（ノード毎に確認）

root # tail -f /var/adm/cmcluster/log/GI_M-pkg.log


2010年 6月

日本ヒューレット・パッカード株式会社

東京都千代田区五番町七番地

本書は Oracle GRID Center で実施された検証に関する技術情報を提供するものです。本書に記載した内容は、予告なしに変更する

ことがあります。本書中の技術的あるいは校正上の誤りや省略、また本書の内容に関連したいかなる損害に対しても責任を負いかね

ますのでご了承ください。記載されている会社名および商品名は、各社の商標または登録商標です。

© Copyright 2010 Hewlett-Packard Development Company,L.P.

Oracle Database 11g Release 2

2010年6月

日本オラクル株式会社

東京都港区北青山2-5-8

オラクル青山センター

Copyright © 2010, Oracle and/or its affiliates. All rights reserved. 本文書は情報提供のみを目的として提供されており、ここに記載さ

れる内容は予告なく変更されることがあります。本文書は、その内容に誤りがないことを保証するものではなく、また、口頭による

明示的保証や法律による黙示的保証を含め、商品性ないし特定目的適合性に関する黙示的保証および条件などのいかなる保証および

条件も提供するものではありません。オラクルは本文書に関するいかなる法的責任も明確に否認し、本文書によって直接的または間

接的に確立される契約義務はないものとします。本文書はオラクル社の書面による許可を前もって得ることなく、いかなる目的のた

めにも、電子または印刷を含むいかなる形式や手段によっても再作成または送信することはできません。

Oracleは米国Oracle Corporationおよびその子会社、関連会社の登録商標です。その他の名称はそれぞれの会社の商標です。

0109

Documents

Oracle Database 11g Release 2 Oracle RAC 11g Release 2 …h50146. · 日本HP と日本オラクルは、Serviceguard/Serviceguard Extention for RAC（以下SGeRAC）とOracle RAC