Oracle® Database 10g R2 Standard Edition RAC Real ...ƒ›ワイトペーパー Oracle® Database 10 g R2 Standard Edition RAC（Real Application Clusters）のディプロイメント：

ホワイトペーパー

Oracle® Database 10g R2 Standard Edition RAC（Real Application Clusters）のディプロイメント：

Dell™ PowerEdge™ サーバ、

Dell PowerVault™ MD3000i iSCSIストレージ、

Red Hat® Enterprise Linux® 4 Advanced Server x86_64への導入・展開

概要

このホワイトペーパーは、2ノードのOracle® Database 10g R2 Standard Edition RAC（Real Application Clusters）データ

ベースを、Dell™ PowerEdge™ サーバ、Dell PowerVault™ MD3000i iSCSIストレージ、Red Hat® Enterprise Linux® 4 Advanced Server x86_64に導入するための、アーキテクチャ概要と構成ガイドラインを示したものです。本書に掲載した参

照用構成は、デルが、Oracle社およびEMC社との共同開発/検証/サポートを通して蓄積してきた、豊富な知識に基づきます。

これらの「ベストプラクティス（実用上の推奨事項）」を、Oracleソリューションの素早い実装、シンプルな運用、性能と可用性の向

上にお役立てください。

2007 年12 月

デルの参照用構成 - Dell PowerVault MD3000i iSCSI ストレージで運用する Oracle 10g R2 1

本ホワイトペーパーは、情報提供のみを目的に執筆されており、誤字脱字や技術上の誤りには責任を負いません。本書の内容は執筆時現在のものであり、明示的または暗黙的を問わず、いかなる内容も保証いたしません。 © 2007 Dell Inc. ©2008 デル株式会社 All rights reserved.（版権所有）デルから書面による許可を得ずに本書を複製、転載することは、いかなる場合も禁止します。本書で使用している商標： Dell、DELLのロゴ、PowerEdge、PowerVaultは、米国Dell Inc.の商標です。 Intel、インテルは、アメリカ合衆国および他の国におけるインテルコーポレーションおよび子会社の登録商標または商標です。 EMCは、EMC Corporationの登録商標です。Oracleは、Oracle Corporationおよび関連会社の登録商標です。本書では、マークや名前を届け出た実在のもの、もしくは、その製品のいずれかを参照するため、その他の商標、商号を使用している可能性があります。Dell Inc.は、Dell以外の商標や商号における権益の要求に一切応じません。 2007 年12 月 Rev. A01


目次

概要...........................................................................................................................................................................................1 はじめに......................................................................................................................................................................................4

デルのOracle Database 10g ソリューション.........................................................................................................................4 本書の概要...........................................................................................................................................................................4

アーキテクチャ概要 - Dell PowerVault MD3000i iSCSIストレージで運用するデルのOracle 10g ソリューション....................5 ハードウェア構成 - Dell PowerVault MD3000i iSCSIストレージで運用するデルのOracle 10g ソリューション .......................7

ストレージ構成......................................................................................................................................................................7 デュアルGigabit Ethernet NICを使用した、PowerVault MD3000i iSCSIストレージのiSCSIネットワーク接続 .............7 仮想ディスクの構成...........................................................................................................................................................9 CHAP（Challenge Handshake Authentication Protocol）の構成............................................................................ 12

Gigabit Ethernetスイッチの構成........................................................................................................................................ 12 仮想ローカルエリアネットワーク（VLAN）の構成.......................................................................................................... 12

サーバ構成......................................................................................................................................................................... 12 Ethernetインターコネクトの完全冗長構成 .................................................................................................................... 12 MD3000i iSCSIストレージネットワーク向けデュアルNICポートの構成........................................................................ 13 プライベートネットワーク向けデュアルNICポートの構成 ................................................................................................ 13

ソフトウェア構成 - Dell PowerVault MD3000i iSCSIストレージで運用するデルのOracle 10g ソリューション ..................... 14 オペレーティングシステム構成.............................................................................................................................................. 14

プライベートNICのチーミング構成 .................................................................................................................................. 14 全ノードで統一したパブリックネットワークインタフェース名の構成 ................................................................................ 14 SSHとRSHの構成........................................................................................................................................................ 14 RAWデバイスインタフェースを使った、Oracle Clusterware向け共有ストレージの構成.............................................. 14 ASMライブラリドライバを使った、データベース向け共有ストレージの構成.................................................................... 15 フルネットワークスタートアップのサポート ..................................................................................................................... 15

Oracle 10g R2 の構成 ..................................................................................................................................................... 15 Clusterwareパラメータの再構成： Disktimeout を 300 に変更................................................................................. 15

構成一覧 - Dell PowerVault MD3000i iSCSIストレージで運用するデルのOracle 10g ソリューション............................... 16 結論........................................................................................................................................................................................ 18 図表索引................................................................................................................................................................................ 19 参考資料................................................................................................................................................................................ 19


はじめに Dell™ PowerEdge™ サーバとDell PowerVault™ MD3000i iSCSI SANストレージシステムは、Oracle 10g データベース

を導入・展開し、高信頼性と連続稼働を達成するのに理想的な製品です。本書は、デルサーバおよびストレージ上で、ラボの

検証結果や実体験から導き出された「ベストプラクティス」を適用しながら、Oracle 10g データベースソリューションを設計・構

成される、ITプロフェッショナルの方にご活用いただけます。以降にご紹介するデルの推奨事項は、第9世代のDell PowerEdgeサーバ、Dell PowerVault MD3000i iSCSI SANストレージシステム、Red Hat® Enterprise Linux® 4（RHEL 4）上に実装

する、検証/動作確認済みのOracle 10g データベースソリューションを対象としています。

デルの Oracle Database 10g ソリューションデルは、サーバやストレージなどのハードウェアだけでなく、Oracle Database 10g 向けの統合ソリューションも提供しています。

シンプルな運用、資源の有効活用、必要に応じた経済的なスケーラビリティを設計理念とした本ソリューションには、次のような特

長があります。

• Oracle製品向けにデルが検証した構成 – 需要の高いソリューションを対象に、Oracle 10g 構成を徹底検証しました。導入をシンプルにする資料やツール群も豊富です。

• 統合ソリューション管理 – 標準ベースの管理をサポートするデルのOracle 10g ソリューションは、ハードウェアとソフトウェアの統合ディプロイメント/モニタリング/アップデートが可能なため、運用の負担が減ります。

• Oracleライセンス – お客様の購入のしやすさを考え、いくつかのライセンスオプションをご用意しました。

• Oracle向けのデルエンタープライズサポートとプロフェッショナルサービス – デルのOracle Database 10g ソリューション向けに、プランニング、ディプロイメント、メンテナンスサービスを提供します。

デルのOracle Database 10g ソリューションの詳細は、次をご参照ください。 www.dell.com/oracle

本書の概要本ホワイトペーパーが提供する主な情報は、Dell PowerVault MD3000i iSCSI SANストレージとOracle Database 10g の参照用構成、ハードウェアおよびソフトウェアコンポーネントを構成する際の推奨事項（ベストプラクティス）、詳細の参照先など

です。


http://www.dell.com/oracle

アーキテクチャ概要 - Dell PowerVault MD3000i iSCSI ストレージで運用するデルの Oracle 10g ソリューション Dell PowerVault MD3000i iSCSIストレージとOracle 10g を対象としたデルの参照用構成では、次のソリューションコンポー

ネントで動作確認を行っています。

• クアッドコアのDell PowerEdge 2950システムで構成した、2ノードクラスタ

• MD1000拡張ユニットを接続した、Dell PowerVault MD3000i iSCSIストレージシステム

• Red Hat Enterprise Linux 4 アップデート4

• Oracle Database 10g R2 Standard Edition（10.2.0.3） x86_64

MD3000iストレージは、ホストサーバに直接接続することも、IPストレージエリアネットワーク（SAN）Gigabit Ethernetスイッチ

を通して接続することもできます。

下記の図1は、Dell PowerVault MD3000i iSCSIストレージを直接接続した、デルのOracle 10g ソリューションのアーキテク

チャ概要図です。本アーキテクチャは、次のコンポーネントから構成されます。

• クライアントシステム： Oracle 10g RACデータベース（2ノード）上のデータにアクセスします。

• クライアント-サーバネットワーク：ネットワークコントローラ、ケーブル、スイッチで構成します。

• 2ノードのDell PowerEdge 2950サーバ（クアッドコア対応）： RHEL 4 アップデート4上で稼働します。

• Gigabit Ethernetスイッチ： Oracleクラスタのインターコネクトネットワークに使用します。

• サーバ-ストレージ間のインターコネクト： iSCSI（インターネットSCSI）ストレージを直接接続します。

• 2台のMD1000拡張ユニットを接続した、Dell PowerVault MD3000i iSCSIストレージアレイ：大45ドライブをサポートします。

図1. アーキテクチャ概要図： Dell PowerVault MD3000i iSCSI ストレージを直接接続した Oracle 10g 構成


下記の図2は、ネットワークスイッチを使ってDell PowerVault MD3000i iSCSIストレージを接続した、デルのOracle 10g ソリューションのアーキテクチャ概要図です。本アーキテクチャは、次のコンポーネントから構成されます。

• クライアントシステム： Oracle 10g RACデータベース（2ノード）上のデータにアクセスします。

• クライアント-サーバネットワーク：ネットワークコントローラ、ケーブル、スイッチで構成します。

• 2ノードのDell PowerEdge 2950サーバ（クアッドコア対応）： RHEL 4 アップデート4上で稼働します。

• Gigabit Ethernetスイッチ： Oracleクラスタインターコネクトと、iSCSI SANの両ネットワークに使用します。

• サーバ-ストレージ間接続：スイッチ経由で、iSCSI（インターネットSCSI）ストレージと接続します。

• 2台のMD1000拡張ユニットを接続した、Dell PowerVault MD3000i iSCSIストレージアレイ：大45ドライブをサポートします。

図2. アーキテクチャ概要図： Dell PowerVault MD3000i iSCSI ストレージをスイッチ接続した Oracle 10g 構成

Dell PowerVault MD3000i iSCSIストレージは、iSCSI（Internet Small Computer Systems Interface）プロトコルを使用し、

IP（インターネットプロトコル）ネットワーク経由でブロックベースのストレージを転送します。大16台のスタンドアロンサーバを

サポートするMD3000iは、ファイバチャネルなどのストレージインフラネットワークと同様、複数のサーバに同じ共有ストレージ

プールへのアクセスを提供しますが、ファイバチャネルと異なるのは、低コストで運用がシンプルな点です。MD3000i は、ストレー

ジの連続処理能力を高めるため、ミラーリングキャッシュ付きのアクティブ/アクティブ型デュアルRAIDコントローラや、ホストのマル

チパスI/O管理も提供します。その他にも、ホットプラグ対応の冗長電源装置や、アクティブディスクスクラビングなどの高可用性

機能が豊富です。

Dell PowerEdgeサーバは、データベース、メッセージングﾞ、Webサービス、インフラストラクチャアプリケーションなどの基幹系エ

ンタープライズアプリケーションで、高のパフォーマンスを発揮するよう設計されています。独自仕様のシステムは、今や業界標

準システムに取って代わられようとしており、PowerEdgeサーバの高い性能とスケーラビリティは、メッセージングシステム、ハイパ

フォーマンスコンピューティングクラスタ（HPCC）、データベースなどのアプリケーションで存分に活かされるようになりました。Dell PowerEdgeサーバとデルストレージシステムとの組み合わせは、スケーラブルエンタープライズのビルディングブロックとして容

易に導入でき、コンピューティングリソースとストレージリソースの両面から、コンソリデーションや仮想化が果たせます。


ハードウェア構成 - Dell PowerVault MD3000i iSCSI ストレージで運用するデルの Oracle 10g ソリューション

ストレージ構成

デュアル Gigabit Ethernet NIC を使用した、PowerVault MD3000i iSCSI ストレージのiSCSI ネットワーク接続

MD3000i RAIDアレイエンクロージャは、アクティブ/アクティブ型で冗長構成した2個のホットプラグ対応RAIDコントローラモジュールを経由して、ホストに接続されます。図3では、これらを「RAIDコントローラモジュール0」、「RAIDコントローラモジュー

ル1」として表しており、ユニットの背面から見た場合、左側に来るのが「RAIDコントローラモジュール0」です。各RAIDコントロー

ラには、2つのiSCSI入力ポート端子が付いており、ここからホストに直接接続することも、Ethernetスイッチ経由で接続することも

できます。

図3. PowerVault MD3000i iSCSI RAID アレイエンクロージャの背面図

RAIDコントローラに付いているEthernet端子のデフォルトIPアドレスは、次のとおりです。

• RAIDコントローラモジュール 0

管理ポート – 192.168.128.101

iSCSI ポート 0 – 192.168.130.101

iSCSI ポート 1 – 192.168.131.101

• RAIDコントローラモジュール 1

管理ポート – 192.168.128.102

iSCSI ポート 0 – 192.168.130.102

iSCSI ポート 1 – 192.168.131.102


EthernetポートのIPアドレスにこれらのデフォルト値を選択しない場合は、手動での設定も可能です。iSCSIネットワークは、

Oracleクラスタインターコネクトが使用するプライベートネットワーク（ハートビート用）や、パブリックLANから分割するようお勧め

します。ネットワークをiSCSIトラフィック専用に分割できない環境では、独立した仮想ローカルエリアネットワーク（VLAN）に

iSCSIネットワークを割り当てて、同じ物理ネットワーク内でも論理ネットワークだけは分けるようにしてください。VLAN構成の詳

細は、後述の「仮想ローカルエリアネットワーク（VLAN）の構成」をご覧ください。

パスを完全に冗長化するには、2つに分離したネットワークを使用する必要があります。したがって、iSCSIコントローラポートごと

に別のサブネットを設定するのがベストプラクティスです。たとえば、両RAIDコントローラモジュール上の「iSCSIポート0」には、そ

れぞれ同じサブネットを設定し、同じく、両RAIDコントローラモジュール上の「iSCSIポート1」にも、それぞれ同じサブネット（ただ

し、「iSCSIポート0」とは違うサブネット）を設定します。

図4は、Oracle 10g データベースをホストする2ノードのPowerEdgeクラスタインターコネクトと、データを格納するPowerVault MD3000iストレージシステム（2台のMD1000拡張ユニット付き）を直接接続した例です。両サーバとも、デュアルGigabit Ethernet NICポートをアクティブ/アクティブ型に構成することで、それぞれのサーバからコントローラと仮想ディスク向けに冗長デー

タパスが渡されます。この場合、2個1組のiSCSI NICのうち、いずれか一方が故障しても、もう一方のiSCSI NICを使って稼働

が続けられますし、同様に、2個1組のMD3000iコントローラモジュールのうち、いずれか一方が故障しても、やはり稼働が続け

られます。前述のとおり、同じRAIDコントローラモジュール上の「iSCSIポート0」と「iSCSIポート1」で、別々のサブネットを設定

する構成方法がお勧めです。各ホストサーバのiSCSI接続を冗長化するには、ホスト側のiSCSI NICポートの1つを、一方の

MD3000i RAIDコントローラモジュールの「iSCSIポート0」に接続し、ホスト側のもう1つのiSCSI NICポートを、他方の

MD3000i RAIDコントローラモジュールの「iSCSIポート1」に接続してください。

図4. 2 台の PowerVault MD1000 拡張ユニットを連結した PowerVault MD3000i ストレージアレイと、

PowerEdge サーバを直接接続するケーブル配線図

上記はホストを直接接続した例ですが、業界標準の1Gb EthernetスイッチによるIPストレージエリアネットワーク（SAN）経由

で、MD3000iに接続することもできます。図5は、Oracle 10g データベースをホストする2ノードのPowerEdgeクラスタインター

コネクトと、PowerVault MD3000iストレージシステム（2台のMD1000拡張ユニット付き）をスイッチ経由で接続した例です。各

ホストサーバは、冗長Gigabit EthernetスイッチとデュプレックスRAIDコントローラに対し、それぞれ別の接続経路を設けています。

このように構成することで、各ホストとも、2台のEthernetスイッチとデュプレックスRAIDコントローラへのデータパスを、それぞれ二

重化することができます。


図5. 2 台の PowerVault MD1000 拡張ユニットを連結する PowerVault MD3000i ストレージアレイと、

PowerEdge サーバをスイッチ接続したケーブル配線図

MD3000iには、デイジーチェーンで大2台のMD1000拡張ユニットを接続することができ、このストレージアレイ全体で、大

45台のディスクアクセスが提供できます。図4と図5に描かれているのは、MD3000iエンクロージャに2台のMD1000エンクロー

ジャをカスケードしたケーブル配線例です。

MD3000iストレージアレイ内の物理ディスクは、Oracle 10g RACデータベースに物理ストレージ容量を提供します。ここにデー

タを格納するには、まず、MD3000iの物理ストレージ容量から、仮想ディスクグループまたは仮想ディスクと呼ばれるコンポーネン

トを作成しなければなりません。ディスクグループとは、複数の物理ディスクを1つの論理グループにまとめ、RAIDレベルを割り当て

たものです。こうして作成された各ディスクグループの容量は、1つまたは複数の仮想ディスクに分割することができ、サーバは、こ

の仮想ディスクという論理的な単位でデータを格納します。仮想ディスクの詳しい構成方法は、下記「仮想ディスクの構成」をご

参照ください。

仮想ディスクの構成

前出の「デュアルGigabit Ethernet NICを使用した、PowerVault MD3000i iSCSIストレージのiSCSIネットワーク接続」で説

明したとおり、仮想ディスクとは、MD3000iストレージ内の物理ディスクを、ホストから認識できるようにするための「論理的な単

位」です。

Oracle Database 10g RACデータベース用のストレージは、次の3つの領域に分けることができます。

• 1番目の領域は、ミラーリングした2つのOCR（Oracleクラスタレジストリ）、ミラーリングした3つのClusterware CSS（クラスタ同期サービス）投票ディスク、ASM（自動ストレージ管理）インスタンス用のSPFILE（サーバパラメータファイル）に使用します。OCRには、クラスタ構成の詳細情報として、データベース、関連インスタンス、サービス、ノードアプリケーション（リスナープロセスなど）の名前や現在のステータスが格納されます。CSS投票ディスクは、クラスタ内で現在利用できるノードを判断するときに使用します。ASMインスタンス用のSPFILEは、ASMインスタンスのパラメータ設定が入ったバイナリファイルです。Oracle 10g R2は、OCRとCSS投票ディスクに、「Normal Redundancy」レベルと「External Redundancy」レベルの両方をサポートしますが、推奨するのは、「Normal Redundancy」を指定することです。これによりOracle Clusterwareは、ミラーリングによって複製されたOCRとCSS投票ディスクを、それぞれ別のRAWデバイスで管理できます。Oracleユニバーサルインストーラ（OUI）は、Clusterwareのインストール中に、ミラーリングした2つのOCSファイルと3つのCSS投票ディスクファイルをサポートします。


• 2番目の領域は、データベースのデータ用です。これらのデータは、データファイル（datafile）、オンラインREDOログファイル、制御ファイル、データベースインスタンス用のSPFILE、テンポラリテーブルスペース用の一時ファイルなど、Oracleデータベースの様々な物理ファイルに保存されます。

• 3番目の領域は、すべての復旧関連ファイルの格納先となる、Oracleフラッシュリカバリ領域（FRA）用です。ディスクベースのデータベースバックアップファイルは、このFRAに保存されますし、アーカイブされたすべてのREDOログファイルも、FRAがデフォルトの保存先となります。

実用上、お勧めするのは、上記3種類のストレージ領域を、それぞれ別のディスクグループ上にある仮想ディスクに分散させること

です。これらのファイルが同じ物理ディスクを共有しないようにすることで、I/O性能が向上します。

表1は、上記3種類のストレージ領域をそれぞれ別の仮想ディスクに割り当てた構成例です。

ストレージ領域小サイズ RAID パーティション数

用途 OSマッピング

仮想ディスク x 1

2,048 MB 10 300 MB x 6 ミラーリングした3つの投票ディスク、

ミラーリングした2つのOracleクラスタレジストリ（OCR）、

ASMインスタンス用SPFILE

6つのRAWデバイス（投票ディスク x 3、 OCR x 2、 SPFILE x 1）


運用するデータベースより大きなサイズ

10、ただし、読み込み専用の場合、RAID 5も可

仮想ディスクごとに1つ

データ ASMディスクグループ DATABASEDG


小サイズ＝ 2番目の仮想ディスクの2倍

10、ただし、読み込み専用の場合、RAID 5も可

仮想ディスクごとに1つ

フラッシュリカバリ領域 ASMディスクグループ FLASHBACKDG

表1. クラスタストレージグループの仮想ディスク図6は、2台のMD1000拡張ユニットを連結したMD3000iアレイ上で、3種類のストレージ領域をそれぞれ別の物理ディスクに分

配した、ディスクグループ/仮想ディスク構成例です。ストレージ容量を増やす必要性が生じたら、データベース領域にディスクを

追加することができます。Oracle自動ストレージ管理（ASM）を利用すれば、データストレージ領域とフラッシュリカバリ領域が

容易に拡張できます。


ホットスペア

図6. PowerVault MD3000i ストレージアレイと 2 台の MD1000 拡張ユニット上に分散させた、

ディスクグループと仮想ディスク

RAID 10は、通常、Oracle 10g RACの仮想ディスクに適な選択と考えられています。その理由は、フォルトトレランスを提供

するうえ、他のRAID構成より読み込み・書き込み性能に優れるからです1。したがって、データ用とフラッシュリカバリ領域用の

ディスクグループは、「RAID 10」で構成してください。ただし、SFFILEを保存するディスクグループは、ドライブハードウェアにフォ

ルトトレランス機能を提供する「RAID 1」を選択しても構いません。ミラーリングしたOCRと投票ディスクをそれぞれ保存するディ

スクグループは、「RAID 0」という選択も考えられます。これは、Oracle側でOCRファイルと投票ディスクファイルのコピーを作成

し、データを多重化しているためです。実用上、推奨するのは、OCR用と投票ディスク用の3個の仮想ディスクを、複数の

MD3000i RAIDコントローラモジュール間に分散させる（優先所有者を振り分ける）構成です。この場合、たとえ1基のRAIDコ

ントローラモジュールが故障しても、当該仮想ディスクは、残されたRAIDコントローラモジュールに再割り当てされます。

RAID 10を採用するには、より多くのドライブが必要となるため、RAID 10が必ずしもすべてのアプリケーションで適な選択とな

るわけではありません。データストレージ領域やフラッシュリカバリ領域用の仮想ディスクを含むディスクグループでは、代替え案

として、コストパフォーマンスの良い「RAID 5」が検討でき、特に、データウェアハウスデータベースなどの読み込み専用処理が主

流となる場合には向いています。しかし、OLTPデータベースのような書き込み集中型のワークロードでは、RAID 5の書き込み

性能が著しく低下し得るため、お勧めできません。これは、RAID 5の場合、データベースデータの読み/書き処理のみならず、パ

リティブロックの読み/書き処理も発生するからです。

ストレージ内にそれぞれの仮想ディスクを作成したら、次は、すべてのOracle 10g RACホストから認識できるようにし、OSレベル

での構成を済ませます。OSレベルで行う共有ストレージの構成については、後述の「RAWデバイスインタフェースを使った、

Oracle Clusterware向け共有ストレージの構成」と「ASMライブラリドライバを使った、データベース向け共有ストレージの構

成」をご参照ください。

1 出典：『Pro Oracle Database 10g RAC on Linux』 Julian Dyke、Steve Shaw著（Apress 2006 年）


CHAP（Challenge Handshake Authentication Protocol）の構成

CHAP（Challenge Handshake Authentication Protocol）とは、ストレージアレイ（ターゲット）とホストサーバのiSCSIイニシ

エータ間でアクセス認証を行う、iSCSI認証方式の一種です。これはオプション機能のため、iSCSIに必ずしもCAHPは必要あり

ません。CHAPは、リモートクライアントのIDを検証します。推奨するのは、CHAPセキュリティをセットアップし、ストレージアレイ

のiSCSIポート上で発生する全アクセスを認証する方法です。この種のCHAP構成は「ターゲットCHAP」と呼ばれており、ホスト

サーバ上のiSCSIイニシエータからCHAPシークレット経由で発行されたすべてのアクセス要求が、ストレージアレイ側で認証され

ます。

Gigabit Ethernet スイッチの構成

仮想ローカルエリアネットワーク（VLAN）の構成

前出の「デュアルGigabit Ethernet NICを使用した、PowerVault MD3000i iSCSIストレージのiSCSIネットワーク接続」で述べ

たとおり、iSCSIストレージ用のネットワークは、他のネットワークから分離することが推奨されます。ネットワークをiSCSIストレージ

専用に分割できない環境では、ストレージ機能専用の仮想ローカルエリアネットワーク（VLAN）を割り当てて、同じ物理ネット

ワーク内でも論理ネットワークだけは独立させるようにしてください。前出の図2で示したスイッチ接続アーキテクチャ概要では、

iSCSIネットワークとOracle RACインターコネクトネットワークが2台のGigabit Ethernetスイッチを共有しています。この場合、

それぞれのEthernetスイッチにVLANをセットアップし、iSCSIネットワークに使用するポートを、このVLANに割り当てることができ

ます（図5）。

サーバ構成

Ethernet インターコネクトの完全冗長構成

MD3000i iSCSIストレージを使用するそれぞれのOracle 10g RACデータベースサーバには、少なくとも5つのNICポートが必

要です（外部インタフェース用 x 1、プライベートインターコネクトネットワーク用 x 2、iSCSIストレージ x 2）。Oracle RAC内

の各サーバは、Oracle Clusterwareと呼ばれるクラスタ管理ソフトウェアを通じて互いに連携できるため、あたかも1台のサーバと

して扱うことできます。クラスタ内のサーバ同士は、クラスタインターコネクトと呼ばれる専用のプライベートネットワークを通じて、

相互通信します。RACクラスタのうち、1台のサーバは、マスターノードとして割り当てます。インターコネクト用NICを各サーバに1つずつしか搭載していない環境では、いずれかのNICが故障すると、そのサーバはマスターノードと通信できなくなるため、マスター

ノードは、当該サーバ上で利用不能となったデータベースインスタンスの復旧処理を開始します。また、プライベートネットワーク

用のスイッチが1台しかない環境で、そのスイッチが故障すると、マスターノードを除くクラスタ内の全ノードが故障したのと同じ状況

に陥ってしまいます。この場合、マスターノードは、1ノードからサービスを提供するのではなく、まず、クラスタ内にある全障害インス

タンスの復旧処理から取り掛かるため、サービスの可用性レベルは著しく低下します。このような理由から、各サーバ上ではプライ

ベートネットワーク用NICを二重化し、さらに、プライベートネットワークスイッチも二重化して、完全な冗長ネットワーク構成を

整備するようお勧めします2。

図7は、CAT 5E/6 Ethernetケーブルで完全な冗長インターコネクトネットワークを構成した2ノードPowerEdgeのRACクラスタ

例です。各サーバには2個のプライベートネットワーク用NICポートを搭載し、プライベートネットワーク用スイッチも2台接続して

います。この種の冗長構成をスムーズに運用するには、スイッチ同士を連動させて1つ～複数のリンクを提供する「リンクアグリ

ゲーショングループ」の設定が必要です。

また、完全な冗長インターコネクト構成を整えるには、OS上で、NICのチーミングソフトウェアも設定する必要があります。このソ

フトウェアは、ネットワークドライバレベルで動作しながら、2つの物理ネットワークインタフェースを1つのIPアドレス配下で提供

することができます3。NICのチーミング構成については、後述の「プライベートNICのチーミング構成」をご覧ください。

2 出典： Julian Dyke、Steve Shaw著の前掲書 3 出典： Julian Dyke、Steve Shaw著の前掲書


図7. 完全な冗長プライベートインターコネクトネットワークの Ethernet ケーブル配線図

MD3000i iSCSI ストレージネットワーク向けデュアル NIC ポートの構成

図4と図5に示したとおり、Oracle 10g RACデータベースをホストするそれぞれのPowerEdgeサーバには、PowerVault MD3000iストレージアレイ用に2個のNICポートを構成して、冗長リンクを提供するようお勧めします。デュアルNICポートを使用

することで、たとえ、ホスト上のiSCSI NICポートか、MD3000i RAIDコントローラモジュールのいずれかが故障しても、データを

損失や破壊の危険から守ることができます。

プライベートネットワーク向けデュアル NIC ポートの構成

図7に示したとおり、Oracle 10g RACデータベースをホストするそれぞれのPowerEdgeサーバには、2個のプライベートNICをイ

ンストールし、冗長プライベートネットワークリンクを構成するようお勧めします。その理由は、プライベートNICを1個しか搭載し

ていない環境でそのNICが故障してしまうと、Oracle Clusterwareが当該ノードをクラスタから削除してしまう恐れがあるからで

す。


ソフトウェア構成 - Dell PowerVault MD3000i iSCSI ストレージで運用するデルの Oracle 10g ソリューション

オペレーティングシステム構成

プライベート NIC のチーミング構成

「Ethernetインターコネクトの完全冗長構成」で述べたとおり、システムをプライベートネットワークの通信障害から守るため、

Oracle 10g RACクラスタ内の各サーバには、2個の物理プライベートNICをインストールするようお勧めします。また、2個のNICをインストールしたら、NICのチーミングソフトウェアを使って2個のプライベートネットワークインタフェースを結合し、1つのIPアド

レス配下で稼働するようにしてください。これで、フェールオーバー機能が提供できます。この場合、たとえ一方のNICインタフェー

スが遮断されても（たとえば、スイッチポートの故障、ケーブルの切断、NICそのものの故障など）、ネットワークトラフィックは、ま

だ稼働中のNICインタフェースに引き継がれます。このフェールオーバーは、Oracle RACデータベースに何の支障も与えずスムー

ズに処理されるため、ネットワーク通信が中断されることも、プライベートIPアドレスを変更する必要もありません。

全ノードで統一したパブリックネットワークインタフェース名の構成

パブリックインタフェース向けにネットワークインタフェース名を付けるときは、Oracle 10g RACクラスタ内のいずれのノードにも、

必ず、同じ名前を付けてください。たとえば、初のノードでパブリックインタフェース名に「eth0」を付けた場合、残りすべてのノー

ドにも、「eth0」を指定する必要があります。この構成は、Oracle Clusterwareソフトウェアのインストール時に設定した仮想IP（VIP）アドレスを正しく動作させるために不可欠です4。

SSH と RSH の構成

Oracle 10g RACソフトウェアのインストール中に、RACクラスタ内の1ノードで、Oracleユニバーサルインストーラ（OUI）が起動

されます。OUIは、クラスタ内の別サーバにファイルをコピーし、コマンドを実行します。このOUI処理をサポートにするには、まず、

セキュアシェル（SSH）やリモートシェル（RSH）を適切に設定し、OracleユーザとしてSSH/RSHからホスト間を接続する際に、プ

ロンプトや警告メッセージを受信しないようにしてください。システムへの不正アクセスを防ぐため、Oracleソフトウェアのインストール

が完了したら、RSHを無効にするようお勧めします。

RAW デバイスインタフェースを使った、Oracle Clusterware 向け共有ストレージの構成 Oracle 10g RAC Clusterwareソフトウェアをインストールする前に、小限すべきことは、全クラスタノードからOCRと

Clusterware CSS投票ディスクが使用できるよう、共有ストレージを準備することです。OCRファイルとCSS投票ディスクファイ

ルは、共有のRAWデバイスファイル上に保存することができます。「仮想ディスクの構成」で説明したとおり、作成する仮想ディス

クは、OCR/投票ディスク/ASMインスタンス用SPFILE向けに1つ、ミラーリングした2個目のOCR/投票ディスク向けに1つ、ミラーリ

ングした3個目の投票ディスク向けに1つとなります。これら3つの仮想ディスク上のパーティションは、RAWディスクデバイスとして構

成してください。

4 出典： Julian Dyke、Steve Shaw著の前掲書


ASM ライブラリドライバを使った、データベース向け共有ストレージの構成

Oracle自動ストレージ管理（ASM）とは、あらゆるサーバおよびストレージプラットフォーム上に一貫した、シンプルなストレージ

管理インタフェースを提供する、Oracle Database 10g のDBA（データベース管理者）向け機能です。ASMは、データベースストレージをディスクグループとして仮想化します。さらにASMは、ディスクグループ内の全ディスクにわたってデータを均等に分散さ

せるため、性能と活用率が向上しますし、データベースをオフラインにしなくても、ストレージ構成の変更が可能です。ディスクが

追加されたり取り除かれたりすると、ASMは、ファイルをディスクグループ上に自動再分配します5。「仮想ディスクの構成」で提示した構成では、データストレージ領域用と、フラッシュリカバリ領域用に、合計2個の仮想ディスク

を作成しました。これらの2つの仮想ディスクは、ASMの能力を活かすため、ASMディスクとして構成するようお勧めします。

Oracle 10g R2データベースをRed Hat Enterprise Server 4上で実行する場合、ASMの要件として、いくつかのRPMパッケー

ジを追加インストールする必要があります。それには、下記のRPMが含まれます。

oracleasm-2.6.9-42.0.8.ELlargesmp-2.0.3-1 oracleasmlib-2.0.2-1 oracleasm-support-2.0.3-1

フルネットワークスタートアップのサポート

デルのOracle Database 10g ソリューションにはディプロイメントCDが含まれており、これを使うと、Oracleデータベースの構成に

合わせて適化されたサーバOSが、自動的に導入・展開できます。このディプロイメントCDを通して、「networkwait」というカス

タムシステムサービスが、Linuxプラットフォーム上にインストールされます。この networkwait サービスの利点は、サーバのリブー

ト後、ネットワークが完全に立ち上げることです。このサービスがないと、次に起動されるiSCSIサービスがネットワークにアクセスで

きず、ストレージデバイスがマウントできなくなる恐れがあります。

Oracle 10g R2 の構成

Clusterware パラメータの再構成： Disktimeout を 300 に変更

Oracle MetaLink Noteの「No. 294430.1」に掲載されているとおり、Oracle Clusterwareの同期サービスコンポーネント

（CSS）は、次の2つのハートビート手段を管理しています。

1. 投票デバイス向けのディスクハートビート

2. インターコネクト向けのネットワークハートビート：クラスタ内で正常稼働しているノードのメンバーシップ確立と、状況確認

どちらのハートビート方法も、タイムアウト値が設定されています。Oracle 10g R2の場合、ネットワークハートビートのタイムアウ

ト値は、CSSパラメータの「miscount」で決まります。また、ディスクハートビートのタイムアウト値は、通常、CSSパラメータの

「disktimeout」の設定値で決まりますが、クラスタを初めて構成するときや、クラスタを再構成する直前は、例外となります。CSS disktimeout のデフォルト値は 200 秒ですが、Oracle RAC 10g R2をMD3000i iSCSIストレージで運用する場合は、CSS disktimeout の値を「300」に設定するようお勧めします。この変更により、一方のRAIDコントローラが故障しても、他方のRAIDコントローラが仮想ディスクを引き継ぐのに十分な時間が確保できます。

Dell MD3000i iSCSIストレージ用に、10g R2 ClusterwareのCSS disktimeout 値を変更する手順は、Oracle MetaLink Noteの「No. 462616.1」をご覧ください。

5 出典：『Oracle Database 10g – Automatic Storage Management Overview』（Oracle TechNet： http://www.oracle.com/technology/products/manageability/database/pdf/asmov.pdf）


http://www.oracle.com/technology/products/manageability/database/pdf/asmov.pdf

構成一覧 - Dell PowerVault MD3000i iSCSI ストレージで運用するデルの Oracle 10g ソリューション以降に、MD3000i iSCSIストレージで運用するデルのOracle 10g ソリューションをまとめた、ソリューションデリバラブルリスト

（SDL）を掲載します。この一覧表には、サーバおよびストレージのハードウェア構成、ファームウェア、ドライバ、OS、データベースバージョン等の詳細情報が含まれます。

ハードウェア/ソフトウェアの小要件（詳細は以下を参照）

検証済みのコンポーネント Oracle RACの小構成

PowerEdgeノード PowerEdge 2950 2

メモリ PowerEdge 2950でサポートする全メモリ構成 1GB （ノードあたり）

PowerVault ストレージアレイ

2台のPowerVault MD1000拡張ユニットを接続したPowerVault MD3000i1 1

Ethernetポートインテル® または Broadcom製 Gigabit NIC 5

Ethernetスイッチ（プライベートインターコネクト用と

iSCSIネットワーク用）

すべてのDell PowerConnect Gigabit専用スイッチ 2

RAIDコントローラ（内蔵ストレージのみに使用） PERC 5/i 1 （ノードあたり）

内蔵ドライブ PowerEdge 2950でサポートするすべての内蔵ストレージ構成 73 GB （ノードあたり）

Oracleソフトウェア＆ライセンス Oracle 10g R2 10.2.0.1 Standard Edition （ベース） + Oracle Patchset 10.2.0.3 RAC

オペレーティングシステム Red Hat Enterprise Linux Server 4 アップデート4

推奨するサポート契約デルエンタープライズサポート「ゴールド」または「プラチナ」

表2. ソリューション構成ハードウェア/ソフトウェアの小要件

注： 1. PowerVault MD3000に2台のPowerVault MD1000拡張ユニットを連結した構成で、大45台のディスクをサポートします。


検証済みのサーバ

モデル BIOS* ESM/BMC ファームウェア* 備考 PowerEdgeサーバ

PE2950 1.5.1 1.33

内蔵ディスクRAID

PERC 5/i ファームウェアバージョン = 5.1.1-0040、ドライババージョン = 00.00.02.03-RH1

インターコネクトネットワーク

インテル® PRO/1000 ネットワークドライバドライババージョン = 7.0.33-k2-NAPI

Ethernetチャネルボンディングドライバドライババージョン = v2.6.3

iSCSIネットワーク

Broadcom NetXtreme II Gigabit Ethernetドライバ

ドライババージョン= bnx2 1.4.38

直接接続のSASストレージ PowerVaultストレージ MD3000i：ファームウェア = 06.70.10.60

MD1000：ファームウェア = A.03

ソフトウェア

Oracle 10g R2 10.2.0.1 Standard Edition（ベース） + 10.2.0.3（PatchSet）

Oracle ASMLib oracleasm-2.6.9-42.0.8.ELlargesmp-2.0.3-1、oracleasmlib-2.0.2-1、oracleasm-support-2.0.3-1

オペレーティングシステム RHEL 4u4 （2.6.9-42.0.8.ELlargesmp）

DKMS dkms-2.0.17-1

iSCSIイニシエータ iscsi_sfnet-4.0.1.11.3e-1dkms

iSCSIイニシエータユーティリティ iscsi-initiator-utils-4.0.3.0-4

RDAC MPPドライバ linuxrdac-09.01.B6.70-1dkms

表3. ソリューションの詳細：ファームウェア、ドライバ、ソフトウェアのバージョン

注： * これは、低限必要なBIOSとSM/BMCのバージョンです。新のBIOSアップデートは、http://support.dell.com をご参照ください。


http://support.dell.com/

結論 Dell PowerVault MD3000i iSCSI SANアレイの設計理念は、Oracle Real Application Cluster（RAC）データベースのよう

なソリューションの導入と運用をシンプルにすることです。MD3000i は、標準のGigabit Ethernetインフラストラクチャを活用して、

大16台のサーバに共有ストレージを提供するだけでなく、ストレージおよびネットワークの両面から、管理とハードウェアが統一

できます。

デルのOracle Database 10g ソリューションは、運用をシンプルにし、資源の有効活用を促すだけでなく、必要に応じて段階的

に拡張していけるので、コストパフォーマンスにも優れています。この『参照用構成ホワイトペーパー』は、Dell PowerEdgeサーバ、

Dell PowerVault MD3000i iSCSIストレージアレイ、Red Hat Enterprise Linux 4上で、Oracle 10g RACデータベースをセッ

トアップする際の青写真としてご活用ください。

Oracle 10g から適なパフォーマンスを引き出すには、本書でご紹介してきたベストプラクティスが参考になります。Dell PowerEdgeサーバとデルストレージを対象とした、Oracle 10g データベースの導入については、www.dell.com/oracle をご

参照ください。また、Oracle 10g ソリューション向けのデルサーバ、ストレージ、サービスの新情報は、デルの担当営業までお

尋ねください。


http://www.dell.com/oracle

図表索引表1. クラスタストレージグループの仮想ディスク................................................................................................................... 10 表2. ソリューション構成ハードウェア/ソフトウェアの小要件.................................................................................................. 16 表3 ソリューションの詳細：ファームウェア、ドライバ、ソフトウェアのバージョン.......................................................................... 17

図1. アーキテクチャ概要図： Dell PowerVault MD3000i iSCSIストレージを直接接続したOracle 10g 構成.....................5 図2. アーキテクチャ概要図： Dell PowerVault MD3000i iSCSIストレージをスイッチ接続したOracle 10g 構成 .................6 図3. PowerVault MD3000i iSCSI RAIDアレイエンクロージャの背面図...............................................................................7 図4. 2 台のPowerVault MD1000 拡張ユニットを連結したPowerVault MD3000iストレージアレイと、

PowerEdgeサーバを直接接続するケーブル配線図........................................................................................................8 図5. 2 台のPowerVault MD1000 拡張ユニットを連結するPowerVault MD3000iストレージアレイと、

PowerEdgeサーバをスイッチ接続したケーブル配線図.....................................................................................................9 図6. PowerVault MD3000iストレージアレイと 2 台のMD1000 拡張ユニット上に分散させた、

ディスクグループと仮想ディスク........................................................................................................................................ 11 図7. 完全な冗長プライベートインターコネクトネットワークのEthernetケーブル配線図....................................................... 13

参考資料 1. 「Designing and Optimizing Dell/EMC SAN Configurations Part 1」 Arrian Mehis、Scott Stanford著

（『Dell Power Solutions』2004年6月号より： http://www.dell.com/downloads/global/power/ps2q04-022.pdf）

2. 『Pro Oracle Database 10g RAC on Linux』 Julian Dyke、Steve Shaw著（Apress 2006年）

3. 『Oracle Database 10g – Automatic Storage Management Overview』（Oracle TechNet： http://www.oracle.com/technology/products/manageability/database/pdf/asmov.pdf）


http://www.dell.com/downloads/global/power/ps2q04-022.pdf

http://www.oracle.com/technology/products/manageability/database/pdf/asmov.pdf

Documents

Oracle® Database 10g R2 Standard Edition RAC Real ...ƒ›ワイトペーパー Oracle® Database 10 g R2 Standard Edition RAC（Real Application Clusters）のディプロイメント：