59
Copyright 2013 FUJITSU LIMITED ED-WP-0037-01WJ ベスト・プラクティス 2013 4 25 富士通株式会社 Oracle Database 11g R2 ASM富士通ストレージによる効率的なデータベース環境 (Windows)

Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

Embed Size (px)

Citation preview

Page 1: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

Copyright 2013 FUJITSU LIMITED

ED-WP-0037-01WJ

ベスト・プラクティス

2013 年 4 月 25 日

富士通株式会社

Oracle Database 11g R2 ASMと 富士通ストレージによる効率的なデータベース環境

(Windows版)

Page 2: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 1

目次

1. イントロダクション .......................................................................................................................... 2 2. 富士通 ETERNUS DX ストレージシステム ................................................................................... 3

2-1. 高可用性 ............................................................................................................................................................ 3

2-2. パフォーマンスチューニング ................................................................................................................................. 3

2-3. ポイントインタイムコピー機能 ............................................................................................................................... 3

3. Fujitsu ストレージ管理ソフトウェア ............................................................................................... 4 3-1. ETERNUS SF AdvancedCopy Manager ............................................................................................................ 4

4. Oracle のテクノロジー .................................................................................................................. 6 4-1. Grid Infrastructure と Automatic Storage Management の統合 .......................................................................... 6

4-2. Automatic Storage Management ........................................................................................................................ 6

4-3. ASM アーキテクチャー ......................................................................................................................................... 6

4-4. I/O 分散 ............................................................................................................................................................... 6

4-5. ディスクグループの動的再構成 ........................................................................................................................... 6

4-6. 再バランス .......................................................................................................................................................... 7

4-7. ASM ミラーリング ................................................................................................................................................. 7

4-8. ASM リカバリ ...................................................................................................................................................... 7

4-9. メタデータのバックアップ・リストア ........................................................................................................................ 7

5. ベストプラクティス ......................................................................................................................... 8 5-1. 高信頼性と高可用性 ........................................................................................................................................... 8

5-2. データベース高速化 ............................................................................................................................................ 8

5-3. ASM ディスクグループ構成ガイドライン ................................................................................................................ 8

5-4. AdvancedCopy Manager の運用情報のバックアップ ........................................................................................... 9

6. 結論 ........................................................................................................................................... 10 7. 補足 ........................................................................................................................................... 11

7-1. 前提条件 .......................................................................................................................................................... 11

7-2. バックアップ/リカバリ手順と使用例 ..................................................................................................................... 11

7-2-1. バックアップ/リカバリ手順方法と使用例 .......................................................................................................... 13

7-2-2. リカバリ手順方法 ........................................................................................................................................... 14

7-2-3. バックアップ手順使用例 ................................................................................................................................. 17

7-2-4. リカバリ手順使用例 ....................................................................................................................................... 22

7-3. 参考資料 .......................................................................................................................................................... 57

Page 3: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 2

1. イントロダクション

本ドキュメントでは Oracle Database 11g Release 2 Automatic Storage Management (ASM)と富士通 ETERNUS DX ス

トレージシステムの組み合わせによる も効率的なデータベース環境とその利点についてご説明いたします。 Automatic Storage Management はデータベースシステムとストレージ環境の管理を簡易化するデータベース内のデータ

管理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2に密接に統合され実

装された論理ボリューム管理で構成されています。 ASM は Oracle データベースファイルと動作するよう設計されております。ASM は Oracle Database 11g Release 2 の標

準機能としてデータベースシステムに含まれており無償で提供されます。ASMはストレージハードウェアの仮想化、タスクの

自動化、性能 適化によって Oracle データベースの動作を 適化、ストレージ管理を簡易化し、それによって動作オーバ

ーヘッド、管理者の手作業及びそれに伴う人為的ミス、そして全体的な管理コストを削減するように設計されています。 ASM は Oracle の多年にわたる知性とベストプラクティスの結実です。ASM ディスクグループの仮想化インターフェースによ

りデータベース管理者はデータベースオペレーションを阻害することなく容易かつ動的に特定のディスクグループに対して

パーティションを追加または削除できます。ASM は、新しいパーティションがディスクグループに追加されると、自動的に新

旧ディスク間のデータを再バランスし、I/O 性能を 適化します。 ASM はより高い可用性を実現するため 大3重化のミラーリングを提供し、ストレージシステムのハードウェア RAID が提

供するミラーリングの代替機能を果たします。Oracle データベースの管理者が単にディスクグループ内に障害グループを定

義すれば、ASM は自動的に2つ以上の障害グループをまたいでミラーリングを行います。これによってディスクコントローラ

ーやディスクアレイ全体などのコンポーネントの故障時におけるダウンタイムを回避します。この万全の冗長性によって管理

オーバーヘッドを増やすことなく可用性を向上します。障害グループは ASM が自動的に管理しますので障害コンポーネント

の交換時のフェイルオーバーやフェールバックなどの動作はオペレーターを干渉せず ASM によって完全に管理されていま

す。 富士通の ETERNUS はミッションクリティカルな環境での要件を満たすストレージシステムです。ETERNUS DX8000 S2 series は拡張性の高い大容量ディスクアレイです。ETERNUS DX400 S2 series は中規模システム向け、ETERNUS DX 60 S2/DX80 S2/DX 90 S2 は小規模システム向けディスクアレイです。どのモデルも主要コンポーネントはすべて冗長化さ

れており活性交換が可能なため、高信頼性、高可用性によるビジネス継続性を保証します。ETERNUS ストレージシステム

は、業務運用中でも実行可能なボリューム複製機能を提供し、業務を阻害しないデータベースバックアップ運用を実現しま

す。 本ホワイトペーパーでは ASM と ETERNUS の組み合わせによる性能、可用性に優れた Oracle データベース環境を構築

する も効率的な方法についてご説明いたします。

※今回の検証には PC サーバー環境として PRIMERGY RX350 S7 を使用しました。 データベースの運用には、高い信頼性・管理機能が必要で、お客様の運用によっては更に拡張性も要求されます。 PRIMERGY RX350 S7 はデータベースに 適な高性能と拡張性を兼ね備えた 2WAY ラックマウント型サーバーで、多く

のシステム構築実績を有しております。 本 PC サーバーの詳細については以下をご参照ください。

http://jp.fujitsu.com/platform/server/primergy/products/lineup/rx350s7/

Page 4: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 3

2. 富士通 ETERNUS DX ストレージシステム

2-1. 高可用性

富士通 ETERNUS DX ストレージシステムはミッションクリティカルな環境での安定した動作を保証する高可用性を提供しま

す。 すべての主要なコンポーネントは冗長化されております。もしコンポーネントの一つが故障した場合 ETERNUS DX ストレー

ジシステムは自動的に残りのアクティブなコンポーネントを再配置し業務を中断させません。加えて、すべての主要なコンポ

ーネントは活性交換可能です。 ディスクドライブは RAID グループに構成されています。ディスクドライブの障害時、データは速やかにホットスペアディスク

に再構築されデータの冗長性を維持します。さらに ETERNUS DXストレージシステムは障害の予兆を検出するために常に

各ディスクドライブを監視しています。ディスクドライブの一台が障害を起こしそうになると ETERNUS DX ストレージシステ

ムは前もってデータをホットスペアディスクに再構築します。これによりデータの冗長性を維持しながらのディスクドライブ交

換が可能となります。 サーバーと ETERNUS DX ストレージシステム間のインターフェースも高可用性メカニズムを提供します。このメカニズムは

複数のファイバチャネルを管理する ETERNUS マルチパスドライバによって提供されます。一本のパスに障害が起きても

データベースや他のアプリケーションの動作は他のアクティブなパスを使用することで継続します。このような高可用性メカ

ニズムによってサーバー側の HBA の障害やスイッチの障害の際にも継続的な運用が保証されます。 ストレージ内のキャッシュは、サーバーから書き込まれたデータの一時格納場所で、常に電力供給を必要とするため、火

災・地震などの災害で停電した場合、データが消失してしまいますが、ETERNUS DX ストレージシステムは、停電時にキャ

ッシュのデータを不揮発性メモリに退避することで、保持時間に制限なくデータを確実に保護します。 2-2. パフォーマンスチューニング

富士通 ETERNUS DX ストレージシステムは以下の機能により、サーバー側での設定なしに性能チューニングできるため、

運用管理コストを削減することができます。また、業務を止めることなくアクセス性能を 適化することができます。 RAID マイグレーションはディスクドライブを再構成する二つの機能を提供します。一つは現在使用されている RAID ドライブ

を移行先のRAID グループに組み込む機能です。この機能は同じ仕様のドライブを異なるRAID レベルのグループに構成し

なおす際に便利です。もう一方の機能は例えば 15,000rpm ドライブで構成された RAID グループから 7,200rpm ドライブで

構成された RAID グループへ、というようにデータを元のディスクドライブから異なる種類のディスクドライブに移行するとき

に有効です。両機能ともに RAID グループへのアクセスを止めずに使用でき、移行元から移行先への切り替えは

ETERNUS DX によって自動的に行われます。 QoS(Quality of Service) 機能により、負荷変動の影響を他のアプリケーションに与えず、安定したパフォーマンスを保つこ

とができます。この機能はサーバーからの処理要求に優先順位を付け、それぞれの処理に必要な性能に上限を設定

できます。各サーバーにおいて一斉に処理作業が発生した場合でも、ストレージの処理性能が、優先度の高い処理

作業へ確実に振り向けられ、安定したストレージ性能を維持できます。 ストレージ自動階層制御(Automated Tiering)機能は、ETERNUS SF Storage Cruiser と連携することでデータ管理工

数削減、管理コスト低減を実現できます。この機能は異なる種類のドライブを混在搭載した環境において、データの配

置先を制御し、パフォーマンスとコストの 適化を図ります。具体的はデータのアクセス頻度を検出し、設定したポリシ

ーに応じて自動的にドライブ間のデータ再配置を行います。 2-3. ポイントインタイムコピー機能

富士通 ETERNUS DX ストレージシステムはポイントインタイムコピー機能を提供します。この機能はデータベースや他のア

プリケーションの運用を止めることなくある時点でのコピー元ボリュームデータの複製を作成します。 24時間365日の継続的運用へのシステム要件は増大しています。システム管理者はデータベースなど業務を止めること

なくまたサーバーに過大な負荷をかけることなくバックアップを行わなければなりません。ETERNUS DX ストレージシステ

Page 5: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 4

ムは Equivalent Copy (EC)、One Point Copy (OPC)、QuickOPC、SnapOPC+というコピー機能を提供します。EC は常

に業務ボリュームの更新と同期した複製を作成します。OPC は任意のタイミングで業務ボリュームの全ての複製を作

成することができます。QuickOPC は一度、業務ボリュームの全データの複製を作成し、その後更新分(差分)のみを複

製ボリュームへコピーします。SnapOPC+は、データ更新時に更新前のデータのみを複製し世帯管理できます。ビジ

ネス要件に応じてコピー方式を使い分けることができます。

3. Fujitsu ストレージ管理ソフトウェア

3-1. ETERNUS SF AdvancedCopy Manager

富士通は ETERNUS DX ストレージシステムの EC、OPC、QuickOPC、SnapOPC+機能をコントロールするアプリケーショ

ン ETERNUS SF AdvancedCopy Manager を提供しています。ETERNUS SF AdvancedCopy Manager を使用すること

によって、多種多様なOS環境でも統一された操作でバックアップ運用ができます。複製されたスペースの管理や業務を

阻害せずにデータベースオペレーションと同期をとった整合性のあるデータベースのコピーの作成が可能となります。また、

次の特徴を持ちます。

Page 6: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 5

業務に影響を与えないバックアップ運用 ETERNUS DXディスクアレイのアドバンスト・コピー機能を使用したバックアップにより、業務アプリケーションへの影響

を限りなくゼロにしたバックアップ運用を実現します。データ量に依存しない高速バックアップのため、業務データやシス

テムボリュームは、業務停止時間がほぼゼロでバックアップ可能です。パッチ適用やアプリケーション変更前後に、シス

テムボリュームを手軽にバックアップできます。

データベースシステム無停止でのバックアップ処理の実現 Oracle のバックアップ機能と連携し、データベース運用を停止することなくバックアップできるため、24 時間 365 日の連

続稼働が実現可能です。 省電力バックアップ バックアップ時のみバックアップ先のディスクを回転させることで、ストレージの消費電力を削減します。

ディザスタリカバリーソリューションの実現 ETERNUS DX 間を WAN で接続し、リモートコピーが可能となります。バックアップデータを格納する当社ディスクアレ

イ装置を耐震対策を施した設備内に配置することにより、ディザスタリカバリー(災害対策)ソリューションを実現するこ

とができます。

Page 7: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 6

4. Oracle のテクノロジー

4-1. Grid Infrastructure と Automatic Storage Management の統合 Oracle Database11g Release2 より、ASM は Grid Infrastructure と統合されました。以前のリリースまでは Oracle Database の 1 コンポーネントでしたが、Oracle Database11g Release2 からは Grid Infrastructure の 1 コンポーネントに

なりました。そのため、ASM インスタンスを構成する場合、Grid Infrastructure のインストールが必須となります。

4-2. Automatic Storage Management ASM はディスクグループを Oracle データベースファイル※1、OCR、投票ディスク、ASM インスタンスの SPFILE およびバッ

クアップファイル用のストレージとして指定できます。一つのディスクグループは複数のパーティションから構成され ASM に

よって一つのユニットとして管理されます。ディスクグループに格納されたファイルはすべて自動的にグループ内のすべての

パーティションをまたいでストライプされます。ASMはクラスタ機能を提供し対称型マルチプロセッサマシンだけでなくOracle Real Application Clusters の複数のノードから利用可能です。 ※1

制御ファイル、データファイル、データベースインスタンスの SPFILE、オンライン REDO ログ、アーカイブ・ログ、フラッシュバックロ

グ、変更トラッキングビットマップ、データ・ポンプ・ダンプセット など

4-3. ASM アーキテクチャー ASM の機能は「DB インスタンス」とは異なる「ASM インスタンス」によって実行されます。ASM インスタンスは ASM ファイ

ルのレイアウトを記述したメタデータを使用することによってディスクグループ内のデータマッピング情報を管理します。 DB インスタンスは ASM インスタンスからのデータマッピング情報を使用し、データファイルへの実際のアクセスを実行しま

す。

4-4. I/O 分散 ディスクグループ上の一つのファイル(ASM ファイル)はディスクグループ内のすべてのパーティション間で均等に分割され

格納されます。これによって特定のパーティションへの I/O の集中を防ぎます。ストライプ幅には COARSE と FINE の二種

類があります。COARSE、FINE はそれぞれ 1MB、128KB のチャンクでストライプ化を行います。制御ファイルのデフォルト

は FINE、その他については COARSE となっています。

4-5. ディスクグループの動的再構成 ディスクグループにパーティションを追加するか、ディスクグループからパーティションを削除すると、データがすべてのパー

ティションに再分配されます。 また、ディスクグループにミラーリングが設定されている場合、ディスクが故障すると、生存しているすべてのパーティション

にデータが自動的に再分配されます。

ASM

インスタンス

DB

インスタンス

データマッピング

情報を提供

データアクセスメタデータ管理

Page 8: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 7

4-6. 再バランス ディスクグループが再構成されたとき、データはディスクグループ内の各パーティションへの負荷が均等になるように再分配

されます。この動作は「再バランス」と呼ばれます。再バランスは、データを移動させるための内部アクセスが発生するため、

多少オンライントランザクション性能への影響があります。再バランスは I/O 統計に基づいてデータを再配置するのではなく、

ディスクグループ構成が変化したとき自動的に始動します。

4-7. ASM ミラーリング

ASM ディスクグループには3種類のミラーリングタイプがあります(NORMAL REDUNDANCY, HIGH REDUNDANCY 及

び EXTERNAL REDUNDANCY)。NORMAL REDUNDANCY のディスクグループは二重化のミラーリングをサポートしま

す。HIGH REDUNDANCY のディスクグループは3重化のミラーリングをサポートします。EXTERNAL REDUNANCY のデ

ィスクグループはミラーリングを提供しません。RAID を使用する場合は EXTERNAL REDUNDANCY のディスクグループ

を推奨します。

4-8. ASM リカバリ ASM インスタンスがシャットダウンあるいは異常終了すると、その ASM インスタンスに依存している DB インスタンスも異常

終了します。しかしこれは OS をクラッシュするものではないため、速やかに効果的にリカバーし再起動することができます。 RAC 構成のデータベースでは、ASM インスタンスは各ノードに配置されます。これにより、あるノードの ASM インスタンスが

異常終了しても他のノードの ASM インスタンスが自動的にリカバリを行うため、運用を継続することができます。

4-9. メタデータのバックアップ・リストア Oracle Database 11g より、ASM ディスク・グループのメタデータのバックアップおよびリストア機能が追加されました。これ

により、ASM ディスクグループが破損した場合に、ASM ディスクグループを復旧することができます。(バックアップ時と同じ

ディスク・パス、ディスク名、障害グループ、属性、テンプレート、エイリアス・ディレクトリ構造でリストアすることができます。) なお、バックアップ・リストアは ASMCMD ユーティリティにより実行します。

Page 9: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 8

5. ベストプラクティス

5-1. 高信頼性と高可用性

Oracle Database 11g ASM は Oracle データベースの可用性を高めるミラーリング機能を提供しています。しかし全体の可

用性向上のためには、ETERNUS DX ストレージシステムの RAID メカニズムを含む高可用性機能が 適なソリューション

です。ETERNUS DX ストレージシステムは障害検出、スイッチングによるリトライ、データベースオペレーション中の障害部

品の交換などのメンテナンス作業を行うことができます。

5-2. データベース高速化 ASM ストライピング機能と RAID メカニズムの組み合わせによりデータベースの性能を向上することができます。ASM スト

ライピング機能はディスクグループ内のすべてのパーティションにまたがってデータを割り当てるため、全体のスループット

が向上します。さらに、ディスクグループに登録するパーティションを RAID1+0 または RAID5 とすることで、ETERNUS DX内部でのストライピングにより性能が向上します。 データベース運用では運用開始後、性能チューニングが必要となることがあります。ASM はファイルエクステントをディスク

グループ内のすべてのパーティションに分配することによってファイルアクセスを 適化するため、手動でのチューニングの

必要がありません。 さらに ETERNUS DX ストレージシステムは性能チューニングを異なる面からおこなう RAID マイグレーション機能を提供し

ます。RAID マイグレーションによって、例えば RAID グループを構成するディスクドライブを 10,000rpm ドライブから

15,000rpm ドライブに変える、あるいは RAID レベルを RAID5 から RAID1+0 へ変える、ということを業務を止めずに行うこ

とができます。

5-3. ASM ディスクグループ構成ガイドライン データファイルはサイズが大きく、また、業務中のバックアップと迅速なリカバリが必要なため、データファイルのバックアップ

には、アドバンスト・コピー機能を利用するのが 適です。また、リストア時のオペレーションを容易にするため、各ファイルを

別々のディスクグループに割り当てるのが 適です。特に、データファイルのバックアップをアドバンスト・コピー機能で行う

場合、データファイルは独立したディスクグループに置いて下さい。アドバンスト・コピー機能によるデータファイルのリストア

時、そのディスクグループのすべてのデータを上書きしてしまうからです。 ETERNUS DX アドバンスト・コピー機能の利点を 大限に引き出すため ASM ディスクグループを下図のように構成するこ

とを推奨します。 (1) 5 つのディスクグループを作成します。

① OCR、投票ディスク、ASM の SPFILE 用(DG_CRS) ② データファイル用(DG_DATA) ③ 制御ファイル、REDO ログファイル、DB の SPFILE 用(DG_REDO) ④ 制御ファイルのミラー用(DG_REDO_M) ⑤ アーカイブ・ログ・ファイル用(DG_ARCH)

(2) すべてのディスクグループの compatible.asm 属性と compatible.rdbms 属性を 11.2.0.0.0 に設定します。 ※ASMCMD ユーティリティによるメタデータのバックアップにおいて上記設定がされていない場合、11.2.0.1.0 の不具

合のため、メタデータのリストアを正常に行うことができません。 (3) DG_DATA にはデータファイルのみ割り当てます。データファイルのバックアップは、ETERNUS DX アドバンスト・コピ

ー機能(OPC/EC)で行います。その他のファイルに関するバックアップの詳細は『7-2. バックアップ/リカバリ手順と使

用例』を参照してください。 (4) REDO ログファイルと制御ファイルはすべて DG_REDO に割り当てます。 (5) 制御ファイルのミラーはすべて DG_REDO_M に割り当てます。 (6) アーカイブ・ログ・ファイルは DG_ARCH に割り当てます。 (7) OCR、投票ディスク、ASM インスタンスの SPFILE は DG_CRS に割り当てます。

Page 10: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 9

※ REDO ログファイルの可用性を重視する場合は、REDO ログファイルのミラーを制御ファイルのミラーディスクグループ

(DG_REDO_M)に配置します。

ETERNUS DX ストレージシステムの RAID 構成として、業務用ボリュームには性能と信頼性を考慮して RAID1+0 を、バッ

クアップ用ボリュームにはコストパフォーマンスを考慮して RAID5 を採用することを推奨します。なお、性能を 大限に引き

出すためには、各ディスクグループを異なる RAID グループに配置することが理想ですが、近年、ディスクが大容量化してお

り、すべてのディスクグループを異なる RAID グループに分けるのは現実的ではありません。そこで、アクセスの競合が少な

いディスクグループ同士を同一の RAID グループに配置するなどの工夫を行い、1つの RAID グループに、なるべく少数の

ディスクグループを配置するよう設計してください。

ディスクグループの RAID 配置(例)

5-4. AdvancedCopy Manager の運用情報のバックアップ ETERNUS SF Manager、及び AdvancedCopy Manager は、運用情報として各種リポジトリや管理情報を保持していま

す。運用情報は ETERNUS SF Manager、及び AdvancedCopy Manager が動作するために大切な情報です。長期運用

によるリポジトリの容量が不足した場合、運用状況が導入当初と大幅に異なってきた際にリポジトリの容量が不足した場

合、および不慮の事故に備え、定期的な運用情報のバックアップを行ってください。 ETERNUS SF Manager、及び AdvancedCopy Manager の運用情報のバックアップ方法の詳細は、「AdvancedCopy Manager 運用ガイド(Windows 版)」の「データベースの保守」、及び「ETERNUS SF Manager データベースの保守方法」を

参照してください。

RAID#0

LUN#1

RAID#1 RAID#2

DG_REDO

LUN#4

DG_REDO_M

LUN#2 LUN#5

LUN#0 LUN#3

LUN#7

LUN#6

DG_CRS

DG_ARCH

DG_DATA

DG_ARCHDG_REDO_M DG_REDO DG_DATA

データファイル

データファイル

REDOログ-1

OPC/EC

REDOログ-2

アーカイブ・ログ・

ファイル

DG_CRS

制御ファイル-2 制御ファイル-1

ASM SPFILE

OCR、投票ディスク

DB SPFILE

Page 11: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 10

6. 結論

Oracle 11g ASMと富士通のETERNUS DXストレージシステムを組み合わせて、高性能・高可用性、かつ運用管理性に優

れたデータベース環境を構築するには、以下の点を考慮する必要があります。 (1) OCR、投票ディスク、ASM インスタンスの SPFILE を格納するディスクグループは HIGH REDUNDANCY または

NOMAL REDUNDANCY を持つディスクグループで構成し、その他は EXTERNAL REDUNDANCYを持つディスクグ

ループで構成します。 (2) すべてのディスクグループの compatible.asm 属性と compatible.rdbms 属性を 11.2.0.0.0 に設定します。

※ASMCMD ユーティリティによるメタデータのバックアップにおいて上記設定がされていない場合、11.2.0.1.0 の不具

合のため、メタデータのリストアを正常に行うことができません。 (3) ディスクグループに登録するボリュームには、RAID1+0 か RAID5 を採用します。 (4) DG_CRS、DG_DATA、DG_REDO、DG_REDO_M、DG_ARCH という 5 つのディスクグループを作成します。

DG_CRS には OCR、投票ディスク、ASM の SPFILE を割り当てます。DG_DATA にはデータファイルのみ割り当てま

す。DG_REDO には REDO ログファイルと制御ファイルを割り当てます。DG_REDO_M には制御ファイルのミラーを

割り当てます。DG_ARCH には、アーカイブ・ログ・ファイルを割り当てます。 (5) REDO ファイルの可用性を 大にするためには、REDO ファイルのミラーを制御ファイルミラーディスクグループ

(DG_REDO_M)に配置することを推奨します。 (6) RAID マイグレーション機能により、業務運用を止めずに、ディスクドライブの回転速度や RAID レベルを変更するとい

った性能チューニングができます。 (7) データファイルはETERNUS DX ストレージシステムのアドバンスト・コピー機能を使用し ASMファイルシステムのバッ

クアップとリカバリを行います。 (8) アーカイブ・ログ、制御ファイル、データベースインスタンスの SPFILE は RMAN を使用しバックアップとリカバリを行い

ます。 (9) ディスクグループのメタデータは ASMCMD ユーティリティを使用しバックアップとリカバリを行います。 (10) ASM インスタンスの SPFILE は SQL*Plus を使用しバックアップとリカバリを行います。 (11) OLR、OCR、投票ディスクは ocrconfig を使用しバックアップとリカバリを行います。

Page 12: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 11

7. 補足

上述のように、このベストプラクティスは Oracle Database 11g ASM、ETERNUS DX そして ETERNUS SF AdvancedCopy Manager CCM の組み合わせによって利用できる基本的機能について説明しています。

7-1. 前提条件 本手順の前提条件は、以下の通りです。 前提条件は、以下のとおりです。

・ ETERNUS SF AdvancedCopy Manager 15.1 以降 ・ Windows Server 2008 R2 ・ Oracle Database 11g Release 2 ・ Oracle Real Application Clusters 11g Release 2 ・ Oracle Grid Infrastructure 11g Release 2

なお、本手順の実施前に、Storage 管理サーバーの構築が完了、かつ、Storage サーバーへのエージェントのインストールが

完了している必要があります。

7-2. バックアップ/リカバリ手順と使用例

このセクションでは AdvancedCopy Manager CCM を使用し ASM ファイルシステムのバックアップとリカバリを行う段階

的手順を説明いたします。 なお、バックアップ/リカバリは、どちらの RAC ノードでも実行可能です。 データファイル

CCM を使用することにより、ストレージ内でコピー処理が完結するため、片方または両方の RAC ノードが停止して

いても実行可能です。 データファイル以外

バックアップ/リカバリに先立って、ETERNUS 上のバックアップ領域(ファイルシステム)を、バックアップ/リカバリを行

うノードにマウントしてください。

Page 13: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 12

ETERNUS

ファイルシステム

DBインスタンス(Catalog DB)

DG_REDO_M

DG_DATA

データファイル

REDOログファイル-1

REDOログファイル-2

アーカイブ・ログ・

ファイル

DG_CRS

制御ファイル-2

制御ファイル-1

データファイル

バックアップ・セット -制御ファイル -アーカイブ・ログ・ファイル -DB SPFILE

ディスクグループの メタデータのバックアップ -DG_CRS -DG_DATA -DG_REDO -DG_REDO_M -DG_ARCH

OLR、OCR、投票ディスク

のバックアップ

ファイルシステム

ASM SPFILEの バックアップ(PFILE)

DB SPFILEの バックアップ(PFILE)

node2 node1 Client

SH SH

+ASM1

rac1

DBインスタンス(Target DB)

ACM (CCM)

OPC/EC

OCR、投票ディスク

ASM SPFILE

ocrconfig

RMAN

DG_REDO DG_ARCH

DB SPFILE

SQL*Plus SQL*Plus

ターゲットDB(rac)

バックアップ領域

+ASM2

rac2

OLR OLR

catdb

ASMCMD

Page 14: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 13

7-2-1. バックアップ/リカバリ手順方法と使用例

データベースのバックアップ 1. カレント REDO ログファイルをアーカイブします。

node1 のデータベースインスタンス上で実行します。 SQL> alter system archive log current;

2. データベースをバックアップモードにします。

node1 のデータベースインスタンス上で実行します。 SQL> alter database begin backup;

3. ASM 再バランスが実行中でないことを確認します。

node1 の ASM インスタンス上で実行します。 SQL> select * from v$asm_operation;

返される行が0行であれば問題ありません。もし、行が返された場合は、以下のように再バランスを停止してください。

SQL> alter diskgroup DG_DATA rebalance power 0; そして v$asm_operation を再確認します。

SQL> select * from v$asm_operation; 4. アドバンスト・コピー機能でデータファイルのディスクグループに属するすべてのパーティションをバックアップします。

参照 : <7-2-3 バックアップ手順使用例>

5. データベースをバックアップモードから解除します。 node1 のデータベースインスタンス上で実行します。 SQL> alter database end backup;

6. アーカイブ・ログをバックアップします。現在の制御ファイルとデータベースインスタンスの SPFILE は自動バックアップ

機能によってバックアップされます。 node1 のリカバリマネージャー上で実行します。 RMAN> backup archivelog all;

7. ASMCMD ユーティリティで、すべてのディスクグループのメタデータをバックアップします。

node1 の ASM インスタンス上で実行します。 ※バックアップ前に全ディスクグループの compatible.asm 属性と compatible.rdbms 属性が 11.2.0.0.0 に

設定されていることを確認してください。ASMCMD ユーティリティによるメタデータのバックアップにおいて上記設定が

されていない場合、11.2.0.1.0 の不具合のため、メタデータのリストアを正常に行うことができません。 ASMCMD> md_backup E:¥backup¥meta¥md_bk

8. データベースインスタンスと ASM インスタンスの SPFILE をテキストベースのファイルでバックアップします。

node1 のデータベースインスタンス上、ASM インスタンス上でそれぞれ実行します。 <データベースインスタンス側> SQL> create pfile='E:¥backup¥pfile_db¥initrac.ora' from spfile; <ASM インスタンス側> SQL> create pfile='E:¥backup¥pfile_asm¥initasm.ora' from spfile;

※ データベースにデータファイルを追加した場合は、速やかに、データベース全体のバックアップを行う必要があります。

OCR、投票ディスクのバックアップ 1. ocrconfig を使用して OCR のバックアップを取得します。 node1 で実行します。 ※Oracle Clusterware 11g リリース 2(11.2)では、OCR 内に投票ディスクのバックアップが取られるため、OCR の

バックアップのみ行えば問題ありません。

Page 15: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 14

cmd> C:¥app¥11.2.0¥grid¥bin¥ocrconfig –manualbackup Oracle Local Registry(OLR)のバックアップ 1. すべてのノードで ocrconfig を使用して OLR のバックアップを取得します。 node1 と node2 でそれぞれ実行します。

cmd> C:¥app¥11.2.0¥grid¥bin¥ocrconfig –local –manualbackup

7-2-2. リカバリ手順方法 データファイルのディスクグループが壊れた場合 1. ABORT オプションでデータベースのインスタンスを終了します。

node1 で実行します。 cmd> C:¥app¥Administrator¥product¥11.2.0¥dbhome_1¥bin¥srvctl stop database –d rac –o abort

2. データファイルのディスクグループを削除します。RACの場合、削除コマンドを実行するRACのノード(node1)以外のす

べてのノード(node2)において、削除する前にそのディスクグループをディスマウントする必要があります。 node1 の ASM インスタンス上で実行します。 ※削除コマンドを実行するノードで対象のディスクグループがディスマウントである場合は、force オプションを付けて

削除します。 SQL> drop diskgroup DG_DATA [force] including contents;

3. アドバンスト・コピー機能でデータファイルのディスクグループに属するすべてのパーティションをリストアします。

参照 : <7-2-4 リカバリ手順使用例>

4. データファイルのディスクグループをマウントします。 node1 の ASM インスタンス上で実行します。 SQL> alter diskgroup DG_DATA mount;

5. MOUNT オプションでデータベースのインスタンスを起動します。

node1 のデータベースインスタンス上で実行します。 RMAN> startup mount;

6. 完全回復を実行します。

node1 のリカバリマネージャー上で実行します。 RMAN> recover database;

7. データベースをオープンします。

node1 のリカバリマネージャー上で実行します。 RMAN> alter database open;

8. RACの場合、手順4を行ったノード(node1)以外のすべてのノード(node2)において、データファイルのディスクグルー

プをマウントします。 node2 の ASM インスタンス上で実行します。 SQL> alter diskgroup DG_DATA mount;

9. RAC の場合、手順 7 を行ったノード(node1)以外のすべてのノード(node2)のデータベースインスタンスを起動しま

す。 node1 で実行します。 cmd> C:¥app¥Administrator¥product¥11.2.0¥dbhome_1¥bin¥srvctl start instance –d rac –n node2

Page 16: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 15

DG_CRS 以外のすべてのディスクグループが壊れた場合 1. ABORT オプションでデータベースのインスタンスを終了します。

node1 で実行します。 cmd> C:¥app¥Administrator¥product¥11.2.0¥dbhome_1¥bin¥srvctl stop database –d rac -o abort

2. DG_CRS 以外のすべてのディスクグループを削除します。RAC の場合、削除を実行する RAC のノード(node1)以外の

すべてのノード(node2)において、そのディスクグループを削除する前にディスマウントする必要があります。 node1 の ASM インスタンス上で実行します。 ※削除コマンドを実行するノードで対象のディスクグループがディスマウントである場合は、force オプションを付けて

削除します。 SQL> drop diskgroup DG_DATA [force] including contents; SQL> drop diskgroup DG_REDO [force] including contents; SQL> drop diskgroup DG_REDO_M [force] including contents; SQL> drop diskgroup DG_ARCH [force] including contents;

3. バックアップメタデータから、DG_REDO、DG_REDO_M、DG_ARCH ディスクグループのメタデータをリストアします。

node1 の ASMCMD ユーティリティ上で実行します。

4. アドバンスト・コピー機能でデータファイルのディスクグループに属するすべてのパーティションをリストアします。

参照 : <7-2-4 リカバリ手順使用例> 5. データファイルのディスクグループをマウントします。

node1 の ASM インスタンス上で実行します。 SQL> alter diskgroup DG_DATA mount;

6. バックアップの初期化バラメータを指定し、NOMOUNT モードで、データベースのインスタンスを起動します。

node1 のリカバリマネージャー上で実行します。 RMAN> startup nomount pfile=’E:¥backup¥pfile_db¥initrac.ora’;

7. 自動バックアップされた制御ファイルをリストアします。

node1 のリカバリマネージャー上で実行します。 RMAN> restore controlfile from autobackup;

8. データベースをマウントします。

node1 のリカバリマネージャー上で実行します。 RMAN> alter database mount;

9. バックアップしたサーバー・パラメータ・ファイルをリストアします。

node1 のリカバリマネージャー上で実行します。 RMAN> restore spfile;

10. 不完全回復を実行します。

node1 のリカバリマネージャー上で実行します。 RMAN> recover database until sequence 28 thread 1;

11. RESETLOGS オプションでデータベースをオープンします。

node1 のリカバリマネージャー上で実行します。 RMAN> alter database open resetlogs;

12. RACの場合、手順 5を行ったノード(node1)以外のすべてのノード(node2)において、DG_CRS以外のすべてのデ

ィスクグループをマウントします。 node2 のデータベースインスタンス上で実行します。 SQL> alter diskgroup DG_DATA, DG_REDO, DG_REDO_M, DG_ARCH mount;

ASMCMD > md_restore E:¥backup¥meta¥md_bk -–full –G 'DG_REDO' ASMCMD > md_restore E:¥backup¥meta¥md_bk -–full –G 'DG_REDO_M' ASMCMD > md_restore E:¥backup¥meta¥md_bk --full –G 'DG_ARCH'

Page 17: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 16

13. データベースのインスタンスをサーバー・パラメータ・ファイルから起動し直すために、データベースのインスタンスを

終了します。 node1 で実行します。 cmd> C:¥app¥Administrator¥product¥11.2.0¥dbhome_1¥bin¥srvctl stop database –d rac

14. すべてのデータベースインスタンスを起動します。

node1 で実行します。 cmd> C:¥app¥Administrator¥product¥11.2.0¥dbhome_1¥bin¥srvctl start database –d rac

15. アーカイブ・ログ・ファイルの無効なエントリを削除します。

node1 のリカバリマネージャー上で実行します。 RMAN> crosscheck archivelog all; RMAN> delete expired archivelog all;

DG_CRS のディスクグループが壊れた場合 1. すべてのノードで CRS を停止します。

node1 と node2 でそれぞれ実行します。 cmd> C:¥app¥11.2.0¥grid¥bin¥crsctl stop crs –f

2. ocopy コマンドを使用して DG_CRS の全ディスクヘッダーをクリアします。

※上書き用にバイナリ 0 のダミーファイルを用意しておいてください。ここでは C:¥tmp¥file0 とします。 node1 で実行します。 cmd> ocopy C:¥tmp¥file0 ¥¥.¥ORCLDISKDATA3cmd> ocopy C:¥tmp¥file0 ¥¥.¥ORCLDISKDATA4 cmd> ocopy C:¥tmp¥file0 ¥¥.¥ORCLDISKDATA8

3. DG_CRS ディスクグループのシンボリックリンクを作成します。 node1 で実行します。 cmd> C:¥app¥11.2.0¥grid¥bin¥asmtool –add ¥Device¥Harddisk4¥Partition1 ORCLDISKDATA3 cmd> C:¥app¥11.2.0¥grid¥bin¥asmtool –add ¥Device¥Harddisk5¥Partition1 ORCLDISKDATA4 cmd> C:¥app¥11.2.0¥grid¥bin¥asmtool –add ¥Device¥Harddisk9¥Partition1 ORCLDISKDATA8

4. 排他モードで CRS を起動します。 node1 で実行します。 cmd> C:¥app¥11.2.0¥grid¥bin¥crsctl start crs –excl

5. crsd を停止します。

node1 で実行します。 cmd> C:¥app¥11.2.0¥grid¥bin¥crsctl stop resource ora.crsd –init

6. DG_CRS ディスクグループのメタデータをリストアします。

node1 の ASMCMD ユーティリティ上で実行します。 ASMCMD> md_restore E:¥backup¥meta¥md_bk --full -G 'DG_CRS'

7. ASM インスタンスをシャットダウンします。 node1 の ASM インスタンス上で実行します。 SQL> shutdown immediate

8. バックアップしておいた pfile を使用して ASM インスタンスを起動します。 node1 の ASM インスタンス上で実行します。 SQL> startup pfile='E:¥backup¥pfile_asm¥initasm.ora';

Page 18: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 17

9. ASM インスタンスのサーバー・パラメータ・ファイルを再作成します。

node1 の ASM インスタンス上で実行します。 SQL> create spfile='+DG_CRS' from pfile='E:¥backup¥pfile_asm¥initasm.ora';

10. OCR をリストアします。

node1 で実行します。 cmd> C:¥app¥11.2.0¥grid¥bin¥ocrconfig -restore E:¥backup¥ocr¥backup_20121130_151838.ocr

11. DG_CRS ディスクグループに投票ディスクを再作成します。

node1 で実行します。 cmd> C:¥app¥11.2.0¥grid¥bin¥crsctl replace votedisk +DG_CRS

12. 排他モードで起動されている CRS を停止します。

node1 で実行します。 cmd> C:¥app¥11.2.0¥grid¥bin¥crsctl stop crs -f

13. すべてのノードで CRS を起動します。

node1 と node2 でそれぞれ実行します。 cmd> C:¥app¥11.2.0¥grid¥bin¥crsctl start crs

OLR が壊れた場合 1. 対象ノード(node1)の CRS を停止します。

node1 で実行します。 cmd> C:¥app¥11.2.0¥grid¥bin¥crsctl stop crs

2. バックアップから OLR をリストアします。

node1 で実行します。 ※{GI インストール先}¥cdata の配下に<ホスト名.olr>ファイルが無い場合は同名の空ファイルを作成しておく必要

があります。 cmd> C:¥app¥11.2.0¥grid¥bin¥ocrconfig -local –restoreE:¥backup¥olr¥node1¥backup_20121130_130937.olr

3. 対象ノード(node1)の CRS を起動します。

node1 で実行します。 cmd> C:¥app¥11.2.0¥grid¥bin¥crsctl start crs

7-2-3. バックアップ手順使用例

データベースのバックアップ

カレント REDO ログファイルをアーカイブします。 node1 のデータベースインスタンス上でこのコマンドを実行します。

SQL> alter system archive log current; システムが変更されました。 データベースをバックアップモードにします。 node1 のデータベースインスタンス上でこのコマンドを実行します。

SQL> alter database begin backup; データベースが変更されました。

Page 19: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 18

ASM が、再バランス中かどうか確認します。 node1 の ASM インスタンス上でこのコマンドを実行します。

SQL> select * from v$asm_operation; レコードが選択されませんでした。 アドバンスト・コピー機能でデータファイルのディスクグループに属するすべてのパーティショ

ンをバックアップします。 ※初期コピー時のみ-diff オプションを外して実行します。 ACM 管理サーバーの OS コマンドライン上でこのコマンドを実行します。

cmd>C:¥ETERNUS_SF¥CCM¥bin¥acopc start -g dg_online –diff et440s2/0x01:et440s2/0x16 # DATE : 2012/12/07 09:59:47 - << Differential OPC Started >> # From:BoxID=3030455445524e555344584d53324554343432534123232323234c44343533313134333030322323/Olu=1/Adr_high=0/Adr_low=0/size_high=0/size_low=0 # To :BoxID=3030455445524e555344584d53324554343432534123232323234c44343533313134333030322323/Olu=16/Adr_high=0/Adr_low=0 et440s2/0x02:et440s2/0x17 # DATE : 2012/12/07 09:59:49 - << Differential OPC Started >> # From:BoxID=3030455445524e555344584d53324554343432534123232323234c44343533313134333030322323/Olu=2/Adr_high=0/Adr_low=0/size_high=0/size_low=0 # To :BoxID=3030455445524e555344584d53324554343432534123232323234c44343533313134333030322323/Olu=17/Adr_high=0/Adr_low=0 et440s2/0x08:et440s2/0x18 # DATE : 2012/12/07 09:59:51 - << Differential OPC Started >> # From:BoxID=3030455445524e555344584d53324554343432534123232323234c44343533313134333030322323/Olu=8/Adr_high=0/Adr_low=0/size_high=0/size_low=0 # To :BoxID=3030455445524e555344584d53324554343432534123232323234c44343533313134333030322323/Olu=18/Adr_high=0/Adr_low=0 et440s2/0x09:et440s2/0x19 # DATE : 2012/12/07 09:59:53 - << Differential OPC Started >> # From:BoxID=3030455445524e555344584d53324554343432534123232323234c44343533313134333030322323/Olu=9/Adr_high=0/Adr_low=0/size_high=0/size_low=0 # To :BoxID=3030455445524e555344584d53324554343432534123232323234c44343533313134333030322323/Olu=19/Adr_high=0/Adr_low=0 Succeeded : 4 Failed : 0 コピー開始の確認を行います。 ACM 管理サーバーの OS コマンドライン上でこのコマンドを実行します。

cmd>c:¥ETERNUS_SF¥CCM¥bin¥acopc query -g dg_online Copy Group Name : dg_online Copy Group Type : QuickOPC Disk Array Name : et440s2 (00ETERNUSDXMS2ET442SA#####LD4531143002##)

Page 20: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 19

Source <=> Target SID OPC Status Copy Phase Copied Block ------------ --- ------------ ---- --------------- ---------- ------------ et440s2/0x01 ==> et440s2/0x16 0x4A "OPC Executing" "Tracking" 62914048 et440s2/0x02 ==> et440s2/0x17 0x4B "OPC Executing" "Tracking" 62914560 et440s2/0x08 ==> et440s2/0x18 0x4C "OPC Executing" "Tracking" 62914560 et440s2/0x09 ==> et440s2/0x19 0x4D "OPC Executing" "Tracking" 62914560 データベースをバックアップモードから解除します。 node1 のデータベースインスタンス上でこのコマンドを実行します。

SQL> alter database end backup; データベースが変更されました。 すべてのアーカイブ・ログ・ファイルをバックアップします。現在の制御ファイルとデータベース

インスタンスの SPFILE 自動バックアップ機能によってバックアップされます。 node1 の RMAN 上でこのコマンドを実行します。

RMAN> backup archivelog all; backup が開始されました(開始時間: 12-12-06) 現在のログがアーカイブされました。 チャネル: ORA_DISK_1 が割り当てられました チャネル ORA_DISK_1: SID=192 インスタンス=rac1 デバイス・タイプ=DISK チャネル ORA_DISK_1: アーカイブ・ログ・バックアップ・セットを開始しています チャネル ORA_DISK_1: バックアップ・セットにアーカイブ・ログを指定しています 入力アーカイブ・ログ・スレッド=1 順序=7 レコード ID=3 スタンプ=801170772 入力アーカイブ・ログ・スレッド=2 順序=4 レコード ID=1 スタンプ=801170605 入力アーカイブ・ログ・スレッド=1 順序=8 レコード ID=4 スタンプ=801170772 入力アーカイブ・ログ・スレッド=1 順序=9 レコード ID=5 スタンプ=801170773 入力アーカイブ・ログ・スレッド=2 順序=5 レコード ID=2 スタンプ=801170626 入力アーカイブ・ログ・スレッド=2 順序=6 レコード ID=6 スタンプ=801170776 入力アーカイブ・ログ・スレッド=1 順序=10 レコード ID=7 スタンプ=801170788 入力アーカイブ・ログ・スレッド=2 順序=7 レコード ID=8 スタンプ=801170788 入力アーカイブ・ログ・スレッド=1 順序=11 レコード ID=9 スタンプ=801170800 入力アーカイブ・ログ・スレッド=2 順序=8 レコード ID=10 スタンプ=801170800 入力アーカイブ・ログ・スレッド=1 順序=12 レコード ID=11 スタンプ=801171457 入力アーカイブ・ログ・スレッド=2 順序=9 レコード ID=12 スタンプ=801171457 入力アーカイブ・ログ・スレッド=1 順序=13 レコード ID=13 スタンプ=801171481 入力アーカイブ・ログ・スレッド=2 順序=10 レコード ID=14 スタンプ=801171481 入力アーカイブ・ログ・スレッド=1 順序=14 レコード ID=15 スタンプ=801242818 入力アーカイブ・ログ・スレッド=2 順序=11 レコード ID=17 スタンプ=801243202 入力アーカイブ・ログ・スレッド=1 順序=15 レコード ID=16 スタンプ=801243010 入力アーカイブ・ログ・スレッド=1 順序=16 レコード ID=18 スタンプ=801243202 入力アーカイブ・ログ・スレッド=1 順序=17 レコード ID=19 スタンプ=801243394 入力アーカイブ・ログ・スレッド=2 順序=12 レコード ID=21 スタンプ=801243774 入力アーカイブ・ログ・スレッド=1 順序=18 レコード ID=20 スタンプ=801243587 入力アーカイブ・ログ・スレッド=1 順序=19 レコード ID=22 スタンプ=801243776 入力アーカイブ・ログ・スレッド=1 順序=20 レコード ID=23 スタンプ=801243962 入力アーカイブ・ログ・スレッド=2 順序=13 レコード ID=25 スタンプ=801244113 入力アーカイブ・ログ・スレッド=1 順序=21 レコード ID=24 スタンプ=801244037 入力アーカイブ・ログ・スレッド=1 順序=22 レコード ID=26 スタンプ=801244115 入力アーカイブ・ログ・スレッド=1 順序=23 レコード ID=27 スタンプ=801244193 入力アーカイブ・ログ・スレッド=2 順序=14 レコード ID=29 スタンプ=801244348 入力アーカイブ・ログ・スレッド=1 順序=24 レコード ID=28 スタンプ=801244271 入力アーカイブ・ログ・スレッド=1 順序=25 レコード ID=30 スタンプ=801244349 入力アーカイブ・ログ・スレッド=1 順序=26 レコード ID=31 スタンプ=801244424 入力アーカイブ・ログ・スレッド=2 順序=15 レコード ID=33 スタンプ=801244566

Page 21: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 20

入力アーカイブ・ログ・スレッド=1 順序=27 レコード ID=32 スタンプ=801244499 入力アーカイブ・ログ・スレッド=1 順序=28 レコード ID=34 スタンプ=801244568 入力アーカイブ・ログ・スレッド=1 順序=29 レコード ID=35 スタンプ=801244632 入力アーカイブ・ログ・スレッド=2 順序=16 レコード ID=37 スタンプ=801244756 入力アーカイブ・ログ・スレッド=1 順序=30 レコード ID=36 スタンプ=801244695 入力アーカイブ・ログ・スレッド=1 順序=31 レコード ID=38 スタンプ=801244758 入力アーカイブ・ログ・スレッド=1 順序=32 レコード ID=39 スタンプ=801266666 入力アーカイブ・ログ・スレッド=2 順序=17 レコード ID=41 スタンプ=801267310 入力アーカイブ・ログ・スレッド=1 順序=33 レコード ID=40 スタンプ=801266990 入力アーカイブ・ログ・スレッド=1 順序=34 レコード ID=42 スタンプ=801267311 入力アーカイブ・ログ・スレッド=1 順序=35 レコード ID=43 スタンプ=801270168 入力アーカイブ・ログ・スレッド=2 順序=18 レコード ID=45 スタンプ=801271174 入力アーカイブ・ログ・スレッド=1 順序=36 レコード ID=44 スタンプ=801270169 入力アーカイブ・ログ・スレッド=1 順序=37 レコード ID=48 スタンプ=801329359 入力アーカイブ・ログ・スレッド=2 順序=19 レコード ID=46 スタンプ=801271174 入力アーカイブ・ログ・スレッド=2 順序=20 レコード ID=47 スタンプ=801329358 入力アーカイブ・ログ・スレッド=2 順序=21 レコード ID=51 スタンプ=801330044 入力アーカイブ・ログ・スレッド=1 順序=38 レコード ID=49 スタンプ=801329756 入力アーカイブ・ログ・スレッド=1 順序=39 レコード ID=50 スタンプ=801330044 入力アーカイブ・ログ・スレッド=1 順序=40 レコード ID=52 スタンプ=801330241 入力アーカイブ・ログ・スレッド=2 順序=22 レコード ID=53 スタンプ=801330242 入力アーカイブ・ログ・スレッド=1 順序=41 レコード ID=55 スタンプ=801330450 入力アーカイブ・ログ・スレッド=2 順序=23 レコード ID=54 スタンプ=801330449 入力アーカイブ・ログ・スレッド=2 順序=24 レコード ID=57 スタンプ=801331094 入力アーカイブ・ログ・スレッド=1 順序=42 レコード ID=56 スタンプ=801331092 入力アーカイブ・ログ・スレッド=1 順序=43 レコード ID=58 スタンプ=801331398 入力アーカイブ・ログ・スレッド=2 順序=25 レコード ID=61 スタンプ=801332010 入力アーカイブ・ログ・スレッド=1 順序=44 レコード ID=59 スタンプ=801331671 入力アーカイブ・ログ・スレッド=1 順序=45 レコード ID=60 スタンプ=801332008 チャネル ORA_DISK_1: ピース 1(12-12-06)を起動します チャネル ORA_DISK_1: ピース 1(12-12-06)が完了しました ピース・ハンドル=E:¥RMAN¥0BNS6MPM_1_1 タグ=TAG20121206T161340 コメント=NONE チャネル ORA_DISK_1: バックアップ・セットが完了しました。経過時間: 00:01:45 backup が完了しました(完了時間: 12-12-06) Control File and SPFILE Autobackup が開始されました(開始時間: 12-12-06) ピース・ハンドル=E:¥RMAN¥C-2389143809-20121206-01 コメント=NONE Control File and SPFILE Autobackup が完了しました(完了時間: 12-12-06) 全ディスクグループのメタデータのバックアップを ASMCMD ユーティリティにより取得します。 ※バックアップ前に全ディスクグループの compatible.asm 属性と compatible.rdbms

属性が 11.2.0.0.0 に設定されていることを確認してください。ASMCMD ユーティリティに

よるメタデータのバックアップにおいて上記設定がされていない場合、11.2.0.1.0 の不

具合のため、メタデータのリストアを正常に行うことができません。 node1 の ASM インスタンス上、ASMCMD ユーティリティ上でこのコマンドを実行します。

SQL> SELECT dg.name AS diskgroup, SUBSTR(a.name,1,24) AS name,

2 SUBSTR(a.value,1,24) AS value FROM V$ASM_DISKGROUP dg, V$ASM_ATTRIBUTE a 3 WHERE dg.group_number = a.group_number 4 and a.name in ('compatible.rdbms','compatible.asm');

DISKGROUP NAME VALUE ------------- -------------------- ------------------- DG_CRS compatible.asm 11.2.0.0.0 DG_CRS compatible.rdbms 11.2.0.0.0 DG_REDO compatible.asm 11.2.0.0.0 DG_REDO compatible.rdbms 11.2.0.0.0

Page 22: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 21

DG_DATA compatible.asm 11.2.0.0.0 DG_DATA compatible.rdbms 11.2.0.0.0 DG_REDO_M compatible.asm 11.2.0.0.0 DG_REDO_M compatible.rdbms 11.2.0.0.0 DG_ARCH compatible.asm 11.2.0.0.0 DG_ARCH compatible.rdbms 11.2.0.0.0 ASMCMD [+] > md_backup E:¥backup¥meta¥md_bk Disk group metadata to be backed up: DG_CRS Disk group metadata to be backed up: DG_REDO Disk group metadata to be backed up: DG_DATA Disk group metadata to be backed up: DG_REDO_M Disk group metadata to be backed up: DG_ARCH Current alias directory path: crs Current alias directory path: crs/ASMPARAMETERFILE Current alias directory path: crs/OCRFILE Current alias directory path: RAC/CONTROLFILE Current alias directory path: RAC/PARAMETERFILE Current alias directory path: RAC Current alias directory path: RAC/ONLINELOG Current alias directory path: RAC Current alias directory path: RAC/DATAFILE Current alias directory path: RAC/TEMPFILE Current alias directory path: RAC Current alias directory path: RAC/CONTROLFILE Current alias directory path: RAC/ONLINELOG Current alias directory path: rac Current alias directory path: rac/ARCHIVELOG/2012_12_05 Current alias directory path: rac/ARCHIVELOG/2012_12_06 Current alias directory path: rac/ARCHIVELOG/2012_12_04 Current alias directory path: rac/ARCHIVELOG Current alias directory path: rac/arch データベースインスタンスと ASM インスタンスのサーバー・パラメータ・ファイルをテキストベー

スのファイルでバックアップします。 node1 のデータベースインスタンス上、ASM インスタンス上でそれぞれこのコマンドを実行

します。 <データベースインスタンス側> SQL> create pfile='E:¥backup¥pfile_db¥initrac.ora' from spfile; ファイルが作成されました。 <ASM インスタンス側> SQL> create pfile='E:¥backup¥pfile_asm¥initasm.ora' from spfile; File created.

OCR、投票ディスクのバックアップ

ocrconfig コマンドにより OCR のバックアップを取得します。 node1 の OS コマンドライン上でこのコマンドを実行します。 cmd> C:¥app¥11.2.0¥grid¥bin¥ocrconfig -manualbackup node1 2012/12/09 17:17:45 C:¥app¥11.2.0¥grid¥cdata¥crs¥backup_20121209_171745.ocr

Page 23: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 22

Oracle Local Registry(OLR)のバックアップ

ocrconfig コマンドにより OLR のバックアップを取得します。 すべてのノード(node1、node2)の OS コマンドライン上でこのコマンドを実行します。

cmd> C:¥app¥11.2.0¥grid¥bin¥ocrconfig –local –manualbackup node1 2012/12/09 17:20:14 C:¥app¥11.2.0¥grid¥cdata¥node1¥backup_20121209_172014.olr node1 2012/12/04 15:43:34 C:¥app¥11.2.0¥grid¥cdata¥node1¥backup_20121204_154334.olr

7-2-4. リカバリ手順使用例

データファイルのディスクグループが壊れた場合

ABORT オプションでデータベースのインスタンスを終了します。 node1 の OS コマンドライン上でこのコマンドを実行します。

cmd> C:¥app¥11.2.0¥grid¥bin¥crsctl status res -t --------------------------------------------------------------------------------NAME TARGET STATE SERVER STATE_DETAILS --------------------------------------------------------------------------------Local Resources --------------------------------------------------------------------------------ora.DG_ARCH.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_CRS.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_DATA.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_REDO.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_REDO_M.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.LISTENER.lsnr ONLINE ONLINE node1 ONLINE ONLINE node2 ora.asm ONLINE ONLINE node1 Started ONLINE ONLINE node2 Started ora.gsd OFFLINE OFFLINE node1 OFFLINE OFFLINE node2 ora.net1.network ONLINE ONLINE node1 ONLINE ONLINE node2 ora.ons ONLINE ONLINE node1 ONLINE ONLINE node2 ora.registry.acfs ONLINE ONLINE node1

Page 24: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 23

ONLINE OFFLINE node2 --------------------------------------------------------------------------------Cluster Resources --------------------------------------------------------------------------------ora.LISTENER_SCAN1.lsnr 1 ONLINE ONLINE node2 ora.LISTENER_SCAN2.lsnr 1 ONLINE ONLINE node1 ora.LISTENER_SCAN3.lsnr 1 ONLINE ONLINE node1 ora.cvu 1 OFFLINE OFFLINE ora.node1.vip 1 ONLINE ONLINE node1 ora.node2.vip 1 ONLINE ONLINE node2 ora.oc4j 1 ONLINE ONLINE node2 ora.rac.db 1 ONLINE ONLINE node1 Open 2 ONLINE ONLINE node2 Open ora.scan1.vip 1 ONLINE ONLINE node2 ora.scan2.vip 1 ONLINE ONLINE node1 ora.scan3.vip 1 ONLINE ONLINE node1 cmd> C:¥app¥Administrator¥product¥11.2.0¥dbhome_1¥bin¥srvctl stop database –d rac-o abort cmd> C:¥app¥11.2.0¥grid¥bin¥crsctl status res -t --------------------------------------------------------------------------------NAME TARGET STATE SERVER STATE_DETAILS --------------------------------------------------------------------------------Local Resources --------------------------------------------------------------------------------ora.DG_ARCH.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_CRS.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_DATA.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_REDO.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_REDO_M.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.LISTENER.lsnr ONLINE ONLINE node1 ONLINE ONLINE node2 ora.asm ONLINE ONLINE node1 Started ONLINE ONLINE node2 Started ora.gsd OFFLINE OFFLINE node1 OFFLINE OFFLINE node2 ora.net1.network ONLINE ONLINE node1 ONLINE ONLINE node2

Page 25: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 24

ora.ons ONLINE ONLINE node1 ONLINE ONLINE node2 ora.registry.acfs ONLINE ONLINE node1 ONLINE OFFLINE node2 --------------------------------------------------------------------------------Cluster Resources --------------------------------------------------------------------------------ora.LISTENER_SCAN1.lsnr 1 ONLINE ONLINE node2 ora.LISTENER_SCAN2.lsnr 1 ONLINE ONLINE node1 ora.LISTENER_SCAN3.lsnr 1 ONLINE ONLINE node1 ora.cvu 1 OFFLINE OFFLINE ora.node1.vip 1 ONLINE ONLINE node1 ora.node2.vip 1 ONLINE ONLINE node2 ora.oc4j 1 ONLINE ONLINE node2 ora.rac.db

1 OFFLINE OFFLINE Instance Shutdown 2 OFFLINE OFFLINE Instance Shutdown ora.scan1.vip 1 ONLINE ONLINE node2 ora.scan2.vip 1 ONLINE ONLINE node1 ora.scan3.vip 1 ONLINE ONLINE node1 データファイルのディスクグループをディスマウントします。 node2 の ASM インスタンス上でこのコマンドを実行します。

SQL> select ag.name "GROUP_NAME", ad.mount_status, ad.header_status, ad.path

2 from v$asm_disk ad, v$asm_diskgroup ag 3 where ad.group_number != 0 and ad.group_number = ag.group_number;

GROUP_NAME MOUNT_S HEADER_STATU PATH ------------ --------- ------------- ---------------------------------------- DG_ARCH CACHED MEMBER ¥¥.¥ORCLDISKDATA9 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA3 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA4 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA8 DG_DATA CACHED CANDIDATE ¥¥.¥ORCLDISKDATA1 DG_DATA CACHED CANDIDATE ¥¥.¥ORCLDISKDATA2 DG_DATA CACHED CANDIDATE ¥¥.¥ORCLDISKDATA6 DG_DATA CACHED CANDIDATE ¥¥.¥ORCLDISKDATA7 DG_REDO CACHED MEMBER ¥¥.¥ORCLDISKDATA0 DG_REDO_M CACHED MEMBER ¥¥.¥ORCLDISKDATA5 SQL> select group_number, name, state, type from v$asm_diskgroup; GROUP_NUMBER NAME STATE TYPE ------------ ------------- ----------- --------- 1 DG_CRS MOUNTED NORMAL 2 DG_ARCH MOUNTED EXTERN 3 DG_DATA MOUNTED EXTERN 4 DG_REDO MOUNTED EXTERN 5 DG_REDO_M MOUNTED EXTERN SQL> alter diskgroup DG_DATA dismount;

Page 26: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 25

Diskgroup altered. SQL> select group_number, name, state, type from v$asm_diskgroup; GROUP_NUMBER NAME STATE TYPE ------------ ------------- ----------- --------- 1 DG_CRS MOUNTED NORMAL 2 DG_ARCH MOUNTED EXTERN 4 DG_REDO MOUNTED EXTERN 5 DG_REDO_M MOUNTED EXTERN SQL> select ag.name "GROUP_NAME", ad.mount_status, ad.header_status, ad.path

2 from v$asm_disk ad, v$asm_diskgroup ag 3 where ad.group_number != 0 and ad.group_number = ag.group_number;

GROUP_NAME MOUNT_S HEADER_STATU PATH ------------ --------- ------------- ---------------------------------------- DG_ARCH CACHED MEMBER ¥¥.¥ORCLDISKDATA9 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA3 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA4 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA8 CACHED CANDIDATE ¥¥.¥ORCLDISKDATA1 CACHED CANDIDATE ¥¥.¥ORCLDISKDATA2 CACHED CANDIDATE ¥¥.¥ORCLDISKDATA6 CACHED CANDIDATE ¥¥.¥ORCLDISKDATA7 DG_REDO CACHED MEMBER ¥¥.¥ORCLDISKDATA0 DG_REDO_M CACHED MEMBER ¥¥.¥ORCLDISKDATA5 データファイルのディスクグループを削除します。 node1 の ASM インスタンス上でこのコマンドを実行します。

SQL> select group_number, name, state, type from v$asm_diskgroup;

GROUP_NUMBER NAME STATE TYPE ------------ ------------- ----------- --------- 1 DG_CRS MOUNTED NORMAL 2 DG_ARCH MOUNTED EXTERN 3 DG_DATA MOUNTED EXTERN 4 DG_REDO MOUNTED EXTERN 5 DG_REDO_M MOUNTED EXTERN SQL> drop diskgroup DG_DATA including contents; Diskgroup dropped. SQL> select group_number, name, state, type from v$asm_diskgroup;

GROUP_NUMBER NAME STATE TYPE ------------ ------------- ----------- --------- 1 DG_CRS MOUNTED NORMAL 2 DG_ARCH MOUNTED EXTERN 4 DG_REDO MOUNTED EXTERN 5 DG_REDO_M MOUNTED EXTERN SQL> select ag.name "GROUP_NAME", ad.mount_status, ad.header_status, ad.path

2 from v$asm_disk ad, v$asm_diskgroup ag 3 where ad.group_number != 0 and ad.group_number = ag.group_number;

GROUP_NAME MOUNT_S HEADER_STATU PATH ------------ --------- ------------- ---------------------------------------- DG_ARCH CACHED MEMBER ¥¥.¥ORCLDISKDATA9 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA3

Page 27: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 26

DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA4 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA8

CLOSED CANDIDATE ¥¥.¥ORCLDISKDATA1 CLOSED CANDIDATE ¥¥.¥ORCLDISKDATA2 CLOSED CANDIDATE ¥¥.¥ORCLDISKDATA6 CLOSED CANDIDATE ¥¥.¥ORCLDISKDATA7 DG_REDO CACHED MEMBER ¥¥.¥ORCLDISKDATA0 DG_REDO_M CACHED MEMBER ¥¥.¥ORCLDISKDATA5 アドバンスト・コピー機能でデータファイルのディスクグループに属するすべてのパーティショ

ンをリストアします。 ACM 管理サーバーの OS コマンドライン上でこのコマンドを実行します。

cmd> C:¥ETERNUS_SF¥CCM¥bin¥acopc start -g dg_online –r et440s2/0x01:et440s2/0x16 # DATE : 2012/12/07 10:36:41 - << OPC Started >> # From:BoxID=3030455445524e555344584d53324554343432534123232323234c44343533313134333030322323/Olu=16/Adr_high=0/Adr_low=0/size_high=0/size_low=0 # To :BoxID=3030455445524e555344584d53324554343432534123232323234c44343533313134333030322323/Olu=1/Adr_high=0/Adr_low=0 et440s2/0x02:et440s2/0x17 # DATE : 2012/12/07 10:36:42 - << OPC Started >> # From:BoxID=3030455445524e555344584d53324554343432534123232323234c44343533313134333030322323/Olu=17/Adr_high=0/Adr_low=0/size_high=0/size_low=0 # To :BoxID=3030455445524e555344584d53324554343432534123232323234c44343533313134333030322323/Olu=2/Adr_high=0/Adr_low=0 et440s2/0x08:et440s2/0x18 # DATE : 2012/12/07 10:36:43 - << OPC Started >> # From:BoxID=3030455445524e555344584d53324554343432534123232323234c44343533313134333030322323/Olu=18/Adr_high=0/Adr_low=0/size_high=0/size_low=0 # To :BoxID=3030455445524e555344584d53324554343432534123232323234c44343533313134333030322323/Olu=8/Adr_high=0/Adr_low=0 et440s2/0x09:et440s2/0x19 # DATE : 2012/12/07 10:36:45 - << OPC Started >> # From:BoxID=3030455445524e555344584d53324554343432534123232323234c44343533313134333030322323/Olu=19/Adr_high=0/Adr_low=0/size_high=0/size_low=0 # To :BoxID=3030455445524e555344584d53324554343432534123232323234c44343533313134333030322323/Olu=9/Adr_high=0/Adr_low=0 Succeeded : 4 Failed : 0 リストアの確認を行います。 ACM 管理サーバーの OS コマンドライン上でこのコマンドを実行します。

cmd>c:¥ETERNUS_SF¥CCM¥bin¥acopc query -g dg_online -r Copy Group Name : dg_online Copy Group Type : QuickOPC Disk Array Name : et440s2 (00ETERNUSDXMS2ET442SA#####LD4531143002##) Source <=> Target SID OPC Status Copy Phase Copied Block ------------ --- ------------ ---- --------------- ---------- ------------ et440s2/0x01 <== et440s2/0x16 0x65 "OPC Executing" "Copying" 55574528 et440s2/0x02 <== et440s2/0x17 0x66 "OPC Executing" "Copying" 55574528 et440s2/0x08 <== et440s2/0x18 0x67 "OPC Executing" "Copying" 57671680 et440s2/0x09 <== et440s2/0x19 0x68 "OPC Executing" "Copying" 55574528

Page 28: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 27

データファイルのディスクグループをマウントします。 node1 の ASM インスタンス上でこのコマンドを実行します。

SQL> select ag.name "GROUP_NAME", ad.mount_status, ad.header_status, ad.path

2 from v$asm_disk ad, v$asm_diskgroup ag 3 where ad.group_number != 0 and ad.group_number = ag.group_number;

GROUP_NAME MOUNT_S HEADER_STATU PATH ------------ --------- ------------- ---------------------------------------- DG_ARCH CACHED MEMBER ¥¥.¥ORCLDISKDATA9 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA3 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA4 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA8

CLOSED MEMBER ¥¥.¥ORCLDISKDATA1 CLOSED MEMBER ¥¥.¥ORCLDISKDATA2 CLOSED MEMBER ¥¥.¥ORCLDISKDATA6 CLOSED MEMBER ¥¥.¥ORCLDISKDATA7 DG_REDO CACHED MEMBER ¥¥.¥ORCLDISKDATA0 DG_REDO_M CACHED MEMBER ¥¥.¥ORCLDISKDATA5 SQL> select group_number, name, state, type from v$asm_diskgroup; GROUP_NUMBER NAME STATE TYPE ------------ ------------- ----------- --------- 1 DG_CRS MOUNTED NORMAL 2 DG_ARCH MOUNTED EXTERN 0 DG_DATA DISMOUNTED EXTERN 4 DG_REDO MOUNTED EXTERN 5 DG_REDO_M MOUNTED EXTERN SQL> alter diskgroup DG_DATA mount; Diskgroup altered. SQL> select ag.name "GROUP_NAME", ad.mount_status, ad.header_status, ad.path

2 from v$asm_disk ad, v$asm_diskgroup ag 3 where ad.group_number != 0 and ad.group_number = ag.group_number;

GROUP_NAME MOUNT_S HEADER_STATU PATH ------------ --------- ------------- ---------------------------------------- DG_ARCH CACHED MEMBER ¥¥.¥ORCLDISKDATA9 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA3 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA4 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA8 DG_DATA CACHED MEMBER ¥¥.¥ORCLDISKDATA1 DG_DATA CACHED MEMBER ¥¥.¥ORCLDISKDATA2 DG_DATA CACHED MEMBER ¥¥.¥ORCLDISKDATA6 DG_DATA CACHED MEMBER ¥¥.¥ORCLDISKDATA7 DG_REDO CACHED MEMBER ¥¥.¥ORCLDISKDATA0 DG_REDO_M CACHED MEMBER ¥¥.¥ORCLDISKDATA5 SQL> select group_number, name, state, type from v$asm_diskgroup; GROUP_NUMBER NAME STATE TYPE ------------ ------------- ----------- --------- 1 DG_CRS MOUNTED NORMAL 2 DG_ARCH MOUNTED EXTERN 3 DG_DATA MOUNTED EXTERN 4 DG_REDO MOUNTED EXTERN 5 DG_REDO_M MOUNTED EXTERN MOUNT オプションでデータベースのインスタンスを起動します。 node1 のリカバリマネージャー上でこのコマンドを実行します。

Page 29: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 28

RMAN> startup mount Oracle インスタンスが起動しました データベースがマウントされました。 システム・グローバル領域の合計は、 5027385344 バイトです。 Fixed Size 2237008 バイト Variable Size 1006636464 バイト Database Buffers 4009754624 バイト Redo Buffers 8757248 バイト 完全回復を実行します。 node1 のリカバリマネージャー上でこのコマンドを実行します。

RMAN> recover database; recover が開始されました(開始時間: 12-12-06) チャネル: ORA_DISK_1 が割り当てられました チャネル ORA_DISK_1: SID=146 インスタンス=rac1 デバイス・タイプ=DISK メディア・リカバリを開始しています スレッド 1 (順序 43)のアーカイブ・ログは、ファイル

+DG_ARCH/rac/arch/arc0000000043_0801161793.0001 としてディスクに存在します スレッド 1 (順序 44)のアーカイブ・ログは、ファイル

+DG_ARCH/rac/arch/arc0000000044_0801161793.0001 としてディスクに存在します スレッド 1 (順序 45)のアーカイブ・ログは、ファイル

+DG_ARCH/rac/arch/arc0000000045_0801161793.0001 としてディスクに存在します スレッド 2 (順序 25)のアーカイブ・ログは、ファイル

+DG_ARCH/rac/arch/arc0000000025_0801161793.0002 としてディスクに存在します アーカイブ・ログ・ファイル名=+DG_ARCH/rac/arch/arc0000000043_0801161793.0001 スレッド=1 順序=43 メディア・リカバリが完了しました。経過時間: 00:01:02 recover が完了しました(完了時間: 12-12-06) データベースをオープンします。 node1 のリカバリマネージャー上でこのコマンドを実行します。

RMAN> alter database open; データベースがオープンしました。 リカバリ・カタログの完全再同期を開始しています 完全再同期が完了しました。 すべての ASM インスタンスでデータファイルのディスクグループをマウントします。 node2 の ASM インスタンス上でこのコマンドを実行します。

SQL> alter diskgroup DG_DATA mount; Diskgroup altered. SQL> select ag.name "GROUP_NAME", ad.mount_status, ad.header_status, ad.path

2 from v$asm_disk ad, v$asm_diskgroup ag 3 where ad.group_number != 0 and ad.group_number = ag.group_number;

GROUP_NAME MOUNT_S HEADER_STATU PATH ------------ --------- ------------- --------------------------- DG_ARCH CACHED MEMBER ¥¥.¥ORCLDISKDATA9 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA3

Page 30: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 29

DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA4 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA8 DG_DATA CACHED MEMBER ¥¥.¥ORCLDISKDATA1 DG_DATA CACHED MEMBER ¥¥.¥ORCLDISKDATA2 DG_DATA CACHED MEMBER ¥¥.¥ORCLDISKDATA6 DG_DATA CACHED MEMBER ¥¥.¥ORCLDISKDATA7 DG_REDO CACHED MEMBER ¥¥.¥ORCLDISKDATA0 DG_REDO_M CACHED MEMBER ¥¥.¥ORCLDISKDATA5 SQL> select group_number, name, state, type from v$asm_diskgroup; GROUP_NUMBER NAME STATE TYPE ------------ ------------- ----------- --------- 1 DG_CRS MOUNTED NORMAL 2 DG_ARCH MOUNTED EXTERN 3 DG_DATA MOUNTED EXTERN 4 DG_REDO MOUNTED EXTERN 5 DG_REDO_M MOUNTED EXTERN すべてのデータベースインスタンスを起動します。 node1 の OS コマンドライン上でこのコマンドを実行します。

cmd> C:¥app¥11.2.0¥grid¥bin¥crsctl status res -t --------------------------------------------------------------------------------NAME TARGET STATE SERVER STATE_DETAILS --------------------------------------------------------------------------------Local Resources --------------------------------------------------------------------------------ora.DG_ARCH.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_CRS.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_DATA.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_REDO.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_REDO_M.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.LISTENER.lsnr ONLINE ONLINE node1 ONLINE ONLINE node2 ora.asm ONLINE ONLINE node1 Started ONLINE ONLINE node2 Started ora.gsd OFFLINE OFFLINE node1 OFFLINE OFFLINE node2 ora.net1.network ONLINE ONLINE node1 ONLINE ONLINE node2 ora.ons ONLINE ONLINE node1 ONLINE ONLINE node2 ora.registry.acfs ONLINE ONLINE node1 ONLINE OFFLINE node2 --------------------------------------------------------------------------------Cluster Resources --------------------------------------------------------------------------------

Page 31: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 30

ora.LISTENER_SCAN1.lsnr 1 ONLINE ONLINE node2 ora.LISTENER_SCAN2.lsnr 1 ONLINE ONLINE node1 ora.LISTENER_SCAN3.lsnr 1 ONLINE ONLINE node1 ora.cvu 1 OFFLINE OFFLINE ora.node1.vip 1 ONLINE ONLINE node1 ora.node2.vip 1 ONLINE ONLINE node2 ora.oc4j 1 ONLINE ONLINE node2 ora.rac.db 1 ONLINE ONLINE node1 Open 2 OFFLINE OFFLINE Instance Shutdown ora.scan1.vip 1 ONLINE ONLINE node2 ora.scan2.vip 1 ONLINE ONLINE node1 ora.scan3.vip 1 ONLINE ONLINE node1 cmd> C:¥app¥Administrator¥product¥11.2.0¥dbhome_1¥bin¥srvctl start instance -d rac-n node2 cmd> C:¥app¥11.2.0¥grid¥bin¥crsctl status res -t --------------------------------------------------------------------------------NAME TARGET STATE SERVER STATE_DETAILS --------------------------------------------------------------------------------Local Resources --------------------------------------------------------------------------------ora.DG_ARCH.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_CRS.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_DATA.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_REDO.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_REDO_M.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.LISTENER.lsnr ONLINE ONLINE node1 ONLINE ONLINE node2 ora.asm ONLINE ONLINE node1 Started ONLINE ONLINE node2 Started ora.gsd OFFLINE OFFLINE node1 OFFLINE OFFLINE node2 ora.net1.network ONLINE ONLINE node1 ONLINE ONLINE node2 ora.ons ONLINE ONLINE node1 ONLINE ONLINE node2 ora.registry.acfs ONLINE ONLINE node1

Page 32: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 31

ONLINE OFFLINE node2 --------------------------------------------------------------------------------Cluster Resources --------------------------------------------------------------------------------ora.LISTENER_SCAN1.lsnr 1 ONLINE ONLINE node2 ora.LISTENER_SCAN2.lsnr 1 ONLINE ONLINE node1 ora.LISTENER_SCAN3.lsnr 1 ONLINE ONLINE node1 ora.cvu 1 OFFLINE OFFLINE ora.node1.vip 1 ONLINE ONLINE node1 ora.node2.vip 1 ONLINE ONLINE node2 ora.oc4j 1 ONLINE ONLINE node2 ora.rac.db 1 ONLINE ONLINE node1 Open 2 ONLINE ONLINE node2 Open ora.scan1.vip 1 ONLINE ONLINE node2 ora.scan2.vip 1 ONLINE ONLINE node1 ora.scan3.vip 1 ONLINE ONLINE node1

DG_CRS 以外のディスクグループが壊れたとき

ABORT オプションでデータベースのインスタンスをシャットダウンします。 node1 の OS コマンドライン上でこのコマンドを実行します。

cmd> C:¥app¥11.2.0¥grid¥bin¥crsctl status res -t --------------------------------------------------------------------------------NAME TARGET STATE SERVER STATE_DETAILS --------------------------------------------------------------------------------Local Resources --------------------------------------------------------------------------------ora.DG_ARCH.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_CRS.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_DATA.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_REDO.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_REDO_M.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.LISTENER.lsnr ONLINE ONLINE node1 ONLINE ONLINE node2 ora.asm ONLINE ONLINE node1 Started ONLINE ONLINE node2 Started ora.gsd OFFLINE OFFLINE node1

Page 33: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 32

OFFLINE OFFLINE node2 ora.net1.network ONLINE ONLINE node1 ONLINE ONLINE node2 ora.ons ONLINE ONLINE node1 ONLINE ONLINE node2 ora.registry.acfs ONLINE ONLINE node1 ONLINE OFFLINE node2 --------------------------------------------------------------------------------Cluster Resources --------------------------------------------------------------------------------ora.LISTENER_SCAN1.lsnr 1 ONLINE ONLINE node2 ora.LISTENER_SCAN2.lsnr 1 ONLINE ONLINE node1 ora.LISTENER_SCAN3.lsnr 1 ONLINE ONLINE node1 ora.cvu 1 OFFLINE OFFLINE ora.node1.vip 1 ONLINE ONLINE node1 ora.node2.vip 1 ONLINE ONLINE node2 ora.oc4j 1 ONLINE ONLINE node2 ora.rac.db 1 ONLINE ONLINE node1 Open 2 ONLINE ONLINE node2 Open ora.scan1.vip 1 ONLINE ONLINE node2 ora.scan2.vip 1 ONLINE ONLINE node1 ora.scan3.vip 1 ONLINE ONLINE node1 cmd> C:¥app¥Administrator¥product¥11.2.0¥dbhome_1¥bin¥srvctl stop database -d rac-o abort cmd> C:¥app¥11.2.0¥grid¥bin¥crsctl status res -t --------------------------------------------------------------------------------NAME TARGET STATE SERVER STATE_DETAILS --------------------------------------------------------------------------------Local Resources --------------------------------------------------------------------------------ora.DG_ARCH.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_CRS.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_DATA.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_REDO.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_REDO_M.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.LISTENER.lsnr ONLINE ONLINE node1 ONLINE ONLINE node2 ora.asm

Page 34: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 33

ONLINE ONLINE node1 Started ONLINE ONLINE node2 Started ora.gsd OFFLINE OFFLINE node1 OFFLINE OFFLINE node2 ora.net1.network ONLINE ONLINE node1 ONLINE ONLINE node2 ora.ons ONLINE ONLINE node1 ONLINE ONLINE node2 ora.registry.acfs ONLINE ONLINE node1 ONLINE OFFLINE node2 --------------------------------------------------------------------------------Cluster Resources --------------------------------------------------------------------------------ora.LISTENER_SCAN1.lsnr 1 ONLINE ONLINE node2 ora.LISTENER_SCAN2.lsnr 1 ONLINE ONLINE node1 ora.LISTENER_SCAN3.lsnr 1 ONLINE ONLINE node1 ora.cvu 1 OFFLINE OFFLINE ora.node1.vip 1 ONLINE ONLINE node1 ora.node2.vip 1 ONLINE ONLINE node2 ora.oc4j 1 ONLINE ONLINE node2 ora.rac.db 1 OFFLINE OFFLINE Instance Shutdown 2 OFFLINE OFFLINE Instance Shutdown ora.scan1.vip 1 ONLINE ONLINE node2 ora.scan2.vip 1 ONLINE ONLINE node1 ora.scan3.vip 1 ONLINE ONLINE node1 DG_CRS 以外のすべてのディスクグループをディスマウントします。 node2 の ASM インスタンス上でこのコマンドを実行します。

SQL> select ag.name "GROUP_NAME", ad.mount_status, ad.header_status, ad.path

2 from v$asm_disk ad, v$asm_diskgroup ag 3 where ad.group_number != 0 and ad.group_number = ag.group_number;

GROUP_NAME MOUNT_S HEADER_STATU PATH ------------ --------- ------------- --------------------------- DG_ARCH CACHED CANDIDATE ¥¥.¥ORCLDISKDATA9 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA3 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA4 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA8 DG_DATA CACHED CANDIDATE ¥¥.¥ORCLDISKDATA1 DG_DATA CACHED CANDIDATE ¥¥.¥ORCLDISKDATA2 DG_DATA CACHED CANDIDATE ¥¥.¥ORCLDISKDATA6 DG_DATA CACHED CANDIDATE ¥¥.¥ORCLDISKDATA7 DG_REDO CACHED CANDIDATE ¥¥.¥ORCLDISKDATA0 DG_REDO_M CACHED CANDIDATE ¥¥.¥ORCLDISKDATA5 SQL> select group_number, name, state, type from v$asm_diskgroup; GROUP_NUMBER NAME STATE TYPE

Page 35: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 34

------------ ------------- ----------- --------- 1 DG_CRS MOUNTED NORMAL 2 DG_ARCH MOUNTED EXTERN 3 DG_DATA MOUNTED EXTERN 4 DG_REDO MOUNTED EXTERN 5 DG_REDO_M MOUNTED EXTERN SQL> alter diskgroup DG_DATA, DG_REDO, DG_REDO_M, DG_ARCH dismount; Diskgroup altered. SQL> select ag.name "GROUP_NAME", ad.mount_status, ad.header_status, ad.path

2 from v$asm_disk ad, v$asm_diskgroup ag 3 where ad.group_number != 0 and ad.group_number = ag.group_number;

GROUP_NAME MOUNT_S HEADER_STATU PATH ------------ --------- ------------- ---------------------------------------- CLOSED CANDIDATE ¥¥.¥ORCLDISKDATA9 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA3 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA4 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA8 CLOSED CANDIDATE ¥¥.¥ORCLDISKDATA1 CLOSED CANDIDATE ¥¥.¥ORCLDISKDATA2 CLOSED CANDIDATE ¥¥.¥ORCLDISKDATA6 CLOSED CANDIDATE ¥¥.¥ORCLDISKDATA7 CLOSED CANDIDATE ¥¥.¥ORCLDISKDATA0 CLOSED CANDIDATE ¥¥.¥ORCLDISKDATA5 SQL> select group_number, name, state, type from v$asm_diskgroup; GROUP_NUMBER NAME STATE TYPE ------------ ------------- ----------- --------- 1 DG_CRS MOUNTED NORMAL DG_CRS 以外のすべてのディスクグループを削除します。 node1 の ASM インスタンス上でこのコマンドを実行します。

SQL> drop diskgroup DG_DATA including contents; Diskgroup dropped. SQL> drop diskgroup DG_REDO including contents; Diskgroup dropped. SQL> drop diskgroup DG_REDO_M including contents; Diskgroup dropped. SQL> drop diskgroup DG_ARCH including contents; Diskgroup dropped. SQL> select ag.name "GROUP_NAME", ad.mount_status, ad.header_status, ad.path

2 from v$asm_disk ad, v$asm_diskgroup ag 3 where ad.group_number != 0 and ad.group_number = ag.group_number;

GROUP_NAME MOUNT_S HEADER_STATU PATH ------------ --------- ------------- ---------------------------------------- CLOSED CANDIDATE ¥¥.¥ORCLDISKDATA9 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA3 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA4 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA8 CLOSED CANDIDATE ¥¥.¥ORCLDISKDATA1

Page 36: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 35

CLOSED CANDIDATE ¥¥.¥ORCLDISKDATA2 CLOSED CANDIDATE ¥¥.¥ORCLDISKDATA6 CLOSED CANDIDATE ¥¥.¥ORCLDISKDATA7 CLOSED CANDIDATE ¥¥.¥ORCLDISKDATA0 CLOSED CANDIDATE ¥¥.¥ORCLDISKDATA5 SQL> select group_number, name, state, type from v$asm_diskgroup; GROUP_NUMBER NAME STATE TYPE ------------ ------------- ----------- --------- 1 DG_CRS MOUNTED NORMAL ASMCMD ユーティリティで取得したメタデータのバックアップから、DG_REDO と DG_REDO_M と

DG_ARCH のメタデータをリストアします。 node1 の ASMCMD ユーティリティ上でこのコマンドを実行します。

ASMCMD > md_restore /backup/meta/md_bk --full -G 'DG_REDO' Current Diskgroup metadata being restored: DG_REDO Diskgroup DG_REDO created! System template BACKUPSET modified! System template FLASHFILE modified! System template CHANGETRACKING modified! System template TEMPFILE modified! System template ONLINELOG modified! System template FLASHBACK modified! System template CONTROLFILE modified! System template DATAGUARDCONFIG modified! System template ASMPARAMETERFILE modified! System template DATAFILE modified! System template OCRFILE modified! System template XTRANSPORT modified! System template PARAMETERFILE modified! System template DUMPSET modified! System template ARCHIVELOG modified! System template AUTOBACKUP modified! Directory +DG_REDO/RAC re-created! Directory +DG_REDO/RAC/CONTROLFILE re-created! Directory +DG_REDO/RAC/ONLINELOG re-created! Directory +DG_REDO/RAC/PARAMETERFILE re-created!

ASMCMD > md_restore /backup/meta/md_bk --full -G 'DG_REDO_M' Current Diskgroup metadata being restored: DG_REDO_M Diskgroup DG_REDO_M created! System template ONLINELOG modified! System template XTRANSPORT modified! System template CONTROLFILE modified! System template DATAFILE modified! System template BACKUPSET modified! System template DUMPSET modified! System template CHANGETRACKING modified! System template OCRFILE modified! System template DATAGUARDCONFIG modified! System template TEMPFILE modified! System template ASMPARAMETERFILE modified! System template FLASHFILE modified! System template PARAMETERFILE modified! System template FLASHBACK modified! System template AUTOBACKUP modified! System template ARCHIVELOG modified! Directory +DG_REDO_M/RAC re-created! Directory +DG_REDO_M/RAC/ONLINELOG re-created! Directory +DG_REDO_M/RAC/CONTROLFILE re-created! ASMCMD > md_restore /backup/meta/md_bk --full -G 'DG_ARCH'

Page 37: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 36

Current Diskgroup metadata being restored: DG_ARCH Diskgroup DG_ARCH created! System template BACKUPSET modified! System template FLASHFILE modified! System template CHANGETRACKING modified! System template TEMPFILE modified! System template ONLINELOG modified! System template FLASHBACK modified! System template CONTROLFILE modified! System template DATAGUARDCONFIG modified! System template ASMPARAMETERFILE modified! System template DATAFILE modified! System template OCRFILE modified! System template XTRANSPORT modified! System template PARAMETERFILE modified! System template DUMPSET modified! System template ARCHIVELOG modified! System template AUTOBACKUP modified! Directory +DG_ARCH/rac re-created! Directory +DG_ARCH/rac/arch re-created! Directory +DG_ARCH/rac/ARCHIVELOG re-created! Directory +DG_ARCH/rac/snapcf re-created! Directory +DG_ARCH/rac/CONTROLFILE re-created! Directory +DG_ARCH/rac/ARCHIVELOG/2012_12_04 re-created! Directory +DG_ARCH/rac/ARCHIVELOG/2012_12_05 re-created! Directory +DG_ARCH/rac/ARCHIVELOG/2012_12_06 re-created! SQL> select ag.name "GROUP_NAME", ad.mount_status, ad.header_status, ad.path

2 from v$asm_disk ad, v$asm_diskgroup ag 3 where ad.group_number != 0 and ad.group_number = ag.group_number;

GROUP_NAME MOUNT_S HEADER_STATU PATH ------------ --------- ------------- --------------------------- DG_ARCH CACHED MEMBER ¥¥.¥ORCLDISKDATA9 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA3 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA4 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA8 CLOSED CANDIDATE ¥¥.¥ORCLDISKDATA1 CLOSED CANDIDATE ¥¥.¥ORCLDISKDATA2 CLOSED CANDIDATE ¥¥.¥ORCLDISKDATA6 CLOSED CANDIDATE ¥¥.¥ORCLDISKDATA7 DG_REDO CACHED MEMBER ¥¥.¥ORCLDISKDATA0 DG_REDO_M CACHED MEMBER ¥¥.¥ORCLDISKDATA5 SQL> select group_number, name, state, type from v$asm_diskgroup; GROUP_NUMBER NAME STATE TYPE ------------ ------------- ----------- --------- 1 DG_CRS MOUNTED NORMAL 2 DG_REDO MOUNTED EXTERN 3 DG_REDO_M MOUNTED EXTERN 4 DG_ARCH MOUNTED EXTERN アドバンスト・コピー機能でデータファイルのディスクグループに属するすべてのパーティショ

ンをリストアします。 ACM 管理サーバーの OS コマンドライン上でこのコマンドを実行します。

cmd> c:¥ETERNUS_SF¥CCM¥bin¥acopc start -g dg_online –r et440s2/0x01:et440s2/0x16 # DATE : 2012/12/07 13:28:26 - << OPC Started >> # From:BoxID=3030455445524e555344584d53324554343432534123232323234c44343533313134333030322323/Olu=16/Adr_high=0/Adr_low=0/size_high=0/size_low=0 # To :BoxID=3030455445524e555344584d53324554343432534123232323234c4434353331313

Page 38: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 37

4333030322323/Olu=1/Adr_high=0/Adr_low=0 et440s2/0x02:et440s2/0x17 # DATE : 2012/12/07 13:28:27 - << OPC Started >> # From:BoxID=3030455445524e555344584d53324554343432534123232323234c44343533313134333030322323/Olu=17/Adr_high=0/Adr_low=0/size_high=0/size_low=0 # To :BoxID=3030455445524e555344584d53324554343432534123232323234c44343533313134333030322323/Olu=2/Adr_high=0/Adr_low=0 et440s2/0x08:et440s2/0x18 # DATE : 2012/12/07 13:28:28 - << OPC Started >> # From:BoxID=3030455445524e555344584d53324554343432534123232323234c44343533313134333030322323/Olu=18/Adr_high=0/Adr_low=0/size_high=0/size_low=0 # To :BoxID=3030455445524e555344584d53324554343432534123232323234c44343533313134333030322323/Olu=8/Adr_high=0/Adr_low=0 et440s2/0x09:et440s2/0x19 # DATE : 2012/12/07 13:28:30 - << OPC Started >> # From:BoxID=3030455445524e555344584d53324554343432534123232323234c44343533313134333030322323/Olu=19/Adr_high=0/Adr_low=0/size_high=0/size_low=0 # To :BoxID=3030455445524e555344584d53324554343432534123232323234c44343533313134333030322323/Olu=9/Adr_high=0/Adr_low=0 Succeeded : 4 Failed : 0 リストアの確認を行います。 ACM 管理サーバーの OS コマンドライン上でこのコマンドを実行します。

cmd>c:¥ETERNUS_SF¥CCM¥bin¥acopc query -g dg_online -r Copy Group Name : dg_online Copy Group Type : QuickOPC Disk Array Name : et440s2 (00ETERNUSDXMS2ET442SA#####LD4531143002##) Source <=> Target SID OPC Status Copy Phase Copied Block ------------ --- ------------ ---- --------------- ---------- ------------ et440s2/0x01 <== et440s2/0x16 0x61 "OPC Executing" "Copying" 56623104 et440s2/0x02 <== et440s2/0x17 0x62 "OPC Executing" "Copying" 56623104 et440s2/0x08 <== et440s2/0x18 0x63 "OPC Executing" "Copying" 58720256 et440s2/0x09 <== et440s2/0x19 0x64 "OPC Executing" "Copying" 56623104 データファイルのディスクグループをマウントします。 node1 の ASM インスタンス上でこのコマンドを実行します。

SQL> select ag.name "GROUP_NAME", ad.mount_status, ad.header_status, ad.path

2 from v$asm_disk ad, v$asm_diskgroup ag 3 where ad.group_number != 0 and ad.group_number = ag.group_number;

GROUP_NAME MOUNT_S HEADER_STATU PATH ------------ --------- ------------- --------------------------- DG_ARCH CACHED MEMBER ¥¥.¥ORCLDISKDATA9 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA3 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA4 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA8 CLOSED MEMBER ¥¥.¥ORCLDISKDATA1 CLOSED MEMBER ¥¥.¥ORCLDISKDATA2 CLOSED MEMBER ¥¥.¥ORCLDISKDATA6 CLOSED MEMBER ¥¥.¥ORCLDISKDATA7 DG_REDO CACHED MEMBER ¥¥.¥ORCLDISKDATA0 DG_REDO_M CACHED MEMBER ¥¥.¥ORCLDISKDATA5 SQL> select group_number, name, state, type from v$asm_diskgroup;

Page 39: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 38

GROUP_NUMBER NAME STATE TYPE ------------ ------------- ----------- --------- 1 DG_CRS MOUNTED NORMAL 2 DG_REDO MOUNTED EXTERN 3 DG_REDO_M MOUNTED EXTERN 4 DG_ARCH MOUNTED EXTERN 0 DG_DATA DISMOUNTED SQL> alter diskgroup DG_DATA mount; Diskgroup altered. SQL> select ag.name "GROUP_NAME", ad.mount_status, ad.header_status, ad.path

2 from v$asm_disk ad, v$asm_diskgroup ag 3 where ad.group_number != 0 and ad.group_number = ag.group_number;

GROUP_NAME MOUNT_S HEADER_STATU PATH ------------ --------- ------------- --------------------------- DG_ARCH CACHED MEMBER ¥¥.¥ORCLDISKDATA9 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA3 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA4 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA8 DG_DATA CACHED MEMBER ¥¥.¥ORCLDISKDATA1 DG_DATA CACHED MEMBER ¥¥.¥ORCLDISKDATA2 DG_DATA CACHED MEMBER ¥¥.¥ORCLDISKDATA6 DG_DATA CACHED MEMBER ¥¥.¥ORCLDISKDATA7 DG_REDO CACHED MEMBER ¥¥.¥ORCLDISKDATA0 DG_REDO_M CACHED MEMBER ¥¥.¥ORCLDISKDATA5 SQL> select group_number, name, state, type from v$asm_diskgroup; GROUP_NUMBER NAME STATE TYPE ------------ ------------- ----------- --------- 1 DG_CRS MOUNTED NORMAL 2 DG_REDO MOUNTED EXTERN 3 DG_REDO_M MOUNTED EXTERN 4 DG_ARCH MOUNTED EXTERN 5 DG_DATA MOUNTED EXTERN バックアップの初期化バラメータを指定し、NOMOUNT モードで、データベースのインスタンスを

起動します。 node1 のリカバリマネージャー上でこのコマンドを実行します。

RMAN> startup nomount pfile='E:¥backup¥pfile_db¥initrac.ora'; Oracle インスタンスが起動しました システム・グローバル領域の合計は、 5027385344 バイトです。 Fixed Size 2237008 バイト Variable Size 1040190896 バイト Database Buffers 3976200192 バイト Redo Buffers 8757248 バイト 自動バックアップ制御ファイルをリストアします。 node1 のリカバリマネージャー上でこのコマンドを実行します。

RMAN> restore controlfile from autobackup; restore が開始されました(開始時間: 12-12-06) チャネル: ORA_DISK_1 が割り当てられました チャネル ORA_DISK_1: SID=123 インスタンス=rac1 デバイス・タイプ=DISK

Page 40: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 39

チャネル ORA_DISK_1: 曜日の自動バックアップを探しています: 20121206 チャネル ORA_DISK_1: 自動バックアップが見つかりました: E:¥rman¥c-2389143809-20121206-04 チャネル ORA_DISK_1: 自動バックアップ E:¥rman¥c-2389143809-20121206-04 から制御ファイルをリスト

アしています チャネル ORA_DISK_1: 自動バックアップからの制御ファイルのリストアが完了しました 出力ファイル名=+DG_REDO/rac/control01.ctl 出力ファイル名=+DG_REDO_M/rac/control02.ctl restore が完了しました(完了時間: 12-12-06) データベースをマウントします。 node1 のリカバリマネージャー上でこのコマンドを実行します。

RMAN> alter database mount; データベースがマウントされました。 チャネル: ORA_DISK_1 がリリースされました バックアップしたサーバー・パラメータ・ファイルをリストアします。 node1 のリカバリマネージャー上でこのコマンドを実行します。 RMAN > restore spfile; restore が開始されました(開始時間: 12-12-06) チャネル: ORA_DISK_1 が割り当てられました チャネル ORA_DISK_1: SID=146 インスタンス=rac1 デバイス・タイプ=DISK チャネル ORA_DISK_1: データファイル・バックアップ・セットのリストアを開始しています チャネル ORA_DISK_1: SPFILE をリストアしています 出力ファイル名=+DG_REDO/rac/spfilerac.ora チャネル ORA_DISK_1: バックアップ・ピース E:¥RMAN¥C-2389143809-20121206-04 から読取り中です チャネル ORA_DISK_1: ピース・ハンドル=E:¥RMAN¥C-2389143809-20121206-04 タグ=TAG20121206T191905 チャネル ORA_DISK_1: バックアップ・ピース 1 がリストアされました チャネル ORA_DISK_1: リストアが完了しました。経過時間: 00:00:01 restore が完了しました(完了時間: 12-12-06) 不完全回復を実行します。 node1 のリカバリマネージャー上でこのコマンドを実行します。

RMAN> recover database until sequence 5 thread 1; recover が開始されました(開始時間: 12-12-06) チャネル ORA_DISK_1 の使用 メディア・リカバリを開始しています チャネル ORA_DISK_1: デフォルトの宛先へのアーカイブ・ログのリストアを開始しています チャネル ORA_DISK_1: アーカイブ・ログをリストアしています アーカイブ・ログ・スレッド=1 順序=2 チャネル ORA_DISK_1: アーカイブ・ログをリストアしています アーカイブ・ログ・スレッド=2 順序=3 チャネル ORA_DISK_1: アーカイブ・ログをリストアしています アーカイブ・ログ・スレッド=1 順序=3 チャネル ORA_DISK_1: アーカイブ・ログをリストアしています アーカイブ・ログ・スレッド=1 順序=4 チャネル ORA_DISK_1: バックアップ・ピース E:¥RMAN¥0KNS71KO_1_1 から読取り中です チャネル ORA_DISK_1: ピース・ハンドル=E:¥RMAN¥0KNS71KO_1_1 タグ=TAG20121206T191634

Page 41: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 40

チャネル ORA_DISK_1: バックアップ・ピース 1 がリストアされました チャネル ORA_DISK_1: リストアが完了しました。経過時間: 00:00:15 アーカイブ・ログ・ファイル名=+DG_ARCH/rac/arch/arc0000000002_0801336739.0001 スレッド=1 順序=2 アーカイブ・ログ・ファイル名=+DG_ARCH/rac/arch/arc0000000003_0801336739.0002 スレッド=2 順序=3 アーカイブ・ログ・ファイル名=+DG_ARCH/rac/arch/arc0000000003_0801336739.0001 スレッド=1 順序=3 アーカイブ・ログ・ファイル名=+DG_ARCH/rac/arch/arc0000000004_0801336739.0001 スレッド=1 順序=4 メディア・リカバリが完了しました。経過時間: 00:00:57 recover が完了しました(完了時間: 12-12-06) RESETLOGS オプションでデータベースをオープンします。 node1 のリカバリマネージャー上でこのコマンドを実行します。

RMAN> alter database open resetlogs; データベースがオープンしました。 データベースの新しいインカネーションがリカバリ・カタログに登録されました リカバリ・カタログの完全再同期を開始しています 完全再同期が完了しました すべての ASM インスタンスで DG_CRS 以外のすべてのディスクグループを マウントします。 node2 の ASM インスタンス上でこのコマンドを実行します。

SQL> alter diskgroup DG_DATA, DG_REDO, DG_REDO_M, DG_ARCH mount; Diskgroup altered. SQL> select ag.name "GROUP_NAME", ad.mount_status, ad.header_status, ad.path

2 from v$asm_disk ad, v$asm_diskgroup ag 3 where ad.group_number != 0 and ad.group_number = ag.group_number;

GROUP_NAME MOUNT_S HEADER_STATU PATH ------------ --------- ------------- --------------------------- DG_ARCH CACHED MEMBER ¥¥.¥ORCLDISKDATA9 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA3 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA4 DG_CRS CACHED MEMBER ¥¥.¥ORCLDISKDATA8 DG_DATA CACHED MEMBER ¥¥.¥ORCLDISKDATA1 DG_DATA CACHED MEMBER ¥¥.¥ORCLDISKDATA2 DG_DATA CACHED MEMBER ¥¥.¥ORCLDISKDATA6 DG_DATA CACHED MEMBER ¥¥.¥ORCLDISKDATA7 DG_REDO CACHED MEMBER ¥¥.¥ORCLDISKDATA0 DG_REDO_M CACHED MEMBER ¥¥.¥ORCLDISKDATA5 SQL> select group_number, name, state, type from v$asm_diskgroup; GROUP_NUMBER NAME STATE TYPE ------------ ------------- ----------- --------- 1 DG_CRS MOUNTED NORMAL 2 DG_ARCH MOUNTED EXTERN 3 DG_DATA MOUNTED EXTERN 4 DG_REDO MOUNTED EXTERN 5 DG_REDO_M MOUNTED EXTERN データベースのインスタンスをサーバー・パラメータ・ファイルから起動し直すために、データベ

ースのインスタンスを終了します。 node1 の OS コマンドライン上でこのコマンドを実行します。

Page 42: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 41

cmd> C:¥app¥11.2.0¥grid¥bin¥crsctl status res –t --------------------------------------------------------------------------------NAME TARGET STATE SERVER STATE_DETAILS --------------------------------------------------------------------------------Local Resources --------------------------------------------------------------------------------ora.DG_ARCH.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_CRS.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_DATA.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_REDO.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_REDO_M.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.LISTENER.lsnr ONLINE ONLINE node1 ONLINE ONLINE node2 ora.asm ONLINE ONLINE node1 Started ONLINE ONLINE node2 Started ora.gsd OFFLINE OFFLINE node1 OFFLINE OFFLINE node2 ora.net1.network ONLINE ONLINE node1 ONLINE ONLINE node2 ora.ons ONLINE ONLINE node1 ONLINE ONLINE node2 ora.registry.acfs ONLINE ONLINE node1 ONLINE OFFLINE node2 --------------------------------------------------------------------------------Cluster Resources --------------------------------------------------------------------------------ora.LISTENER_SCAN1.lsnr 1 ONLINE ONLINE node2 ora.LISTENER_SCAN2.lsnr 1 ONLINE ONLINE node1 ora.LISTENER_SCAN3.lsnr 1 ONLINE ONLINE node1 ora.cvu 1 OFFLINE OFFLINE ora.node1.vip 1 ONLINE ONLINE node1 ora.node2.vip 1 ONLINE ONLINE node2 ora.oc4j 1 ONLINE ONLINE node2 ora.rac.db 1 ONLINE ONLINE node1 Open 2 OFFLINE OFFLINE Instance Shutdown ora.scan1.vip 1 ONLINE ONLINE node2 ora.scan2.vip 1 ONLINE ONLINE node1 ora.scan3.vip

Page 43: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 42

1 ONLINE ONLINE node1 cmd> C:¥app¥Administrator¥product¥11.2.0¥dbhome_1¥bin¥srvctl stop instance -d rac-n node1 –o immediate cmd> C:¥app¥11.2.0¥grid¥bin¥crsctl status res –t --------------------------------------------------------------------------------NAME TARGET STATE SERVER STATE_DETAILS --------------------------------------------------------------------------------Local Resources --------------------------------------------------------------------------------ora.DG_ARCH.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_CRS.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_DATA.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_REDO.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_REDO_M.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.LISTENER.lsnr ONLINE ONLINE node1 ONLINE ONLINE node2 ora.asm ONLINE ONLINE node1 Started ONLINE ONLINE node2 Started ora.gsd OFFLINE OFFLINE node1 OFFLINE OFFLINE node2 ora.net1.network ONLINE ONLINE node1 ONLINE ONLINE node2 ora.ons ONLINE ONLINE node1 ONLINE ONLINE node2 ora.registry.acfs ONLINE ONLINE node1 ONLINE OFFLINE node2 --------------------------------------------------------------------------------Cluster Resources --------------------------------------------------------------------------------ora.LISTENER_SCAN1.lsnr 1 ONLINE ONLINE node2 ora.LISTENER_SCAN2.lsnr 1 ONLINE ONLINE node1 ora.LISTENER_SCAN3.lsnr 1 ONLINE ONLINE node1 ora.cvu 1 OFFLINE OFFLINE ora.node1.vip 1 ONLINE ONLINE node1 ora.node2.vip 1 ONLINE ONLINE node2 ora.oc4j 1 ONLINE ONLINE node2 ora.rac.db 1 OFFLINE OFFLINE Instance Shutdown 2 OFFLINE OFFLINE Instance Shutdown ora.scan1.vip

Page 44: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 43

1 ONLINE ONLINE node2 ora.scan2.vip 1 ONLINE ONLINE node1 ora.scan3.vip 1 ONLINE ONLINE node1 すべてのデータベースインスタンスを起動します。 node1 の OS コマンドライン上でこのコマンドを実行します。

cmd> C:¥app¥Administrator¥product¥11.2.0¥dbhome_1¥bin¥srvctl start database -d rac cmd> C:¥app¥11.2.0¥grid¥bin¥crsctl status res –t --------------------------------------------------------------------------------NAME TARGET STATE SERVER STATE_DETAILS --------------------------------------------------------------------------------Local Resources --------------------------------------------------------------------------------ora.DG_ARCH.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_CRS.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_DATA.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_REDO.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_REDO_M.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.LISTENER.lsnr ONLINE ONLINE node1 ONLINE ONLINE node2 ora.asm ONLINE ONLINE node1 Started ONLINE ONLINE node2 Started ora.gsd OFFLINE OFFLINE node1 OFFLINE OFFLINE node2 ora.net1.network ONLINE ONLINE node1 ONLINE ONLINE node2 ora.ons ONLINE ONLINE node1 ONLINE ONLINE node2 ora.registry.acfs ONLINE ONLINE node1 ONLINE OFFLINE node2 --------------------------------------------------------------------------------Cluster Resources --------------------------------------------------------------------------------ora.LISTENER_SCAN1.lsnr 1 ONLINE ONLINE node2 ora.LISTENER_SCAN2.lsnr 1 ONLINE ONLINE node1 ora.LISTENER_SCAN3.lsnr 1 ONLINE ONLINE node1 ora.cvu 1 OFFLINE OFFLINE ora.node1.vip 1 ONLINE ONLINE node1 ora.node2.vip

Page 45: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 44

1 ONLINE ONLINE node2 ora.oc4j 1 ONLINE ONLINE node2 ora.rac.db 1 ONLINE ONLINE node1 Open 2 ONLINE ONLINE node2 Open ora.scan1.vip 1 ONLINE ONLINE node2 ora.scan2.vip 1 ONLINE ONLINE node1 ora.scan3.vip 1 ONLINE ONLINE node1 アーカイブ・ログ・ファイルの無効なエントリを削除します。 node1 のリカバリマネージャー上でこのコマンドを実行します。

RMAN> crosscheck archivelog all; リカバリ・カタログの完全再同期を開始しています 完全再同期が完了しました チャネル: ORA_DISK_1 が割り当てられました チャネル ORA_DISK_1: SID=48 インスタンス=rac1 デバイス・タイプ=DISK アーカイブ・ログの検証に失敗しました アーカイブ・ログ・ファイル名=+DG_ARCH/rac/arch/arc0000000007_0801161793.0001 レコードID=3 スタンプ=801170772 アーカイブ・ログの検証に失敗しました アーカイブ・ログ・ファイル名=+DG_ARCH/rac/arch/arc0000000008_0801161793.0001 レコードID=4 スタンプ=801170772 アーカイブ・ログの検証に失敗しました

アーカイブ・ログ・ファイル名=+DG_ARCH/rac/arch/arc0000000009_0801161793.0001 レコ

ード ID=5 スタンプ=801170773 :

アーカイブ・ログの検証が正常終了しました アーカイブ・ログ・ファイル名=+DG_ARCH/rac/arch/arc0000000001_0801344123.0002 レコード ID=83 スタンプ= 801344153 81 オブジェクトをクロスチェックしました RMAN> list archivelog all; データベース db_unique_name RAC のアーカイブ・ログ・コピーのリスト ===================================================================== Key Thrd Seq S Low 時間 ------- ---- ------- - -------- 32 1 7 X 12-12-04 名前: +DG_ARCH/rac/arch/arc0000000007_0801161793.0001 33 1 8 X 12-12-04 名前: +DG_ARCH/rac/arch/arc0000000008_0801161793.0001 : 1338 1 2 A 12-12-06 名前: +DG_ARCH/rac/arch/arc0000000002_0801344123.0001 1315 2 1 A 12-12-06 名前: +DG_ARCH/rac/arch/arc0000000001_0801344123.0002

Page 46: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 45

RMAN> delete expired archivelog all; チャネル: ORA_DISK_1 がリリースされました チャネル: ORA_DISK_1 が割り当てられました チャネル ORA_DISK_1: SID=48 インスタンス=rac1 デバイス・タイプ=DISK データベース db_unique_name RAC のアーカイブ・ログ・コピーのリスト ===================================================================== Key Thrd Seq S Low 時間 ------- ---- ------- - -------- 32 1 7 X 12-12-04 名前: +DG_ARCH/rac/arch/arc0000000007_0801161793.0001 33 1 8 X 12-12-04

名前: +DG_ARCH/rac/arch/arc0000000008_0801161793.0001 :

1041 2 2 X 12-12-06 名前: +DG_ARCH/rac/arch/arc0000000002_0801336739.0002 このオブジェクトを削除しますか(YES または NO を入力してください)。yes アーカイブ・ログを削除しました アーカイブ・ログ・ファイル名=+DG_ARCH/rac/arch/arc0000000007_0801161793.0001 レコードID=3 スタンプ=801170772

: アーカイブ・ログを削除しました アーカイブ・ログ・ファイル名=+DG_ARCH/rac/arch/arc0000000001_0801336739.0002 レコード ID=72 スタンプ=801336769 アーカイブ・ログを削除しました アーカイブ・ログ・ファイル名=+DG_ARCH/rac/arch/arc0000000002_0801336739.0002 レコード ID=74 スタンプ=801342182 74EXPIRED オブジェクトを削除しました RMAN> list archivelog all; データベース db_unique_name RAC のアーカイブ・ログ・コピーのリスト ===================================================================== Key Thrd Seq S Low 時間 ------- ---- ------- - -------- 1187 1 2 A 12-12-06 名前: +DG_ARCH/rac/arch/arc0000000002_0801336739.0001 1186 1 3 A 12-12-06 名前: +DG_ARCH/rac/arch/arc0000000003_0801336739.0001 1185 1 4 A 12-12-06 名前: +DG_ARCH/rac/arch/arc0000000004_0801336739.0001 1184 2 3 A 12-12-06 名前: +DG_ARCH/rac/arch/arc0000000003_0801336739.0002 1337 1 1 A 12-12-06 名前: +DG_ARCH/rac/arch/arc0000000001_0801344123.0001

Page 47: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 46

1338 1 2 A 12-12-06 名前: +DG_ARCH/rac/arch/arc0000000002_0801344123.0001 1315 2 1 A 12-12-06 名前: +DG_ARCH/rac/arch/arc0000000001_0801344123.0002

DG_CRS のディスクグループが壊れた場合

node1 の CRS を停止します。 node1 の OS コマンドライン上でこのコマンドを実行します。

cmd> C:¥app¥11.2.0¥grid¥bin¥crsctl status resource -t --------------------------------------------------------------------------------NAME TARGET STATE SERVER STATE_DETAILS --------------------------------------------------------------------------------Local Resources --------------------------------------------------------------------------------ora.DG_ARCH.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_CRS.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_DATA.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_REDO.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_REDO_M.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.LISTENER.lsnr ONLINE ONLINE node1 ONLINE ONLINE node2 ora.asm ONLINE ONLINE node1 Started ONLINE ONLINE node2 Started ora.gsd OFFLINE OFFLINE node1 OFFLINE OFFLINE node2 ora.net1.network ONLINE ONLINE node1 ONLINE ONLINE node2 ora.ons ONLINE ONLINE node1 ONLINE ONLINE node2 ora.registry.acfs ONLINE ONLINE node1 ONLINE OFFLINE node2 --------------------------------------------------------------------------------Cluster Resources --------------------------------------------------------------------------------ora.LISTENER_SCAN1.lsnr 1 ONLINE ONLINE node2 ora.LISTENER_SCAN2.lsnr 1 ONLINE ONLINE node1 ora.LISTENER_SCAN3.lsnr 1 ONLINE ONLINE node1 ora.cvu 1 OFFLINE OFFLINE

Page 48: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 47

ora.node1.vip 1 ONLINE ONLINE node1 ora.node2.vip 1 ONLINE ONLINE node2 ora.oc4j 1 ONLINE ONLINE node2 ora.rac.db 1 ONLINE ONLINE node1 Open 2 ONLINE ONLINE node2 Open ora.scan1.vip 1 ONLINE ONLINE node2 ora.scan2.vip 1 ONLINE ONLINE node1 ora.scan3.vip 1 ONLINE ONLINE node1 cmd> C:¥app¥Administrator¥product¥11.2.0¥dbhome_1¥bin¥srvctl stop database –d rac cmd> C:¥app¥Administrator¥product¥11.2.0¥dbhome_1¥bin¥srvctl stop listener cmd> C:¥app¥Administrator¥product¥11.2.0¥dbhome_1¥bin¥srvctl stop scan_listener cmd> C:¥app¥Administrator¥product¥11.2.0¥dbhome_1¥bin¥srvctl stop scan cmd> C:¥app¥Administrator¥product¥11.2.0¥dbhome_1¥bin¥srvctl stop oc4j cmd> C:¥app¥Administrator¥product¥11.2.0¥dbhome_1¥bin¥srvctl stop nodeapps cmd> C:¥app¥11.2.0¥grid¥bin¥crsctl stop crs -f CRS-2791: 'node1'上にある、Oracle 高可用性サービス管理下のリソースの停止を開始しています CRS-2673: 'ora.crf'('node1')の停止を試行しています CRS-2673: 'ora.ctssd'('node1')の停止を試行しています CRS-2673: 'ora.evmd'('node1')の停止を試行しています CRS-2673: 'ora.asm'('node1')の停止を試行しています CRS-2673: 'ora.mdnsd'('node1')の停止を試行しています CRS-2673: 'ora.drivers.acfs'('node1')の停止を試行しています CRS-2677: 'ora.mdnsd'('node1')の停止が成功しました CRS-2677: 'ora.crf'('node1')の停止が成功しました CRS-2677: 'ora.evmd'('node1')の停止が成功しました CRS-2677: 'ora.ctssd'('node1')の停止が成功しました CRS-2677: 'ora.asm'('node1')の停止が成功しました CRS-2673: 'ora.cssd'('node1')の停止を試行しています CRS-2677: 'ora.cssd'('node1')の停止が成功しました CRS-2673: 'ora.gipcd'('node1')の停止を試行しています CRS-2677: 'ora.gipcd'('node1')の停止が成功しました CRS-2673: 'ora.gpnpd'('node1')の停止を試行しています CRS-2677: 'ora.gpnpd'('node1')の停止が成功しました CRS-2677: 'ora.drivers.acfs'('node1')の停止が成功しました CRS-2793: 'node1'上にある、Oracle 高可用性サービス管理下のリソースの停止が完了しました CRS-4133: Oracle 高可用性サービスは停止されました。 node2 の CRS を停止します。 node2 の OS コマンドライン上でこのコマンドを実行します。

[root@node2]# /u01/app/11.2.0/grid/bin/crsctl stop crs -f CRS-2791: 'node2'上にある、Oracle 高可用性サービス管理下のリソースの停止を開始しています CRS-2673: 'ora.mdnsd'('node2')の停止を試行しています CRS-2673: 'ora.crf'('node2')の停止を試行しています CRS-2673: 'ora.ctssd'('node2')の停止を試行しています CRS-2673: 'ora.evmd'('node2')の停止を試行しています CRS-2673: 'ora.asm'('node2')の停止を試行しています CRS-2673: 'ora.drivers.acfs'('node2')の停止を試行しています CRS-2677: 'ora.crf'('node2')の停止が成功しました CRS-2677: 'ora.mdnsd'('node2')の停止が成功しました

Page 49: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 48

CRS-2677: 'ora.evmd'('node2')の停止が成功しました CRS-2677: 'ora.ctssd'('node2')の停止が成功しました CRS-2677: 'ora.asm'('node2')の停止が成功しました CRS-2673: 'ora.cssd'('node2')の停止を試行しています CRS-2677: 'ora.cssd'('node2')の停止が成功しました CRS-2673: 'ora.gipcd'('node2')の停止を試行しています CRS-2677: 'ora.gipcd'('node2')の停止が成功しました CRS-2673: 'ora.gpnpd'('node2')の停止を試行しています CRS-2677: 'ora.gpnpd'('node2')の停止が成功しました CRS-2677: 'ora.drivers.acfs'('node2')の停止が成功しました CRS-2793: 'node2'上にある、Oracle 高可用性サービス管理下のリソースの停止が完了しました CRS-4133: Oracle 高可用性サービスは停止されました。 ocopy コマンドを使用して DG_CRS のディスクヘッダーをクリアします。 node1 の OS コマンドライン上でこのコマンドを実行します。

cmd> ocopy C:¥tmp¥file0 ¥¥.¥ORCLDISKDATA3 ¥¥.¥ORCLDISKDATA3 cmd> ocopy C:¥tmp¥file0 ¥¥.¥ORCLDISKDATA4 ¥¥.¥ORCLDISKDATA4 cmd> ocopy C:¥tmp¥file0 ¥¥.¥ORCLDISKDATA8 ¥¥.¥ORCLDISKDATA8 DG_CRS のシンボリックリンクを作成します。 node1 の OS コマンドライン上でこのコマンドを実行します。

cmd> C:¥app¥11.2.0¥grid¥bin¥ asmtool –list NTFS ¥Device¥Harddisk0¥Partition1 100M NTFS ¥Device¥Harddisk0¥Partition2 237850M ORCLDISKDATA0 ¥Device¥Harddisk1¥Partition1 40957M ORCLDISKDATA1 ¥Device¥Harddisk2¥Partition1 30717M ORCLDISKDATA2 ¥Device¥Harddisk3¥Partition1 30717M ¥Device¥Harddisk4¥Partition1 1022M ¥Device¥Harddisk5¥Partition1 1022M ORCLDISKDATA5 ¥Device¥Harddisk6¥Partition1 40957M ORCLDISKDATA6 ¥Device¥Harddisk7¥Partition1 30717M ORCLDISKDATA7 ¥Device¥Harddisk8¥Partition1 30717M ¥Device¥Harddisk9¥Partition1 1022M ORCLDISKDATA9 ¥Device¥Harddisk10¥Partition1 102397M cmd> asmtool -add ¥Device¥Harddisk4¥Partition1 ORCLDISKDATA3 cmd> asmtool -add ¥Device¥Harddisk5¥Partition1 ORCLDISKDATA4 cmd> asmtool -add ¥Device¥Harddisk9¥Partition1 ORCLDISKDATA8 cmd> C:¥app¥11.2.0¥grid¥bin¥ asmtool –list NTFS ¥Device¥Harddisk0¥Partition1 100M NTFS ¥Device¥Harddisk0¥Partition2 237850M ORCLDISKDATA0 ¥Device¥Harddisk1¥Partition1 40957M ORCLDISKDATA1 ¥Device¥Harddisk2¥Partition1 30717M ORCLDISKDATA2 ¥Device¥Harddisk3¥Partition1 30717M ORCLDISKDATA3 ¥Device¥Harddisk4¥Partition1 1022M ORCLDISKDATA4 ¥Device¥Harddisk5¥Partition1 1022M ORCLDISKDATA5 ¥Device¥Harddisk6¥Partition1 40957M ORCLDISKDATA6 ¥Device¥Harddisk7¥Partition1 30717M ORCLDISKDATA7 ¥Device¥Harddisk8¥Partition1 30717M ORCLDISKDATA8 ¥Device¥Harddisk9¥Partition1 1022M ORCLDISKDATA9 ¥Device¥Harddisk10¥Partition1 102397M 排他モードで CRS を起動します。

Page 50: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 49

NODE1 の OS コマンドライン上でこのコマンドを実行します。 cmd> C:¥app¥11.2.0¥grid¥bin¥crsctl start crs –excl CRS-4123: Oracle 高可用性サービスは起動されています。 CRS-2672: 'ora.mdnsd'('node1')の起動を試行しています CRS-2676: 'ora.mdnsd'('node1')の起動が成功しました CRS-2672: 'ora.gpnpd'('node1')の起動を試行しています CRS-2676: 'ora.gpnpd'('node1')の起動が成功しました CRS-2672: 'ora.cssdmonitor'('node1')の起動を試行しています CRS-2672: 'ora.gipcd'('node1')の起動を試行しています CRS-2676: 'ora.gipcd'('node1')の起動が成功しました CRS-2676: 'ora.cssdmonitor'('node1')の起動が成功しました CRS-2672: 'ora.cssd'('node1')の起動を試行しています CRS-2676: 'ora.cssd'('node1')の起動が成功しました CRS-2672: 'ora.ctssd'('node1')の起動を試行しています CRS-2672: 'ora.drivers.acfs'('node1')の起動を試行しています CRS-2676: 'ora.ctssd'('node1')の起動が成功しました CRS-2676: 'ora.drivers.acfs'('node1')の起動が成功しました CRS-2672: 'ora.asm'('node1')の起動を試行しています CRS-2674: 'ora.asm'('node1')の起動に失敗しました CRS-2673: 'ora.drivers.acfs'('node1')の停止を試行しています CRS-2678: 'ora.drivers.acfs'('node1')で、リカバリ不能なエラーが発生しました CRS-4000: コマンド Start は失敗したか、またはエラーのある状態で完了しました。 crsd を停止します。 node1 の OS コマンドライン上でこのコマンドを実行します。

cmd> /u01/app/11.2.0/grid/bin/crsctl stop resource ora.crsd –init DG_CRS のメタデータをリストアします。 node1 の ASM インスタンス上および、ASMCMD ユーティリティ上でこのコマンドを実行しま

す。 SQL> select group_number, name, state, type from v$asm_diskgroup; GROUP_NUMBER NAME STATE TYPE ------------ ------------- ----------- --------- 0 DG_ARCH DISMOUNTED 0 DG_DATA DISMOUNTED 0 DG_REDO DISMOUNTED 0 DG_REDO_M DISMOUNTED ASMCMD> md_restore E:¥backup¥meta¥md_bk --full -G 'DG_CRS' Current Diskgroup metadata being restored: DG_CRS Diskgroup DG_CRS created! System template XTRANSPORT modified! System template ONLINELOG modified! System template DATAGUARDCONFIG modified! System template AUTOBACKUP modified! System template TEMPFILE modified! System template OCRFILE modified! System template ARCHIVELOG modified! System template CONTROLFILE modified! System template DUMPSET modified! System template BACKUPSET modified! System template ASMPARAMETERFILE modified! System template FLASHBACK modified! System template PARAMETERFILE modified! System template FLASHFILE modified! System template DATAFILE modified!

Page 51: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 50

System template CHANGETRACKING modified! Directory +DG_CRS/crs re-created! Directory +DG_CRS/crs/ASMPARAMETERFILE re-created! Directory +DG_CRS/crs/OCRFILE re-created! SQL> select group_number, name, state, type from v$asm_diskgroup; GROUP_NUMBER NAME STATE TYPE ------------ ------------- ----------- --------- 0 DG_ARCH DISMOUNTED 0 DG_DATA DISMOUNTED 0 DG_REDO DISMOUNTED 0 DG_REDO_M DISMOUNTED 1 DG_CRS MOUNTED NORMAL ASM インスタンスをシャットダウンします。 node1 の ASM インスタンス上でこのコマンドを実行します。

SQL> shutdown immediate ASM diskgroups dismounted ASM instance shutdown バックアップの初期化バラメータを指定し、ASM インスタンスを起動します。 node1 の ASM インスタンス上でこのコマンドを実行します。

SQL> startup pfile='E:¥backup¥pfile_asm¥initasm.ora' ASM instance started Total System Global Area 284008448 bytes Fixed Size 2147392 bytes Variable Size 256695232 bytes ASM Cache 25165824 bytes ASM diskgroups mounted ASM インスタンスのサーバー・パラメータ・ファイルを再作成します。 node1 の ASM インスタンス上でこのコマンドを実行します。

SQL> create spfile='+DG_CRS' from pfile' ='E:¥backup¥pfile_asm¥initasm.ora'; File created. OCR をリストアします。 node1 の OS コマンドライン上でこのコマンドを実行します。

cmd> C:¥app¥11.2.0¥grid¥bin¥ocrconfig -restore E:¥backup¥ocr¥ backup_20121209_171745.ocr OCR の整合性を検証します。 node1 の OS コマンドライン上でこのコマンドを実行します。

cmd> C:¥app¥11.2.0¥grid¥bin¥ocrcheck Oracle Cluster Registry のステータスは次のとおりです: バージョン : 3 領域合計(KB) : 262120 使用済領域(KB) : 3248 使用可能な領域(KB) : 258872 ID : 153785193 デバイス/ファイル名 : +DG_CRS デバイス・ファイルの整合性チェックが成功しました デバイス/ファイルが構成されていません

Page 52: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 51

デバイス/ファイルが構成されていません デバイス/ファイルが構成されていません デバイス/ファイルが構成されていません クラスタ・レジストリの整合性チェックが成功しました 論理破損チェックに成功しました 投票ディスクのリストアを実行します。 node1 の OS コマンドライン上でこのコマンドを実行します。 cmd> C:¥app¥11.2.0¥grid¥bin¥crsctl replace votedisk +DG_CRS 投票ディスク 71e4d9d91ea04f1fbf582a25fcd7b0f7 が正常に追加されました。 投票ディスク 2b7ca48add5f4f3abfcbf4a406867908 が正常に追加されました。 投票ディスク 8cf92545f3934f4cbf71c83f6727bb99 が正常に追加されました。 投票ディスク・グループは+CRS と正常に置換されました。 CRS-4266: 投票ファイルが正常に置換されました 排他モードで起動されている CRS を停止します。 node1 の OS コマンドライン上でこのコマンドを実行します。 cmd> C:¥app¥11.2.0¥grid¥bin¥crsctl stop crs -f CRS-2791: 'node1'上にある、Oracle 高可用性サービス管理下のリソースの停止を開始しています CRS-2673: 'ora.drivers.acfs'('node1')の停止を試行しています CRS-2673: 'ora.ctssd'('node1')の停止を試行しています CRS-2673: 'ora.asm'('node1')の停止を試行しています CRS-2673: 'ora.mdnsd'('node1')の停止を試行しています CRS-2677: 'ora.mdnsd'('node1')の停止が成功しました CRS-2677: 'ora.drivers.acfs'('node1')の停止が成功しました CRS-2677: 'ora.asm'('node1')の停止が成功しました CRS-2677: 'ora.ctssd'('node1')の停止が成功しました CRS-2673: 'ora.cssd'('node1')の停止を試行しています CRS-2677: 'ora.cssd'('node1')の停止が成功しました CRS-2673: 'ora.gipcd'('node1')の停止を試行しています CRS-2677: 'ora.gipcd'('node1')の停止が成功しました CRS-2673: 'ora.gpnpd'('node1')の停止を試行しています CRS-2677: 'ora.gpnpd'('node1')の停止が成功しました CRS-2793: 'node1'上にある、Oracle 高可用性サービス管理下のリソースの停止が完了しました CRS-4133: Oracle 高可用性サービスは停止されました。 CRS を起動します。 すべてのノード(node1、node2)の OS コマンドライン上でこのコマンドを実行します。 cmd> C:¥app¥11.2.0¥grid¥bin¥crsctl start crs CRS-4123: Oracle 高可用性サービスは起動されています。 cmd> C:¥app¥11.2.0¥grid¥bin¥crsctl status resource -t --------------------------------------------------------------------------------NAME TARGET STATE SERVER STATE_DETAILS --------------------------------------------------------------------------------Local Resources --------------------------------------------------------------------------------ora.DG_ARCH.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_CRS.dg ONLINE ONLINE node1

Page 53: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 52

ONLINE ONLINE node2 ora.DG_DATA.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_REDO.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_REDO_M.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.LISTENER.lsnr ONLINE ONLINE node1 ONLINE ONLINE node2 ora.asm ONLINE ONLINE node1 Started ONLINE ONLINE node2 Started ora.gsd OFFLINE OFFLINE node1 OFFLINE OFFLINE node2 ora.net1.network ONLINE ONLINE node1 ONLINE ONLINE node2 ora.ons ONLINE ONLINE node1 ONLINE ONLINE node2 ora.registry.acfs ONLINE ONLINE node1 ONLINE OFFLINE node2 --------------------------------------------------------------------------------Cluster Resources --------------------------------------------------------------------------------ora.LISTENER_SCAN1.lsnr 1 ONLINE ONLINE node2 ora.LISTENER_SCAN2.lsnr 1 ONLINE ONLINE node1 ora.LISTENER_SCAN3.lsnr 1 ONLINE ONLINE node1 ora.cvu 1 OFFLINE OFFLINE ora.node1.vip 1 ONLINE ONLINE node1 ora.node2.vip 1 ONLINE ONLINE node2 ora.oc4j 1 ONLINE ONLINE node2 ora.rac.db 1 ONLINE ONLINE node1 Open 2 ONLINE ONLINE node2 Open ora.scan1.vip 1 ONLINE ONLINE node2 ora.scan2.vip 1 ONLINE ONLINE node1 ora.scan3.vip 1 ONLINE ONLINE node1

OLR が壊れた場合 ※OLR のリカバリは OLR が破損したノードのみリカバリ作業を行えば良いですが、以下の手順では全てのノードの OLR

が破損した場合の手順を説明いたします。

node1 の CRS を停止します。 node1 の OS コマンドライン上でこのコマンドを実行します。

Page 54: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 53

cmd> C:¥app¥11.2.0¥grid¥bin¥crsctl status resource -t --------------------------------------------------------------------------------NAME TARGET STATE SERVER STATE_DETAILS --------------------------------------------------------------------------------Local Resources --------------------------------------------------------------------------------ora.DG_ARCH.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_CRS.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_DATA.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_REDO.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_REDO_M.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.LISTENER.lsnr ONLINE ONLINE node1 ONLINE ONLINE node2 ora.asm ONLINE ONLINE node1 Started ONLINE ONLINE node2 Started ora.gsd OFFLINE OFFLINE node1 OFFLINE OFFLINE node2 ora.net1.network ONLINE ONLINE node1 ONLINE ONLINE node2 ora.ons ONLINE ONLINE node1 ONLINE ONLINE node2 ora.registry.acfs ONLINE ONLINE node1 ONLINE OFFLINE node2 --------------------------------------------------------------------------------Cluster Resources --------------------------------------------------------------------------------ora.LISTENER_SCAN1.lsnr 1 ONLINE ONLINE node2 ora.LISTENER_SCAN2.lsnr 1 ONLINE ONLINE node1 ora.LISTENER_SCAN3.lsnr 1 ONLINE ONLINE node1 ora.cvu 1 OFFLINE OFFLINE ora.node1.vip 1 ONLINE ONLINE node1 ora.node2.vip 1 ONLINE ONLINE node2 ora.oc4j 1 ONLINE ONLINE node2 ora.rac.db 1 ONLINE ONLINE node1 Open 2 ONLINE ONLINE node2 Open ora.scan1.vip 1 ONLINE ONLINE node2 ora.scan2.vip 1 ONLINE ONLINE node1 ora.scan3.vip 1 ONLINE ONLINE node1

Page 55: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 54

cmd> C:¥app¥Administrator¥product¥11.2.0¥dbhome_1¥bin¥srvctl stop database –d rac cmd> C:¥app¥11.2.0¥grid¥bin¥srvctl stop listener cmd> C:¥app¥11.2.0¥grid¥bin¥srvctl stop scan_listener cmd> C:¥app¥11.2.0¥grid¥bin¥srvctl stop scan cmd> C:¥app¥11.2.0¥grid¥bin¥srvctl stop oc4j cmd> C:¥app¥11.2.0¥grid¥bin¥srvctl stop nodeapps cmd> C:¥app¥11.2.0¥grid¥bin¥crsctl stop crs CRS-2791: 'node1'上にある、Oracle 高可用性サービス管理下のリソースのシャットダウンを開始しています CRS-2673: 'ora.crsd'('node1')の停止を試行しています CRS-2790: 'node1'上にある、Cluster Ready Services 管理下のリソースのシャットダウンを開始してい

ます CRS-2673: 'ora.DG_CRS.dg'('node1')の停止を試行しています CRS-2673: 'ora.DG_ARCH.dg'('node1')の停止を試行しています CRS-2673: 'ora.DG_DATA.dg'('node1')の停止を試行しています CRS-2673: 'ora.DG_REDO.dg'('node1')の停止を試行しています CRS-2673: 'ora.DG_REDO_M.dg'('node1')の停止を試行しています CRS-2677: 'ora.DG_CRS.dg'('node1')の停止が成功しました CRS-2677: 'ora.DG_ARCH.dg'('node1')の停止が成功しました CRS-2677: 'ora.DG_DATA.dg'('node1')の停止が成功しました CRS-2677: 'ora.DG_REDO.dg'('node1')の停止が成功しました CRS-2677: 'ora.DG_REDO_M.dg'('node1')の停止が成功しました CRS-2673: 'ora.asm'('node1')の停止を試行しています CRS-2677: 'ora.asm'('node1')の停止が成功しました CRS-2792: 'node1'上にある、Cluster Ready Services 管理下のリソースのシャットダウンが完了しまし

た CRS-2677: 'ora.crsd'('node1')の停止が成功しました CRS-2673: 'ora.mdnsd'('node1')の停止を試行しています CRS-2673: 'ora.gpnpd'('node1')の停止を試行しています CRS-2673: 'ora.cssdmonitor'('node1')の停止を試行しています CRS-2673: 'ora.ctssd'('node1')の停止を試行しています CRS-2673: 'ora.evmd'('node1')の停止を試行しています CRS-2673: 'ora.asm'('node1')の停止を試行しています CRS-2677: 'ora.cssdmonitor'('node1')の停止が成功しました CRS-2677: 'ora.mdnsd'('node1')の停止が成功しました CRS-2677: 'ora.gpnpd'('node1')の停止が成功しました CRS-2677: 'ora.evmd'('node1')の停止が成功しました CRS-2677: 'ora.ctssd'('node1')の停止が成功しました CRS-2677: 'ora.asm'('node1')の停止が成功しました CRS-2673: 'ora.cssd'('node1')の停止を試行しています CRS-2677: 'ora.cssd'('node1')の停止が成功しました CRS-2673: 'ora.diskmon'('node1')の停止を試行しています CRS-2673: 'ora.gipcd'('node1')の停止を試行しています CRS-2677: 'ora.gipcd'('node1')の停止が成功しました CRS-2677: 'ora.diskmon'('node1')の停止が成功しました CRS-2793: 'node1'上にある、Oracle 高可用性サービス管理下のリソースのシャットダウンが完了しました CRS-4133: Oracle 高可用性サービスは停止されました。 node2 の CRS を停止します。 node2 の OS コマンドライン上でこのコマンドを実行します。

[root@node2]# C:¥app¥11.2.0¥grid¥bin¥crsctl stop crs CRS-2791: 'node2'上にある、Oracle 高可用性サービス管理下のリソースの停止を開始しています CRS-2673: 'ora.crsd'('node2')の停止を試行しています CRS-2790: 'node2'上にある、Cluster Ready Services 管理下のリソースの停止を開始しています

Page 56: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 55

CRS-2673: 'ora.CRS.dg'('node2')の停止を試行しています CRS-2673: 'ora.registry.acfs'('node2')の停止を試行しています CRS-2673: 'ora.DG_ARCH.dg'('node2')の停止を試行しています CRS-2673: 'ora.DG_DATA.dg'('node2')の停止を試行しています CRS-2673: 'ora.DG_REDO.dg'('node2')の停止を試行しています CRS-2673: 'ora.DG_REDO_M.dg'('node2')の停止を試行しています CRS-2677: 'ora.DG_ARCH.dg'('node2')の停止が成功しました CRS-2677: 'ora.DG_DATA.dg'('node2')の停止が成功しました CRS-2677: 'ora.DG_REDO.dg'('node2')の停止が成功しました CRS-2677: 'ora.DG_REDO_M.dg'('node2')の停止が成功しました CRS-2677: 'ora.registry.acfs'('node2')の停止が成功しました CRS-2677: 'ora.CRS.dg'('node2')の停止が成功しました CRS-2673: 'ora.asm'('node2')の停止を試行しています CRS-2677: 'ora.asm'('node2')の停止が成功しました CRS-2792: 'node2'上にある、Cluster Ready Services 管理下のリソースの停止が完了しました CRS-2677: 'ora.crsd'('node2')の停止が成功しました CRS-2673: 'ora.drivers.acfs'('node2')の停止を試行しています CRS-2673: 'ora.ctssd'('node2')の停止を試行しています CRS-2673: 'ora.evmd'('node2')の停止を試行しています CRS-2673: 'ora.asm'('node2')の停止を試行しています CRS-2673: 'ora.mdnsd'('node2')の停止を試行しています CRS-2677: 'ora.mdnsd'('node2')の停止が成功しました CRS-2677: 'ora.evmd'('node2')の停止が成功しました CRS-2677: 'ora.drivers.acfs'('node2')の停止が成功しました CRS-2677: 'ora.ctssd'('node2')の停止が成功しました CRS-2677: 'ora.asm'('node2')の停止が成功しました CRS-2673: 'ora.cssd'('node2')の停止を試行しています CRS-2677: 'ora.cssd'('node2')の停止が成功しました CRS-2673: 'ora.crf'('node2')の停止を試行しています CRS-2677: 'ora.crf'('node2')の停止が成功しました CRS-2673: 'ora.gipcd'('node2')の停止を試行しています CRS-2677: 'ora.gipcd'('node2')の停止が成功しました CRS-2673: 'ora.gpnpd'('node2')の停止を試行しています CRS-2677: 'ora.gpnpd'('node2')の停止が成功しました CRS-2793: 'node2'上にある、Oracle 高可用性サービス管理下のリソースの停止が完了しました CRS-4133: Oracle 高可用性サービスは停止されました。 ocrconfig を使用して OLR のリストアをします。 ※OLR がなくなった場合({GI インストール先}/cdata/ホスト名.olr)は空ファイルを作成

しておく必要があります。 すべてのノード(node1、node2)の OS コマンドライン上でこのコマンドを実行します。 cmd> C:¥app¥11.2.0¥grid¥bin¥ocrconfig -local -restore /backup/olr/node1/backup_20121130_130937.olr cmd> C:¥app¥11.2.0¥grid¥bin¥ocrcheck -local Oracle Local Registry のステータスは次のとおりです: バージョン : 3 領域合計(KB) : 262120 使用済領域(KB) : 2140 使用可能な領域(KB) : 259980 ID : 607279485 デバイス/ファイル名 : C:¥app¥11.2.0¥grid¥cdata¥node1.olr デバイス・ファイルの整合性チェックが成功しました ローカル・レジストリの整合性チェックが成功しました

Page 57: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 56

論理破損チェックに成功しました CRS を起動します。 すべてのノード(node1、node2)の OS コマンドライン上でこのコマンドを実行します。 cmd> C:¥app¥11.2.0¥grid¥bin¥crsctl start crs CRS-4123: Oracle 高可用性サービスは起動されています。 cmd> C:¥app¥11.2.0¥grid¥bin¥rsctl status resource -t --------------------------------------------------------------------------------NAME TARGET STATE SERVER STATE_DETAILS --------------------------------------------------------------------------------Local Resources --------------------------------------------------------------------------------ora.DG_ARCH.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_CRS.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_DATA.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_REDO.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.DG_REDO_M.dg ONLINE ONLINE node1 ONLINE ONLINE node2 ora.LISTENER.lsnr ONLINE ONLINE node1 ONLINE ONLINE node2 ora.asm ONLINE ONLINE node1 Started ONLINE ONLINE node2 Started ora.gsd OFFLINE OFFLINE node1 OFFLINE OFFLINE node2 ora.net1.network ONLINE ONLINE node1 ONLINE ONLINE node2 ora.ons ONLINE ONLINE node1 ONLINE ONLINE node2 ora.registry.acfs ONLINE ONLINE node1 ONLINE OFFLINE node2 --------------------------------------------------------------------------------Cluster Resources --------------------------------------------------------------------------------ora.LISTENER_SCAN1.lsnr 1 ONLINE ONLINE node2 ora.LISTENER_SCAN2.lsnr 1 ONLINE ONLINE node1 ora.LISTENER_SCAN3.lsnr 1 ONLINE ONLINE node1 ora.cvu 1 OFFLINE OFFLINE ora.node1.vip 1 ONLINE ONLINE node1 ora.node2.vip 1 ONLINE ONLINE node2 ora.oc4j

Page 58: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 57

1 ONLINE ONLINE node2 ora.rac.db 1 ONLINE ONLINE node1 Open 2 ONLINE ONLINE node2 Open ora.scan1.vip 1 ONLINE ONLINE node2 ora.scan2.vip 1 ONLINE ONLINE node1 ora.scan3.vip 1 ONLINE ONLINE node1

7-3. 参考資料 Oracle web サイト (1) Oracle Real Application Clusters

http://www.oracle.com/technology/products/database/clustering/index.html 富士通 ストレージ基盤ソフトウェア (1) ETERNUS SF AdvancedCopy Manager

http://storage-system.fujitsu.com/jp/eternus-sf/advance/ 富士通 ETERNUS ストレージシステム (1) 富士通 SAN 対応ディスクアレイ

http://storage-system.fujitsu.com/jp/products/diskarray/ (2) FUJITSU ETERNUS DX series エンタープライズディスクアレイ 製品カタログ

http://storage-system.fujitsu.com/jp/products/diskarray/dx-enterprise/download/pdf/dx-enterprise.pdf

(3) FUJITSU ETERNUS DX series ミッドレンジディスクアレイ 製品カタログ http://storage-system.fujitsu.com/jp/products/diskarray/dx-mid/download/pdf/dx-mid.pdf

(4) FUJITSU ETERNUS DX series エントリーディスクアレイ 製品カタログ

http://storage-system.fujitsu.com/jp/products/diskarray/dx-entry/download/pdf/dx-entry.pdf (5) ホワイトペーパー 「富士通 ETERNUS ディスクアレイの MAID 技術による省エネルギー」

http://storage-system.fujitsu.com/jp/products/diskarray/download/pdf/MAID_whitepaper.pdf (6) ホワイトペーパー 「コンプライアンスと生産性を支えるストレージ基盤のあり方」

http://storage-system.fujitsu.com/jp/solution/idc/whitepaper0111.pdf

Page 59: Oracle Database 11g R2 ASMと富士通ストレージに …®¡理機能を提供します。ASMはクラスタ化されたファイルシステムとOracle Database 11g Release 2

[ベスト・プラクティス] Oracle Database 11g R2 ASM と富士通ストレージ

Copyright 2013FUJITSU LIMITED 58

ホワイトペーパーについて

本書は、Oracle データベース 11g R2 ASM と富士通 ETERNUS DX ストレージシステムに関する概要と技術情報を提供するものであ

り、本書に記載されている内容は改善のため、予告なく変更することがあります。

記載内容に誤りがあれば、富士通株式会社までお知らせください。

富士通株式会社は、本書の内容に関して、いかなる保証もいたしません。また、本書の内容に関連した、いかなる損害についてもその

責任は負いません。

富士通株式会社

http://storage-system.fujitsu.com/jp/