Oracle Direct Seminar › technetwork › jp › ondemand › database › ...2010/01/26 · CRS（Cluster Ready Services ） CSS CSS EVM EVM ・）クラスタリソース管理、ワークロード管理、可用性管理

Oracle Direct SeminarOracle Direct Seminar

【Pl ti 列伝セミナ】【Platinum列伝セミナー】

Pl ti が語る !Platinumが語る !現場から学ぶOracle RAC設計構築の極意

2010年01月26日株式会社富士通北陸システムズ

Copyright © FUJITSU HOKURIKU SYSTEMS LIMITED, 2010. All rights reserved.

富士通北陸システムズ(FJH)について富士通北陸システムズ(FJH)について

ORACLE MASTER Pl ti AWARDORACLE MASTER Platinum AWARD ２年連続(2008,2009)受賞！

オラクルデータベース認定資格制度ORACLE MASTERの最高峰である、ORACLE MASTER Platinum Oracle Database 10g資格得者数内資格取得者数国内ＮＯ．１（2009/9 発表)

富士通グルプを代表するオラクルデタベスプロフシナル企業富士通グループを代表するオラクルデータベースプロフェッショナル企業

独自ソリューションの提供、DBを中心としたインフラ全体の設計／構築、製品サポート、DB関連製品開発など多方面でビジネス展開


製品サポト、DB関連製品開発など多方面でビジネス展開

講師自己紹介講師自己紹介

氏名片桐聡（かたぎりさとし）ORACLE MASTER Platinum Oracle9i Database （2005年10月取得）（年月取得）

ORACLE MASTER Platinum Oracle Database 10g （2007年9月取得）

業務経歴業務経歴1987年株式会社富士通北陸システムズ（FJH）入社。基本ソフトの開発業務を経て、2003年よりオラクル関連業務に従事業務に従事。Oracle 製品の検証を主要業務としつつ、Oracle Database(RAC)、バックアップリカバリ、デザスタリカバリ(D G d等)のスタトアプを兼務ディザスタリカバリ(Data Guard等)のスタートアップを兼務。

Platinum取得で得たもの現場からの様々な相談に対する的確な情報提供、および対外的な信頼の向上


AgendaAgenda

『現場が語るOracle RAC設計構築の極意』『現場が語るOracle RAC設計構築の極意』第１章：Oracle RAC（Real Application Clusters）とは第２章 O l RAC環境の設計/構築ノウハウ第２章：Oracle RAC環境の設計/構築ノウハウ第３章：Oracle RAC環境構築時のトラブル事例紹介第４章 O l RACのおすすめ構成例紹介第４章：Oracle RACのおすすめ構成例紹介


AgendaAgenda



Oracle RAC（Real Application Clusters）とはOracle RAC（Real Application Clusters）とは

複数サーバから１つのデータベースに同時にアク技セスできるクラスタ技術

パブリック・ネットワーク

Real Application Clusterspp

プライベート・ネットワーク

ネットワーク・スイッチデータベースに同時アクセス


共有ディスク


全てのサーバでインスタンスが稼動

– システムリソースを効率的に利用

– データはプライベート・ネットワークを使って高速通信

Real Application Clusters


稼動中稼動中稼稼稼動中稼動中

全てのサーバでインスタンスがアクティブ

ppインスタンス３インスタンス２インスタンス１インスタンス４

稼動中稼動中


稼動中稼動中稼動中稼動中稼動中稼動中

ネットワーク・スイッチデータベースに同時アクセス

高速なデータ


共有ディスク高速なデタ通信


通常時、クライアントからは任意のインスタンス経由デ接続でデータベース接続

通常の業務アクセス経路



稼動中稼動中稼動中稼動中

pp

稼稼

クライアント

全てのサーバでインスタンスがアクティブ

インスタンス３インスタンス２インスタンス１インスタンス４

稼動中稼動中


稼動中稼動中稼動中稼動中稼動中稼動中

ネットワーク・スイッチ


共有ディスク


障害時は迅速にフェイルオーバし、他サーバ経業務由で業務再開

他サーバから業務再開



稼動中稼動中稼動中稼動中

pp

停停

インスタンス３

クライアント

インスタンス２インスタンス１インスタンス４

稼動中稼動中


稼動中稼動中稼動中稼動中停止中停止中

ネットワーク・スイッチ障害発生！


共有ディスク

Oracle RACデータベースの構造データベースファイルは共有ディスク上に配置

制御フイルやSYSTEM／SYSAUX／デタフイルは

Oracle RACデタスの構造

制御ファイルやSYSTEM／SYSAUX／データファイルは全インスタンスで共有

イタ毎にREDO グイとUNDO表領域をインスタンス毎にREDOログファイルとUNDO表領域を用意

サバ１サバ２サーバ１サーバ２

インスタンスＡインスタンスB

インスタンスA用インスタンスB用

共有ディスク

データファイルSYSAUX

制御ファイル

SYSTEM

アーカイブログ

UNDO領域

アーカイブログ

UNDO領域 REDOログREDOログ


共有ディスク SYSTEMREDOログ

Oracle RACデータベースの構造ASM（Automatic Storage Management）を使ったデタベス構造（10 ）

Oracle RACデタスの構造

データベース構造（10g～）– 複数の物理ディスクから構成される仮想ディスク領域（ディスクグループ）を提供ルプ）を提供

– データ配置の最適化（自動化）

サバ１サバ２

インスタンスＡインスタンスB

サーバ１サーバ２

物理ディスク（rawASM ASM

仮想ディスク領域

物理ディスク（rawパーティション）

共有ディスク

ASM Disk Group 1 ASM Disk Group 2

デタベスファイルデタベスファイルデータベースファイルデータベースファイルデータベースファイルデータベースファイル


共有ディスクデータベースファイルデータベースファイル

Oracle ClusterwareとはOracle Clusterwareとは

Oracleが提供するクラスタウェア（10g～）– 【役割１】サーバのメンバシップ管理

– 【役割２】クラスタリソースの管理

サビスサビス

Real Application ClustersReal Application Clusters

Oracle ClusterwareOracle Clusterware

CRSCRSリソースリソース

サービスサービスRACRACインスタンスインスタンス

ListenerListenerVIPVIPアドレスアドレス

GSDGSD ONSONS ASMASM

オペレーティング・システムオペレーティング・システム((OSOS））

CRSCRSスタックスタック

EVMEVM CRSCRSoprocdoprocd

oclsvmonoclsvmonoclsmonoclsmon

管管理理

OCROCRVoting DiskVoting Disk

タックタック

CSSCSS

oclsmonoclsmon

共有ディスク

ノード間通信ノード間通信


共有ディスク

メンバシップ管理リソース管理

Oracle ClusterwareとはOracle ClusterwareとはCRSスタックは中核となるCSS／CRS／EVMで構成共有ディスクにはクラスタ情報を保持するOCR／Voting Disk（投票ディスク）を配置g

・EVM（Event Manager）gアプリケーションに対するイベント発行

・CSS（Cluster Synchronization Services)メンバシップ情報管理

CRS（Cluster Ready Services）CSS CSS

EVM EVM

・CRS（Cluster Ready Services）クラスタリソース管理、ワークロード管理、可用性管理

・OCR（Oracle Cluster Registry）クラスタの構成情報の保持

通信通信CRS CRS

CRSスタック CRSスタック


クラスタの構成情報の保持Oracle Clusterwareが制御するプロセス情報を管理

・Voting Disｋ（投票ディスク）ノード間通信障害時に、それぞれのノードが自分と共有ディスク


通信できるノードの情報を投票(voting)するレジストリ共有ディスク

Oracle ＲＡＣのまとめOracle ＲＡＣのまとめ複数サーバから１つのデータベースにアクセス可能な技術

全サーバでインスタンスがアクティブのため、障害発生時のフェイルオーバ（切替え）が迅速

RACデタベスは全インスタンス共通もしくはインスタンRACデータベースは、全インスタンス共通、もしくはインスタンス毎に必要となるデータベースファイルで構成

ASMによるデタ配置の最適化運用性向上ASMによるデータ配置の最適化、運用性向上Oracle Clusterwareによるサーバのメンバシップ管理と、インスタンスやリスナーなどのクラスタリソース管理を実施スタンスやリスナなどのクラスタリソス管理を実施


Oracle ＲＡＣのまとめOracle ＲＡＣのまとめ複数サーバから１つのデータベースにアクセス可能な技術

全サーバでインスタンスがアクティブのため、障害発生時のフェイルオーバ（切替え）が迅速

RACデタベスは全インスタンス共通もしくはインスタンRACデータベースは、全インスタンス共通、もしくはインスタンス毎に必要となるデータベースファイルで構成

ASMによるデタ配置の最適化運用性向上ASMによるデータ配置の最適化、運用性向上Oracle Clusterwareによるサーバのメンバシップ管理と、インスタンスやリスナーなどのクラスタリソース管理を実施スタンスやリスナなどのクラスタリソス管理を実施

・これらの技術により極めて優れた高可用性／高信頼性を実現

・２４時間３６５日ノンストップを求められるミッションクリティカルなシ


ステムには不可欠な機能

AgendaAgenda



Oracle RAC環境構築の流れOracle RAC環境構築の流れ

Oracle OS環境構成 Oracle環境構成Oracle RAC設計

OS環境構成 Oracle環境構成

Clusterware構成 NetServices構成

ストレージ構成データベース構成

ハード・ソフト構成確認／OS・ストレージ環境設定

ストレージ構成データベース構成

ハドソフト構成確認／OS ストレジ環境設定

Oracle Clusterware／Real Application Clustersのインストール

PSR・個別パッチ適用

ネットワーク構成／データベース作成


Oracle RAC環境の設計/構築ノウハウPOINTOracle RAC環境の設計/構築ノウハウPOINT

本章で説明するＰＯＩＮＴ箇所のイメージ図

仮想IP／リスナー関連クライアントクライアント関連

⑨仮想IP（VIP）フェイルオー⑪全サーバからOEMへアクセス


バー時間の短縮

⑩デフォルトリスナー以外の運用について

セス

ディスク関連OracleOracle

ClusterwareClusterware

OracleOracleインスタンスインスタンス

ListenerListener

OS関連

OracleOracleClusterwareClusterware


ListenerListener

①ホスト名は極力小文字を⑤ Oracle RAC推奨データ ClusterwareClusterware

OSOS


OSOS使用する

②ホスト名／IPアドレスはなるべく変更しない

⑥ OCR／Voting Diskのバックアップ方針

⑤ Oracle RAC推奨デタベース構成

データベースデータベース

Voting DiskVoting Disk

OCROCR ③ Solarisカーネルパラメータ設定

⑦ ASM利用時のアーカイブログ出力先の考慮

⑧全インスタンスのアーカイ ④ドメインユーザーをローカルのAd i i t t グル


共有ディスクブログを同一ディレクトリに出力ルのAdministratorsグルー

プに追加(Windows)








セス




ListenerListener

OS関連



ListenerListener


OSOS


OSOS使用する



















セス




ListenerListener

OS関連



ListenerListener


OSOS


OSOS使用する



















セス




ListenerListener

OS関連



ListenerListener


OSOS


OSOS使用する



















セス




ListenerListener

OS関連



ListenerListener


OSOS


OSOS使用する












①ホスト名は極力小文字を使用する①ホスト名は極力小文字を使用する

内容ホスト名が大文字の場合予期せぬ問題に遭遇する場合がある– ホスト名が大文字の場合、予期せぬ問題に遭遇する場合がある

– Oracle Clusterwareは小文字のホスト名で管理されるのに対し、実ホスト名が大文字であることに起因する不整合

POINT– RAC（10g～）ではホスト名を極力小文字に指定

補足参考補足・参考– KROWN#120982「cluvfyにて nodeappsのチェックがエラーとなる」「cluvfy にて nodeapps のチェックがエラとなる」

– KROWN#121944「root.sh 実行時に Failure at scls_scr_createが発生する」

KROWN#121006– KROWN#121006「root.sh 実行時に vipca にてエラーが発生する」

– KROWN#132898


「ホスト名に大文字が含まれている RAC 環境で Database Control を構成すると起動でエラーが発生」

②ホスト名／IPアドレスはなるべく変更しない②ホスト名／IPアドレスはなるく変更しない

内容

– ＯＣＲにはホスト名やIPアドレスなどの構成情報を保持– 構成変更は可能だが、実施はトラブル発生の要因となる

POINT– 環境構築の際は今後の運用も考慮し、極力ホスト名／IDアドレスを変更しないように設計

PUBLIC 仮想IP（VIP） PRIVATE

<ＯＣＲ内の保持情報例>

PUBLIC 仮想IP（VIP） PRIVATE

ホスト名 server1 server1-vip server1-priv

IP情報 10.0.0.1 10.0.0.5 192.168.0.1名インタフェース名 eth0 eth0 eth1

補足・参考


– KROWN#125555、KROWN#94979、 KROWN#94976 、KROWN#85834

③ Solaris10でのカーネルパラメータ設定の考え方③ Solaris10でのカネルパラメタ設定の考え方

内容

– Solaris10でのカーネルパラメータの設定方法、および設定値の考え方（従来のSolaris9から大きく変更）

【従来（ S l i 9）】【S l i 10 】

/etc/system /etc/project【従来（～Solaris 9）】【Solaris 10～】

POINT– Solaris10では資源制御用のパラメータは/etc/projectで設定

– それ以外のパラメータは従来の/etc/systemで設定例：noexec_user_stack

※ただし、/etc/project に設定した資源制御パラメータを


/etc/system にも設定することを推奨

③ Solaris10でのカーネルパラメータ設定の考え方③ Solaris10でのカネルパラメタ設定の考え方

/etc/projectへのパラメータの基本設定指針システム全体の（合計）要件値を定義するsystem／user root および– システム全体の（合計）要件値を定義するsystem／user.root、およびOracle要件値を定義するuser.oracleの両方を設定

– パラメータは合計値を設定するΣ型と、最大値を設定するMAX型があることに注意ことに注意

プロジェクト名用途設定指針

system／システム Σ型 (Oracle含む)全ミドルウェア要件値の合計＋d1system／user.root

システム全体値

Σ型 (Oracle含む)全ミドルウェア要件値の合計＋d1

MAX型各ミドルウェア要件値、d１の中で最も大きい値

user.oracle Oracleの要件値

Σ型 Oracle要件値＋d1

※d1はSolarisデフォルト値を指す

補足参考

要件値 MAX型 Oracle要件値、d１とを比較し、大きい方の値

補足・参考– KROWN#121956「srvctl でインスタンスの起動できない (Solaris 10) 」


– KROWN#110457「Solaris 10コンテナでのOracleデータベースの実行（３／３）」

③ Solaris10でのカーネルパラメータ設定の考え方カーネルパラメータ設定サンプル

/etc/project

③ Solaris10でのカネルパラメタ設定の考え方

– /etc/projectsystem:0::::project.max-sem-ids=(privileged,378,deny);process.max-sem-nsems=(privileged,512,deny);project.max-shm-ids=(privileged,( g y) j ( g428,deny);project.max-shm-memory=(privileged, 6542450944,deny)user.root:1::::noproject:2::::default:3::::default:3::::group.staff:10::::user.oracle:1002::::project.max-sem-ids=(privileged,228,deny);process.max-sem-nsems=(privileged,512,deny);project.max-shm-ids=

/ t / tt

(privileged,228,deny);project.max-shm-memory=(privileged,4294967296,deny)

– /etc/user_attr （拡張ユーザー属性データベース）

root::::auths=solaris.*,solaris.grant;profiles=Web Console Management,All;lock after retries=no;project=system ※


※systemプロジェクトの設定を user.roo tプロジェクトにも適用

; oc _a e _ e es o;p oject syste ※

③ Solaris10でのカーネルパラメータ設定の考え方

カーネルパラメータ設定サンプル

③ Solaris10でのカネルパラメタ設定の考え方

– /etc/systemset noexec_user_stack=1set semsys:seminfo semmni=378set semsys:seminfo_semmni=378set semsys:seminfo_semmsl=512set shmsys:shminfo_shmmni=428set shmsys:shminfo_shmmax=15286101y _


④ ドメインユーザーをローカルのAdministratorsグルプに追加(Wi d )グループに追加(Windows)内容ドメインザが明示的にAd i i t t グルプに– ドメインユーザーが明示的にAdministratorsグループに所属していない場合（※１）、crs_stat や srvctl コマンドの応答に時間がかかることがある（10gR1～）応答に時間がかかるとがある（10gR1 ）

※１：Domain AdminsグループをローカルのAdministratorsグループに所属させ、権限を継承させる場合など

POINT– RAC環境の構築をドメインユーザーで行う場合、各ノードのロカルのAd i i t t グルプにそのドメインのローカルのAdministratorsグループに、そのドメインユーザーを明示的に追加しておく必要がある

補足・参考– KROWN#138380

ザグプ


「RAC：ドメインユーザーをローカルのAdministratorsグループに追加する必要がある（Windows）」

⑤ Oracle RACの推奨データベース構成⑤ Oracle RACの推奨デタス構成

内容

– 可用性を高めるためのデータベース構成（ディスク構成）を考慮

POINT– 対障害性を意識したRAID分割とデータ配置

制御ファイル／REDO／データファイル／アーカイブログ– 対障害性とI/O負荷分散を兼ねたRAID1+0構成を推奨（ストレージ容量が足りない場合はRAID5で代用）

– データベースの運用性／拡張性向上のためのASM利用



可用性向上のためのRAC構成イメージ

ストレージ筐体

OCR／Voting Disk／制御ファイルの冗長化

Voting Disk1Voting Disk1

OCROCR Voting Disk3Voting Disk3


OCROCR（（ミラーミラー））

SYSTEMSYSTEM

REDOREDOログログインスタンス１用インスタンス１用ミラリングミラリング


アーカイブログアーカイブログインスタンス１用インスタンス１用


REDOREDOログログインスタンス１用インスタンス１用

制御ファイル制御ファイル制御ファイル２制御ファイル２

制御ファイル３制御ファイル３SYSTEMSYSTEM

UNDOUNDOノド１用ノド１用

SYSAUXSYSAUXデータデータファイルファイル

ミラーリングミラーリングアーカイブログアーカイブログインスタンス２用インスタンス２用

インスタンス１用インスタンス１用

REDOREDOログログインスタンス２用インスタンス２用ミラーリングミラーリング

REDOREDOログログインスタンス２用インスタンス２用

ノード１用ノード１用

UNDOUNDOノード２用ノード２用

一時表領域一時表領域

RAID1+0 RAID1+0 RAID1+0 RAID1+0 RAID1+0

REDOログファイオンラインREDO／データファイ


REDOログファイルの冗長化

ラ／デタル／アーカイブログはI/O負荷分

散を考慮して配置


可用性向上のためのRAC構成イメージ

ストレージ筐体

OCR／Voting Disk／制御ファイルの冗長化

運用性／拡張性向上のためのＡＳＭ利用


OCROCR Voting Disk3Voting Disk3


OCROCR（（ミラーミラー））

SYSTEMSYSTEM

REDOREDOログログインスタンス１用インスタンス１用ミラリングミラリング


アーカイブログアーカイブログインスタンス１用インスタンス１用


REDOREDOログログインスタンス１用インスタンス１用

制御ファイル制御ファイル制御ファイル２制御ファイル２

制御ファイル３制御ファイル３SYSTEMSYSTEM

UNDOUNDOノド１用ノド１用

SYSAUXSYSAUXデータデータファイルファイル

ミラーリングミラーリングアーカイブログアーカイブログインスタンス２用インスタンス２用

インスタンス１用インスタンス１用

REDOREDOログログインスタンス２用インスタンス２用ミラーリングミラーリング

REDOREDOログログインスタンス２用インスタンス２用

ＡＳＭディスクＡＳＭディスクＡＳＭディスクＡＳＭディスクＡＳＭディスクＡＳＭディスク

ノード１用ノード１用

UNDOUNDOノード２用ノード２用

一時表領域一時表領域

ＡＳＭディスクＡＳＭディスクRAID1+0 RAID1+0 RAID1+0 RAID1+0 RAID1+0

REDOログファイオンラインREDO／データファイ

ＡＳＭディスクＡＳＭディスクグループ２グループ２

ＡＳＭディスクＡＳＭディスクグループ１グループ１

ＡＳＭディスクＡＳＭディスクグループ３グループ３

ASMを利用したメリットデタのディスク内配置を最適化自動化

ＡＳＭディスクＡＳＭディスクグループ４グループ４


REDOログファイルの冗長化

ラ／デタル／アーカイブログはI/O負荷分

散を考慮して配置

→ データのディスク内配置を最適化・自動化→ ASM（DB）領域の容量拡張が容易

⑥ OCR／Voting Diskのバックアップ方針⑥ OCR／Voting Diskのバックアップ方針内容

OCR／Voting Diskの破損はクラスタ・ダメージが大きい– OCR／Voting Diskの破損はクラスタ・ダメージが大きい例） OCR全損⇒CRSリソースの制御不可例） Voting Disk全損※⇒全ノードリブート（11gR1では、自動的に回復）

※厳密には過半数以上のV ti Di kが破損した場合※厳密には過半数以上のVoting Diskが破損した場合

POINT– 障害発生に備えてOCR／Voting Diskをバックアップ– 障害発生に備えてOCR／Voting Diskをバックアップ

各ファイル毎のバックアップ方針に基づいて実施

■OCRのバックアップ指針・CRSリソースの追加・削除などリソース構成に変更があった場合（例：DBの追加、CRSサービスの追加等）・PSRの適用後


■Voting Disk （投票ディスク）のバックアップ指針・RACノード構成に変更があった場合（例追加削除）


共有ディスク（例：RACノードの追加・削除）・ PSRの適用後

⑦ ASM利用時のアーカイブログ出力先の考慮⑦ ASM利用時のアカイブログ出力先の考慮

内容– ASM上にアーカイブログを出力している場合、RMAN等で全アーカイブログファイルを削除すると、その格納ディレクトリも削除される(10.2.0.3以前)( )→ その結果、次のアーカイブログファイル出力時にエラーになる

＜本現象が発生するケース例（OMFに準拠したディレクトリ構成）＞

+<ASM group>／<db_unique_name>／<alias name>もしくは

+<ASM group>／<db unique name>／archivelog／<alias name>+<ASM group>／<db_unique_name>／archivelog／<alias name>

削除するアーカイブログファイル削除されてしまうディレクトリ

例えば・・– アーカイブログをdelete input指定でバックアップすることにより、ディレ


クトリが空になってしまう RMAN> backup archivelog all delete input;

⑦ ASM利用時のアーカイブログ出力先の考慮POINT

– 明示的にdb unique name以外（＝OMFに準拠しない）のディレクトリ

⑦ ASM利用時のアカイブログ出力先の考慮

明示的にdb_unique_name以外（ OMFに準拠しない）のディレクトリ名を作成

例１） <db_unique_name>の一階層下に任意のディレクトリ名※を作成

※任意のディレクトリ名は ”archivelog” を除く

+<group>／<db_unique_name>／<任意のディレクトリ名※> ／<alias name>

例２） <db_unique_name>以外のディレクトリ名を作成

+<group>／< db unique name以外のディレクトリ名>／<alias name>

補足・参考

+<group>／< db_unique_name以外のディレクトリ名>／<alias name>

10.2.0.3以前で発生する問題。10.2.0.4以降では発生しない補足・参考

– KROWN#124780「ASM上のアーカイブログファイルを削除した場合、ディレクトリが削除されてしまう」


⑧全インスタンスのアーカイブログを同一ディレクトリに出力トリに出力

内容

インスタンス毎にアーカイブログ出力ディレクトリが異なる

場合、

– リカバリ時に、リカバリ実施ノードにアーカイブログを集結する必要がある（バックアップ・リカバリ運用が煩雑）

プが－Data GuardのプライマリサイトがRAC構成の場合、アーカイブログが自動転送されないことがある

OPOINT– アーカイブログは極力RAC構成インスタンス間で共通なデ

クトリに配置ィレクトリに配置


⑧全インスタンスのアーカイブログを同一ディレクトリに出力

参考イメージ例

トリに出力

Oracle RACOracle RACインスタンスＢインスタンスＢ

OracleOracleインスタンスインスタンスBB

OracleOracleインスタンスインスタンスAA

インスタンスBが

Oracle RACOracle RACインスタンスＡインスタンスＡ

停止中停止中停止中停止中

アーカイブ１アーカイブ１１１アーカイブ１アーカイブ１１１アーカイブ１アーカイブ１１１アーカイブＡアーカイブＡ１１アーカイブＢアーカイブＢ__１１アーカイブアーカイブBB １１アーカイブＡアーカイブＡ１１

インスタンスAのREDOログを代理アーカイブ

停止中停止中停止中停止中

カカ __カカ __カカ __カカ __

アーカイブＡアーカイブＡ__３３アーカイブＢアーカイブＢ__22

アーカイブＡアーカイブＡ__２２

アカイブアカイブBB__１１

アーカイブアーカイブBB__22アーカイブＡアーカイブＡ__３３

アーカイブＡアーカイブＡ__２２

アカイブＡアカイブＡ__１１

ローカルディスクまたは独立スライス ASMディスクまたは共有領域

当該インスタンスのオンラインREDOを他インスタンスがアーカイブすることにより、当該イン

アーカイブログ出力先が同一領域ならば、他インスタンスによりアーカイブされても全イン


スタンスが認識できないアーカイブが生成。これがトラブルの元になることがある。

インスタンスによりアカイブされても全インスタンスで参照可能。

⑧全インスタンスのアーカイブログを同一ディレクトリに出力

補足・参考

トリに出力

– KROWN#126754「RAC + DataGuard でアーカイブギャップが解消されない」

– KROWN#125494「RAC構成のスタンバイのアーカイブ出力先の設定について」

KROWN#11751– KROWN#11751「アーカイブログファイルが他ノードのLOG_ARCHIVE_DESTに作成されることがある」

– KROWN#109698「RAC 環境における REDO スレッドとスレッドマージについて」


⑨仮想IP（VIP）フェイルオーバー時間の短縮⑨仮想IP（VIP）フェイルオバ時間の短縮

内容

– Netcaで作成されるデフォルトのlistener.oraではフェイルオーバーに時間がかかる

POINT– listener.oraを修正し、ローカルアドレスをVIPエントリより先に設定

LISTENER_SAMPLE1 =(DESCRIPTION LIST =

Listener.ora サンプルローカルアドレスエントリをVIPエントリよりも上に設定( _

(DESCRIPTION =(ADDRESS_LIST =

(ADDRESS = (PROTOCOL = IPC)(KEY = EXTPROC)))(ADDRESS LIST =(ADDRESS_LIST =

(ADDRESS = (PROTOCOL = TCP)(HOST = 10.20.30.40)(PORT = 1521)))(ADDRESS_LIST =

(ADDRESS = (PROTOCOL = TCP)(HOST = sample1-vip)(PORT = 1521)))

VIPエントリ

ローカルアドレスエントリ


))

)

⑨仮想IP（VIP）フェイルオーバー時間の短縮⑨仮想IP（VIP）フェイルオバ時間の短縮

補足・参考– KROWN#82593「 NetCAで作成されるlistener.oraの設定ではFAILOVERに時間がかかる」


⑩デフォルトリスナー以外の運用について⑩デフォルトリスナ以外の運用について

内容

– ＲＡＣ（Oracle Clusterware）では、基本的にデフォルトリスナーのみの運用を想定

※デト名 LISTENER ホト名※デフォルト名： LISTENER_<ホスト名>– 新たにリスナー追加は可能だが、デフォルトリスナーとは挙動に差異がある挙動に差異がある

POINTデ外追加時挙動違を意識– デフォルト以外のリスナーの追加時は挙動の違いを意識し、運用に注意


⑩デフォルトリスナー以外の運用について⑩デフォルトリスナ以外の運用について

補足・参考デトと追加と挙動違

No 操作デフォルトリスナー

追加

リスナー備考

① CRSノードアプリケーションの起動時 ○ × 追加リスナーは起動しない

デフォルトリスナーと追加リスナーとの挙動の違い

① CRSノドアプリケションの起動時

srvctl start nodeapps -n <node名>○ × 追加リスナーは起動しない。

⑤手順で起動させる。

② CRSノードアプリケーションの停止時srvctl stop nodeapps -n <node名>

○ ○

③ リスナーリソースの起動時

srvctl start listener -n <node名>○ × 追加リスナーは起動しない。

⑤手順で起動させる。

④ リスナーリソースの停止時

tl t li t d 名○ × 追加リスナーは停止しない。

⑥手順で停止させるsrvctl stop listener -n <node名> ⑥手順で停止させる。

⑤ リスナーリソースの起動時（オプション付加）

srvctl start listener -n <node名> -l <listener名>○ ○

⑥ リスナーリソースの停止時（オプション付加） ○ ○⑥ リスナーリソースの停止時（オプション付加）

srvctl sop listener -n <node名> -l <listener名>○ ○

⑦ netcaによるリスナー削除 ○ × netcaでは追加リスナーは削除不可。listener.ora編集と i t が必要


とcrs_unregisterが必要。

– KROWN#112753

⑪全サーバでOracle Enterprise Managerへアクセス⑪全サでOracle Enterprise Manager アクセス

内容RAC環境にて Database Control を構成すると– RAC環境にて Database Control を構成すると、Database Control Javaプロセスは1つのサーバでのみ起動（10gR2～）

D t b C t l J プロセスを起動したサバに障害が発生した場→Database Control Javaプロセスを起動したサーバに障害が発生した場合、クライアントはOEMにアクセス不可

POINT– emcaコマンドにより複数サーバ上にDatabase Control

Javaプロセスを起動するように構成変更が可能ノド２側でEMにアクセス可能にする構成変更例

emca -reconfig dbcontrol -cluster -EM_NODE <ノード２名> -EM_SID_LIST <インスタンス２ SID>

ノード２側でEMにアクセス可能にする構成変更例

→この例ではサーバ１で障害が発生時、サーバ２からOEMアクセス可

補足・参考– KROWN#106264


KROWN#106264「RAC 環境にて Database Control 10.2.0 を構成すると Database Contorl Java プロセスは一つのノードでしか起動しません」

⑪全サーバでOracle Enterprise Managerへアクセス

デフォルト構成デフォルト構成

構成変更イメージ

⑪全サでOracle Enterprise Manager アクセス

DatabaseControl

Java

デフォルト構成デフォルト構成


Java

emagent emagent

クライアント

Javaプロセスが起動している単ノドからOEMに

共有ディスク

構成変更後構成変更後

いる単一ノードからOEMにアクセス可能

DatabaseControl

Java

DatabaseControl

Java

構成変更後構成変更後


Java

emagent

Java

emagentクライアント

Javaプロセスが起動していJavaプロセスが起動してい


共有ディスクるすべてのノードからOEMにアクセス可能るすべてのノードからOEMにアクセス可能

AgendaAgenda



Agenda

第３章：Oracle RAC環境構築時のトラブル事例紹介

Agenda

第３章：Oracle RAC環境構築時のトラブル事例紹介– SPFILEからPFILEに運用変更後、DB起動に失敗時刻同期が取れていない場合の問題（1）/（2）– 時刻同期が取れていない場合の問題（1）/（2）

– アーカイブログ領域枯渇による業務停止


① SPFILEからPFILEに運用変更後、DB起動に失敗① SPFILEからPFILEに運用変更後、DB起動に失敗

内容– RACデータベースの作成後、ＳＰＦＩＬＥ運用からＰＦＩＬＥ運用に変更し、インスタンスを起動するとエラーで失敗

PRKP 1001 ノド{1}でのインスタンス{0}の開始でラが発生しました

★RACデータベース作成時、OCR内にはSPFILE格納パス情報が記録

PRKP-1001: ノード{1}でのインスタンス{0}の開始でエラーが発生しましたCRS-215: リソース'%s'を開始できません。

作成時、格納情報記録

★srvctl コマンドによるインスタンス起動時、OCR内にあるSPFILEのパス情報を参照→ ファイルが存在しないとエラーが発生しインスタンス起動に失敗！

$ srvctl config database d <database name> a | grep i ‘^SPFILE’

回避策

$ srvctl config database -d <database_name> -a | grep –i ^SPFILESPFILE: +DG1/orcl/spfileorcl.ora ※SPFILEパス情報を内部で保持

回避策– SPFILEからPFILEに変更、または、SPFILEのパスを変更する際は、パス情報を削除（or更新）


$ srvctl modify database -d <データベース名> -p “” ※-pの後にパス情報設定

②時刻同期が取れていない場合の問題 1/2②時刻同期が取れていない場合の問題 1/2

内容（１）

– 製品インストールの際、ノード間で時刻同期が取れていないと以下エラー（警告）が発生しインストールに失敗

エラー例：INFO: Saving Cluster InventorySEVERE: oracle.sysman.oii.oiip.oiipg.OiipgRemoteFileOperationException: Bootstrapping installer to nodes failed.Dir pathis /tmp/OraInstall2005-06-01_04-11-13PM. [PRKC-1002 : All the submitted commands did not execute successfully]----------------------------------------------------------------------------------opcbrh2:/bin/tar: ./common/rulemap.xml: time stamp 2005-06-01 16:11:22 is 609 s in the future

回避策

/bin/tar: ./common/rulemap.xml: time stamp 2005 06 01 16:11:22 is 609 s in the future/bin/tar: ./common: time stamp 2005-06-01 16:13:24 is 731 s in the future/bin/tar: ./cpuinfo.txt: time stamp 2005-06-01 16:13:29 is 736 s in the future

回避策

– インストール前には、ＲＡＣを構成する全サーバにおいて時刻同期を確認・実施


時刻同期を確認・実施

②時刻同期が取れていない場合の問題 2/2②時刻同期が取れていない場合の問題 2/2

内容（２）

時間指定カバを行た際ジが出力– 時間指定のリカバリを行った際、エラーメッセージが出力され、リカバリが失敗

エラ例エラー例：ORA-01547: warning: RECOVER succeeded but OPEN RESETLOGS would get error belowORA-01195: online backup of file 1 needs more recovery to be consistent

回避策

ORA 01195: online backup of file 1 needs more recovery to be consistentORA-01110: data file 1: '/dev/raw/raw126'

回避策

– ＲＡＣを構成する全てのサーバにおいて、リカバリ前に時刻同期を確認・実施

※※インストール時および運用時、いずれの場合にもインストール時および運用時、いずれの場合にも

– 問題発生時には、ログ順序指定のリカバリで対処


イントル時および運用時、いずれの場合にもイントル時および運用時、いずれの場合にもNTPNTPサーバ等を利用して時刻同期をおこなうサーバ等を利用して時刻同期をおこなう

③アーカイブログ領域枯渇による業務停止③アカイブグ領域枯渇による業務停止

内容

– アーカイブログ領域が枯渇し、すべてのREDOログが使用不可になると全インスタンスが停止

回避策

アカイブログ領域の枯渇を防ぐために以下を検討– アーカイブログ領域の枯渇を防ぐために以下を検討

アーカイブログ領域の空き領域の監視

定期的なアカイブログのバックアップおよび削除による空定期的なアーカイブログのバックアップおよび削除による空き領域の確保

予備の領域確保および領域圧迫時の対応の事前準備

※※ただし、本来は領域が枯渇しないようにただし、本来は領域が枯渇しないように設計段階で十分な領域見積もりをおこなうことが最も重要設計段階で十分な領域見積もりをおこなうことが最も重要

予備の領域確保および領域圧迫時の対応の事前準備


設計段階で十分な領域見積もりをおこなうことが最も重要設計段階で十分な領域見積もりをおこなうことが最も重要

AgendaAgenda



《紹介構成１》富士通サバ＋PRIMECLUSTER＋O l RAC構成（S l i 編）富士通サーバ＋PRIMECLUSTER＋Oracle RAC構成（Solaris編）

◆PRIMECLUSTER（PCL） + Oracle RACを組み合わせた高可用性システム高可用性システム

データベースサーバ例SPARC Enterprise M3000

Oracle RDBMSOracle RDBMS

Real Application ClustersReal Application Clusters

Oracle Clusterware Oracle Clusterware

Oracle RDBMSOracle RDBMS

◎ PCL独自の高度な故障検知機能による

システムの特長システムの特長

連携連携通信

PRIMECLUSTERPRIMECLUSTER◎ PCL独自の高度な故障検知機能による

OSハング、スプリットブレインの迅速な検知、およびフェイルオーバー

◎ Oracle RACによる高可用性DBシステム◎ OracleとPCLの様々なミドルウェアとの連携

オペレーティング・システムオペレーティング・システム((OSOS））

連携連携通信

◎ OracleとPCLの様々なミドルウェアとの連携例）GDS：ストレージの冗長化を行うボリューム管理ソフトウェアGLS：ネットワーク伝送路を冗長化し、通信の高信頼化GFS：クラスタシステムで高信頼な共用ファイルシステムを

提供するソフトウェア

◎ PCLの統合管理GUI上からのRACデタ

富士通PRIMECLUSTER

◎ PCLの統合管理GUI上からのRACデータベースの障害監視や起動/停止操作


ストレージ装置例ETERNUS 2000 モデル200

共有ディスク

《紹介構成２》富士通ブレドサバ＋O l RAC構成（Li ／Wi d 編）

◆ブレードサーバ + SANboot + Oracle RACを組み合わせた高可用性システム

富士通ブレードサーバ＋Oracle RAC構成（Linux／Windows編）

た高可用性システム

Oracle RACブレードサーバ

PRIMERGY BX620 S5

◎ Oracle RACによる高可用性DBシステム

システムの特長システムの特長Oracle EE RACOracle EE RAC

デデデデ

Oracle RAC

デデ◎ Oracle RACによる高可用性DBシステム◎ SANBoot によるブートイメージ集約→サーバ毎ではなく、高信頼なETERNUSにデータを集約

◎ サーバ障害時自動復旧（切替） →約10分!

管理管理サーサー

データベー

データベー

データベー

データベー

データベー

データベー

サーバ追加

予備予備サーサー障害時自動切替 ◎ サ障害時自動復旧（切替）約10分!

◎ 業務の増加に伴う迅速なサーバ追加◎ １つのシャーシへサーバ統合→運用の標準化・統合管理が可能

◎ 運用の自動化SANSAN

ババースース

運用管理

ースース

ースースババ

◎ 運用の自動化→専用管理ツールにより、システム統合管理、運用自動化が可能

SANSAN管理ツールSystemwalkerResourceCoordinator


ストレージ装置ETERNUS

or

共有ディスク

さいごにさいごにＦＪＨでは、お客様のご要望にかなう様々なソリューションをご用意しています。ご用意しています。

オラクルのことなら、すべてご相談ください！オラクルのなら、すて相談くださ

<主な提供ソリューション>トタリシデザタリカバリリシ・トータルDBソリューション・ディザスタリカバリ・ソリューション・バックアップリカバリ・ソリューション・ブレード・ソリューション・DBマイグレーション for Oracle ・DBセキュリティ・ソリューション・RACソリューション・RDBO etc…RACソリュション RDBO etc…

株式会社富士通北陸システムズ株式会社富士通北陸システムズデータベースソリューション事業本部

URL : http://jp.fujitsu.com/group/fjh/services/


p jp j g p j

mailto : [email protected]

All Rights Reserved, Copyright (C) FUJITSU HOKURIKU SYSTEMS LIMITED 2004

Documents

Oracle Direct Seminar › technetwork › jp › ondemand › database › ...2010/01/26 · CRS（Cluster Ready Services ） CSS CSS EVM EVM ・ ） クラスタリソース管理、ワークロード管理、可用性管理

Oracle Direct Seminar › technetwork › jp › ondemand › database › ...2010/01/26 · CRS（Cluster Ready Services ） CSS CSS EVM EVM ・）クラスタリソース管理、ワークロード管理、可用性管理