SIOS Corporate Presentation - RED HAT OPENEYE | 多 …jp-redhat.com/forum/2012/pdf/2-D.pdfSCSI-2/3 RESERVE 適用不可適用不可適用不可 Quorum Witness Server kit 適用可

© SIOS Technology, Inc. All rights Reserved.

仮想環境で実現するミッション

クリテゖカルゕプリケーションの高可用性

KVM環境でのLifeKeeper for Linux設計

プロダクト開発部

テクニカルサポートグループ

グループマネージャー

大野洋介

2012年10月23日

サオステクノロジー株式会社

サオステクノロジー株式会社


自己紹介

2

サオステクノロジー株式会社プロダクト開発部テクニカルサポートグループグループマネージャー大野洋介

・もうすぐ40歳・LifeKeeper歴 = 社歴 = 約8年・いつもお世話になります


会社案内

社名サイオステクノロジー株式会社 (2006年11月6日より社名を変更：旧株式会社テンアートニ)

株式東証マザーズ上場 (2004年8月5日)

本社東京都港区虎ノ門4-1-28 虎ノ門タワーズ

設立 1997年5月23日

資本金 1,481百万円(2009年12月31日)

代表代表取締役社長喜多伸夫

従業員数連結206名

主要株主

株式会社大塚商会

テンプスタッフ株式会社

日商エレクトロニクス株式会社

富士通株式会社、日本電気株式会社

日本ヒューレット・パッカード株式会社

子会社

米国 SIOS Technology Corp（旧SteelEye Technology, Inc. ）

株式会社グルージェント

赛欧思（北京）科技有限公司

株式会社SIIS

株式会社ストークラボラトリー

3

© SIOS Technology, Inc. All rights Reserved. 4

サオステクノロジーの事業領域

事業継続ソリューション

◆ LifeKeeper ◆ DataKeeper ◆ vAppKeeper

SIOS Applications

◆ Speedoc for imagio ◆ Quickスキャン V2 ◆ Quickコンバート

オープンソースソリューション ◆ OSSよろず相談室 ◆ OSSプロフェッショナルサービス ◆ Postgres Plus ◆ Red Hat Enterprise Linux ◆ JBoss Enterprise Middleware ◆ SUSE Linux Enterprise Plus ◆ Oracle Linux Plus

クラウドンテグレーション By Gluegent

◆ Gluegent Cloud Integration Service ◆ Google Apps ◆ Gluegent Gate


ゕジェンダ

5

1.Introduction LifeKeeperと仮想環境

2.I/O Fencing 概要 3.構築事例 LifeKeeper on KVM 4.LifeKeeper導入とチューニング 5.検証シナリオ 6.最後に


Introduction

LifeKeeperと仮想環境

6


仮想化プラットフォームの提供するHA ⇨ RHEV-Mによるホスト/VMの監視機能ホストレベルの障害検知 VMレベルの障害検知

LifeKeeperを導入すると… ホストレベルの障害検知

VMレベルの障害検知サービス障害の検知

仮想環境でのHAと LifeKeeperの意義

7

ソフトウェゕ

ハードウェゕ

ＯＳ

アプリケーション

ミドルウェア

サーバー

ストレージ

ネットワーク

仮想サーバー

仮想化ソフトによる状態監視

LifeKeeperによる状態監視


KVM02 KVM01

RHEV-M

ノード障害検知の違い

ノード障害

RHEV-M HA

vm01 vm01

障害検知起動指示

KVM02 KVM01

ノード障害

LifeKeeper on virtual

vm02 vm01

Postgre SQL

Life Keeper

Postgre SQL

Postgre SQL

Postgre SQL

Life Keeper

サービス起動

障害検知

Disk 今回ご紹介する構成


KVM02 KVM01

RHEV-M

ゕプリケーション障害検知の違い

vm01

障害検知せず

KVM02 KVM01

vm02 vm01

Postgre SQL

Life Keeper

Postgre SQL

Postgre SQL

Life Keeper

サービス起動 …

ゕプリケーション障害

RHEV-M HA

ゕプリケーション障害

LifeKeeper on virtual

Disk

障害検知

今回ご紹介する構成


LifeKeeperの仮想化対応概要

10

多くの仮想環境に対応しています

KVM

VMware vSphere 4.x、5.x

Oracle Virtual Machine (OVM)

Citrix XenServer

Microsoft Virtual Server 2005 R2

※詳細はリリースノートで！

★ハパーバザの種類により、共有データの持ち方が変わります


KVMでの共有データ

11

デゖスク種別共有デゖスク構成データミラー構成

接続構成 Reserve (RDM)※1

Quorum Witness

(非RDM)※1

NAS DataKeeper

KVM × ○ ○ ○

(※1)FC、iSCSI、SASといった接続形態ごとの区分けではありません

KVM環境でも、Quorum/Witness Server Kitを用いることで共有デゖスクの利用が可能になりました


各共有データ形式の特色

12

1.共有ストレージ + SCSI-2/3 Reserve方式(RDM) これまでのLifeKeeperで使われてきた方式

2.共有ストレージ + Quorum/Witness Server Kit Reserve無しの共有ストレージ型HAクラスタを構築可能障害発生時のサービス引き継ぎがよりインテリジェントに

3.NAS RecoveryKit の利用要件はNFSでexportされていることのみ Reserveはかからないため、STONITH等との組み合わせがお勧め

4.DataKeeper for Linux 多くの実績のあるミラーリング機能物理・仮想の区別無く運用可能 Physical to Vrirtualのミラーをサポート BCPに役立つ様々な機能

注記！ KVM環境で共有ストレージを使用する場合は、SCSI-2/3 Reserve

(RDM)方式を用いることはできません ⇨ I/O Fencing方式の制限


I/O フェンシング概要

13

※Quorum/Witness Serverの使用については下記のドキュメントでも詳解しています LifeKeeper for LinuxとDell PowerVault MD3200の連携 http://lk.sios.com/modules/doc/index.php?page=visit&cid=2&lid=37

write write

write

ACT ACT

STN

ACT ACT

STN

SCSI Reservation

IPMI STONITH

Power Off

Case1. SCSI ReservationによるI/Oフェンシング

Case2. Quorum & STONITHによるI/Oフェンシング

◎判定

I/Oフェンシングとは？

I/Oフェンシングは、共有データに対する入力に制限を設けることで、特定のノードからのみアクセス可能とする技術の総称です。

なぜI/O フェンシングが必要？

HAクラスタでは、複数のノードが物理的に同じデータを参照します。これらのノードが同時に同じデータに書き込みを行った場合、データの不整合が生じ、データは破壊されます。これはサービスの停止以上に重大な問題です。

I/Oフェンシング機能が無いとどうなるの？

ハートビート切断によるスプリットブレインが発生した場合に、複数ノードが同時に共有データにアクセスし、データ破壊が発生する可能性があります。


I/O Fencingの種類

14

Quorum / Witness Serverｈ LifeKeeper v7.3 から追加された機能です。SCSI Reservationに対応してい

ないストレージを使用する場合や、DataKeeperやNASといった環境に対して、SCSI Reservationと同等レベルのI/O Fencingを提供します。

IPMI/STONITH

他ノードの電源を強制的に遮断する機能です。LifeKeeper v7.5から、仮想環境上の各ゲストOSに対して、電源遮断を行うVirtual STONITHがサポートされました。

SCSI-2/3 Reservation

共有ストレージに対して、SCSI-2/3のreserveを発行し、共有ストレージ自体の機能でI/O Fencingを実現します。非常に強固な方式である一方、本方式への対応の可否は個々のストレージに依存するといった特徴があります。

confirm_SO 自動切り替えを抑止し、管理者による手動切り替えの実行を待つモードで

す。有効なノードを確認してから切り替えを行うことが出来るメリットがありますが、可用性は低下します。


KVM環境でのI/Oフェンシング

15

方式 DataKeeper NAS 共有デゖスク

SCSI-2/3 RESERVE 適用不可適用不可適用不可

Quorum Witness Server kit

適用可適用可必須

IPMI / STONITH

適用可適用可必須

Confirm_SO (自動切り替えの停止) (※1)

適用可適用可適用可

(※1) 運用設計次第です。通常は適用しません


ここまでのまとめ

16

1.KVM環境でも、LifeKeeperを適用することでゕプリケーション障害に対応可能

2.共有デゖスク形式ではQuorum/Witness ServerとSTONITHの設定が必要

3.DataKeeperやNASを用いる場合は、特別な設定等は不要 ⇨ Quorum/Witness Server、STONITHを併用

することで更にパワーゕップ！


構築事例 LifeKeeper on KVM

17


RHEV上のKVM仮想OSのHA化を実現する (PostgreSQLを保護対象)

[構築事例] LK on KVM w/ IBM v7000

18

本構成について

LifeKeeper for linux v7.5

RHEV (KVM)

IBM Storwize V7000



RHEV上のKVM仮想OSのHA化を実現する (保護対象はPostgreSQL)

IBM Storwize V7000

IBM Storwize V7000

IBM Storwize V7000

RHEV (KVM)

RHEV (KVM)

RHEV (KVM)

Quorum Witness Server

+

Virtual STONITH



LifeKeeper for linux

v8.0


概要

19

RHEV

RHEV 3.0は、レッドハット株式会社が提供しているLinuxカーネルに組み込まれたハパーバザー「KVM」をベースとする仮想化製品です。

本構成では、RHEV-M を使用して各KVMのゲストOSを管理します。

RHEVのHA機能

KVMホストが停止した際に、他のKVMホストでKVMゲストOSを起動することができる。ゕプリケーションの監視は他の仕組みが必要


構築の前提

20

OSおよび保護対象のゕプリケーションは普通に準備

REHV-MからゲストOSの登録、管理が可能

ゲストOSから、ストレージにiSCSIで接続可能であること

必要なLifeKeeper コンポーネントは以下の通り steeleye-lkQWK

⇨今回はQuorum/Witness Server Kitを使用します

DMMP RK PostgreSQL RK

ソフトウェゕ、ハードウェゕの前提


Quorum/Witness Server Kit 基礎知識(1)

21

steeleye-lkQWKをンストールすると有効になります ➡ 不要な場合はンストールしないでください ➡ 2つの動作モード

1. Majority mode 2. TCP Remote mote

Reservationは無効に設定

ノードフェルオーバ発生時は、IPMI/STONITHにより

相手ノードの電源断を実施 ➡ 多重ゕクセスの確実な防止

Quorum/Witness Server Kit の特徴を以下にまとめます

※Quorum/Witness Serverの使用については下記のドキュメントでも詳解しています LifeKeeper for LinuxとDell PowerVault MD3200の連携 http://lk.sios.com/modules/doc/index.php?page=visit&cid=2&lid=37


Quorum/Witness Server Kit 基礎知識(2)

22 22 22

Quorum/Witness Server

TCP Remote モード

Quorum Host

1. Quorum Check ⇨ クラスタ構成ノードの過半数と通信可能か？

2. Witness Check ⇨ Witness Server による相手ノードの状態確認

1. Quorum Check ⇨ 指定したホストの過半数に到達可能か？

Majorityモード

ハートビート切断発生時のチェック


iSCSI (to v7000)

Communication PATH

vip

構成メージ

23

ゲストOSからiSCSI用パスを用意するゲストOS、Witness Server間のコミュニ

ケーションパスを作成する設定したコミュニケーションパスと同じセ

グメントでRHEV-Mに接続すること

23 23

IBM Storwize V7000

IBM System x3250 M4

IBM System x3690 X5

Witness Server RHEV-M

vip pgsql DMMP

VM

KVM

RHEL v6.2

vip

IBM System x3690 X5

vip pgsql DMMP

KVM

VM

RHEL v6.2

LifeKeeper

LifeKeeper

RHEV

Active

構成のポント Standby


LifeKeeper 導入とチューニング

24



25

ノード障害検知時の動作

フェイルオーバ先の決定 ⇨ QuorumWitness Server I/O Fencingの強化 ⇨ VirtualSTONITH VirtualSTONITH機能により、RHEV APIの電源断コマンドを実行することでKVMゲストOSの電源断を実現します。

IBM System x3690 X5

Guest OS

強制電源断

LifeKeeper

IBM System x3250 M4

Witness Server RHEV-M

IBM System x3690 X5

Guest OS

LifeKeeper

LifeKeeper

サービス起動

電源OFF要請電源OFF

① ②

③ ④



26

LifeKeeper設定フゔル/etc/default/LifeKeeperに以下のパラメータを追記します ⇨ SCSI Reservationによるストレージ制御を無効にします ⇨ 変更を有効にするためはLifeKeeperの再起動が必要です

RESERVATIONS=none

Virtual STONITHの設定 (1) Reservationの無効化


Virtual STONITHの設定 (2) 証明書の取得


27

# curl -O rhevm.cer http://[rhevm-server]:8080/ca.crt

証明書の取得ゲストOSからRHEV-Mへ接続するために証明書を取得します

#curl -X GET -H "Accept: application/xml" -u [USER:PASS] --cacert [CERT] https://[RHEVM Host]:8443/api/vms

仮想マシンIDの取得各ゲストOSの仮想マシンIDを取得します


Virtual STONITHの設定 (3) 電源断コマンドテスト


28

#curl -X POST –H "Accept:application/xml" –H¥ "Content-type:application/xml" -u [USER:PASS]ad—cacert[CERT]¥ -d "<action/>" https://[RHEVM Host]:8443/api/vms/[仮想マシンID]/stop

電源断コマンドテスト各ゲストOSから電源断コマンドを実行して、相手ノードの電源が落ちるを確認します

# /opt/LifeKeeper/samples/STONITH/stonith-install

stonith-installをンストール IPMI/STONITH機能のンストールスクリプトを実行します


Virtual STONITHの設定 (4) stonith.conf の記載


29

# vi /opt/LifeKeeper/config/stonith.conf 記述例：(SIOS_Primary(稼動系)のstonith.conf) ～～～～～ SIOS_Standby curl -X POST -H "Accept: application/xml" -H "Content-type:application/xml" -u admin@internal:password --cacert /root/rhevm.cer -d "<action/>" https://rhevm.iscoc.ibm.com:8443/api/vms/a444ba12-5001-4081-b9d2-ab175044ebf0/stop ～～～～～記述例：(SIOS_Standby(待機系)のstonith.conf) ～～～～～ SIOS_Primary curl -X POST -H "Accept: application/xml" -H "Content-type:application/xml" -u admin@internal:password --cacert /root/rhevm.cer -d "<action/>" https://rhevm.iscoc.ibm.com:8443/api/vms/feb91595-6af7-4bd5-b8dc-7c38141cd956/stop ～～～～～


Quorum/Witness Serverの設定 LifeKeeperパラメータフゔル


30

# vi /etc/default/LifeKeeper RESERVATIONS=none # Reservationの無効化 QUORUM_MODE=majority # Quorum Checkのモード QUORUM_HOSTS= # 問合せホスト:ポート(不使用) QUORUM_TIMEOUT_SECS=20 # 問合せのタムゕウト WITNESS_MODE=remote_verify # Witness Checkを行う QUORUM_LOSS_ACTION=fastkill # 少数派ノードの電源断動作


検証シナリオ

31


KVM02 KVM01

RHEV-M

LK01

iSCSI

RHEV Communication PTH

Quorum Host

Postgre SQL

LK02

リソース障害

リソース障害を検知してLK01から

LK02へフェールオーバ

Postgre SQL PostgreSQL

が起動！

検証シナリオ

リソース障害

Disk


KVM02 KVM01

RHEV-M

LK01

iSCSI

RHEV Communication PTH

Quorum Host

Postgre SQL

LK02

ノード障害コミュニケーションパスの全断を検知

vSTONITHによりLK01を電源断コマンドが実行

RHEV-MがLK01を電源断

LK01 電源断

Postgre SQL PostgreSQL

が起動！

検証シナリオ

ノード障害

Disk


最後に

34


サオス OSSワンストップリューション

オープンソースの活用で、柔軟で快適なシステムを実現！

サイオステクノロジーは長年培った技術と経験により、お客様のIT投資を成功に導くため、正しいオープンソースソフトウェアの導入や活用のソリューションを提供し続けています。オープンソースのことなら業界最高の技術力と実績のあるサイオスまでご相談ください！

OSSプロフェッショナルサービス

OSSよろず相談室

エンタープラズ向けオープンソース

35

適切なオープンソースソフトウェア（OSS）の導入と活用のためのソリューションをご提供しています。導入前のコンサルティングから、設計、開発、運用にいたるまで各種サービスをご提供します。

80種以上のオープンソースソフトウェア（OSS）に関する使用方法や

設定方法、トラブル対応に関する質問をメールにてお受けし、その調査結果や回避策、アドバイスを回答するヘルプデスクタイプのサポートサービスです。

様々なニーズに対応したエンタープライズ向けオープンソースソフトウェアをご提供しております。各コンポーネントを適材適所で組み合わせ、最適なシステムを実現します。

Service

Support

Software


公式facebook公開中

【サオス】

★サイオステクノロジーの最新情報やIT業界の気になる情報、

イベント・セミナー情報も配信中！

http://www.facebook.com/SIOSTechnology

【Gluegent 100% Cloud Integration】※Gluegent社によるページです

★様々なCloud製品の情報満載です！

http://www.facebook.com/SIOSCloud

【OSSよろず相談室】

★オープンソースソフトウェアのお役立ち情報をお届けします！

http://www.facebook.com/OSSyorozu

を是非クリックしてください！皆様の参加をお待ちしています。

Twitterアカウントはコチラ https://twitter.com/#!/SIOS_Technology

http://www.facebook.com/SIOSTechnology

http://www.facebook.com/SIOSCloud

http://www.facebook.com/OSSyorozu

https://twitter.com/

ご清聴いただき誠にありがとうございました。

Documents

SIOS Corporate Presentation - RED HAT OPENEYE | 多 …jp-redhat.com/forum/2012/pdf/2-D.pdfSCSI-2/3 RESERVE 適用不可 適用不可 適用不可 Quorum Witness Server kit 適用可

SIOS Corporate Presentation - RED HAT OPENEYE | 多 …jp-redhat.com/forum/2012/pdf/2-D.pdfSCSI-2/3 RESERVE 適用不可適用不可適用不可 Quorum Witness Server kit 適用可