60
株株株株株株株株株株 株株株株株Hinemos 株株株株株株株株株株株株2016 株 01 株 29 株 株株 株

プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Embed Size (px)

Citation preview

Page 1: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

株式会社アトミテック

 プロが解説! Hinemos による運用管理テクニッ

ク!2016 年 01 月 29 日

小泉 界

Page 2: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

2

自己紹介Hinemos とはHinemos のお問い合わせ事例紹介Hinemos へのジョブ移行時のポイント

(ソリューション紹介)

アジェンダ

Copyright (c) 2015 Atomitech Inc.

Page 3: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

3

自己紹介

Copyright (c) 2015 Atomitech Inc.

Page 4: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

小泉 界 ( こいずみ かい )1990 年 12 月 31 日生まれ趣味

楽器演奏 ( ヴィオラ、ピアノ )

所属株式会社アトミテック Hinemos ソリューション部

日々の主な業務Hinemos 保守、社外 PR( イベントなど )

取得した称号Hinemos 認定アソシエイト ( 監視 )Hinemos 認定アソシエイト ( ジョブ )Hinemos 認定プロフェッショナル

自己紹介

資格詳細 :http://www.hinemos.info/support/certificateCopyright (c) 2015 Atomitech Inc.4

出演する演奏会

Page 5: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Hinemos とは

Copyright (c) 2015 Atomitech Inc.5

Page 6: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

システム運用管理で要求される各種機能を備えた、 「統合運用管理ソフトウェア」

Hinemos とは

監視 ジョブ環境構築

複雑化するシステムを、 Hinemos で統合運用管理

一元管理

物理環境 仮想化環境 ネットワーク機器類

Copyright (c) 2015 Atomitech Inc.6

Page 7: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Copyright (c) 2015 Atomitech Inc.

『必要な機能を、シンプルで使いやすい操作性と共に、安価で提供する』

Hinemos の特徴・コンセプト

物理環境 仮想化環境

日本製 OSS

シンプルな操作性

→GUI アプリケーションならではの、柔軟な操作性→ システム全体をグループ毎に俯瞰的に管理可能→ 運用現場に応じた、 GUI のカスタマイズも容易

充実の機能

→ 日本の運用管理ニーズに必要な機能を厳選→ 日本語インタフェース、ドキュメント、保守サポート提供→OSS として、安価に導入が可能

→ 監視・ジョブの両方をワンパッケージで提供→ 環境構築機能や、クラウド管理機能を完備→ 本体機能に加え、オプション製品でニーズを先取り

7

Page 8: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

多種多様な環境を Hinemos で一元管理可能

対応プラットフォーム

物理環境 仮想化環境 ネットワーク機器類

OSRed Hat Enterprise LinuxCentOSOracle LinuxWindowsSolarisHP-UXAIX

ハイパーバイザ

VMware ESXiKVMXenServerHyper-VOracle VM

その他

ネットワーク機器アプライアンス製品

クラウドAmazon Web ServicesMicrosoft AzureCloudn

Copyright (c) 2015 Atomitech Inc.8

Page 9: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Hinemos は、以下の3つのコンポーネントから構成

Hinemos 基本構成

運用管理サーバ( Hinemos マネージャ)Hinemos の運用管理機能を提供するサーバ。各種設定内容を保持し、設定された監視機能やジョブ管理機能の実行を指示します。また、監視結果やジョブ実行結果を内部 DB に蓄積します。

設定追加・変更結果の表示

稼動監視ジョブ実行指示環境構築指示ログ・トラップ送信

運用管理端末 (Hinemos クライアント ) -> リッチクライアント -> Web クライアントオペレータが操作する統合コンソール端末。 監視やジョブ、環境構築設定の登録や、監視状況の把握、ジョブや環境構築操作の実行状況把握など、システムの稼働状況・運用状況を表示します。

管理対象システム ( Hinemos エージェント)Hinemos の管理対象となる IT 機器。専用エージェントを導入しなくても、大半の監視機能が使用できます。専用エージェントを導入することにより、すべての機能が使用できます。

管理 DB

Copyright (c) 2015 Atomitech Inc.9

Page 10: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Hinemos 保守サポート

Copyright (c) 2015 Atomitech Inc.10

Page 11: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Hinemos 保守サポートとは?

お問い合わせ対応障害調査修正モジュールの提供等

Copyright (c) 2015 Atomitech Inc.11

Page 12: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Hinemos 保守サポートお問い合わせ分類

2015 年01 月

2015 年02 月

2015 年03 月

2015 年04 月

2015 年05 月

2015 年06 月

2015 年07 月

2015 年08 月

2015 年09 月

2015 年10 月

2015 年11 月

2015 年12 月

51 47

94

48 45

85 68 60 54 68 68 72

38 42

43

66 41

61

48 27 43

47 31

40

仕様 障害

年間約 1200件以上

Copyright (c) 2015 Atomitech Inc.12

Page 13: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

1. リソース監視やプロセス監視の結果で情報ステータスと不明ステータスが繰り返し出力される2. カーネルモードで動作するプロセスの監視3. Hinemos メンテナンス機能について4. Javaヒープメモリに関する HinemosInternal エラーが出力された5. Hinemos クライアントから Hinemos マネージャにログインできるがビューが表示されない6. システムログ監視の結果の通知に遅延があった7. システムログ監視で監視漏れが発生した8. ジョブの実行に 30秒かかる?9. Hinemos マネージャ接続におけるプロキシ中継について10.ジョブの判定対象の時刻が機能しない11.終了遅延の “ 26:00:00” と “ 2:00:00” の違い12.プロキシを経由した HTTP 監視の方法は?13.Hinemos エージェントレスで可能な監視について14.rsyslog_hinemos.conf のコメントアウト箇所の意味15.Hinemos マネージャからエージェントが認識されていない事象について16.Windows サービス監視で監視対象のサービス名に半角空白が含まれていても監視に影響はないか17.イベントログ名はあっているはずなのに Windows イベントログが監視できない18.Hinemos 履歴保管期間変更について19.メンテナンス設定の作成が行えない20.Hinemos マネージャ 2台からの 1台のサーバを監視21.各機能の登録上限は?22.Hinemos のプロセスを監視したい

Hinemos トラブルシューティングの事例一覧 ( 一部 )

Copyright (c) 2015 Atomitech Inc.13

Page 14: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

障害調査

Copyright (c) 2015 Atomitech Inc.14

2015 年01 月

2015 年02 月

2015 年03 月

2015 年04 月

2015 年05 月

2015 年06 月

2015 年07 月

2015 年08 月

2015 年09 月

2015 年10 月

2015 年11 月

2015 年12 月

51 47

94

48 45

85 68 60 54 68 68 72

38 42

43

66 41

61

48 27 43

47 31

40

仕様 障害

Page 15: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

リソース監視やプロセス監視の結果で情報ステータスと不明ステータスが繰り返し出力される

事象リソース監視やプロセス監視の結果で”情報”ステータスと”不明”ステータスが繰り返し出力されている。

原因SNMP ポーリングのタイムアウトにより、監視の判定を行うための値の取得に失敗した。

例 ) 監視対象サーバ上の SNMP エージェントとの通信で  タイムアウトが発生

Copyright (c) 2015 Atomitech Inc.15

【 Hinemos ver.5.0 、 4.1 障害系 01/08】

Page 16: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

リソース監視やプロセス監視の結果で情報ステータスと不明ステータスが繰り返し出力される

監視の仕組み

① SNMP ポーリングによる値の取得処理 -> 5000 ミリ秒 ( タイムアウト値 )×3回 ( リトライ回数 ) ※ デフォルトの場合

② リソース情報及びプロセス数カウントの閾値判定処理

-> タイムアウト等で値の取得に失敗し、値が存在しない場合

  不明ステータスで通知

【 Hinemos ver.5.0 、 4.1 障害系 01/08】

Copyright (c) 2015 Atomitech Inc.16

Page 17: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

リソース監視やプロセス監視の結果で情報ステータスと不明ステータスが繰り返し出力される対処

Hinemos マネージャから SNMP エージェントへの経路に問題がないか確認する。

・高負荷により、 SNMP のパケットが失われていないか・ファイアーウォール等により、パケットが遮断されていないか・ネットワーク経路が切断されていないか・ネットワーク機器に障害が起きていないか・ Hinemos マネージャサーバの OS の NW サービスに障害が起きていないか・ Hinemos マネージャサーバの NIC に障害が起きていないか

・ SNMP エージェントが値を取得するのに時間がかかっていないか・ SNMP エージェントが起動しているか・ OS のネットワークサービスに障害が起きていないか・サーバの NIC に障害が起きていないか

観点 1: 監視対象サーバに問題がないか

観点 2 : マネージャ ‐ 監視対象サーバ間の NW に問題がないか

Copyright (c) 2015 Atomitech Inc.17

【 Hinemos ver.5.0 、 4.1 障害系 01/08】

Page 18: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

カーネルモードで動作するプロセスの監視

事象Linux のカーネルモードで動作するプロセスが監視できない

原因  net-snmp の仕様 カーネルモードで動作するプロセスは、

”hrSWRunPath” を一律“<exited>“ という文字列で返す。

-> コマンド ( パス ) を判別することができず、  カーネルモードのプロセスを監視することができない。

Copyright (c) 2015 Atomitech Inc.18

【 Hinemos ver.5.0 、 4.1 障害系 02/08】

Page 19: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

カーネルモードで動作するプロセスの監視

仕組みHinemos のプロセス監視は、原則として、SNMP ポーリングで取得した値 と 監視設定で指定した値を比較し、一致した場合にプロセスが存在するものと判定する。

対処 カスタム監視を用いる

対象プロセス数をカウントするコマンドを実行して監視# echo -n "NumOfProcs_kthreadd,";ps -ef|grep kthreadd|grep -v grep|wc –l

Copyright (c) 2015 Atomitech Inc.19

【 Hinemos ver.5.0 、 4.1 障害系 02/15】

SNMP で取得した” hrSWRunPath” の値    ⇔ 監視対象プロセスのコマンドSNMP で取得した” hrSWRunParameters” の値 ⇔ 監視対象プロセスのコマンド引数

Page 20: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Hinemos メンテナンス機能について

事象 ジョブ履歴が 10万件越え、警告メッセージを検知したので、メンテナンス機能でジョブ履歴削除を行ったが、失敗した。

原因 一度に削除する履歴件数が多い

マネージャの内部 DB に対する、ジョブ実行履歴削除のための SQL文の実行に時間がかかっている。-> Hinemos マネージャが内部 DB と通信する際にソケットタイムアウトが 発生。  これにより内部 DB との通信が強制的に切断。

Copyright (c) 2015 Atomitech Inc.20

【 Hinemos ver.5.0 、 4.1 障害系 03/08】

Page 21: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Hinemos メンテナンス機能について

対処 徐々にジョブ履歴を削除する

例えば、

保存期間  31 日 →  30 日  (1回目 )保存期間  30 日 →  29 日  (2回目 )   : (途中省略 )保存期間  12 日 →  11 日  (*回目 )保存期間  11 日 →  10 日  (*回目 )

保存期間  31 日 →  10 日

Copyright (c) 2015 Atomitech Inc.21

【 Hinemos ver.5.0 、 4.1 障害系 03/08】

一度に 21 日分の履歴情報を削除→ タイムアウトが発生

一度に削除するのは 1 日分→ タイムアウトは発生しない

Page 22: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Javaヒープメモリに関するHinemosInternal エラーが出力された

事象Hinemos マネージャのログ (hinemos_internal.log) に次のメッセージが出力された。

「利用可能なメモリ容量が閾値を下回ったため、 Hinemos マネージャの再起動を推奨する」

原因Hinemos マネージャのヒープメモリが減少。

->Hinemos マネージャのヒープメモリのサイズに対して、 設定内容が多い。

Copyright (c) 2015 Atomitech Inc.22

【 Hinemos ver.5.0 、 4.1 障害系 04/08】

Page 23: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Javaヒープメモリに関するHinemosInternal エラーが出力された

暫定的対処Hinemos マネージャの再起動

恒久的対処(1) 監視項目、ジョブ数、ノード数の設定数を見直す。 →不要なものがないかなど。

(2)Hinemos マネージャサーバの物理メモリに余裕がある場合は、 Hinemos マネージャの Javaヒープメモリのサイズを変更。

Copyright (c) 2015 Atomitech Inc.23

【 Hinemos ver.5.0 、 4.1 障害系 04/08】

# for small systemsexport JVM_HEAP_OPTS=“-Xms512m -Xmx512m -XX:NewSize=160m -XX:MaxNewSize=160m - XX:MaxPermSize=192m -Xss256k"# for medium systems#export JVM_HEAP_OPTS="-Xms1024m -Xmx1024m -XX:NewSize=320m -XX:MaxNewSize=320m -XX:MaxPermSize=256m -Xss256k"# for large systems#export JVM_HEAP_OPTS="-Xms2048m -Xmx2048m -XX:NewSize=640m -XX:MaxNewSize=640m -XX:MaxPermSize=360m -Xss256k"

Page 24: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Hinemos クライアントから Hinemos マネージャにログインできるがビューが表示されない

事象監視設定ビューやジョブ一覧ビューが表示されない( エラー表示もでない )

原因Hinemos クライアントのワークスペース情報が一部破損

対処※次のいずれかを実施(1)Hinemos クライアントの設定情報を削除する。 “ C:\Users\{Windows ログインユーザ名 }\AppData\Roaming\hinemos\Client4.x

(2)Hinemos クライアントをクリーンスタートする。“C:\Program Files (x86)\Hinemos\Client4.1.x”配下の「 client_clean_start.vbs 」を実行し、 Hinemos クライアントを起動する。

(3)Hinemos クライアントを再インストールする。Copyright (c) 2015 Atomitech Inc.24

【 Hinemos ver.5.0 、 4.1 障害系 05/08】

Page 25: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

システムログ監視の結果の通知に遅延があった

事象システムログ監視の結果で「受信日時」と「出力日時」に差があり、通知に遅延が発生している。

原因瞬間的に大量 (※) の syslog が Hinemos マネージャに転送-> システムログ監視のパターマッチ処理に遅れがでてしまった。※ 環境によるが、この事例の場合は 10分間に 10000件

対処(1)通知の遅延が発生した時間帯に転送されている syslog の流量を減らす。

※ rsyslog.conf の設定で、転送量を抑制するなど。

(2) システムログ監視やそのフィルタの件数を見直す。

(3)当該監視設定の通知設定を見直す。25 Copyright (c) 2015 Atomitech Inc.

【 Hinemos ver.5.0 、 4.1 障害系 06/08】

Page 26: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Copyright (c) 2015 Atomitech Inc.

システムログ監視で監視漏れが発生した

事象監視対象サーバでは、システムログが出力されたが、システムログ監視にて検知できず、通知もされなかった。マネージャサーバの /var/log/messages に、次のメッセージが出力されていた。

原因複数の監視対象サーバから syslog が転送されたことによって、 rsyslog の TCP最大接続数を超えてしまった。

<syslog.err> rsyslogd-2079: too many tcp sessions – dropping incomingrequest

26

【 Hinemos ver.5.0 、 4.1 障害系 07/08】

Page 27: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Copyright (c) 2015 Atomitech Inc.

システムログ監視で監視漏れが発生した

対処(1) 監視対象サーバ側で、 Hinemos マネージャへの TCP による  syslog転送を行わない。   -> 514/TCP から 514/UDP へ変更する。

(2) マネージャサーバ側で、 rsyslog の TCP セッション上限数を増やす  -> rsyslog_hinemos.conf を編集し、セッション数を増やす。

27

【 Hinemos ver.5.0 、 4.1 障害系 07/08】

$InputTCPMaxSessions 1000

*.info;mail.none;authpriv.none;cron.none @@{ManagerIP}:514

  ↓*.info;mail.none;authpriv.none;cron.none @{ManagerIP}:514

Page 28: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

ジョブの実行に 30秒かかる?

事象コマンド ( スクリプト ) の処理自体は一瞬で完了するはずが、ジョブを開始してから終了するまでに 30秒かかってしまう。

原因(1)即時反映用ポート (デフォルトで 24005/UDP) が不通となっている。または、(2) Hinemos エージェントサーバで他のプロセスが 24005/UDP ポートを使用中

Copyright (c) 2015 Atomitech Inc.28

【 Hinemos ver.5.0 、 4.1 障害系 08/08】

Page 29: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

ジョブの実行に 30秒かかる?

対処(1)Hinemos マネージャサーバ -> Hinemos エージェントサーバ 方向の 24005/UDP の通信を許可する。  -> ファイアウォール等の設定の見直し

(2)24005/UDP を使用する他のプロセスを停止する。 または、即時反映用ポートをデフォルト 24005/UDP から変更する。  -> Hinemos エージェントの設定ファイルで指定可能。   Agent.properties の“ awake.port=24005” を変更

    ver5.0 ではノードプロパティで即時反映用のポートを指定可能。

Copyright (c) 2015 Atomitech Inc.29

【 Hinemos ver.5.0 、 4.1 障害系 08/08】

Page 30: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

【補足】ジョブの実行の仕組み

Copyright (c) 2015 Atomitech Inc.

ジョブ実行時のマネージャとエージェント間の通信

①ジョブ実行指示情報を、マネージャ内部の topic に格納

②ジョブ実行対象ノードの IP アドレスの即時反映ポート (24005番 ) に   UDP パケットを送信

③UDP パケットを受信したエージェントは、 Web/API経由で  マネージャの topic からジョブ実行指示情報を取得する。

④エージェントはコマンドを実行し、結果を Web/API経由で  マネージャに送信

⑤マネージャは実行結果を元に次のジョブ制御を実施

30

【 Hinemos ver.5.0 、 4.1 障害系 08/08】

Page 31: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

【補足】今回の事象の場合

Copyright (c) 2015 Atomitech Inc.

ジョブ実行時のマネージャとエージェント間の通信

①ジョブ実行指示情報を、マネージャ内部の topic に格納

②ジョブ実行対象ノードの IP アドレスの即時反映ポート (24005番 ) に   UDP パケットを送信

③UDP パケットを受信できなかった

④エージェントはコマンドを実行し、結果を Web/API経由で マネージャに送信

⑤マネージャは実行結果を元に次のジョブ制御を実施

即時反映ポート (24005番 ) が不通または、使用中

Hinemos エージェントは、定期的 (30秒間隔 ) に Web/API経由でマネージャの topic にジョブ実行指示情報が格納されていないか確認

格納されている場合は取得

31

【 Hinemos ver.5.0 、 4.1 障害系 08/08】

Page 32: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Copyright (c) 2015 Atomitech Inc.

仕様

32

2015 年01 月

2015 年02 月

2015 年03 月

2015 年04 月

2015 年05 月

2015 年06 月

2015 年07 月

2015 年08 月

2015 年09 月

2015 年10 月

2015 年11 月

2015 年12 月

51 47

94

48 45

85 68 60 54 68 68 72

38 42

43

66 41

61

48 27 43

47 31

40

仕様 障害

Page 33: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Hinemos マネージャ接続におけるプロキシ中継について

事例 Hinemos の通信をプロキシサーバ経由としたい場合、必要な設定は?

対処Hinemos マネージャについては設定不要。Hinemos エージェント、 Hinemos クライアントでそれぞれ以下の設定が必要。

・ HTTP Proxy サーバの IP アドレス及びホスト名

・ HTTP Proxy サーバの待ち受けポート

・ HTTP Proxy サーバの認証ユーザ

・ HTTP Proxy サーバの認証パスワード

 

33 Copyright (c) 2015 Atomitech Inc.

【 Hinemos ver.5.0 、 4.1 仕様系 01/14】

Page 34: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Copyright (c) 2015 Atomitech Inc.

ジョブの判定対象の時刻が機能しない

事例ジョブの待ち条件を次のように設定した。しかし、想定通りに動作しない。

ジョブネット・ジョブの設定 23:55:ジョブネット A の実行 ( ジョブスケジュール ) 00:10:ジョブネット A の中にあるジョブ B の実行 (待ち条件の時刻判定 ) 06:00:ジョブネット A の中にあるジョブ C の実行 (待ち条件の時刻判定 ) 

設定者の想定したジョブフロー10/24 23:55 にジョブネット A が実行開始  ↓10/25 00:10 にジョブ B が実行  ↓10/25 06:00 にジョブ C が実行

しかし、 23:55 にジョブネット A が実行されたところ、 ジョブ B 、ジョブ Cも 23:55 に実行されてしまった。

34

【 Hinemos ver.5.0 、 4.1 仕様系 02/14】

Page 35: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Copyright (c) 2015 Atomitech Inc.

ジョブの判定対象の時刻が機能しない

対処設定者の想定どおりにジョブ B とジョブ C を実行するには以下のように設定の変更が必要

・ジョブ B の待ち条件 ( 時刻 ): 00:10:00・ジョブ C の待ち条件 ( 時刻 ): 06:00:00

 

・ジョブ B の待ち条件 ( 時刻 ): 24:10:00・ジョブ C の待ち条件 ( 時刻 ): 30:00:00 

35

【 Hinemos ver.5.0 、 4.1 仕様系 02/14】

Page 36: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Copyright (c) 2015 Atomitech Inc.

終了遅延の “ 26:00:00” と “ 2:00:00” の違い

質問次のように設定した場合、終了遅延判定の動作に違いはあるか。 終了遅延に“ 26:00:00” と設定した場合 終了遅延に“ 02:00:00" と設定した場合

回答例えば、 2015/08/07 23:00:00 にジョブを開始。

・ジョブの終了遅延「時刻」が“ 26:00:00” の場合 ジョブセッション開始日“ 2015/08/07” の” 26:00:00”  -> “2015/08/08 02:00:00” 以降に発動

・ジョブの終了遅延「時刻」が“ 02:00:00” の場合 ジョブセッション開始日“ 2015/08/07” の” 02:00:00” 現在時刻 ( ジョブ開始時刻 ) は” 23:00:00” でこれを超えている  -> “2015/08/07 23:00:00“ に発動 

36

【 Hinemos ver.5.0 、 4.1 仕様系 03/14】

Page 37: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

プロキシを経由した HTTP 監視の方法は?

質問 HTTP 監視を行う際、プロキシを経由した監視は実施可能か。

回答Hinemos ver4.1 では、 HTTP 監視で HTTP リクエストを行う際に、

プロキシサーバを経由するよう設定することができない。

Hinemos ver5.0 では、新たに HTTP 監視 ( シナリオ ) という監視種別が追加され、プロキシサーバを経由した HTTP 監視が可能。

37 Copyright (c) 2015 Atomitech Inc.

【 Hinemos ver.5.0 、 4.1 仕様系 04/14】

Page 38: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Copyright (c) 2015 Atomitech Inc.

Hinemos エージェントレスで可能な監視について

質問Hinemos エージェントをインストールしていない監視対象には、どの監視が行えるのか?

回答

38

【 Hinemos ver.5.0 、 4.1 仕様系 05/14】

機能 Linux Windows NW 機器Hinemos エージェント監視 × × -HTTP 監視 ○ ○ ○リソース監視 ○ △ ○PING 監視 ○ ○ ○サービス・ポート監視 ○ ○ ○プロセス監視 ○ △ -SNMP 監視 ○ △ ○SQL 監視 ○ ○ ○システムログ監視 ○ - ○ログファイル監視 × × ×カスタム監視 × × ×SNMPTRAP 監視 ○ ○ ○Windows サービス監視 - ○ -Windows イベント監視 - × -

Page 39: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Copyright (c) 2015 Atomitech Inc.

rsyslog_hinemos.conf のコメントアウト箇所について

質問rsyslog_hinemos.conf のコメントアウト箇所を解除してもHinemos の動作に影響はないか。

回答影響はない。コメントアウトを解除することで、 Hinemos マネージャに転送されるsyslog が出力できるようになる。・ syslog が Hinemos マネージャへ転送できているか確認できる。・どのくらいの流量の syslog が Hinemos マネージャへ転送されているか 具体的に確認できる。ただし、流量が多いと Hinemos マネージャサーバのディスク使用容量が増加するため、要注意。

# $template mytemplate,"<%pri%>%timestamp% %hostname% %syslogtag%%msg%\n"# $template TmpFile,"/tmp/rsyslog.log.%$year%-%$month%-%$day%"# *.info;mail.none;authpriv.none;cron.none ?TmpFile;mytemplate

39

【 Hinemos ver.5.0 、 4.1 仕様系 06/14】

Page 40: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Copyright (c) 2015 Atomitech Inc.

Hinemos マネージャからエージェントが認識されていない事象について事例

リポジトリに登録した一部のノードの Hinemos エージェントが、リポジトリ [ エージェント ]ビューに表示されていない。リポジトリ [ ノード ]ビュー上には、当該ノードは表示されている。

原因Hinemos エージェントが自身のファシリティ ID を解決できていない。

40

【 Hinemos ver.5.0 、 4.1 仕様系 07/14】

Page 41: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Copyright (c) 2015 Atomitech Inc.

Hinemos マネージャからエージェントが認識されていない事象について対処  (1)Hinemos エージェントサーバから Hinemos マネージャサーバに   対して、 8080/TCP の通信が行えるようになっているか確認する   (F/W等で通信がブロックされていないかなど )

  (2)Hinemos エージェントは、自身のホスト名と IP アドレスを元に   Hinemos マネージャに問い合わせ、自身のファシリティ ID を解決 ・条件 1 [ホスト名 ]  以下の 2 つが一致  ・ノードプロパティの“サーバ基本情報 – OS – ノード名”  ・対象サーバのホスト名 (hostname コマンドで表示されるホスト名 )   ・条件 2 [IP アドレス ]  以下の 2 つが一致  ・ノードプロパティの“サーバ基本情報 - ネットワーク - IP アドレス”  ・対象サーバの ( 実際の )IP アドレス

41

【 Hinemos ver.5.0 、 4.1 仕様系 07/14】

Page 42: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Copyright (c) 2015 Atomitech Inc.

Windows サービス監視で監視対象のサービス名に半角空白が含まれていても監視に影響はないか

質問Windows サービス監視で監視したいサービス名に半角空白を含むものを設定したい。正常に監視は可能か。

 例:「 hoge hoge 」

回答監視可能。

サービス名に半角空白を含むWindows サービスを指定する場合も、

正常に監視を行うことができる。サービス名を指定する際、サービス名全体をクォートで囲む必要はない。

42

【 Hinemos ver.5.0 、 4.1 仕様系 08/14】

Page 43: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Copyright (c) 2015 Atomitech Inc.

イベントログ名はあっているはずなのにWindows イベントログが監視できない

事象 半角空白が含まれる Windows イベントログが監視できない。   例:「 HogeHoge Event Log 」

対処Windows イベント [ 作成・変更 ] ダイアログのイベントログ欄にて、イベントログ名を二重引用符 (“) で囲って指定する   HogeHoge Event Log  →  “ HogeHoge Event Log”

43

【 Hinemos ver.5.0 、 4.1 仕様系 09/14】

Page 44: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Copyright (c) 2015 Atomitech Inc.

Hinemos 履歴保管期間変更について

質問メンテナンス機能の定期的なジョブ実行履歴やイベント履歴の削除で、履歴情報の保管期間を 93 日などに増やすことは可能か。増やした結果、 Hinemos の動作に影響はあるか。

回答保存期間を増やすことが可能。

ただし、保存期間を延長する場合は、延長した分だけ Hinemos マネージャサーバのディスク使用容量が増加する。これに気を付けていれば、動作に影響もない。

44

【 Hinemos ver.5.0 、 4.1 仕様系 10/14】

Page 45: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Copyright (c) 2015 Atomitech Inc.

メンテナンス設定の作成が行えない

質問 対象のアカウントに権限を付与したのにもかかわらず、メンテナンスの設定の作成が行えない。

回答メンテナンス機能の操作するためには、 Hinemos ログインユーザをHinemos 管理者用ロール (ADMINISTRATORS) に所属させる必要がある。

45

--------------------------------------------------------------------------------------------------------------------------------------------Hinemos ver4.1 ユーザマニュアル 第 5版

「 12.3.2 システム権限による管理 表 12-3 システム権限一覧」

【 Hinemos ver.5.0 、 4.1 仕様系 11/14】

Page 46: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Copyright (c) 2015 Atomitech Inc.

Hinemos マネージャ 2台からの 1台のサーバを監視

質問Hinemos エージェントをサーバ (Linux) に 2 つインストールし、それぞれ別の Hinemos マネージャと疎通させることは可能か?

回答 可能。  複数の Hinemos エージェントをそれぞれ別の Hinemos マネージャに 接続させるには、以下のいずれかの方法を実施すること。

  (1)Hinemos エージェントのインストール時に、接続先の Hinemos  マネージャとしてそれぞれ異なる IP アドレスを入力。

  (2) 以下の設定ファイルで、 Hinemos エージェントごとにそれぞれ異なる   Hinemos マネージャサーバの IP アドレスを指定する。

46

【 Hinemos ver.5.0 、 4.1 仕様系 12/14】

Page 47: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Copyright (c) 2015 Atomitech Inc.

各機能の登録上限は?

質問Hinemos の機能において登録数の上限値はあるか?

回答 基本的に上限はない。 ただし Hinemos の管理 DB のカラムのデータ型の制約がある。  例えば、カレンダ機能において、 1 つのカレンダ設定内の詳細設定数は  「 32767 」個までなど。 

  しかし、基本的に上限がないといっても、管理 DB の制約ぎりぎりまで  登録できるというわけでない。  どこかで Hinemos マネージャサーバの性能要件に触れてしまい、   Hinemos マネージャが従来の性能を発揮できなくなるので、  不要な設定は行わないこと。 

47

【 Hinemos ver.5.0 、 4.1 仕様系 13/14】

Page 48: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Hinemos のプロセスを監視したい

質問Hinemos のプロセス監視で、以下の点について知りたい(1)Linux に導入する Hinemos Manager のプロセス名とプロセス数(2)Linux に導入する Hinemos Agent のプロセス名とプロセス数(3)Windows に導入する Hinemos Agent のサービス名

回答   (1) プロセス名     : ${JAVA_HOME}/bin/java   引数        : .*-Dhinemos\.manager.*   プロセス数     : 1個以上    (2) プロセス名     : ${JAVA_HOME}/bin/java   引数        : .*-Dhinemos\.agent.*   プロセス数     : 1個以上    (3) サービス名     : HinemosAgent※Hinemos マネージャ自ら、自身のプロセスを監視することは推奨していない。

監視したい場合は、もう一台Hinemos マネージャを用意するなどして相互監視を行う。

48 Copyright (c) 2015 Atomitech Inc.

【 Hinemos ver.5.0 、 4.1 仕様系 14/14】

Page 49: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Copyright (c) 2015 Atomitech Inc.

Hinemos へのジョブ移行のポイント

49

Page 50: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Copyright (c) 2015 Atomitech Inc.

商用運用管理ツールからHinemos へのジョブ移行を進める為には

Hinemos へのジョブ移行に必要なこと

既存のジョブ定義の把握

既存ツールと Hinemos との機能差異の把握

Hinemos での機能差異の対応方法の検討

対応方法の検討結果を元にジョブ定義を設計

不要なジョブの削除を含むジョブフロー

の見直しも重要

50

Page 51: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Copyright (c) 2015 Atomitech Inc.

商用運用管理ツールと Hinemos との主な機能差異

既存ツールと Hinemos との機能差異の把握

ログファイル監視ジョブ

• ログファイルに特定のキーワードを含むログが出力されるまで待機するジョブ

ファイル監視ジョブ

• ファイルが作成・更新・削除されるまで待機するジョブ

イベント送信ジョブ

• イベント受信ジョブに対しイベントを送信するジョブ

イベント受信ジョブ

• イベント送信ジョブからイベントを受信するまで待機するジョブ

繰り返しジョブ(ジョブネット)

• 指定の期間・回数・間隔に従い、ジョブ ( ネット ) を繰り返し実行するジョブ ( ネット )

51

Page 52: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Copyright (c) 2015 Atomitech Inc.

Hinemos との機能差異の対応方法①

ログファイル監視ジョブ

• ジョブフローから対象ジョブが切り離せる場合、ログファイル監視機能の監視結果と連動してジョブを実行することで対応

• 指定したログファイルに特定のキーワードを含むログが出力されるまで、ログ監視を繰り返し実施するスクリプトを作成し対応

• 弊社では、Hinemosのログファイル監視機能をベースにしたスクリプトで対応

ファイル監視ジョブ

• ジョブフローから対象ジョブが切り離せる場合、カスタム監視機能の監視結果と連動してジョブを実行することで対応

• 指定したファイルが作成・更新・削除されるまでファイルの状態を監視を繰り返し実施するスクリプトを作成し対応

• 弊社では、Hinemosのジョブ実行契機のファイル監視をベースにしたスクリプトで対応

52

Page 53: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Copyright (c) 2015 Atomitech Inc.

Hinemos との機能差異の対応方法②

イベント送信ジョブ

• ジョブ通知を利用して、任意のジョブが完了したタイミングで他のジョブを実行することで対応(※推奨せず)

• イベント受信ジョブに対してイベントを送信するスクリプトを作成し対応• 弊社では、イベント通知を利用したイベント送信スクリプトで対応

イベント受信ジョブ

• ジョブ通知を利用して、任意のジョブが完了したタイミングで他のジョブを実行することで対応(※推奨せず)

• イベント送信ジョブからイベント受信するまで待機するスクリプトを作成し対応

• 弊社では、イベント通知を利用したイベント受信スクリプトで対応

53

Page 54: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Copyright (c) 2015 Atomitech Inc.

Hinemos との機能差異の対応方法③

繰り返しジョブ

• ジョブフローから繰り返し対象のジョブが切り離せる場合、ジョブスケジュールによる繰り返し実行にて対応

• 指定したコマンドを期間・回数・間隔に従い、繰り返し実行するスクリプトを作成し対応

• 参照ジョブを直列に定義し対応

繰り返しジョブネット

• ジョブフローからジョブネットが切り離せる場合、ジョブスケジュールによる繰り返し実行にて対応

• 繰り返し対象のジョブネットを直列に定義し対応

54

Page 55: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Copyright (c) 2015 Atomitech Inc.

ご紹介できなかった機能差異

ジョブフロー制御のアーキテクチャコマンドの返り値の範囲指定の複数対応カレンダの営業日制御ジョブの対話式実行

その他

55

Page 56: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Copyright (c) 2015 Atomitech Inc.

Hinemos へのジョブ移行実績

56

JP1/AJS Senju Tivoli

ノウハウを活かしコストダウンを実現!

Page 57: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Copyright (c) 2015 Atomitech Inc.

Hinemos へのジョブ移行に必要なことHinemos での機能差異の対応方法Hinemos へのジョブ移行実績

まとめ

57

Page 58: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Copyright (c) 2015 Atomitech Inc.

Hinemos関連サービス

58

Page 59: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Copyright (c) 2015 Atomitech Inc.

Hinemos関連サービス

移行・構築最適な

Hinemos 環境を提供します。

開発新機能を開発、提供します。Atomitech OnCloud Service

for Hinemos

ミドルウェア監視

ストレージバックアップ

個別対応

保守サポート

有償オプション

個別対応

運用環境構築バージョンアッ

プコンサルティン

グ他ツ

ールから移

あらゆるフェーズで最適なソリューションをご提供いたします。

随時

v5対

応予

v5 対応

v5 対応

59

Page 60: プロが解説! Hinemosによる運用管理テクニック! ver.osc2016 .Enterprise大阪

Copyright (c) 2015 Atomitech Inc.

ご不明な点等ございましたら、お問い合わせください。

お問い合わせ先株式会社アトミテック 小泉http://atomitech.jp/hinemos/[email protected]  または、 [email protected]

ご清聴ありがとうございました

60