運用統合ソフトウェア Hatoholのご紹介 · イベント管理 Redmine 変更管理インシデント管理問題管理稼働監視リソース監視障害判定自動起票

Copyright © 2000-2014 MIRACLE LINUX CORPORATION All rights reserved

2014/6/4 ミラクル・リナックス株式会社

大和　一洋

運用統合ソフトウェア

Hatoholのご紹介

@OSS運用管理勉強会

自己紹介　


大和　一洋（やまとかずひろ）

ミラクル・リナックス勤務のエンジニア

R&D部門リーダー：Hatoholの開発を主導

● その他、興味のある分野○ 低レイヤ技術

(kernel, C/C++, デバッグ)

○ マルチメディア (動画/音声)

2


Hatoholの概要

Hatoholとは？

Copyright © 2000-2014 MIRACLE LINUX CORPORATION All rights reserved 4

OSSの運用統合ソフトウェアです。

開発当初（昨年）：　　　　　　　　　統合ビューアと呼んでいました。

統合ビューアのイメージ


複数の監視サーバ

に繋がる機器を一括監視

統合ビューアの利点


● 既存の監視システムの変更不要● 後からの追加（スケールアウト）可能● Nagiosにも対応

hatohol

Zabbix Zabbix Nagios

追加追加

他ソフトも、要望あれば対応検討可

運用統合ソフトウェアとしてのHatohol


Zabbix

Nagios

fluentd

Redmineイベント管理

変更管理

インシデント管理

問題管理

稼働監視リソース監視障害判定

自動起票エスカレーションステータス管理

アクション登録アクション実行

ログ管理リソース状況参照

イベント通知イン

シデント登録

アクション

実行問

題切り分

け

状況表示イベント管理イベント通知

様々なOSS運用ツールを統合し、商用並の統合管理のハブを目指すソフトウェア

OSSでの統合管理を目指す


コスト削減のため、商用の統合管理ツールから乗り換えたい

死活監視

パフォーマンス管理

分散監視／分散管理インシデント管理

ジョブ管理

ログ管理

OSSでは商用のような統合管理ソフトはない

開発戦略


● 全部の開発は大変● 個々のコンポーネント：既存OSSあり

fluentd RedmineZabbix Nagios

イベント送信

インシデント登録

イベント送信

リソース取得

イベント送信

hatohol

変更通知

実装済み実装済み

それらを積極的に活用


Hatohol開発プロジェクト

オープンな開発組織：Project Hatohol


● Hatoholの開発コミュニティ○ ミラクル・リナックスの社員の有志を中心に設立○ 誰でもWelcome○ 世界中で使われるソフトウェアを目指す

■ ドキュメントや議論：原則英語■ 最近日本語サイトの充実にも着手

● http://www.hatohol.org/

○ これまでのコードコミット者の合計：10名以上○ 最近の活発な開発者：

■ ミラクル・リナックス：大和、中村■ クリアコード：足永氏

http://www.hatohol.org/

http://www.hatohol.org/

OSSとしての変遷


時期内容

2012/12/26 最初のコミット（試作着手）

2013/06 レポジトリ一般公開。正式名称をHatoholに。

2013/09/30 v0.1リリース- アクション機能追加

2013/12/27 v13.12リリース（バージョンルール変更）- ユーザ機能追加（閲覧可能サーバの管理）- サーバの動的追加／削除対応

2014/03/31 v14.03リリース- ユーザー権限の詳細設定- ホストグループ対応

ライセンス・コードレポジトリ


● ライセンス

GPLv2

● コードレポジトリ

GitHub○ https://github.com/project-hatohol/hatohol

● 誰でも、手軽に新機能やバグフィックスの提案可能● Issue管理や解決への議論もこのサイト上で公開

https://github.com/project-hatohol/hatohol

https://github.com/project-hatohol/hatohol

リリースポリシー


● 3カ月ごとに定期リリース○ バージョン名はリリース時期がわかるようにした

■ 13.12, 14.03など

● シンプルな機能でもリリース

→ フィードバックをもらって改良

● いまのところ、安定性より

機能追加やUIの改良を優先

アクティビティ


コード（機能）をどんどん追加中

毎月500コミット前後

http://www.ohloh.net/p/hatoholより

http://www.ohloh.net/p/hatohol

http://www.ohloh.net/p/hatohol

開発者は、エンジョイしながら！


夜、基本的に寝ます週末・夜間は無理のない範囲で

https://github.com/project-hatohol/hatohol/graphs/punch-cardより

https://github.com/project-hatohol/hatohol/graphs/punch-card

https://github.com/project-hatohol/hatohol/graphs/punch-card


Hatoholの技術的概要

Hatoholの構成


Hatohol

Hatoholサーバ

Hatoholクライアント

差分のみ取得（負荷小）

Hatoholアーキテクチャの特長


● 必要なデータのみ収集

=> 負荷：小、多数の監視サーバと連携可

● APIを提供○ 標準UIの代わりにユーザーAPから利用可

● 監視停止を抑制する構造○ 1つの監視サーバとの通信が遅い／失敗

=> 全体に影響しない

○ 大量のアクションが発生

=> バックグランドで数を制限し実行

Hatoholサーバー


● C++で開発○ 高速○ きめ細かい制御容易（スレッド、子プロセス等）○ GLIB, libsoup, json-glib, MySQL, SQLite3など利用

● 入力：下記の方式で定期的にポーリング○ Zabbix API (REST)○ Naigos -> NDOUtils (MySQL protocol)

● 出力○ REST API （データ形式： JSON）○ ユーザーアプリなどからも利用可能

Hatoholクライアント


● WebUIを提供● Djangoフレームワークを使用

○ 通常、apache上で動作

● JavaScriptを多用（CSS: Bootstrap）

Clientapache

① HTTP

② REST API on HTTP・html, css・js・image ・json

・Browse page: ①・Exec JS code・$getJSON(): ②・Draw data

Django

Server②

外観

データ

動作環境 for 14.03


● H/W要件（条件に強く依存）○ Core i5〜○ Memory: 2GB〜○ Storage: 16GB〜

● ブラウザ: Firefox, Chrome, SafariIE: 表示不具合を確認

CentOS 6.5 Ubuntu LTS (12.04)

Hatoholバイナリあり(RPM) 未

Django 1.5系 Project Hatohol製RPM apt/pip利用可


Hatoholの機能

(v.14.03)〜デモと共に〜

主な機能


機能説明

ダッシュボード全体の障害状況の一覧

概要：トリガー監視項目の状態を色で表示

概要：アイテム監視項目値を表形式で表示

最新データ監視項目値の一覧表示

トリガートリガーの一覧表示

イベントイベントの一覧表示

サーバ監視システムの表示、追加、削除

アクションアクションの表示、追加、削除

ユーザーユーザーの表示、追加、削除、権限の変更

画面の概要（メニュー）


監視系設定系

ログインしているユーザー名リンクのクリックで、各画面に遷移

デモのセットアップ


testZbxSv1

Hatohol

testZbxSv2 testNagios1

監視対象ホスト








デモ


● 監視画面一通り(adminで)● ユーザー作成と閲覧制限● 制限ユーザーでdashboardとevent

アクションの補足


● コマンドタイプ○ 1イベントごとに指定されたコマンド実行○ メール通知用のこのタイプのテンプレート実装済

● レジデントタイプ○ 常駐プログラム(共有ライブラリ)を起動○ イベントごとに、それにメッセージを通知○ 大量イベントが発生した場合、負荷を低減○ 前回のイベントからの時間などで処理を柔軟に変更可

■ 例：1回目はメール通知、２回目〜無視、10回ごとにメール。


今後の開発計画

２つの注力軸


● 運用統合機能拡充○ インシデント管理○ ログ管理○ グラフ表示○ ホスト管理（ホストの設定支援）

● 監視対象システムの拡充○ OpenStack連携

■ 異なる論理ネットワーク上のデータ統合■ Ceilometer/libvirt経由の監視情報読み出し

○ 仮想環境上のZabbix Serverや監視対象ホストの設定支援

インシデント管理


● イベント発生時に自動起票● アクション実行開始・終了時に状況追記● 回復時に自動追記● Hatoholの画面からステータス確認可

● まず、Redmineに対応○ 作業はすでに開始○ 14.06で実験的サポート○ 14.09で一通り実装

ログ・グラフ管理


● ログ管理○ Fluentd連携○ 14.09で最初の実装を入れたい

● グラフ○ まだまだ検討中（WebGLとかでCoolにした

い）

OpenStack連携


CustomerVM

ZBX agentCustomer

VM

ZBX agentZBX sever

VM

CustomerVM

ZBX agentCustomer

VM

ZBX agentZBX sever

VM

CustomerVM

NRPECustomer

VM

NRPE

Nagios

Net1

Net2

Net3

Net4

OpenStack でのネットワーク

USER1Net1のみ閲覧

USER2Net1~3全て閲覧

USER3Net3~4閲覧

CustomerVM

ZBX agentCustomer

VM

ZBX agentZBX sever

VM

Hatohol

Open Stack

管理者すべて閲覧

ホストもゲストも統合管理Ceilometer物理マシン


APPENDIX

掲載記事など


● @IT　連載記事 (2014/02)○ http://www.atmarkit.co.jp/ait/articles/1402/13/news008.html

● OSC 2014 Tokyo/Spring 発表資料 (2014/02)○ http://www.slideshare.net/kz0817/osc-tokyo-20140228

● ククログ：セットアップ方法（2014/01)○ http://www.clear-code.com/blog/2014/1/31.html

● hbstudy発表資料 (2013/08)○ http://www.slideshare.net/koedoyoshida/hatohol-introduction20130830hbstudy-25744631○ http://www.slideshare.net/koedoyoshida/hatohol-technicalbrief20130830hbstud

http://www.atmarkit.co.jp/ait/articles/1402/13/news008.html

http://www.atmarkit.co.jp/ait/articles/1402/13/news008.html

http://www.slideshare.net/kz0817/osc-tokyo-20140228

http://www.slideshare.net/kz0817/osc-tokyo-20140228

http://www.clear-code.com/blog/2014/1/31.html

http://www.clear-code.com/blog/2014/1/31.html

http://www.slideshare.net/koedoyoshida/hatohol-introduction20130830hbstudy-25744631

http://www.slideshare.net/koedoyoshida/hatohol-introduction20130830hbstudy-25744631

http://www.slideshare.net/koedoyoshida/hatohol-technicalbrief20130830hbstudy

http://www.slideshare.net/koedoyoshida/hatohol-technicalbrief20130830hbstudy

ミラクル・リナックス株式会社　【無断転載を禁ず】この文書はあくまでも参考資料であり、掲載されている情報は予告なしに変更されることがあります。ミラクル・リナックス（株）は本書の内容に関していかなる保証もいたしません。また、本書の内容に関連したいかなる損害についても責任を負いかねます。又、本資料の著作権は特に指定されている箇所を除いて、ミラクル･リナックスが有します。ミラクル・リナックスが著作権を有するコンテンツにつきましては、ミラクル・リナックスに対して無断で複製、改変、頒布などをすることはできません。

MIRACLE LINUX の製品名、ロゴ、サービス名などは、ミラクル・リナックスが所有するか、使用権許諾を受けている商標もしくは登録商標です。その他、本 Web サイトに掲載されている他社の製品名、ロゴなどは、それぞれ該当する各社が所有する商標もしくは登録商標です。

【お問い合わせ先】[email protected]

http://www.miraclelinux.com

Documents

運用統合ソフトウェア Hatoholのご紹介 · イベント管理 Redmine 変更管理 インシデント管理 問題管理 稼働監視 リソース監視 障害判定 自動起票

運用統合ソフトウェア Hatoholのご紹介 · イベント管理 Redmine 変更管理インシデント管理問題管理稼働監視リソース監視障害判定自動起票