Upload
-
View
532
Download
2
Embed Size (px)
Citation preview
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved
2015/4/10ミラクル・リナックス株式会社
シニアエキスパート
大和 一洋
Hatohol 15.03リリース
クラウド時代の運用管理
自己紹介
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved
大和 一洋 (やまと かずひろ)
R&Dチームリーダー:Hatoholの開発を主導
● その他、興味のある分野○ 低レイヤ技術
(kernel, C/C++, デバッグ)
○ マルチメディア (動画/音声)
2
Hatoholとは?
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 4
2012年末: 開発スタート時
複数Zabbixの統合
当時のコンセプト
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 5
● 主にアラート(イベント)を集約● 後からの追加(スケールアウト)可能● OpenSouce
hatohol
Zabbix Zabbix
追加追加
Zabbix
統合情報
主にアラート(イベント)
Hatoholとは(Again)?
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 6
Today (2015年春)
運用管理の統合
Hatoholとは(具体的には?)
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 7
● 様々なソースからの情報収集○ Zabbix, Nagios, Fluentd○ OpenStack (Ceilometer)
● 統合された情報の表示○ リスト○ グラフ
● インシデント管理システム連携● アクション実行
Hatoholとは(目指すところ)
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 8
Zabbix
Nagios
fluentd
Redmineイベント管理
変更管理
インシデント管理
問題管理
稼働監視リソース監視障害判定
自動起票エスカレーションステータス管理
アクション登録アクション実行
ログ管理リソース状況参照
イベント通知インシデント登
録
アクション実行 問
題切
り分け
状況表示イベント管理イベント通知
様々なOSS運用ツールを統合し、商用製品並の統合管理のハブを目指すソフトウェア
構成の考え方
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 9
● 全てスクラッチで開発 ⇒ 時間も工数も大● 個々のコンポーネント:既存OSSあり
fluentd RedmineZabbix Nagios
イベ
ント
送信
イン
シデ
ント
登録
イベ
ント
送信
リソ
ース
取得
イベ
ント
送信
hatohol
変更
通知
それらを積極的に活用
Hatoholのコンセプトって
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 11
クラウドと相性いいんちゃうん?
ミラクル・リナックス(株)CEO 伊東達夫(大阪府出身)
そうです!
玉置さんからの課題・おぼえてますか
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 12
● スケールアウトへの対応(Proxyへの課題)
○ 各監視ソフトとの役割分担(負荷分散)
○ 重要な情報のみ収取
● マルチテナントへの対応
○ ユーザー機能
● エージェント課金などの煩雑さがないこと
○ オープンソース
オープンな開発組織:Project Hatohol
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 14
● Hatoholの開発コミュニティ○ ミラクル・リナックスの社員の有志を中心に設立○ 誰でもWelcome○ 世界中で使われるソフトウェアを目指す
■ ドキュメントや議論:原則英語■ 最近日本語サイトの充実にも着手
● http://www.hatohol.org/
○ これまでのコードコミット者の合計:15名以上○ 最近の活発な開発者:
■ ミラクル・リナックス :大和、中村、吉藤■ クリアコード :足永氏、畑ケ氏■ 沖電気 :若林氏
ライセンス・コードレポジトリ
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 15
● ライセンス
LGPLv3 (次版v15.03~)
GPLv2+ (~14.12)
⇒Hatohol拡張インターフェイスHAPIを使った(プラグイン)開発の容易化
● コードレポジトリ
GitHub○ https://github.com/project-hatohol/hatohol
● 誰でも、手軽に新機能やバグフィックスの提案可能● Issue管理や解決への議論もこのサイト上で公開
New feature
15.03
Hatohol開発コミュニティのリリースポリシー
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 16
● 3カ月ごとに定期リリース○ バージョン名はリリース時期がわかるようにした
■ 13.12, 14.03など
● シンプルな機能でもリリース
→ フィードバックをもらって改良
● いまのところ、安定性より
機能追加やUIの改良を優先
Hatoholの変遷 (1/3)
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 17
時期 内容
2012/12/26 最初のコミット(試作着手)
2013/06 レポジトリ一般公開。正式名称をHatoholに。
2013/09/30 v0.1リリース- アクション機能追加
2013/12/27 v13.12リリース(バージョンルール変更)- ユーザ機能追加(閲覧可能サーバの管理)- サーバの動的追加/削除対応
2014/03/31 v14.03リリース- ユーザー権限の詳細設定- ホストグループ対応
Hatoholの変遷 (2/3)
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 18
時期 内容
2014/06/30 v14.06リリース- Zabbix 2.2対応- インシデント管理対応(基本部分)
2014/09/30 v14.09リリース- OpenStack (ceilometer) 対応- インシデント管理システム(Redmine)連携- 監視サーバとの接続状態モニタリング
2014/12/26 v14.12リリース- ログ管理システム(Fluentd)連携- グラフ機能(基本部分)
Hatoholの変遷 (3/3)
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 19
時期 内容
2015/01 【参考】ミラクル・リナックス社からMIRALCE Hatohol Enterpriseリリース
2015/03/31 v15.03リリース- グラフ機能の強化- ライセンス変更- クラウド対応へ向け内部構造の大幅変更
アクティビティ
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 20
コード(機能)をどんどん追加中
http://www.ohloh.net/p/hatoholより
開発者は、エンジョイしながら!
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 53
夜、基本的に寝ます 週末・夜間は無理のない範囲で
https://github.com/project-hatohol/hatohol/graphs/punch-cardより
Hatoholの構成
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 23
Hatohol
HatoholServer
HatoholWeb
front-end
差分のみ取得
(負荷小)
Hatoholアーキテクチャの特長
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 24
● 必要なデータのみ収集
=> 負荷:小、多数の監視サーバと連携可
● APIを提供○ 標準UIの代わりにユーザーAPから利用可
● 監視停止を抑制する構造○ 1つの監視サーバとの通信が遅い/失敗
=> 全体に影響しない
○ 大量のアクションが発生
=> バックグランドで数を制限し実行
Hatoholサーバー
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 25
● C++で開発○ 高速○ きめ細かい制御容易(スレッド、子プロセス等)○ GLIB, libsoup, json-glib, MySQL, SQLite3など利用
● 入力:下記の方式で定期的にポーリング○ Zabbix API (REST)○ Naigos -> NDOUtils (MySQL protocol)
● 出力○ REST API (データ形式: JSON)○ ユーザーアプリなどからも利用可能
Hatohol Web front-end
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 26
● WebUIを提供● Djangoフレームワークを使用
○ 通常、apache上で動作
● JavaScriptを多用(CSS: Bootstrap)
front-endapache
① HTTP
② REST API on HTTP・html, css・js・image ・json
・Browse page: ①・Exec JS code・$getJSON(): ②・Draw data
Django
Hatohol Server②
外観
データ
動作環境 for 15.03
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 27
● H/W要件(条件に強く依存)○ Core i5〜○ Memory: 2GB〜○ Storage: 16GB〜
● ブラウザ: Firefox, Chrome, Safari, IE11古いバージョンのIE: 表示不具合を確認
CentOS 6.6 Ubuntu LTS (12.04)
Hatoholバイナリ あり(RPM) 未
Django 1.5系 Project Hatohol製RPM apt/pip利用可
主な機能(15.03)
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 29
機能 説明
ダッシュボード 全体の障害状況の一覧
概要:トリガー 監視項目の状態を色で表示
概要:アイテム 監視項目値を表形式で表示
最新データ 監視項目値の一覧表示
トリガー トリガーの一覧表示
イベント イベントの一覧表示
サーバ 監視システムの表示、追加、削除
アクション アクションの表示、追加、削除
ユーザー ユーザーの表示、追加、削除、権限の変更
画面の概要(メニュー)
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 30
監視系設定系
ログインしているユーザー名
リンクのクリックで、各画面に遷移
ダッシュボード
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 31
全監視対象の状態
監視サーバ毎の状態
ホストグループ毎の状態(未完成)
概要:トリガー
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 32
縦軸監視項目
横軸ホスト
障害項目赤/黄で表示
深刻度/ステータス/サーバ/ホストでフィルタ可能
視覚的に障害を把握
将来:升目小さく
トリガー
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 33
監視項目の最新の状態のリスト表示
サーバ/ホスト等でフィルタ可能
時刻などでソート可能
複数の監視サーバのトリガが一括表示
イベント
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 34
監視項目がしきい値を越えたなどの事象のリスト表示
サーバ/ホスト等でフィルタ可能
ページ毎の表示数
複数の監視サーバに属するホストの情報を一括表示
サーバ
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 35
監視サーバの一覧表示および登録/削除
リンク リンク
追加ダイアログ
アクション
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 36
イベント発生時にコマンドを実行
追加ダイアログ
サーバ・ホスト・深刻度などでコマンド実行の条件
を指定可E-mailテンプレート
一定時間内で強制終了可
コマンド直接記述可
ユーザー
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 37
ユーザーの作成/削除閲覧可能先の設定
サーバ単位で閲覧可否設定
管理者:すべての操作可ゲスト:許可されたサーバの閲覧
インシデント管理システム連携
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 38
● イベント発生で自動起票可○ 以下の粒度で登録先
(管理システム・プロジェクト)を設定可能■ イベント発生監視サーバ
● (または)ホストグループ■ 深刻度
● 対応インシデント管理システム○ Redmine
Redmine連携
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 39
Redmineから情報を取得し、イベントと共に表示
OpenStack連携
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 40
CustomerVM
ZBX agentCustomer
VM
ZBX agentZBX sever
VM
CustomerVM
ZBX agentCustomer
VM
ZBX agentZBX sever
VM
CustomerVM
NRPECustomer
VM
NRPE
Nagios
Net1
Net2
Net3
Net4
OpenStack でのネットワーク
USER1Net1のみ閲覧
USER2Net1~3全て閲覧
USER3Net3~4閲覧
CustomerVM
ZBX agentCustomer
VM
ZBX agentZBX sever
VM
Hatohol
Open Stack
管理者すべて閲覧
ホストもゲストも統合管理Ceilometer物理マシン
グラフ機能
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 41
● 複数の項目を重ね合わせて表示可能New feature
15.03
異なるZabbix Serverのデータを
重ね合せ
ログ管理システム(Fluentd)連携
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 42
● 14.1Fluentdのプラグインを開発
○ マッチするログを見つけた場合、Hatoholに送付○ Hatoholでは、イベントとして表示
Hatohol用Plugin
2015年度の強化ポイント
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 44
● HAPI 2.0(拡張インターフェイス)策定○ 例:Hatohol本体の改造なしで、ユーザーが新たな監視シス
テムからのデータ取得用プラグイン作成○ 例:コマンドでイベント登録
■ Zabbix senderのようなもの
● クラウド上のインスタンス監視・運用の強化○ 対応候補:AWS、 Azure
● UIの改善○ 運用時の動線を意識○ Zabbixだけでなく、他の監視システムを意識して用語など
再検討
HAPI 2.0
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 45
JSON format
In the future:- PIPE- Socket
Can be writtenby LL (Python, Ruby)
Specifications and Implementation: Released on 15.06 relase
なぜTransport Systemを使用?
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 46
● 異なるマシン間での通信
● 認証・暗号化
● メジャーなシステムなら○ 各言語用のライブラリが利用可
● 異なるプライベートネットワーク間での通信
掲載記事など
Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved 48
● しまねOSS協議会
第88回 オープンソースサロン資料 (2015/01)http://www.slideshare.net/kz0817/shimane-osssalonhatohol20150119
● @IT 連載記事 (2014/02)http://www.atmarkit.co.jp/ait/articles/1402/13/news008.html
● OSC 2014 Tokyo/Spring 発表資料 (2014/02)http://www.slideshare.net/kz0817/osc-tokyo-20140228
● ククログ:セットアップ方法(2014/01)http://www.clear-code.com/blog/2014/1/31.html
ミラクル・リナックス株式会社 【無断転載を禁ず】この文書はあくまでも参考資料であり、掲載されている情報は予告なしに変更されることがあります。ミラクル・リナックス(株)は本書の内容に関していかなる保証もいたしません。また、本書の内容に関連したいかなる損害についても責任を負いかねます。又、本資料の著作権は特に指定されている箇所を除いて、ミラクル・リナックスが有します。ミラクル・リナックスが著作権を有するコンテンツにつきましては、ミラクル・リナックスに対して無断で複製、改変、頒布などをすることはできません。
MIRACLE LINUX の製品名、ロゴ、サービス名などは、ミラクル・リナックスが所有するか、使用権許諾を受けている商標もしくは登録商標です。その他、本 Web サイトに掲載されている他社の製品名、ロゴなどは、それぞれ該当する各社が所有する商標もしくは登録商標です。
【お問い合わせ先】[email protected]
http://www.miraclelinux.com