OSSでパブリッククラウドを監視してみた!! ~Microsoft Azure + Zabbix 編~ [OSC2015][Enterprise]

Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved

2015/12/09ミラクル・リナックス株式会社

テクニカル・アライアンス部　熊谷理那

※本内容は予定のため変更となる場合があります

OSSでパブリッククラウドを監視してみた！！〜Microsoft Azure + Zabbix 編〜

https://www.ospn.jp/osc2015.enterprise/modules/eguide/event.php?eid=11

https://www.ospn.jp/osc2015.enterprise/modules/eguide/event.php?eid=11


Amazon Web Service

Google Cloud PlatformSOFTLAYER

IDC FrontierCloud

Microsoft

Azure

NIFTYCloud

Cloud n さくらのクラウドsakura cloud


Amazon Web Service


IDC FrontierCloud

Microsoft

Azure

NIFTYCloud


IaaSのいいところ。

・物理で機器を調達しなくていい。-ボタン一発で調達が済む。-資産管理コストの削減

・必要なときに必要な分使える。-分単位で課金できる。-ビルドするときだけコア数を増やすとか。

・開発環境や基盤を使い捨てできる。-テンプレートなどPaaS・SaaS的なものも使える。-環境構築の手間が省ける


Amazon Web Service


IDC FrontierCloud

Microsoft

Azure

NIFTYCloud


国内外で、多数のサービスが販売されていますが...


Amazon Web Service


IDC FrontierCloud

NIFTYCloud


Microsoft

Azure

今回は、コレです。



Microsoft Azure ?・Microsoft社製 IaaS + PaaS プラットフォーム

・強力なIaaS, PaaS基盤を提供

・Hyper-Vベースの仮想基盤

・Windows Serverネイティブ

・イメージキャラクターがかわいい。 OSCは生クラウディアさんに会える貴重なイベントです。

アジア圏にも多数のリージョン有り（国内は東西２箇所）


あれ、これMIRACLE LINUXのセッションだよね？


ミラクル・リナックス株式会社

◆実績　 - 交換機から自治体の通信サーバなど

　　年間15,000本のOS出荷実績

　 - インフラ基盤で最長19年サポート（実施中）

　 - 唯一の国産ディストリビューターとして15年　 - 企業の根幹を支えるプラットフォームとして採用事例多数

◆特徴　 - 日本での日本人による日本語でのサポート

　 - Kernel～APまでのパッケージ提供・管理

　 - チップ / Kernel / OSSの総合的なLinux知識ベトナムホーチミン

本社（東京東新宿）

島根Lab


チューニングをしたOSの提供、維持をコミットできるのはミラクル・リナックスだけ!!

コアエンジニア企業／体制製品／サービス

　・ディストリビューションエンジニア　・パッケージエンジニア　・カーネルエンジニア　・ファイルシステムエンジニア

　・ 15年間の実績　・開発体制　・メンテナンス体制　・サポート体制

　・自社開発のLinux　・チューニング　・長期供給、長期サポート　・お客様とのコミュニケーション


Asianux

MIRACLE LINUX = AsianuxAsianux ：　グローバルでの名称MIRACLE LINUX ：　日本国内での名称

ベトナム


なぜ、 MIRACLE LINUX が Microsoft Azure を取り上げるか？


AsianuxServer(MIRACLE LINUX)

❖ 国産初のMicrosoft Azure認証を取得

❖ Azure Marketplaceにて販売開始！

❖ 全てのサポートは日本語、Eratta情報も日本語で提供❖ ともに日本円で決済可能、請求書の発行も可能❖ ともに日本国法準拠


AsianuxでわかるAzure 3分講座














起動したVMにはSSHで接続-user/passwd-公開/秘密鍵-yum等を使う際はsudoを使用

その他注意点

　・ポータルからシャットダウンする

　・プレビューポータルに切り替えてから使う

　・ sshのKey/Passwordはなくさない

　・ネットワーク周りはAzureにお任せする

ssh hoge@****.eastus.cloudapp.azure.comパブリックIPアドレスではなくFQDNを推奨


Azureを監視しよう

Azure の監視機能

-標準に監視機能が有るにはある。-しきい値ベースのアラート機能も有る


Azure の監視機能

-標準の監視ツールはある。

-アラート機能もある。

-監視可能項目は多くはない

-設定の操作がやや煩雑

診断を「有効」にする


ここはやはり、OSSをつかって

監視しましょう


ここはやはり、OSSをつかって

監視しましょうもちろん

ZABBIXで！


Azure VMにZabbixをフツーに入れる。

EP版の他、コミュニティ版は無償配布中。

・ZabbixはOSSで高機能な監視ソフト。

-　インストールや初期設定はすっ飛ばします。-　ミラクルで時々無償セミナーをやっているのでご興味があればぜひ。

・今回はZabbixではなく、MIRACLE ZBX 2.2を使用。-　ミラクル提供の互換ツール

-　独自の機能拡張やマイナーver毎のパッチ提供-　Windows Server 向けの監視項目が本家より拡張されている。- 3.0からはAgent間等の通信も暗号化で、よりパブリッククラウド向きに



Azure VMの監視はフツーに出来た。

・パッケージのダウンロード/インストールは物理と変りなく可能。- Zabbix Agentも問題なく動作。

- 物理環境と同様にZabbixの監視機能が使用可能

・Linuxテンプレートでひと通りのデータ収集を確認。

・同一のリソースグループ内で高負荷状態のマシンがあっても引っ張られてはいなさそう。

・ホスト登録はFQDNを使おう。


もうちょっと踏み込んだAzure監視しよう


WindowsVM

LinuxVM

PaaSServer

WindowsVM

ビルド用にLinuxが欲しいな...Windowsの環境はもう使わないな...

クラウド上のVMは増えたり減ったりする。

- 必要な環境をすぐに用意して要らなくなったら消す。- 生産性は上がるが、監視ツール側から見たら管理が大変。- Zabbixは監視対象の増減にそこまで強くない(特に消す方)

クラウドサービス


どうする？

人力で頑張る。

自動化を目指す。　


どうする？

人力で頑張る。

自動化を目指す。　


Azure 上のVM増減を検知させる。

・Azure のリソース情報を知る方法はいつくか有る。

- Azure Portal : 目視。人力- Azure Power Shell : コマンドレットで情報取得。要WIN環境。- Azure CLI : コマンドレットで情報取得。Linux可。

Azure CLIを使用してAzure の情報を取得しよう。


Azure CLI の準備①

- node.js環境を作るAzure CLIはnode.jsで動くので実行環境にnodo.jsを入れる。

- npmを使ってazure-cliをインストール

$ sudo rpm -ivh　http://ftp.iij.ad.jp/pub/linux/fedora/epel/6/x86_64/epel-release-6-8.noarch.rpm$ sudo yum -y install nodejs npm --enablerepo=epel

$ sudo npm install -g azure-cli$ azure help


Azure CLI の準備①

- こんな画面が出ればインストール完了。

info: _ _____ _ ___ ___info: /_\ |_ / | | | _ \ __|info: _ ___/ _ \__/ /| |_| | / _|___ _ _info: (___ /_/ \_\/___|\___/|_|_\___| _____)info: (_______ _ _) _ ______ _)_ _ info: (______________ _ ) (___ _ _)info: info: Microsoft Azure: Microsoft's Cloud Platforminfo: info: Tool version 0.9.12help: help: Display help for a given commandhelp: help [options] [command]help: help: Log in to an Azure subscription using Active Directory or a Microsoft account identity.help: login [options]help: help: Log out from Azure subscription using Active Directory. Currently, the user can log out only via Microsoft organizational accounthelp: logout [options] [username]help: help: Open the portal in a browserhelp: portal [options]


Azure CLI の準備②

- Azure CLIから認証を行う。

-コマンドを実行すると認証用URLとパスコードが表示される。

-URL先にブラウザでアクセスしてパスコードを入力する。　ちょっとわかりづらい...

- 上記コマンドでユーザとパスワードを予め設定して認証が可能

$ azure logininfo: Executing command login/info: To sign in, use a web browser to open the page https://aka.ms/devicelogin. Enter the code HOGEP11YO to authenticate. If you're signing in as an Azure AD application, use the --username and --password parameters.

$ azure login -u [email protected] -p testinfo: Executing command login+ Authenticating...


Azure CLI でVM一覧を取る

$ azure vm listinfo: Executing command vm list+ Getting virtual machines data: Name ProvisioningState PowerState Location Size data: -------------- ----------------- -------------- --------- ------------data: SP-FU-AXS7-T2 Succeeded VM running japaneast Basic_A1 data: syoshida-vdi Succeeded VM running japaneast Standard_DS1data: SU-FU-AXS7TEST Succeeded VM running japaneast Basic_A1 data: TA-N-BDTEST01 Succeeded VM deallocated japaneast Basic_A0 data: TA-N-BDTEST02 Succeeded VM deallocated japaneast Basic_A0 data: TEST-SERVER Succeeded VM running japaneast Standard_DS1data: TA-N-ZBXSV Succeeded VM running japaneast Basic_A1 data: TA-Y-VPNA Succeeded VM deallocated japaneast Basic_A0 data: TA-Y-VPNB Succeeded VM deallocated japanwest Basic_A0 info: vm list command OK

$ azure config mode arm //Azure CLIをARM(Azure Resource Manager)モードにする


Azure CLI でVM一覧を取得する

- Azure CLIでは、いろいろなコマンド結果をJSONで取得出来る。

- jq等を使ってパースしてあげれば幸せになれます。

これでAzureで実行中のVM名が取得できた。

$ azure vm list --json //JSON形式で結果を出力

$ azure vm list --json | jq -c -r '.[] | select(.powerState == "VM running") | .name'


Zabbix API でホスト一覧を取得する。

・Zabbix API-2.0から制式化されたZabbixのAPI-http経由でZabbixの様々な操作が可能に

・ホスト, アイテム等の監視情報取得・監視設定の変更・監視対象の追加, 削除

Zabbix自動化に欠かせない存在。


Zabbix API でホスト一覧を取得する。

・APIを使用する為に認証トークンを取得

・ホスト名の一覧を取得

$ curl -s -XGET -H "Content-Type:application/json-rpc" -d \ '{"jsonrpc":"2.0","method":"user.login","params":{"user":"admin","password":"zabbix"},"id":1}' \ http://127.0.0.1/zabbix/api_jsonrpc.php | jq -r '.result'

5b6c64f48100d1ae971b2afa53bb1ee1 //認証トークン

$ curl -s -XGET -H "Content-type:application/json-rpc" -d \'{"jsonrpc": "2.0","method": "host.get","params": {"output": "extend", \"groupids": ["8"],"filter":{"status":"0"}},"auth": "402a7c740d7a36100a197ad2ed71a602","id": 1}' http://127.0.0.1/zabbix/api_jsonrpc.php | jq -r '. | .result | .[] | .host'

“test server01”“test server02”

http://127.0.0.1/zabbix/api_jsonrpc.php




Azure_VM_List

● LINUX-SERVER● WIN-SERVER● test-server01

Zabbix_Host_List

● test-server01● test-server02 比較

test-server02

Zabbixから削除

LINUX-SERVERWIN-SERVERZabbixへ追加

・ホストリストに無い・VMリストには有る。

・ホストリストに有る・VMリストには無い。

- ２つのリストから追加対象と削除対象のリストを作成する。- 追加するホストは必ずAzure用のホストグループを作り、所属させる。- 比較用のホストリストもAzure用のホストグループでフィルタを掛ける


Azure_VM_List

● LINUX-SERVER● WIN-SERVER● test-server01

Zabbix_Host_List

● test-server01● test-server02 比較

test-server02

Zabbixから削除

LINUX-SERVERWIN-SERVERZabbixへ追加

・ホストリストに無い・VMリストには有る。

・ホストリストに有る・VMリストには無い。

- ２つのリストから追加対象と削除対象のリストを作成する。- 追加するホストは必ずAzure用のホストグループを作り、所属させる。- 比較用のホストリストもAzure用のホストグループでフィルタを掛ける

監視対象の増減を監視することが可能に。

　・今までの操作を好みのスクリプト等にまとめる。

- Zabbixのsystem.runやcron等で定期的に実行。

- 検知したホストの登録/削除はAPI等を使えば良し。

- Ansible等でAgentインストールすることでより高度な監視。


ZabbixAgentZabbixAgent

ZabbixAgentAgent

Agent

Agent


ZabbixAgentZabbixAgent

ZabbixAgentAgent

Agent

Agent


OSSで商用並の統合管理を実現！！

- 複数の監視サーバをまたがった環境の一括監視が可能

- 監視対象規模に応じて監視サーバを柔軟にスケールアウトすることが可能

- インシデント管理など運用に必要な機能も実装

- OpenStackに対応

Zabbix

Nagios

Redmine

Ceilometer

ログ照会

イベント通知

イベント通知

仮想マシン情報

リソース情報照会

イベント通知

リソース情報照会

イン

シデ

ント

起票

表示

／通

知

fluentd

OpenStack アクション実行オーケストレーション

稼働監視リソース監視

ログ監視

リソース監視

変更

通知


Zabbix

Nagios

本社からは全サイトの状態が確認可能

各拠点で監視／管理

Zabbix



● 複数の項目を重ね合わせて表示可能


● 複数の項目を重ね合わせて表示可能

異なるZabbix Serverのデータを

重ね合せ


対応ｽﾃｰﾀｽ重要度発生時刻監視サーバ名発生ホスト名メッセージ

xxx xxxxxx xxxxxx xxxxx xxxxxxxxxxxxxxxxxxxxxxxxxx










0053重要イベント数合計

未対応の重要イベント数 0017

重要イベント発生ホスト 0015

☆フィルタ重要イベント指標

重要イベント発生ホストの割合

重要イベント中未対応の割合

32%

28%

1 2 3 4 5 6 7

重要度の割合

開始時刻：

YYYY/MM/DD HH:MM

終了時刻：

YYYY/MM/DD HH:MM～

最新/自動フィルタ適用

▼

対応

28%37%

20%15%

「対応中」「保留」「対処済」など、マーキングが可能

必要な情報だけをフィルタリング表示可能

一定間隔毎に最新のイベントを追加表示


みらくるブログ、やってます！

MIRACLE LINUXのエンジニア達が話題の技術からディープなテクニックに至るまで、幅広く投稿してます！

今回端折ったZabbix自動化の詳細や実際のスクリプトなども後日公開予定。

http://www.miraclelinux.com/tech-blog




Email : [email protected] / Tel : 03-6205-9502

mailto:[email protected]

Technology

OSSでパブリッククラウドを監視してみた!! ~Microsoft Azure + Zabbix 編~ [OSC2015][Enterprise]