sensuとその周辺のはなしMonitoring Casual #6

2014.6.12ハッチ株式会社

Nobutoshi Ogata

自己紹介• 尾形暢俊 a.k.a @nobu666

• 　　　→ ハッチ株式会社

• talentio というサービスを作っています

• 人材採用と求職活動のためのサービスです

• インフラエンジニア、といつつL4から上

talentioのサーバ構成概要

Direct Connect 踏み台 DB

memchached

DCAWS

ELBWWW

batch

sensu

入社してすぐの状態• メールも飛ばない状態のZabbix

• 設定を試みるがUIのダメさに心が折れる

• all-in-oneなのはいいんだけどなー

• なるべく少ない設定で死活監視入れたい

• かつ拡張性があるとなおよい

sensuのいいところ• clientの登録をしないでいい

• client.jsonに適当にattributesを追加して、sensu-serverで一括管理できる

• nagios pluginをパクれる

sensuのつらみ (1)

• No keep-alive… が消えてくれない

• どなたか解決方法をご存知でしたら教えて下さい…

sensuのつらみ (2)• イラっとする

• のでこうしました…$ cat /etc/init.d/sensu #!/bin/bash /etc/init.d/sensu-server $1 /etc/init.d/sensu-api $1

sensuでやってること• Health check

• process(http/mysql/batch)

• response(http)

• replication status(mysql/solr)

• disk usage, load ave.

• Notification

• mail

• slack

多少手を入れてる• backup用にいくつかのmysqlをmysqld_multiで集約してる

• check-mysql-alive.jsonにいちいち付け足すのがめんどいので、mysqld_multi reportとmy.cnfから監視対象を勝手に決めるように

• slack通知時 ```hogehoge``` としたかったので指定の文字列で囲めるようにpull request中

sensuでやってないこと• metricsの収集

• why?

• graphiteめんどい（単によくわかってない）

• es+kibanaは大げさな気がする

• いまはNewRelic使ってる

• agentのinstallとpluginのinstallがちょっとめんどい

• めんどいっつーかたまにsyntax errorとかでて動かない

• mackerelもちょっとお試し中

これからやりたいこと• ansible連携

• reloadだのrestartだののタイミングでalertが飛んでしまうので黙らせたい

• sensu-cliでできるのかな

• twilio + slack連携

• 深夜だとメールだけでは気づかないので電話鳴らしたい

• 電話に出てしまうと金かかるので、slackから電話とめる

• hubot + slack連携

• sensu-adminの画面からできることはslackからやれるようにしたい

ご静聴 ありがとうございました