Monitoring with Fluentdwith 'fluent-plugin-notifier'

2013/07/12 Monitoring Casual Talks #4@tagomoris

13年7月12日金曜日

TAGOMORI Satoshi (@tagomoris)LINE corp.

13年7月12日金曜日

13年7月12日金曜日

13年7月12日金曜日

Fluentd for monitoring

datacounter + growthforecast

numeric-counter + growthforecast

numeric-aggregator + growthforecast

or other graph tools (ex: metricsense, zabbix, ...)

13年7月12日金曜日

TooooooooooooooooMany

Graphs!!!!!!!!!!!!!!!!!!!!!!!!!!!

13年7月12日金曜日

We need notifications

Graph + notification

output growthforecast

+ nagios plugin to check gf graph values

Notification on Fluentd directly

fluent-plugin-notifier (2653 downloads)

13年7月12日金曜日

Basics<match apache.log.**> type notifier <def> pattern apache_duration check numeric_upward warn_threshold 800000 crit_threshold 1000000 target_keys duration </def> <def> pattern status_500 check string_find warn_regexp 5\d\d crit_regexp 500 target_key_pattern ^status.*$ exclude_key_pattern ^status_ignore_.*$ </def></match>

13年7月12日金曜日

Output

2012-05-15 19:44:29 +0900 notification: {"pattern":"apache_duration", "target_tag":"apache.log.xxx", "target_key":"duration", "check_type":"numeric_upward", "level":"crit", "threshold":1000000, "value":"1057231", "message_time":"2012-05-15 19:44:27 +0900"}

13年7月12日金曜日

Output controlstag: 'notification'

default_tag, default_tag_warn, default_tag_crittag, tag_warn, tag_crit

notification suppression (intervals)1st: 1min (5 times), 2nd: 5min (5 times), 3rd 30mindefault_interval_1st, default_repetitions_1stdefault_interval_2nd, default_repetitions_2nddefault_interval_3rdinterval_1st, repetitions_1stinterval_2nd, repetitions_2nd, interval_3rd

13年7月12日金曜日

Message testings<match apache.log.**> type notifier <test> check numeric target_key duration # microseconds lower_threshold 5000 # 5ms upper_threshold 5000000 # 5s </test> <test> check regexp target_key vhost exclude_pattern ^image.news.example.com$ </test> <def> .... </def></match>

13年7月12日金曜日

our practiceevents

datacounter

numeric-counter

numeric-aggregator

graph

notifier

irc

mail

13年7月12日金曜日

... and what we want :)events

datacounter

numeric-counter

numeric-aggregator

graph

notifier

irc

mail

Norikra

13年7月12日金曜日