Fluentd + ElasticSearch + Kibana

JAWS-UG沖縄 米須

自己紹介• Twitter: @asumaslv

• Facebook: asumaslv

• YO: ASUMASLV

• 熱しやすく冷めやすい飽きっぽい性格

• 好きなAWSサービス CloudFront

• JAWS-UG沖縄 代表

2014-07-11

お願い• LTなのでマサカリ を投げていただけるなら歓迎です。

• TwitterやFacebookに写真付きの投稿よろしくお願いいたします。#hcmpl

• YOはコンテキストだ!!!

2014-07-11

最近流行の単語• Vagrant/Docker

• Chef/Puppet

• Serf/Consul

• Fluentd/Kibana

• Sensu

2014-07-11

個人的なお願い• 伊藤さん Chef実践入門にサインしてください

2014-07-11

5月のJAWS-UGでのTweet

• 今日のイベントで極めて普通なんですけど…といった場合の構成は「R53・CF・ELB・EC2・RDS・ElastiCache・DynamoDB・SQS・(Fluentd・NewRelic・ElasticSearch・kibana)」といった感じ。

2014-07-11

2014-05-24

時代の流れが速すぎてついていけてない

今日話すこと• ElasticSearch やKibanaの話をしてみる

• Kibanaのデモが出来ればそれはそれでOK

2014-07-11

台数増えるとLogの管理が大変

2014-07-11

いたって普通の構成2014-07-11

2014-05-24

Fluentd+ElasticSearch+kibana ログ解析

ElasticSearch

• Javaで書かれた全文検索ライブラリ

• Apache Luceneを用いた全文検索、解析サーバ

• RESTfullで容易にアクセス可能

• スケールも可能

2014-07-11

kibana• ビジュアライズできるデータ分析ツール

• 見た目が美しい

• 色々なプロダクションにも入れるべき

2014-07-11

どんなLogを視覚化するといい?

• あらゆるLog

• td-agentのformatでがんばればなんだっていける

2014-07-11

構築• LogがたまるServer

• td-agent

• fluent-plugin-elasticsearch

• 集計側

• ElasticSearch

• kibana

• nginx

2014-07-11

ハマッタ箇所• Indexに大文字は使えない

• An index is a collection of documents that have somewhat similar characteristics. For example, you can have an index for customer data, another index for a product catalog, and yet another index for order data. An index is identified by a name (that must be all lowercase) and this name is used to refer to the index when performing indexing, search, update, and delete operations against the documents in it.

2014-07-11

Demo

2014-07-11

Sample2014-07-11

実際つかってみて• 遊ぶとCPUが足りない

• HDDはもっと足りない(/var/lib/elasticsearch/)

• ビジュアルかできるのはすごい

• Query自分で書けるのもいい

• グラフが並ぶとなぜか嬉しい

2014-07-11