Fluentd:The ruby based middlewareacross the world

TAGOMORI Satoshi (@tagomoris)2013/01/14TokyoRubyKaigi10 #tkrk10

13年1月14日月曜日

TAGOMORI Satoshi (@tagomoris)NHN Japan Corp.

13年1月14日月曜日

13年1月14日月曜日

Fluentd

"Fluentd" is a lightweight and flexible log

collector. Fluentd receives logs as JSON streams, buffers them, and sends them to other systems like Amazon S3, MongoDB, Hadoop, or other Fluentds.

http://fluentd.org

13年1月14日月曜日

Fluentdeasy to install/setup (from rubygems.org)

plugins

easy to install (from rubygems.org)

easy to write (with ruby!)

stability (no one crashes in this 1 year)

throghput (17500 msgs/sec)

td-agent (rpm/deb: ruby and fluentd and some plugins)

13年1月14日月曜日

Fluentd plugins

Input plugins

Output plugins

Buffer plugins

Output plugins as filters

filtering, transformation, conversion, aggregation, ...

89 plugins! (2013/01/12)

13年1月14日月曜日

Semi-Realtime aggregationin Fluentd (with growthforecast)

HTTP Response Status (2xx, 3xx, 4xx, 5xx)

HTTP Response Times (Avg, [50,90,95,98,99]%tiles)

Beside of transferring

13年1月14日月曜日

Fluentd loggers

Ruby, Perl, Python, Node.js, PHPJava, Scala, DHaskell, Erlang, Lua, R

13年1月14日月曜日

Fluentd is used with

HTTP Access logs, application logs, ...

MongoDB, Cassandra, Redis, Couch, MySQL, PostgreSQL, ....

AWS S3, Hadoop HDFS, TreasureData, ...

Flume, Scribe, Kafka, ...

Zabbix, GrowthForecast, Splunk, IRC, ...

13年1月14日月曜日

Fluentd vs.

rsync + batchesrsyslog / syslog-ngflume / storm / kafka

13年1月14日月曜日

Fluentd users

13年1月14日月曜日

What Fluentd is

What be wanted for long long timefrom any languagesby platform engineersby application engineersby service maintainers

13年1月14日月曜日

Fluentd users

may be newbie rubyists (or not)wants to work with many rubyists!

Thanks!

13年1月14日月曜日