Embed Size (px)
Citation preview
www.treasuredata.comCopyright 2013
• August 15th, 2013 - 3:30PM PDT
Board Meeting Presentation
Presented by
Hironobu Yoshikawa – CEO Kazuki Ohta – CTO Rich Ghiossi – VP, MarketingKeith Goldstein – VP, SalesKengo Hirouchi – Director, JapanAnkush Rustagi – Director, Marketing
「お手軽 Fluentd」のはずが監視サービスの話になりました
田村清人@kiyototamura
会社概要チーム概要
Hiro Yoshikawa – CEOOpen source business veteran
Kaz Ohta – CTOFounder of Hadoop Group Japan
Sadayuki Furuhashi – Chief ArchitectMessagePack, FluentdKeith Goldstein – VP Sales & BDVP, Business Devt, Tibco and Talend
Rich Ghiossi – VP MarketingVP Marketing, ParAccel and HP
投資家概要
Bill TaiRenown investor, GP Charles River Ventures
Jerry YangFounder, Yahoo!
Yukihiro “Matz” MatusmotoCreator, “Ruby” programming language
James LindenbaumFounder, Heroku
Sierra Ventures – (Tim Guleri)Leading venture capital firm in Big Data
2011 年 12 月創業、米国カリフォルニア州。創業者は日本人 3 人組。 2013 年 12 月現在、社員約 30 名。
ビッグデータの収集・保存・解析を一手に行えるクラウドサービスを提供。他のサービスと異なり、数日で始められるのが特徴。
サービスコンセプト• すぐに使い始められる• クラウドサービスとしての提供を行う• シンプルな機能セット、手厚いサポート
• “Trend Setting Products” in Data for 2014(Database Trends and Applications)
• “5 Hot Big Data Startups”(Enterprise Apps Today)
www.treasuredata.comCopyright 2013 3
いきなりですが、これだけは言っておきたい
おれは副社長なんかじゃねえ！
平社員様 (Fluentd 担当 ) だ！
4
Project
• もともとは Treasure Data のデータコレクタ部分を、オープンソース化• 2013 年、国内外で広く浸透• 世界中でデータを解析可能な形で収集するのをお手伝い
"We utilize Fluentd to collect a very large amount of logs. The logs are written into Hadoop HDFS clusters, and are also used to analyze various service statuses in realtime. We also use many plugins from rubygems.org to further enhance this mechanism." Fluentd is very similar to Apache Flume or Facebook’s Scribe [but] it’s easier to install and maintain and has better documentation and support than either Flume or Scribe”
"We use Fluentd to collect massive data logs for our platforms. Having developed a system based on Fluentd, we are now effectively monitoring and analyzing our services in real-time. We are very much satisfied with its flexibility, especially how easy it is to use in tandem with other systems."
Fluentd オープンソースプロジェクトのユーザー例 (http://fluentd.org/)
5www.treasuredata.comCopyright 2013
Heroku and Fluentd
Deliver apps, the right way
Collect logs, the right way
Addons Plugins
Matz is our fan!
6
「お手軽 Fluentd 」のはずが監視サービスの話になった理由を話す間に可愛いロゴを見ててもらうスライド
7
本日の話 : Fluentd のモニタリング
• 公式ドキュメント• http://docs.fluentd.org/articles/monitoring• いくつかの方法が紹介されています。
• Fluentd Meetup #2 @ 外道父 Fluentd を優しく見守る監視事例• http://www.slideshare.net/GedowFather/fluentd-meetup-
2-fluentd
• Monit による監視事例
• あまりまとまった資料が無く、よく質問される。監視してれば防げるデータ事故がかなり多い。 @ TD
8
そもそも何をモニタリングしないといけないか？• 基本編• プロセス監視• ポート監視• システム情報• CPU/Memory/Network
• Fluentd 特化編• buffer 溢れ• buffer flush のリトライ回数• Fluentd 自体のエラー / ワーニングログ
10
”Treasure Agent Monitoring Service”
先月発表
11
Treasure Agent Monitoring Service
• td-agent のモニタリングサービス• Treasure Data のクラウドサービスの一機能• fluent-plugin-td-monitoring をインストール
• td-agent v1.1.18 にはこっそり既に入っております
td-monitoring
Treasure Data Service
統計情報の定期送付 ( 毎分 )• システム統計情報• Fluentd 内部メトリクス情報• SSL による送信
Treasure Agent
12
設定ファイルの書き換え (8 行 ! 簡単 !)
## 設定ファイルに下記を追加#<source> type td_monitor_agent
# TD の API キー apikey TREASURE_DATA_APIKEY
# インスタンス ID instance_id aggregator1</source>
## カウント処理を追加#<match apache.**> type td_counter
<store> type file path /path/to/apache.log time_slice_format %Y%m%d time_slice_wait 10m time_format %Y%m%dT%H%M%S%z buffer_type file buffer_path /path/to/buf </store></match>
リスタート後、動作開始
13
提供形態 : フリー ( 無料 )
• Treasure Data のフリープランの一機能• 台数など、何らかの制限はフリープランにつけると
思います• まずは aggregator ノードから使ってみて下さい
• 現時点ではベータリリース• フィードバック頂けるユーザー様を探しています• [email protected] までメールを頂くか、
終了後に Treasure Data の誰かに名刺を渡して頂けると嬉しいです！！！
14
まとめ• Fluentd のモニタリングサービスはじめます• $ yum upgrade td-agent• $ apt-get upgrade td-agent• $ gem install fluent-plugin-td-monitoring
•フィードバックを頂ける先進ユーザーを探しています。 [email protected] までメール下さい！
