‹#›

2016/05/26 Evangelist at Elastic Jun Ohtani @johtani

Elastic Stackの紹介とOpenStackでの活用事例（Searchlightなど）

‹#›

アジェンダ

• Elastic stack紹介

• Logstash - Log収集

• Elasticsearch - 検索・解析

• Kibana - 可視化

• 事例紹介

• Searchlight

3

about

• Me, Jun Ohtani / Technical Adovocate ‒ lucene-gosenコミッター ‒ ElasticSearch Server日本語版の翻訳 ‒ elasticsearch-extended-analysisの開発 ‒ http://blog.johtani.info

• Elasticsearch, founded in 2012 ‒ Products: Elasticsearch, Logstash, Kibana, Marvel, Sheild

Professional services: Support & development subscriptions ‒ Trainings

4

検索から解析まで

5

Elastic Stack

6

Elasticは分散アプリケーションの構築を簡単にします

データ 複雑/多種多様

開発者要件を満たすことが可能

ユースケース 多数のユーザー / ユースケース

リアルタイムの利⽤可能性

迅速な クエリ実⾏

柔軟な データモデル

スキーマレス⽔平的なスケーリング

洗練された クエリ⾔語

バリュー/ビジネス影響 短期/中期/⻑期

位置情報

マシン/ログファイル

ユーザーアクティビティ

ドキュメント

ソーシャル 収益の増加新しいアプリや、収益化サービスを開始：ユーザーエクスペリエンスのパーソナライズ

コスト削減/リスク管理

アプリ検索

組み込み型の検索

ログ分析セキュリティ

分析

運⽤の分析 その他 次世代アーキテクチャ、既存システムの再ツール化、リスクおよびコンプライアンスの管理

7

Elastic Cloud

セキュリティ

監視

アラート

グラフ

X-Pack

Kibanaユーザーインターフェイス

Elasticsearch保存、インデックス、分析

取り込み Logstash Beats

+

Elastic スタック

Elastic社の製品ポートフォリオ

8

IT運⽤ アプリケーション管理

セキュリティ分析

マーケティング洞察

ビジネス配備

顧客センチメント分析

Webサイト検索内部/イントラネット検索

URL検索

内部システム / アプリケーション 外部システム / アプリケーション

開発者     IT / 運⽤      ビジネスユーザー

あらゆる業種で多数のユースケースを解決

ログ分析 アナリティクス 検索セキュリティ

9

10

保存、インデックス、分析

• 弾⼒性のある、スケールアウトを考慮した設計

• ⾼可⽤性、マルチテナンシー

• 構造化/⾮構造化データに対応

分散型かつスケーラブル

開発者にとって親しみやすい 検索と分析

• スキーマレス

• ネイティブなJSON

• クライアントライブラリ

• Apache Lucene

• リアルタイム

• 全⽂検索

• 集計

• 地理空間データ

• 多⾔語データ

11

Elasticsearchとは？

12

フリーワード検索

13

絞り込み

14

ハイライト

15

ソート

16

ページング

17

集計

18

サジェスト

17

19

簡単なCRUD

20

データ登録

curl -XPUT localhost:9200/books/book/1 -d '

{ "title" : "Elasticsearch - The definitive guide", "authors" : "Clinton Gormley", "started" : "2013-02-04", "pages" : 230}'

21

データ更新

curl -XPUT localhost:9200/books/book/1 -d '

{ "title" : "Elasticsearch - The definitive guide", "authors" : [ "Clinton Gormley", "Zachary Tong" ], "started" : "2013-02-04", "pages" : 230}'

22

データ削除

curl -X DELETE localhost:9200/books/book/1

データの取得

curl -X GET localhost:9200/books/book/1

curl -X GET localhost:9200/books/book/1/_source

23

検索curl -XGET localhost:9200/books/_search?q=elasticsearch

{ "took" : 2, "timed_out" : false, "_shards" : { "total" : 5, "successful" : 5, "failed" : 0 }, "hits" : { "total" : 1, "max_score" : 0.076713204, "hits" : [ { "_index" : “books", "_type" : “book", "_id" : "1", "_score" : 0.076713204, "_source" : { "title" : "Elasticsearch - The definitive guide", "authors" : [ "Clinton Gormley", "Zachary Tong" ], "started" : “2013-02-04", "pages" : 230 } } ] }}

24

検索 - Query DSLcurl -XGET ‘localhost:9200/books/book/_search' -d '{ "query": { "filtered" : { "query" : { "match": { "text" : { "query" : “To Be Or Not To Be", "cutoff_frequency" : 0.01 } } }, "filter" : { "range": { "price": { "gte": 20.0 "lte": 50.0 ... }}'

25

26

可視化と探索

• データ内に存在するパターンの探索と分析：任意のレベルへのドリルダウンが可能

• Elasticsearchの強⼒な分析機能を活⽤

洞察の発⾒ カスタマイズと共有

アプリ構築向けUXプラットフォーム

• 棒グラフ、折れ線グラフや散布図、マップ、ヒストグラムの作成

• ダッシュボードを共有し、運⽤ワークフローに組み込み

• 組込み可能なアーキテクチャ：ダッシュボードや可視化をアプリとして作成

• セッション管理、ユーザーロール、セキュリティ統合

27

Kibana 4

28

取り込み

29

取り込み

• データ収集とリッチ化：200種類以上のプラグイン

• 次世代データパイプライン：マイクロバッチ。イベントのグループを処理

ES-Hadoop

• 軽量型データシッパーを構築するためのプラットフォーム

• ホストベースの数値指標やあらゆるデータをElasticsearchに転送

• HDFS、Spark、MapReduceなどとの統合を⾏う双⽅向型のコネクタ

• Hadoopデータに関するリアルタイムの検索クエリを実現

30

収集、リッチ化、転送

ログおよび数値指標データ

センサーおよびデバイスデータ

Webおよびソーシャルデータ

データストアおよびストリーム

分析 Elasticsearch + 任意のデータストア

アラート Watcher+任意の通知ツール

監視 Marvel+任意の監視ツール

アーカイブ Hadoop+任意のクラウドストレージプラットフォーム

31

軽量型データシッパー

ホストベースの数値指標をElasticsearchに転送するためのライブラリ

Libbeat Packetbeat Topbeat

Web、データベース、任意のネットワークプロトコルに関するリアルタイムのネットワークパケット分析

CPUやメモリなどのリソース利⽤率に関するデータを収集

ログファイルの収集、前処理、転送を⾏う次世代のLogstashフォワーダー

Filebeat Winlogbeat {Future}beats

Windowsイベントログからシステム、アプリケーション、セキュリティに関する情報を収集

http、Redis、Nginx、Docker、Twitterなどのデータを収集するbeatsがコミュニティにより多数作成されている

Elastic stackによるデータ分析

32

データ Import/Parse/Export

Store/Search Visualize

elasticsearch-hadoop

33

20

-

•  D E H•  PD ecd

ER•  g D

•  CH

•  Ca M DMSD FERC

cloud

Elastic Cloud

• Elasticsearch as a Service • Elasticsearchの機能が利用可能

• プラグインの利用も可能 • アップグレードも簡単 • カスタム辞書、プラグインも利用可能

• 14日間のお試し期間あり

• SLAベースのサブスクリプション+商用プラグインが利用可能なサービスも

35

36

活用事例

‹#›

Searchlight

38

Searchlightとは？

• OpenStackの様々な情報を検索可能にするためのプロジェクト

• バックエンドにElasticsearchを使用

• 様々なOpenStackのデータを検索可能に

• Novaのインスタンス

• Glanceイメージ、スナップショット

• Cinderのボリュームとスナップショット

• Neutronネットワーク、ポートサブネットなど

39

構成

40

Searchlight API

• Elasticsearchの前面にロールベースの認証機能を追加したAPI

• Keystoneの認証トークンを利用して認証可能

• 検索クエリ、検索結果のJSON構造についてはElasticsearchのDSLを利用

41

Searchlight Indexing

• 各種データをElasticsearchにindexing

• Bulk indexingとIncremental update

• Search pluginとしてインストール

42

リソース

• プロジェクト：https://wiki.openstack.org/wiki/Searchlight

• Demonstration of Searchlight Horizon integration• https://www.youtube.com/watch?v=2feC1njvZe0

43

ログ収集と解析

44

対象となるログ

• OpenStack上で動作しているサービスのログ

• 参考： https://hirokiaramaki.com/author/hirokiaramaki/

• OpenStack自体のログ

• Searchlight？

• Monasca• https://www.openstack.org/summit/tokyo-2015/videos/

presentation/elk-and-monasca-crossing-logging-as-an-openstack-service

参考文献

• Elasticsearch - The Definitive guide

‒ http://www.elastic.co/guide/en/elasticsearch/guide/current/index.html

• 書籍（日本語）

‒ ElasticSearchServer日本語版サーバ/インフラエンジニア　養成読本　ログ収集

45

参考サイト

• ユースケース

• https://www.elastic.co/use-cases

• Discuss（Webフォーラム）

• https://discuss.elastic.co

• Elastic{ON}のビデオと資料

• https://www.elastic.co/elasticon/videos • サポートメニュー

• https://www.elastic.co/subscriptions

46

Thanks for listening! Q & A

47

We’re hiring! https://www.elastic.co/about/careers/

We’re helping! https://www.elastic.co/subscriptions

http://training.elastic.co