[db tech showcase Tokyo 2015] C33:ビッグデータ・IoT時代のキーテクノロジー、CEPの「今」を掴む！ by 株式会社日立製作所情報・通信システム社

© Hitachi, Ltd. 2015. All rights reserved.

ビッグデータ・IoT時代のキーテクノロジー、CEPで「今」を掴む！

入江純株式会社日立製作所情報・通信システム社ITプラットフォーム事業本部

2015/6/12


最近話題のIoT (Internet of Things)、IoTの普及に伴い、重要となるビッグデータ利活用その利活用方法の一つがCEP (Complex Event Processing)

0ー1 はじめに

1

本日はCEPの特長と”HOW TO”をご紹介「CEP使ってみよう」というきっかけになれば幸いです


１．CEPとは２．CEPの技術的な特長とその原理３．CEPの”HOW TO” -事例から見る使い方-４．まとめ

Contents

2



Contents

3


1ー1 ビッグデータの時代 (コト・ヒト・モノ)

通話ログ

電力メーター

カーナビつぶやき

コンテンツダウンロード

ＳＮＳ

ネット購入

業務処理

監視映像

Big Dataヒト

Human

モノThings

環境・気象データ

設備監視

ＧＰＳ

動画・画像・音声

スマートフォン

診断画像・電子カルテ

物流トレース

運行情報

ＩＣカード利用

人の移動

コトWorks

サービス

4

ITで処理できる世界は、日々拡大されている


1ー2 CEPによるビッグデータの利活用

5

分析可視化

CEP

ValueBig Data

リアルタイム

CEPは、ビッグデータから価値を生み出すための手段


Data B

1ー3 ビッグデータ → 価値ある情報の創出 (1)

1つの値ではなく、値の変化に意味がある

■ 逐次発生し続けるデータから、価値ある情報を抽出■ 意味ある「値の集合」を分析することで価値ある情報を抽出■ 統計分析、傾向分析、相関分析など、分析方法はさまざま

Data A

Data C

時刻

発生データ

6


Data B




Data A

Data C

時刻

発生データ

7

<例> 傾向分析

傾き


Data B




Data A

Data C

時刻

発生データ

8

<例> 軌跡分析

動線


Data B




Data A

Data C

時刻

発生データ

9

<例> 相関分析

関係性


顧客行動指向マーケティング流通分野

金融分野証券取引サービス

ITシステム保守運用サービス保守分野

交通状況モニタリング交通分野

通信状況分析サービス通信分野

設備省電力サービス電力分野

医療分野オーダーメイド医療

行政分野世論 (SNS) 分析、意思決定支援

1ー7 ビッグデータから生み出される新ビジネス

10



Contents

11


2ー1 CEP基盤の動作原理

12

取引情報

商品データ売上データ

DB操作で集計・分析

ストック型データ処理 (従来DBMS)

データ

DB DB

データをDBに蓄積(ストック)してから集計・分析

一括処理データ保存必要

操作ログ

RFIDPOSデータ

センサデータ

データが発生する度に流れるように(フロー)逐次集計・分析

リアルタイム処理データ保存不要

リアルタイム集計・分析

リアルタイム表示

フロー型データ処理 (CEP)

複合イベント処理

データの量と質が変化

データ発生時にリアルタイムに処理する”フロー型データ処理”


事前登録

稼動情報

通信データ

ICカード

運行データ

ネットワーク

入力情報

分析シナリオ分析結果

ダッシュボード(見える化)

結果ファイル

uCosminexus Stream Data Platform

CEP基盤

2ー2 CEP基盤の技術的特長

出力情報

日立の

CEP基盤

13

フロー型データ処理を実現するCEP基盤の技術

■ ウィンドウ演算により、時系列データの分析を実現■ インメモリ差分計算により、無駄のない超高速処理を実現■ SQLの拡張言語CQLにより、分析シナリオの定義を実現

株a,15

株a,1株b,2

株a:計15株b: 計6

株a,1株b,2株a,4

株b,6株a,9

株a,3株b,4

株a,5株a,6

ウィンドウ演算

インメモリ差分計算

CQLによるシナリオ定義


時系列データ 100 99 2 1 0101102

ウィンドウで切り取られた処理対象の時系列データ

■ ウィンドウの種類・データの数 (ROWS) 例：直近の100取引分を対象にする・時間 (RANGE) 例：直近3分間分を対象にする・グループ分け (PARTITION) 例：各銘柄の最新5取引分を対象にする

14

2ー3 ウィンドウ演算

無限に続く時系列データを効率よく処理

■ ウィンドウにより、時系列データの分析範囲を定義■ 分析に必要なデータだけを抽出することで、データ処理を効率化■ 分析シナリオに複数種のウィンドウを提供


株価指数の計算処理の例

A社, xxx円, xxx株

B社, xxx円, xxx株

C社, xxx円, xxx株

：

xxxxx時価総額

株価, 株式数A社, yyy円, yyy株

B社, xxx円, xxx株

C社, xxx円, xxx株

：

yyyyy A社, xxx円, xxx株xxxxx A社, yyy円, yyy株－＋

分析対象データ、中間計算結果はメモリ中に保持

変化のあった株価のみを演算

スライディング・ウインドウスライディング・ウインドウ

15

2ー4 インメモリ差分計算

圧倒的な超高速処理を実現

■ インメモリデータ処理により、ディスクI/Oを排除■ 中間結果を利用した差分計算により、大量データ処理時の負荷を軽減■ 分析対象のデータ数に依存しない、一定の計算量で処理を実現


ISTREAM (SELECT id, SUM(val) AS sFROM str [ROWS 3]GROUP BY id);

…ストリーム化演算

CQLの例

選択、結合集合演算など

ストリーム化演算

時系列データ

中間結果入力・出力

…ウィンドウ演算

処理モデル

リレーション

ウィンドウ演算関係演算

16

2ー5 CQLによるシナリオ定義

幅広い業務に対応可能なクエリ言語を提供

■ SQLを拡張した言語であるため、習得は容易■ ウィンドウ演算により時系列データの分析範囲を定め、関係演算を実行■ アプリケーションの個別開発と比較して、開発効率を大幅に向上



Contents

17


3ー1 事例概要

18

データセンターで無線センサーを利用したIoT事例

データセンターにおける運用コストの大部分は「空調費」そのため、空調の電力消費を抑えることでコスト低減ができる

そこで日立では…CEP×無線センサーによる空調制御最適化

で空調の省電力化を実現

※説明を簡単にするため、一部実例とは異なる部分があります。


3ー2 データセンターにおけるCEPソリューション

19

※ムービーは以下URLからも閲覧可能です「日立の考えるビッグデータ活用」http://www.hitachi.co.jp/products/it/bigdata/case/movie01.html

まずはムービーをご覧ください


3ー2 データセンターにおけるCEPソリューション

20

空調制御最適化のあらすじ

空調の電力消費が多いのは全体の室温をもとにした過冷却が原因↓

無線センサーを用いてサーバーラック単位の温度が測定可能に↓

細かな空調制御により効率的な空調制御を実現

温度の高い箇所にだけ効率良く送風できれば空調費を抑えられる！温度高

温度低

温度低

© Hitachi, Ltd. 2015. All rights reserved. 21

3ー3 部分的な温度測定と異常の予兆検知

サーバー筐体吸気温度

排気温度

空調制御最適化の方法

1. 無線センサーによるサーバーの吸気温度・排気温度を測定2. CEPを用いた分析による局所的な熱溜まり異常の予兆を検知

無線センサーによる温度測定 CEPによる異常の予兆検知

吸気温度

排気温度

吸気温度が排気温度を超えそう！⇒異常の予兆

！

熱溜まり異常＝(吸気温度＞排気温度)となる状態


3ー4 異常の予兆検知を実現するシステム構成

温度データ入力

uCSDP

空調制御用情報出力

uCSDPの役割サーバの吸気温度・排気温度から、熱溜まり異常の予兆を検知

フィードバックを受けて自動的に空調制御

各サーバの吸気温度・排気温度を計測

※uCSDP・・・日立のCEP基盤「uCosminexus Stream Data Platform」


uCSDPで実現したいシナリオサーバの吸気温度・排気温度から、熱溜まり異常の予兆を検知＝吸気温度が排気温度を超える予兆を検知

シナリオ定義直近10分間で吸気温度が排気温度の80%を超える割合が10%以上存在する状態(＝熱溜まり異常の予兆)を検知

23

3ー5 異常の予兆検知を実現するシナリオ

吸気温度

排気温度

排気温度の80%

直近10分間

10%以上

論理構造温度データ入力データ件数の集計熱溜まり異常の予兆検知

CQL

熱溜まり異常の予兆を検知するロジック

tempSensorallCount

heatCountheatRate heatCheck


3ー6 予兆検知を実現するCQL：温度データ入力

吸気温度

排気温度REGISTER STREAM tempSensor (

timeStamp TIMESTAMP,id INT,tempIn DOUBLE,tempOut DOUBLE

);

…センサーID…時刻

…吸気温度…排気温度


CQL tempSensorallCount



3ー7 予兆検知を実現するCQL：データ件数の集計

REGISTER QUERY allCountSELECT id, COUNT(id) AS cntFROM tempSensor [RANGE 10 MINUTE]GROUP BY id;

REGISTER QUERY heatCountSELECT id, COUNT(id) AS cntFROM tempSensor [RANGE 10 MINUTE]WHERE tempIn > (tempOut * 0.8)GROUP BY id;

COUNT関数でデータ件数を集計

WHERE句で条件(吸気温度>排気温度×80%)を指定

全データ件数を集計するクエリ

吸気温度が排気温度の80%を超えた件数を集計するクエリ

直近10分間のデータが集計対象





3ー8 予兆検知を実現するCQL：異常の予兆検知

REGISTER QUERY heatRateSELECT all.id, (heat.cnt / all.cnt) * 100 AS rateFROM allCount AS all, heatCount AS heatWHERE all.cnt > 0 AND all.id = heat.id;

REGISTER QUERY heatCheck ISTREAM (SELECT id, rateFROM heatRateWHERE rate >= 10

);




吸気温度が排気温度の80%を超えた割合を算出するクエリ

割合が10%以上かどうかを判定・出力するクエリ

(吸気温度>排気温度×80%)である割合を算出

2つのクエリを結合

算出した割合が10％以上なら、IDとその割合を抽出

ISTREAMによるストリーム化演算により予兆検知結果を出力


3ー9 その他の分析例

・・・SELECT CORREL(a, b) AS cor

・・・

2種類のデータの相関係数を算出→ 「データの関連性」を分析

相関係数>0

相関係数<0

通常の状態

いつもと違う！

・・・SELECT

AVG(v) AS avgValue,STDDEV(v) AS sdValue・・・

相関分析外れ値検知

データの発生確率を算出→ 「確率的な外れ値」を検知

通常の範囲

外れ値を検知

相関係数を算出平均値を算出

標準偏差を算出


3ー10 uCSDPによる簡単ソリューション

コーディングレスでシナリオ作成ができるuCSDPなら、少ない工数でシステム構築ができるため、業務課題の解決、ビジネス価値の創出に注力できます



Contents

29


4ー1 まとめ

分析可視化

CEP

ValueBig Data

リアルタイム

CEPは、ビッグデータから価値を生み出すための手段


4ー2 さいごに

31

ご清聴ありがとうございました

最近話題のIoT (Internet of Things)、IoTの普及に伴い、重要となるビッグデータ利活用その利活用方法の一つがCEP (Complex Event Processing)

本日はCEPの特長と”HOW TO”をご紹介「CEP使ってみよう」というきっかけになれば幸いです


ビッグデータ・IoT時代のキーテクノロジー、CEPで「今」を掴む！

入江純株式会社日立製作所情報・通信システム社ITプラットフォーム事業本部

2015/6/12

※製品の改良により予告なく記載されている仕様が変更になることがあります。

Technology

[db tech showcase Tokyo 2015] C33:ビッグデータ・IoT時代のキーテクノロジー、CEPの「今」を掴む！ by 株式会社日立製作所 情報・通信システム社

[db tech showcase Tokyo 2015] C33:ビッグデータ・IoT時代のキーテクノロジー、CEPの「今」を掴む！ by 株式会社日立製作所情報・通信システム社