ビッグデータ活用のための分析基盤におけるポイント（Oracle Cloud Days Tokyo 2015）

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

ビッグデータ活用のための分析基盤におけるポイント

日本オラクル株式会社クラウド・テクノロジー事業統括クラウド・テクノロジー製品戦略統括本部テクノロジーディレクター下道高志 Ph.D., CISA, CISM

Oracle Cloud Days Tokyo

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

• 以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことはできません。以下の事項は、マテリアルやコード、機能を提供することをコミットメント（確約）するものではないため、購買決定を行う際の判断材料になさらないで下さい。オラクル製品に関して記載されている機能の開発、リリースおよび時期については、弊社の裁量により決定されます。

2

OracleとJavaは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。文中の社名、商品名等は各社の商標または登録商標である場合があります。


マシン・ラーニング（機械学習）

• 連想される言葉–人工知能、画像認識、自然言語処理、自動運転、ディープラーニング、データマイニング、R、Python

3

明示的にプログラムしなくても学習する能力をコンピュータに与える

• 教師あり学習• 教師なし学習

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | 4

顧客情報（属性値や、過去の利用状況など）から、その顧客が今後優良顧客になる可能性を算出したい

分類モデル

このモデルをどうやって作成するのか？

この顧客は優良顧客か？その確率は？

顧客データ

・顧客・ID性別・所在地・継続期間・前月請求額・・・


機械学習によるモデル作成

アルゴリズム• 重回帰• SVM• 決定木…

顧客データ= 学習用データ

・顧客・ID性別・所在地・継続期間・前月請求額・・・・優良顧客フラグ

過去データ

目的達成です！

アルゴリズムを選択

顧客データとアルゴリズムによって自動生成

予測された優良顧客リスト

分類モデル


機械学習の様々な活用例

• ダイレクトメール送付 ⇒ 送付先アドレスリスト

• チャーン分析 ⇒ チャーン顧客のリスト

• クレジットリスク分析 ⇒ 個々人のクレジットスコア

• マーケット・ ⇒ アップセル・クロスセルのバスケット分析リコメンデーション

• 異常検出(Fraud 分析) ⇒ 異常トランザクションの検出

• 医学実験結果分析 ⇒ 実験データ要因抽出

• 国家安全保障 ⇒ テロリスト容疑者の検出

6


アナリティクスSQLをデータベースに

Oracleのマシン・ラーニングの進化

1998 1999 2002 2005 20082004 2011 2015

• シンキングマシンズ社より“Darwin”データ・マイニングソフトウェアと開発チームを獲得

• データ・マイニングSQL関数, 7つの新しいアルゴリズムを提供

• GUIウィザード型GUIOracle Data Miner “Classic”を提供

• 3つの新しいアルゴリズム(EM, PCA, SVD)を追加

• SQLDEV/Oracle Data Miner 4.0 においてSQLスクリプト作成機能+SQLクエリーノード機能、R連係機能が提供

• OAA/ORE 1.3 + 1.4 スケールする新しいRアルゴリズムを提供

• Hadoopと連携するOracle R Advanced Analytics for Hadoopを提供

• 二つのアルゴリズム(NB, AR) をJava APIとして提供

• 自動データ準備 (ADP), テキストマイニング機能追加

• SQL DeveloperプラグインOracle Data Miner 3.2 を提供

• Oracle R EnterpriseによるOracleDatabaseと“R” との連係

• “Oracle Advanced Analytics (ODM + ORE)に名称変更

7


20%

機械学習のビジネスへの有効性

8

全体の何割にアプローチするか

100%0%

ターゲット層へ

ヒットする割合

100%

20%

50%20%

70%

50%ROI

顧客をランダムで選択

機械学習を使用


データ量を増やすことによって、予測精度を上げる

ランダム

100%0%

20の属性からなるモデル



ビッグデータ（例えば数百の属性からなる入力）で生成されたモデル

• 統計データ• POSトランザクションデータ• テキストやコメント• 位置情報• 過去データと直近の行動データ• ウェブログデータ• センサーデータ etc.

100%

全体の何割にアプローチするか

ターゲット層へ

ヒットする割合

9


データマイニングにおけるデータの「在り処」の考え方

10

RDBMSなどオリジナルのデータがある場所から、データをツール内に移動

して分析を実行

典型的な統計・データマイニングツール

オラクルのIn Database Analytics

Oracle DatabaseやHadoopなど

データが存在する場所で分析を実行


なぜIn-Database Analyticsか?

• データの移動が必要ない–データ移動コスト(工数/時間)の削減

–データベースのパワーを使った大規模な分析が可能

–セキュリティの確保

• アプリケーションへの組み込みが容易– Oracle Databaseにつなげられれば、マイニング機能を利用可能

– SQL, PL/SQLから利用可能

11


In-Database Analyticsのメリット

12

Traditional Analytics

Hours, Days or Weeks

Data Extraction

Data Prep & Transformation

Data Mining Model Building

Data MiningModel “Scoring”Data Preparation

and Transformation

Data Import

Source Data

Datasets/ Work

Area

Analytical

Processing

Process Output

Target

Secs, Mins or Hours

Model “Scoring”Embedded Data Prep

Data PreparationModel Building

Oracle Data Mining


特性や目的に応じた最適なテクノロジーの組み合わせ

データ蓄積基盤 DatabaseHadoop NoSQL

・データの特性や活用目的にあわせ、最適なテクノロジーを組み合わせデータを一元化

インターフェース

データ活用エンジン

SQL REST PythonGraphRnode.js Java

MapReduce

GraphEngine

SQLEngine

・使いなれたツールやスキルでデータ活用の敷居を下げる

・予兆/予測、グラフ、位置分析などIoTに求められる高度なデータ分析も実現

高速、高信頼性、セキュア

・データの移動の必要なく、高速データ活用、高信頼性、強靭なセキュリティ、を実現

1313


Oracle Databaseの能力

• 構造化データ– 数値, 文字列, 他, …– ローフォーマット＆カラムフォーマット

• 非構造化データ– ドキュメント（PDF、スプレッドシート、他）

– テキスト

– メタデータ（画像の属性情報、他）

– XML– JSON– 空間情報

– セマンティック

– マルティメディア（画像、映像、音声、他）

14

多種多様なデータの処理が可能


DWH（RDBMS)

企業情報システムにおける情報活用基盤のトレンド

Oracle DatabaseとHadoopの併用

15

業務アプリケーション

オペレーショナルレポーティングソーシャルメディア

Internet of Things73°

ビッグデータマネジメント基盤

Data Reservoir（Hadoop)


Oracle Advanced Analytics

16

高度な機械学習エンジンをデータベースに内包

Oracle R Enterprise• 利用者の多いOSSの統計言語/環境• 拡張性を得るためにデータベースに統合• 広範な統計、高度な分析のための関数を用意• Rの機能をアプリケーションや OBIEEに統合• 探索的なデータ分析• すぐれたグラフ描画機能• Open source R (CRAN) パッケージ

Oracle Data Mining• データベース内部でマイニング処理• 12のin-databaseデータマイニングアルゴリズム• Predictive analytics アプリケーションを開発するための環境

• SQL Developer/Oracle Data MinerによるGUIによる開発

• PL/SQL APIとJava API

Predictive AnalyticsStatistics Data MiningAdvanced Analytics

R

http://search.oraclecorp.com/search/search

http://search.oraclecorp.com/search/search


Oracle Data Mining

• DB内でデータマイニングを実行

– PL/SQL APIとJava API–予測分析アプリケーションの開発と運用

• Oracle Data Miner (GUI)–ウィザードを利用した、ガイド付きのマイニングツール


Oracle Advanced AnalyticsIn-Database Data Miningアルゴリズム

18

アルゴリズム応用範囲の例

分類

Logistic Regression (GLM)Decision TreesNaïve Bayes Support Vector Machines (SVM)

伝統的な統計テクニック幅広い用途に利用可能

回帰Linear Regression (GLM)Support Vector Machine (SVM)

伝統的な統計テクニック

幅広い用途に利用可能

異常検出 One Class SVM 不正検知や異常値の検出

属性重要度Minimum Description Length (MDL)Principal Components Analysis (PCA) 属性の絞り込み、ノイズの低減

相関ルール Apriori バスケット分析/ NBO(Next Best Offer)分析

クラスタリングHierarchical k-MeansHierarchical O-ClusterExpectation-Maximization Clustering (EM)

製品のグルーピング/ テキストマイニング遺伝子-タンパク質分析

特徴抽出 Nonnegative Matrix Factorization (NMF)Singular Value Decomposition (SVD) テキスト分析 / 因子分析

A1 A2 A3 A4 A5 A6 A7

F1 F2 F3 F4


従来のRの制限

• メモリの制約

–データをメモリ上に展開しての演算処理• 処理データ量に制限

• 大規模データの扱いには向いていない

–処理に応じて繰り返されるメモリへのデータロード• メモリ・リソースが枯渇しやすい

• シングル・スレッド処理

–マルチコア環境で性能のスケーラビリティが低い

19


Oracle R Enterprise• データベースの機能としてRの実行環境を提供

–データフレーム上またはOracle表/View上でRを実行可能

–コマンド、コンソール、ワークスペースはRと同じものを提供

• 企業のデータベースをRで利用

–データベース内のデータに対してダイレクトかつ透過的に処理

–大規模データセットをRで扱うことが可能

• 高いパフォーマンス

–プログラミングレスで並列処理をDB内にて実行

20

R


TurkcellOracle Advanced Analyticsを利用し不正利用防止

目的

プリペイド携帯電話の不正利用を減らす

より高速な分析

不正防止の観点は、”Time is Money”

実現したこと

日々100億件の通話データを監視

1 PB のデータを処理

不正パターンを、ほぼ即時に検知可能

“Turkcell は、100TBの圧縮データ(非圧縮の元データは1PB)をOracle Exadata上で管理しています。 Oracle Advanced AnalyticsのコンポーネントであるOracle Data Miningを利用して、我々は莫大な顧客データと通話履歴を、他のどのツールより簡単に、そしてより高速に分析し、迅速に携帯電話の不正利用を検知、防止できるようになりました。 “

– Hasan Tonguç Yılmaz, Manager, Turkcell İletişim Hizmetleri A.Ş.


Financera UnoOracle Advanced Analyticsを利用したSPSSのリプレース

目的

複雑な市場での信用スコアリングモデルの精度向上

大規模データに対応できる環境の整備

実現したこと

“Oracle Advanced Analyticsによって、 Financiera Unoは、分析のためにDWHからデータを抽出する必要がなくなり、商業銀行および回収部門でのリスクモデルを迅速に構築できるようになり、Oracleソリューションの強力なin-Database機能の利点を享受できています。”

Risk Development Manager, Financiera Uno

商業銀行、リスク、回収の分野での予測分析のモデルを構築.


• 現在・過去の指標データをもとに、従業員の未来の「退職率」と「パフォーマンス」を予測

• 世界最大の人事ベンチマークデータサービスであるPwC Saratoga の知見にもとづき設計された分析モデル

• “What-If”分析機能を利用したシミュレーションに基づき、リテンションのための適切な施策を実行

• Oracle Database の強力な予測分析エンジンであるOracle Data Mining を活用

ワークフォース予測 - Workforce Predictions

Oracle HCM Cloudサービスでの活用例

23

Oracle Advanced Analyticsを組み込んだアプリケーション


ハイ・パフォーマーだが退職リスクが高い

ワークフォース予測 - Workforce Predictions退職リスクを予測し、とくにケアが必要な人材を特定

予測退職率

(Y

軸)

予測パフォーマンス(X軸)

マイニングにより予測された

退職率と従業員パフォーマンス

24


Garmin International

• GPS機器・ナビゲーションシステムメーカー–世界のGPS機器の40％のシェア

–最大手

–創業 1989年–社員数9360人–スポーツ系の携帯デバイス製品市場

• ゴルフ,自転車、ランニング、マリン、アウトドア

• 登山、カヌー向けカメラ付のデバイスも

• 端末向けサービスも提供–Garmin Connect

Oracle Confidential – Internal/Restricted/Highly Restricted 25


Garmin Connect

• Garmin社のサービスサイト

–各種端末内に保持されたデータをアップロードすると履歴の保持や可視化ができる

–ソーシャル連携なども可能


http://connect.garmin.com/ja-JP/


バーチャルレースサービス

–走る日時は違っていても同じコースを走った人同士のレース

–コースはユーザが新しく作成することもできる

– GPS連動でレース結果がニアリアルタイムにわかる


https://www.youtube.com/watch?v=kpjbhe5HJaE

Garmin Connectのサービスの例


Oracle Spatial and Graph

Oracle Database Enterprise Edition

Graph DB機能Network

Data Model GraphRDF Semantic

Graph

Spatial機能Property Graph


Oracle Spatial高度な空間情報活用を実現する、空間データベースプラットフォーム

29

• Oracle DB上で空間データを検索、分析

–空間データを扱うためのデータ型、関数、プロシージャを提供

– SQLで空間演算子による空間データの検索、分析が可能

– Partition、パラレルクエリなどOracle DB機能も併用し、分析処理を高速化

• 高度な空間情報活用を実現する機能

–最短経路など、最適なルートを探索するルーティングシステム

–動線上の位置情報に様々な情報を付随させる線形参照システム

–空間データの高速な検索を実現する空間索引機能

–異なる座標系の空間データを自動的に変換する座標系変換機能


3種類のグラフDB機能高度な空間情報活用を実現する、空間データベースプラットフォーム

30

• Network Data Model–地理空間や論理空間での経路や関係性を分析

– Spatial機能との相互運用

• Property Graph–関係性の分析に特化したグラフモデル

–ソーシャル分析

• RDF Semantic Graph– RDFセマンティックテクノロジーの実装

–推論のための蓄積データ


グラフ機能：Network Data Model

• 機能– ネットワークデータモデル– トポロジーデータモデル（位相関係の固定が可能）– ロードオンデマンド（大規模ネットワークへの対応）– 様々な地理的ネットワークの制約を取り込んだリアルな分析が可能

• 電車・バス・自動車などの複数の交通手段を跨いだグラフ• 時間帯による制限、右折禁止、高度制限など経路上に発生する制約

– Spatial 機能との相互運用

• 特長– 地理空間系ネットワークに特化した機能が豊富– 地球規模の大規模なネットワーク分析が可能– ネットワークの制約を動的に変更可能

地理空間や論理空間での経路や関係性を分析

分析用関数（一部）最短経路K短経路巡回セールスマン

利用用途：• 電力・水道などライフライン管理

• 断水時の影響範囲分析など• 輸送経路の最適化• ネットワーク経路網のモデル化• 交通網のシミュレーション

31


グラフ機能： Property Graph関係性の分析に特化したグラフモデル

• 機能

– プロパティグラフの実装

– ソーシャルネットワーク分析

– グラフの標準的なフォーマット、APIをサポート

• Apache Tinkerpop

• Groovyスクリプティングによる容易な操作

– 可視化OSSに対するプラグインの提供

• 特長

– 並列グラフ分析エンジン(PGX)による高速処理• 大規模なグラフ(1兆エッジ)に対応するスケーラビリティ

• 35種ものグラフ分析関数が利用可能

– 高速な部分グラフ抽出

32

分析用関数の一部・中心性演算(次数中心性,媒介中心性,近接中心性など)・最短経路（深さ優先/幅優先/双方向ダイクストラ法)・PageRank・Triangle Counting(三角形構造数）・ランダムウォーキング・SALSAアルゴリズムその他、ヒューリスティックなアルゴリズムも提供


グラフ機能： RDF Semantic Graph

• 洗練したユーザビリティ– RDF Studio (on SQL Developer)

• RDFモデルの作成、バルクロード,SPARQLクエリエディタ

• R2RMLの表示、編集

– RDB 2 RDF / RDF View使い勝手向上• DBLink対応、RDF Viewの上書き作成(以前はdrop/create) ,RDF Viewの性能向上など

• OSSと比較して機能・性能を強化– 既定推論ルールの追加 (OWL2 QL)

– 性能強化

• SPARQL 2 SQL 変換ロジックの改善

• データタイプ索引の追加 (文字列部分一致用)

33

SPARQL機能強化・SPARQL filter句に利用可能なユーザ定義関数 (PL/SQL)・GeoSPARQL機能拡張(判定可能な位相関係の追加）・ SEM_APIS.UPDATE_MODELプロシージャ

Tripleとしての更新処理(SPARQL 1.1 updates)用・PropertyPath,aggregateクエリの性能向上など


著名なRDF Semantic Graph利用の世界：Linked "Open" Data

クロスドメイン(DBpedia, Freebase)

ライフサイエンス(UniProt, Bio2RDF)

地理(Geonames)

出版物(米議会図書館,

独国立経済学図書館)

メディア(BBC, New York Times)

政府(data.gov, data.gov.uk)


Eli Lilly and Company (イーライリリー・アンド・カンパニー)Oracle Spatial and Graph : RDF Graph メタデータ・レポジトリ

目的

実現したこと

• 医薬品科学調査のための用語統一

• 簡単で完全な調査

• 語彙基盤の統一

– 臨床試験記録、化学物質構成情報、遺伝子シーケンス、パスウェイ、画像、論文等を語彙基盤で統合

• 関連データをグラフモデルで可視化

• グラフを辿ることで新たな関係性を発見

• 語彙検索やオントロジーの参照


Allied Nation Intelligence Service（諜報サービス）Oracle Spatial and Graph : ソーシャル分析

目的

実現したこと

• 通話記録、Email、SNS情報から容疑者を推測

• データをRDF化し意味的検索可能に

• 個人やグループ間の関連性を抽出

– 電話番号１つとその通話記録から人物の同定を可能に

• 偽名、暗号、隠語の意味を浮き彫りに

導入後の状況

• 600 TB、10億行のデータ（トリプルストア）

• セキュリティを担保

– ファイングレイン監査機能をトリプルストアに実装

• 1億行 / 月のペースでデータ量が増加中

• 推論が可能


Oracle R Advanced Analytics for Hadoop

・RとHadoopを活用した分析のためのソフトウェア

・R言語のみでデータマイニングの分散並列処理が可能

・HDFS上のデータへR言語からアクセス

・Spark対応

Oracle Big Data Spatial and Graph（Spatial Analytics）

・豊富な空間演算関数

・近傍情報、ジオフェンス判定

・位置情報へ付帯情報を付加

・空間データ、ラスタ（画像）データの加工・準備

Oracle Big Data Spatial and Graph

（Graph Analytics）

・プロパティグラフ

・標準のグラフ分析関数

・ソーシャルメディア分析

・IoT

・サイバーセキュリティ

Oracleの Big Data Advanced Analytics

37


Cloudera Hadoop

Oracle NoSQL


Oracle R DistributionOracle DataIntegrator

Oracle Database

Oracle Spatial & Graph

Oracle Big Data Appliance Oracle Exadata

Oracle Event Processing

Apache Flume

OracleGoldenGate


OracleGoldenGate

Oracle DataIntegrator

DATA RESERVOIR DATA WAREHOUSE

DATASOURCES

ORACLE BIG DATA SQL

Oracle Big DataConnectors

Oracle Big Data Management System

Oracle DatabaseIn-Memory, Multi-tenant

Oracle Database Security

Oracle Advanced AnalyticsOracle Big Data Discovery


Oracle Database Options


Cloudera Hadoop

Oracle NoSQL


Oracle R DistributionOracle DataIntegrator

Oracle Database

Oracle Spatial & Graph

Oracle Big Data Appliance Oracle Exadata


Apache Flume

OracleGoldenGate


OracleGoldenGate

Oracle DataIntegrator

DATA RESERVOIR DATA WAREHOUSE

DATASOURCES

ORACLE BIG DATA SQL

Oracle Big DataConnectors

Oracle Big Data Management System

Oracle DatabaseIn-Memory, Multi-tenant

Oracle Database Security

Oracle Advanced AnalyticsOracle Big Data Discovery


Oracle Database Options

統合共通SQLインタフェース

Hadoop

統計解析

Key-Value ストア

データディスカバリー

空間情報＆プロパティグラフ分析

Hadoopビッグデータ連携

データ連携

リレーショナルデータベース

インメモリーデータベース

セキュリティー

統計解析＆マイニング

空間情報＆セマンティック


• 事前設定済のオラクルビッグデータ製品の最新バージョンをインストール作業の必要なく、すぐに利用可能

• OTNサイトから無料でダウンロード

• サンプルデータ込、自己学習のための動画、デモスクリプトも公開

• RDBMS、Hadoop、NoSQL、R、Spatial、 Graph等、興味のある製品から、ビッグデータ活用の全体フローまでお好きな製品をローカルの仮想マシン環境上で

Oracle Big Data Lite Virtual Machine

ダウンロード先：http://www.oracle.com/technetwork/database/bigdata-appliance/oracle-bigdatalite-2104726.html

40


ご質問・ご相談等ございましたら、終了後もお受けしております

0120-155-096（平日9:00-12:00 / 13:00-18:00）

http://www.oracle.com/jp/direct/index.html

各種無償支援サービスもございます。

Oracle Direct 検索

Oracle Directあなたにいちばん近いオラクル

http://www.oracle.com/jp/direct/index.html




Technology

ビッグデータ活用のための分析基盤におけるポイント（Oracle Cloud Days Tokyo 2015）