View
424
Download
2
Embed Size (px)
Citation preview
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
成功事例に学べ! ビッグデータ活用のための 最新ベストプラクティス
日本オラクル株式会社 クラウド・テクノロジー製品戦略統括本部 担当マネジャー 大橋 雅人
Oracle Cloud Days Tokyo
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
• 以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことはできません。以下の事項は、マテリアルやコード、機能を提供することをコミットメント(確約)するものではないため、購買決定を行う際の判断材料になさらないで下さい。オラクル製品に関して記載されている機能の開発、リリースおよび時期については、弊社の裁量により決定されます。
2
OracleとJavaは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。 文中の社名、商品名等は各社の商標または登録商標である場合があります。
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
カスタマーエクスペリエンス 向上による売上拡大
業務の効率化 によるコスト削減
新たなビジネスモデル の創出
44% 30% 26%
ビッグデータから生み出される価値
Source: Sloan Review, MIT 2013
3
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
2015/10/29 日本オラクルプレスリリース
セブン&アイ・ホールディングス様
4
• ネットとリアルの融合と複数事業体のシームレスな連携を可能にするオムニチャネルを実現するため、IT基 盤を新たに構築
• 2015年11月1日
「omni7(オムニセブン)」を開設
• オラクルのエンジニアド・システムやクラウドなど最先端の技術を駆 使した、オラクル製品の 包括的な導入
2015/10/29 日本オラクルプレスリリースより抜粋
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
構造データ
5
MES
機器ログ
ERP
ソース 収集 蓄積
DWH
Data Visualization
Analytics Platform
分析 • これまでの取り組み
– ERPをグローバルシングルインスタンス化
• Oracle Applicationsを活用
• 業務プロセス標準化、ITコスト削減($7.7M)
– グローバルKPIシステム(DWH)を構築
• Exadata、Exalyticsを活用
• 世界中の各生産ラインの生産状況や歩留情報、 在庫情報、販売情報のKPIを可視化
• 影響分析等、効率的な工場管理が可能に
• 新たな課題 – 長期間データの蓄積、分析が不可
• 毎24時間毎にデータ収集が必要
– サマリデータのみが分析対象のため、 詳細かつ正確な分析ができない、工数増大
バッチデータフロー インテラクティブなデータフロー
お客様 事例
機器データ活用により、詳細な生産状況の分析を実現
某グローバル製造業様
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
非構造 データ
構造データ
6
MES
機器ログ
ERP
音声
ビデオ
テキスト
ソーシャル
ソース 収集 蓄積
DWH
データ 貯蔵庫
Data Visualization
Analytics Platform
分析 • 新たな取り組み
– 既存DWHの隣に、データ貯蔵庫を構築 • Oracle Big Data Applianceを活用 • MES、装置の詳細かつ長期間データを
リアルタイムに取得
• 効果 – 生産工程における新たなデータ分析を実現
• 長期間でのデータ分析の実現 • 生産条件最適化のための分析 • 操業率低下の原因分析 • 複数のセル-モジュールをまたいだ原因分析 • 品質の可視化
– データ分析の効率化 • データ分析作業の期間短縮 • 対象データのカバレッジ(種類、量、期間)
バッチデータフロー インテラクティブなデータフロー
マスター、 サマリー、 詳細データ
サマリー 分析結果
アーカイブ
お客様 事例
機器データ活用により、詳細な生産状況の分析を実現
某グローバル製造業様
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | 7
• 課題 – 高コストなメインフレーム – 散在化するデータ、一貫性の欠如 – レポート作成まで多大な時間、工数が必要 – 新たなデータ活用ニーズの高まり
• 施策 – DWH+データ貯蔵庫(Hadoop)の
ハイブリッドなデータマネジメント基盤 – “Capture the Data First” まずはデータ蓄積
• 効果 – MIPS:30%削減、OPEX:約40% 削減 – バッチ処理時間:50%削減
– マーケットシェアの拡大 10.5%(2011)→ 14.6%(2013)
– 顧客360°、リアルタイムオファー、 ATM/出店計画、リスク不正管理精度向上
お客様 事例
ITコスト削減と、情報の一元化によるビジネス変革実現
La Caixa様 メインフレーム テープ サブシステム・DWH バッチ処理 レポート
データ貯蔵庫 (Hadoop)
ソーシャル データ
顧客情報
決済情報
バッチ処理 削減による コスト削減 メインフレーム
およびテープ上の ストレステスト データの移行
レポート
顧客360°
DWH (RDBMS)
ATM Webログ
データの 一元化
サポート 問い合わせ
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
業務 アプリケーション
オペレーショナル レポーティング
DWH (RDBMS)
成功のポイントはデータベースとの共存にあり!
HadoopとRDBMSの強みを組み合わせる データの特性や活用目的にあわせ、最適なテクノロジーを組み合わせる
9
ソーシャル メディア
Internet of Things
73° ビッグデータ
マネジメント基盤
Data Reservoir (Hadoop)
アナリティクス
• Hadoopの特長 – Schema-On-Readによる柔軟性
• 格納時にデータスキーマの考慮不要、 利用時に定義
• レイアウトが変わるデータに向いている
– 高速なデータ加工・編集・集計処理 • 並列分散処理システム
• Sparkなどの豊富なエコシステム
– 低いバイト単価 • ストレージコストの低下の恩恵
• Oracle Big Data Appliance X5-2 – 事前最適化されたビッグデータ活用に
最適なHadoopプラットフォーム
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
成功のポイントはデータベースとの共存にあり!
Oracle’s Big Data Management System データの特性による典型パターン 適材適所のデータ配置例
目的 パターン・データ
特性 Hadoop
(Big Data Appliance) DWH/Database
(Exadata)
データ 分析
データ密度・ データ価値
低い 高い
フォーマット 変更頻度
多い 少ない
粒度 細かい 粗い
参照頻度 少ない 多い
ETL処理・ データ加工
ETL処理と 生データ保持
ETL処理、生データ 処理後データ
インフラ SAS 高速化基盤 Hadoop上のデータ DB上のデータ
センサーデータ、 ログデータ、GPSデータ、SNS等
既存のRDBMS内のデータ (マスターデータ/
トランザクションデータ)
明細データ サマリデータ
経年データ アクティブデータ
ETL処理・データ加工前の 生データ
ETL処理・データ加工後の データ
SAS アナリティクス高速化基盤
10
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
オラクルが提供するHadoopソリューション
Hadoop活用の8+1つの勘所
11
Hadoop活用の障壁を もっと下げたい
HadoopとRDBMSを もっと密に連携させたい
Hadoop環境構築・運用・管理をもっと簡単に、安く
もっと多くの人に開放、使ってほしい
もっと簡単に有益な データを見つけだしたい
Map Reduce処理を もっと簡単に構築したい
Oracle Big Data Appliance
Oracle Big Data SQL
Oracle Big Data Discovery
Oracle Data Integrator
両者間のデータ移動を もっと早く
Oracle Big Data Connectors
HadoopからDBのデータを使いたい
Oracle Table Access for Hadoop and Spark
ライフサイクルを見越したデータ管理をしたい Copy to BDA
他システムとだって 密に連携したい
Oracle’s Big Data Integration
ビッグデータ/IoT環境をセキュアな クラウド環境で実行したい Oracle Cloud
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
Agenda
Hadoop活用の障壁を もっと下げたい
Hadoop環境構築・ 運用・管理をもっと 簡単に、安く
Oracle Big Data Appliance
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Appliance X5-2
13
ESG(第3者機関)調査に裏付けられた優位性:DIY(手組)より21%安価に、33%短期で構築
構築・運用・管理を もっと簡単に、安く
Oracle Big Data Appliance
コストを節約
出典: ESGホワイト・ペーパー
21% コスト削減
33% 構築期間短縮
TCO削減も実現 • Hadoopエンタープライズ実績の豊富な
Cloudera搭載
• コマンド一つでノード追加などの拡張や アップグレードが可能、運用コスト削減
• オラクルによるH/WからS/Wまでの 一元サポート
• ベストプラクティスに基づいた事前調整、 テスト済
• Oracle Enterprise Managerによる一元管理
Big Data Appliance
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Appliance X5-2
14
ESG(第3者機関)調査に裏付けられた優位性:DIY(手組)より21%安価に構築
構築・運用・管理を もっと簡単に、安く
Oracle Big Data Appliance
コストを節約
出典: ESGホワイト・ペーパー
21% コスト削減
33% 構築期間短縮
「Oracle Big Data Applianceは、Clouderaが提供している主要なHadoopベース技術のフル・スイートを 使用したいと考えている顧客にとっては 素晴らしい選択肢です。DIY( Do It Yourself )クラスタよりも低コストかつ短期間での導入が可能です。」
⁻ Mike Olson Cloudera founder, Chief Strategy Officer, and Chairman of the Board
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
Oracle Open World 2015 発表
Oracle Big Data Appliance X5-2 Hardware及びSoftwareの両面からのさらなる最適化を推進
15
構築・運用・管理を もっと簡単に、安く
Oracle Big Data Appliance
手組Hadoop環境に比べ 2倍の高速化(*)
• Software and workloads used in performance tests may have been optimized for performance only on Intel microprocessors. Performance tests, such as SYSmark and MobileMark, are measured using specific computer systems, components, software, operations and functions. Any change to any of those factors may cause the results to vary. You should consult other information and performance tests to assist you in fully evaluating your contemplated purchases, including the performance of that product when combined with other products. For more complete information visit http://www.intel.com/performance. Tests document performance of components on a particular test, in specific systems. Differences in hardware, software, or configuration will affect actual performance. Consult other sources of information to evaluate performance as you consider your purchase. For more complete information about performance and benchmark results, visit http://www.intel.com/performance. 1 - Configurations were compared by using the Big Data Benchmark for BigBench.Oracle* Big Data Appliance configuration included 6 nodes comprised of: Intel® Xeon® CPU E5-2699 v3 (HT enabled) with 128 GB DDR4, 12 X 4TB HDD, Infiniband network (1 connection) observed max throughput 24 Gb/sec, Oracle* Linux Enterprise 6, and CDH* 5.4.4 with modified configuration. DIY cluster configuration included 6 nodes comprised of: Intel® Xeon® CPU E5-2699 v3 (HT enabled) with 128 GB DDR4, 1 x 64GB SSD for OS, 12 X 4TB HDD, 10Gb network (1 connection), CentOS* 6.6, CDH* 5.3.3 with minimal changes. 21% Cost Savings and 30% Faster Time to Value figures based on ESG Report: Getting real about Big Data: Build versus Buy
(*) Intel実施のパフォーマンステストより。Whitepaperで公開中 Cloudra HPにも記載( http://vision.cloudera.com/big-performance-gains-for-big-data/)
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Appliance 事前最適化されたビッグデータ活用Hadoopプラットフォーム
16
•36のCPUコア (2 ×18 Core Intel ® Xeon ® E5-2699 v3 Processors (2.3 GHz)
•96TBのストレージ容量 (12 x 8 TB 7.2K RPM 高容量 SAS (hot-swap)
•128GBのメモリ (8 x 16GB DDR4 Memory) 768GBまで拡張可能
Oracle Big Data Appliance ノード Oracle X5-2L Server
Oracle Big Data Appliance Starter Ruck:6ノード
• 6台のOracle X5-2L Serverで構成 • 合計216のCPUコア • 合計576TBのストレージ容量 • 合計768GBのメモリ(最大4608GBまで拡張可能)
Oracle Big Data Appliance Full Ruck:18ノード
• 18台のOracle X5-2L Serverで構成 • 合計648のCPUコア • 合計1728TBのストレージ容量 • 合計2304GBのメモリ(13824GBまで拡張可能)
1ノードずつ 追加可能
•40Gb/sec InfiniBand 合計 100 port (内部接続、Exadataへの接続)
•10Gb/sec Ethernet 合計16 ports (データセンター機器との接続)
•Oracle Linux 6.7 •Oracle Java JDK 8u66 •Cloudera Enterprise Data Hub Edition 5
• Cloudera Distribution including Apache Hadoop (CDH) v5.4.7
•Cloudera Impala, Cloudera Search, Apache HBase, Apache Spark •Cloudera Manager,Cloudera Navigator
•Oracle R Distribution •Oracle NoSQL Database v3.4.7
構築・運用・管理を もっと簡単に、安く
Oracle Big Data Appliance
*ハードウェアのサポート契約で、 上記ソフトウェアのサポートを追加料金なしでご提供 (Oracle NoSQL Database EEを除く)
ソフトウェア
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
Agenda
Hadoop活用の障壁を もっと下げたい
もっと多くの人に 開放、使ってほしい
Oracle Big Data SQL
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data SQL
18
Smart Scan クエリをExadataの
ストレージサーバーにオフロード
Storage Index クエリに必要な
データブロックのみをスキャン
SQL一つで、 必要なデータが
高速にセキュアに返される
Smart Scan クエリをBig Data Applianceの
データノードにオフロード
Storage Index クエリに必要な
データブロックのみをスキャン
SQL
必要データ のみ移動
SQL
Big Data Appliance +
Hadoop/NoSQL
Exadata +
Oracle Database 12c
Hive metadata
ビッグデータの活用をよりシンプルに、しかも迅速に、そしてセキュアに
既存のアプリ、ツール、スキル
そのままで全てのデータがクエリ可能
もっと多くの人に 開放、使ってほしい
Oracle Big Data SQL
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
next = lineNext.getQuantity();
}
if (!q.isEmpty() && (prev.isEmpty() || (eq(q, prev) && gt(q, next)))) {
state = "S";
return state;
}
if (gt(q, prev) && gt(q, next)) {
state = "T";
return state;
}
if (lt(q, prev) && lt(q, next)) {
state = "B";
return state;
}
if (!q.isEmpty() && (next.isEmpty() || (gt(q, prev) && eq(q, next)))) {
state = "E";
return state;
}
if (q.isEmpty() || eq(q, prev)) {
state = "F";
return state;
}
return state;
}
private boolean eq(String a, String b) {
if (a.isEmpty() || b.isEmpty()) {
return false;
}
return a.equals(b);
}
private boolean gt(String a, String b) {
if (a.isEmpty() || b.isEmpty()) {
return false;
}
return Double.parseDouble(a) > Double.parseDouble(b);
}
private boolean lt(String a, String b) {
if (a.isEmpty() || b.isEmpty()) {
return false;
}
return Double.parseDouble(a) < Double.parseDouble(b);
}
public String getState() {
return this.state;
}
}
BagFactory bagFactory = BagFactory.getInstance();
@Override
public Tuple exec(Tuple input) throws IOException {
long c = 0;
String line = "";
String pbkey = "";
V0Line nextLine;
V0Line thisLine;
V0Line processLine;
V0Line evalLine = null;
V0Line prevLine;
boolean noMoreValues = false;
String matchList = "";
ArrayList<V0Line> lineFifo = new ArrayList<V0Line>();
boolean finished = false;
DataBag output = bagFactory.newDefaultBag();
if (input == null) {
return null;
}
if (input.size() == 0) {
return null;
}
Object o = input.get(0);
if (o == null) {
return null;
}
//Object o = input.get(0);
if (!(o instanceof DataBag)) {
int errCode = 2114;
String msg = "Expected input to be DataBag, but"
SELECT first_x, last_z
FROM ticker MATCH_RECOGNIZE (
PARTITION BY name ORDER BY time
MEASURES FIRST(x.time) AS first_x,
LAST(z.time) AS last_z
ONE ROW PER MATCH
PATTERN (X+ Y+ W+ Z+)
DEFINE X AS (price < PREV(price)),
Y AS (price > PREV(price)),
W AS (price < PREV(price)),
Z AS (price > PREV(price) AND
z.time - FIRST(x.time) <= 7 ))
250行以上の Java UDF 12 行のOracle SQL
Oracle SQLなら、20倍もコードが少なくて済む
しかも標準機能としてサポートされる
10:00 10:05 10:10 10:15 10:20 10:25
Oracle SQLの豊富な分析関数 例:パターンマッチング 例:機器ログでのDouble Bottom (W)パターンを検出するパターンマッチング
19
もっと多くの人に 開放、使ってほしい
Oracle Big Data SQL
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data SQL 活用例 製造業におけるトレーサビリティ、原因分析、予兆分析
20
BOM 製造/ MES
サービス 出荷
• RDBMS上にトランザクションデータを蓄積
• 新たにHadoop上に複数工場生産ラインの機器ログ、 センサーデータを蓄積、RDBMS上の既存アプリと連携
• ISO22400(IEC62264)、ISO18435を視野
製造業での活用例
ロット特定
関連する 生産条件
既存アプリケーション
もっと多くの人に 開放、使ってほしい
Oracle Big Data SQL
• さらにロットに紐付いた制御系、さらには 実行系のセンサー情報(外気温)をトレース、可視化
• 顧客からの不良品の問い合わせが複数発生
• RDBMS上のデータにより、クレームに紐付いた 特定ロットNo、シリアルNoまで特定
- 拠点、工場、工程、ロットNo、シリアルNo Big Data Appliance
(Hadoop) Exadata
(RDBMS)
機器ログ MES
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data SQL 活用例 製造業におけるトレーサビリティ、原因分析、予兆分析
21
• 特定ロット内で、外気温の怪しい挙動が発生しており、そのタイミングでの不良品が発生
• ただし、既存のアラートのしきい値を超えていない
製造業での活用例
時間 特定ロット
もっと多くの人に 開放、使ってほしい
Oracle Big Data SQL
電圧 • 外気温のみならず、使用電圧もプロット
特定ロットの前で、許容範囲内での電圧降下が発生 →新たな要因の発見
• 隣の建屋の生産ラインの電圧と比較 隣の建屋の生産ラインにおいて、分電盤の異常が 発生、微細な影響を受けていたことが判明
→複数ラインをまたいだ詳細な要因分析
隣のラインの電圧
外気温
閾値
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data SQL 活用例 製造業におけるトレーサビリティ、原因分析、予兆分析
22
今後の想定展開
• パターンマッチングにより、センサーデータから、 類似パターンが発生した製品の有無確認、該当ロット、顧客先、担当営業、担当サービス員の特定
– 不具合が起きる前の点検・交換サービスによる 顧客満足度の向上
– サービス員作業計画が作成可能、二度手間の省略、非計画サポートの削減
• 新たな複合条件によるアラートしきい値の設定
– 将来の歩留り向上
– 問題発生前の予兆、早期発見
製造業での活用例
ロット特定/ 作業指示
類似パターン の発見
既存アプリケーション
もっと多くの人に 開放、使ってほしい
Oracle Big Data SQL
BOM 製造/ MES
サービス 出荷
Big Data Appliance (Hadoop)
Exadata (RDBMS)
機器ログ MES
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data SQL Oracle Exadataで培った高速化技術、強固なセキュリティ機能をHadoopにも実装
HDFS Data Node
HDFS Name Node
DB
H
ado
op
23
B1 – Movie_ID Min: 1001 Max: 1609
B2 – Movie_ID Min: 1909 Max: 13010
✓
✗ HDFS Data Node
• Storage Index: スキャン対象を絞込み、クエリ時間とデータIOを削減 –データブロック毎のIndexの最大値と最小値を作成 –スキャン前に目的のデータがブロック内にあるか確認 –なければスキャン対象から外す
• Smart Scan: ローカルでの絞り込み・データ転送の極小化
–Hadoopのデータノードに並列にデータアクセス –Hadoopのデータノードで行と列の絞り込みを実行 –移動するデータを極小化
• データベースのセキュリティ制御:
–マスキング/リダクション –仮想プライベートデータベース –ファイングレインアクセス制御
SSN SALARY
111-11-XXXX 125275
222-22-YYYY 250950
333-33-ZZZZ 32000
Movie_ID=1109
もっと多くの人に 開放、使ってほしい
Oracle Big Data SQL
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
Oracle Open World 2015 お客様 講演内容
ログデータを活用し、顧客満足度の高度化を図る
24
某コーヒーチェーン様
・顧客情報 ・購入履歴 ・プロモーション ・ポイント
・プロモーション分析 ・顧客行動 ・モバイルアプリ改善 ・商品、サービス改善
• 顧客の“待ち時間”解消を目的に、2015年9月よりモバイル注文&決済サービスを全米で展開 – 近くの店舗を選択、受け取りまでの時間表示、
注文と決済まで可能
– 決済完了と同時にお店ではレシートがプリントアウ ト され、カップに貼って準備
• 顧客満足度向上のための更なる取り組み
– DWH上の顧客データと、Hadoop上のアプリ、ビーコン、Wifiなどのログデータを横断した分析
– プロモーション効果、顧客行動、顧客ニーズを より詳細に把握、分析可能に
– 製品やサービスの改善、顧客満足度のさらなる向上
SQL アプリログ
Beacon Wi-Fi
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
Agenda
Hadoop活用の障壁を もっと下げたい
もっと簡単に有益な データを見つけだし たい
Oracle Big Data Discovery
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Discovery
26
データ分析前の1000本ノックをいかにアジャイルに迅速に繰り返すか
大量にあるデータのうち、どのデータを使えばいいかわからない (データの把握、データの理解)
属性の関係性有無など、データを どう使えばいいのかわからない (変数の選択、把握)
後工程の分析に必要なデータ加工がむずかしい (データの加工)
データの理解
データの準備
Hadoopによるビッグデータ活用で生じる新たな課題
データ分析の80%もの 工数と時間が費やされる
20%に削減するソリューション
Oracle Big Data Discovery
もっと簡単に有益な データを見つけだしたい
Oracle Big Data Discovery
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Discovery
27
直感的なUI画面でデータサイエンティストの生産性を向上
1.Hadoop上のデータ を可視化、タグ付け
2.データの値特性、 品質、分析価値 有無を可視化
3.データの因果関係、 説明変数のシミュ レーションと把握
4.次の分析のために データ加工
もっと簡単に有益な データを見つけだしたい
Oracle Big Data Discovery
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
お客様 事例
顧客行動データを集約し、機械学習により顧客DNAを構築 適切な人に、適切な商品を、適切なタイミング、適切な方法で確実に届ける
28
年齢 家族人数
家族収入
不満 離反度
ロイヤリティ
平均消費額
ライフタイム バリュー
利用期間
満足度
反応度
クロスセル イベント
直近アップセル ポートフォリオサイズ
お財布サイズ
直近の応対
週次の出金
ファッション
ビジネスや 経済ニュース
投資積極度合い
リアルタイムな顧客DNA
提案メニュー項目 受入可能性
商品に対する受入可能性も計算 直近の傾向
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
Agenda
Hadoop活用の障壁を もっと下げたい
Map Reduce処理をもっと簡単に構築 したい
Oracle Data Integrator
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
Oracle Data Integrator Oracle Data Integrator Application Adapters for Hadoop Oracle Data Integrator Advanced Big Data Option
• ファイル/RDBMSからHiveへのロード • Hive を利用したデータの検証と変換 • FileもしくはHiveからOracleへのロード
30
Map Reduceによるデータ加工やETL処理、DBへのデータロードをGUIで定義可能
Hadoop Cluster
f(x) MapReduce
Data Load
Oracle Database
Oracle Data Integrator
Application Adapters for Hadoop
• 追加オプションでSparkやPigのコードを 生成する事が可能
• Hadoopの最新技術を活用した、 高速なインメモリ処理がGUIで定義可能に
Map Reduce処理を もっと簡単に構築したい
Oracle Data Integrator
本日のOracle DBA &Developers Day2015 D2セッションでさらに詳しく!
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
Agenda HadoopとRDBMSを もっと密に連携させたい
両者間のデータ移動を もっと早く
Oracle Big Data Connectors
HadoopからDBのデータを使いたい
Oracle Table Access for Hadoop and Spark
ライフサイクルを見越したデータ管理をしたい Copy to BDA
他システムとだって 密に連携したい
Oracle’s Big Data Integration Solutions
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
HadoopとRDBMSの密連携ソリューション
32
①両者間のデータ移動をもっと早く
Oracle Big Data Connectors Hadoop上のデータをOracle DBへ 高速ロード(15TB/時間)
②HadoopからDBのデータを使いたい
Oracle Table Access for Hadoop and Spark データの移動の必要なく、Hadoop からOracle DBのデータにアクセス
③ライフサイクル を見越したデータ 管理をしたい
Copy to BDA Exadata上の過去データをBDAに 安価に保持
④他システムと密に連携したい
Oracle’s Big Data Integration Solutions データ連携、メタデータ管理、データ ガバナンス:ヘテロな環境にも対応
BDA(Hadoop) Exadata(RDBMS)
①
③
②
④
④
本日のOracle DBA &Developers Day2015 D2セッションでさらに詳しく!
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
Agenda
Hadoop活用の障壁を もっと下げたい
HadoopとRDBMSを もっと密に連携させたい
ビッグデータ/IoT環境をセキュアなクラウド環境で実行したい
Oracle Cloud
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Cloud Service エンタープライズ向けビッグデータ活用環境をクラウドで
34
Big Data Cloud Service
・高パフォーマンスかつセキュアなHadoopの専用環境 を数クリックですぐに構築 ・必要に応じて柔軟なスケールアップ/ダウンも可能
1.高パフォーマンスな 専用環境をすぐに 構築・活用
・データ加工やデータ分析のための最新ビッグデータ 製品を含有 ・インフラ層のコストや管理コスト削減だけでなく、 ソフトウェアも含めたTCO削減を実現
2.ビッグデータ活用 のための製品を含有
・他クラウドサービスとの高速連携により、クラウド上で ビッグデータマネジメント基盤を実現 ・Oracle Big Data SQL Cloud Service により、クラウド上の ビッグデータマネジメント基盤にSQLでアクセス可能
3.クラウド上でビッグ データマネジメント 基盤を実現
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
データの蓄積・加工・分析など、クラウド上での全ての機能実現を支えるBig Data Cloud
Big Data Cloud + IoT + SaaS + PaaS
Gateway software 2G/3G/LTE
ネットワーク
WWAN
Database
Hadoop
NoSQL
Big Data SQL
Big Data Discovery
SCM
ERP
Sales Marketing
HCM PLM
ファイアウォール
IoT Cloud Service Big Data
Cloud Service SaaS/DaaS
Docs
Data Prep.
Java BI
Dev DB
Integ ration
Process Mobile
PaaS
IoT Cloud Service Gateway & SDKs
Device Virtualization
High Speed Messaging
Endpoint Management
Stream Processing
Event Store
Enterprise Connectivity
35
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
蓄積
把握・加工
分析
意思決定
アクション
収集
クラウドでのデータ活用のハブとなるBig Data Cloud Services データの蓄積・加工・分析など、クラウド上での全ての機能実現を支える中核基盤
36
Database
Business Intelligence
Big Data Discovery
SaaS
IoT
GoldenGate
Big Data SQL
and other PaaS, SaaS, IaaS ..
Big Data Cloud Service
Data as a Service
Big Data Preparation
NoSQL Other Cloud
Venders
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
Agenda
本日のまとめ
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
本日お伝えさせて頂いたこと
38
• ビッグデータからの価値創出には、情報を集約、いつでも利活用できるようにし、企業のメインストリームで利用可能とするデータマネジメント基盤の構築が重要
• データマネジメント基盤には、データ特性や活用方法に応じて、適材適所のテクノロジーを選択し、組み合 わせることがポイント
• オラクルは、ビッグデータ/IoT時代に必要とされる、
データの集約、蓄積、分析、アクションといったデータ活用のソリューションを、クラウドを含め網羅的に ご提供させていただいております
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
オラクルが提供するHadoopソリューション
(再掲)Hadoop活用の8+1つの勘所
39
Hadoop活用の障壁を もっと下げたい
HadoopとRDBMSを もっと密に連携させたい
Hadoop環境構築・運用・管理をもっと簡単に、安く
もっと多くの人に開放、使ってほしい
もっと簡単に有益な データを見つけだしたい
Map Reduce処理を もっと簡単に構築したい
Oracle Big Data Appliance
Oracle Big Data SQL
Oracle Big Data Discovery
Oracle Data Integrator
両者間のデータ移動を もっと早く
Oracle Big Data Connectors
HadoopからDBのデータを使いたい
Oracle Table Access for Hadoop and Spark
ライフサイクルを見越したデータ管理をしたい Copy to BDA
他システムとだって 密に連携したい
Oracle’s Big Data Integration
ビッグデータ/IoT環境をセキュアな クラウド環境で実行したい Oracle Cloud
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | 40
ご質問・ご相談等ございましたら、終了後もお受けしております
0120-155-096 (平日9:00-12:00 / 13:00-18:00)
http://www.oracle.com/jp/direct/index.html
各種無償支援サービスもございます。
Oracle Direct 検索
Oracle Direct あなたにいちばん近いオラクル
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 42