Cloudera World Tokyo 2015 Oracleセッション資料　「ビッグデータ/IoTの最新事例とHadoop活用の勘所」

ビッグデータ/IoTの最新事例とHadoop活用の勘所～成功のポイントはデータベースとの共存にあり！～

2015年11月10日日本オラクル株式会社クラウド・テクノロジー事業統括クラウド・テクノロジー製品戦略統括本部担当マネージャ大橋雅人（[email protected])

Cloudera World Tokyo 2015

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

• 以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことはできません。以下の事項は、マテリアルやコード、機能を提供することをコミットメント（確約）するものではないため、購買決定を行う際の判断材料になさらないで下さい。オラクル製品に関して記載されている機能の開発、リリースおよび時期については、弊社の裁量により決定されます。

2

OracleとJavaは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。文中の社名、商品名等は各社の商標または登録商標である場合があります。


皆様と共に

3

日本オラクル

設立30周年

Hadoopアプライアンス製品

Oracle Big Data Appliance

発売3年目


2015/10/29 日本オラクルプレスリリース

セブン＆アイ・ホールディングス様

4

2015/10/29 日本オラクルプレスリリース https://www.oracle.com/jp/corporate/pressrelease/jp20151029.html

https://www.oracle.com/jp/corporate/pressrelease/jp20151029.html


非構造データ

構造データ

5

MES

機器ログ

ERP

音声

ビデオ

テキスト

ソーシャル

ソース収集蓄積

DWH

データ貯蔵庫

Data Visualization

Analytics Platform

分析 • これまでの取り組み – ERPをグローバルシングルインスタンス化

• Oracle Applicationsを活用

• 業務プロセス標準化、ITコスト削減($7.7M)

– グローバルKPIシステム（DWH）を構築

• Exadata、Exalyticsを活用

• 世界中の各生産ラインの生産状況や歩留情報、在庫情報、販売情報のKPIを可視化

• 影響分析等、効率的な工場管理が可能に

• 新たな取り組み – MESや装置データをDWHに統合

• Oracle Big Data Applianceを活用 • 詳細な長期間での装置稼働状況可視化 • 生産稼働最適化 • 操業率低下の原因分析

バッチデータフローインテラクティブなデータフロー

マスター、サマリー、詳細データ

サマリー分析結果

アーカイブ

ビッグデータ/IoT お客様活用例

MESデータ活用により、詳細な生産状況の分析を実現

某グローバル製造業様

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | 6

• メインフレーム・ダウンサイジング

– MIPS：30％削減

– バッチ処理時間：50%削減

• Exadata＋Big Data Appliance（Hadoop 基盤）のハイブリッド構成

– 既存データマートの集約

– OPEX：約40% 削減

• データ配布モデルの近代化

– 「データありき」 vs 「スキーマ／モデルありき」

– 顧客360°ビューの実現

ビッグデータ/IoT お客様事例

ITコスト削減と、情報の一元化によるビジネス変革実現

La Caixa様メインフレームテープサブシステム・DWH バッチ処理レポート

Data Reservoir (Hadoop)

ソーシャルデータ

顧客情報

決済情報

バッチ処理の削減によるコスト削減メインフレーム

およびテープ上のストレステストデータの移行

レポート

顧客360°

DWH (RDBMS)


業務アプリケーション

オペレーショナルレポーティング

成功のポイントはデータベースとの共存にあり！

HadoopとRDBMSの強みを組みあわせる

ソーシャルメディア

Internet of Things

73°

ビッグデータマネジメント基盤

Data Reservoir （Hadoop)

7

アナリティクス

DWH （RDBMS)



Modern Big Data Management System

Interface

Processing

Persistence

Security | Performance | Availability

SQL REST Python Graph R node.js Java

Map Reduce

Graph Engine

SQL Engine

Warehouse （Database)

NoSQL Reservoir （Hadoop）

8



Oracle Big Data Management System データの特性による典型パターン適材適所のデータ配置例

パターン・データ特性 Hadoop

（Big Data Appliance） DWH/Database （Exadata）

データ容量

データ密度・データ価値

低い高い

フォーマット変更頻度

多い少ない

粒度細かい粗い

参照頻度少ない多い

ETL処理 ETL処理と生データ保持 ETL処理、生データ処理後データ

インフラ SAS 高速化基盤 Hadoop上のデータ DB上のデータ

センサーデータ、ログデータ、GPSデータ、

SNS等

既存のRDBMS内のデータ（マスターデータ/

トランザクションデータ）

明細データサマリデータ

経年データアクティブデータ

ETL処理前の生データ ETL処理後データ

SAS アナリティクス高速化基盤

9


オラクルが提供するHadoopソリューション

Hadoop活用の8つの勘所

Hadoop活用の障壁をもっと下げたい

HadoopとRDBMSをもっと密に連携させたい

構築・運用・管理をもっと簡単に、安く

もっと多くの人に開放、使ってほしい

もっと簡単に有益なデータを見つけだしたい

MapReduce処理をもっと簡単に構築したい


Oracle Big Data SQL

Oracle Big Data Discovery

Oracle Data Integrator

両者間のデータ移動をもっと早く

Oracle Big Data Connectors

MapReduceからDBのデータを使いたい

Oracle Table Access for Hadoop and Spark

ライフサイクルを見越したデータ管理をしたい

Copy to BDA

他システムとだって密に連携したい

Oracle’s Big Data Integration Solutions

10


Agenda





Oracle Big Data Appliance X5-2 事前最適化されたビッグデータ活用Hadoopプラットフォーム

12

エンタープライズ向けビッグデータ活用環境

信頼性

TCO削減

コスト

• ハードウェア、ソフトウェアを包含し、安価な価格（手組に比べ21%以上コスト削減）

• 事前構成、調整済（手組に比べ30%以上構築期間短縮）

• ノード追加などの拡張設定やアップグレードがコマンド一つで実施可能、運用コスト削減

処理の高速化

スピード

• ハードウェア、ソフトウェアで最適化（手組に比べ20%高速化）

• Map Reduce高速化のための独自機能（Perfect Balance）

• 内部ノード間でのInifiniband接続による高速連携（40Gb/sec）

• 効果に併せて、容易に柔軟に段階的に拡張可能

• エンタープライズ使用に耐えうる、高度なセキュリティ機能

• エンタープライズ利用のベストプラクティスに基づいて、事前調整、テスト済

• H/WからS/Wまでの、一元サポートと、 Oracle Enterprise Managerによる一元管理 • Exadataと組み合わせることで、HadoopとRDBMの利点を活かしたビッグデータ活用基盤

（Oracle Big Data Management System）の構築




Oracle Big Data Appliance X5-2 IntelとOracleの協業でイノベーションをさらにリード

• DIY（手組）と比較してBDAが最大1.4倍、平均1.2倍高速化！（＊）

– Wider Network: 23GbE vs. 10GbE

– Advanced Linux & Apache* Hadoop* configuration

• さらなるチューニングにより最大2.86倍高速化を実現！（＊）

– 一部チューニングは既に最新バージョンで反映済

• 今後Intelとのさらなる協業により、 BDAのHardware及びSoftwareの両面からの最適化を図っていく – Spark 活用のためのさらなる最適化など

13

(＊)Intel実施のパフォーマンステストより。詳細は下記参照 https://blogs.oracle.com/datawarehousing/entry/performance_study_big_data_appliance http://www.oracle.com/ocom/groups/public/%40otn/documents/webcontent/2745435.pdf https://software.intel.com/en-us/articles/deploying-an-apache-hadoop-cluster-spend-your-time-on-bi-not-diy



https://blogs.oracle.com/datawarehousing/entry/performance_study_big_data_appliance

https://blogs.oracle.com/datawarehousing/entry/performance_study_big_data_appliance

http://www.oracle.com/ocom/groups/public/@otn/documents/webcontent/2745435.pdf

https://software.intel.com/en-us/articles/deploying-an-apache-hadoop-cluster-spend-your-time-on-bi-not-diy


























Oracle Big Data Appliance X5-2

14

ESG(第３者機関）調査に裏付けられた優位性：DIY(手組）より21%安価に構築



コストを節約

出典： ESGホワイト・ペーパー

21% コスト削減

33% 構築期間短縮

「Oracle Big Data Applianceは、Clouderaが提供している主要なHadoopベース技術のフル・スイートを使用したいと考えている顧客にとっては素晴らしい選択肢です。DIY（ Do It Yourself ）クラスタよりも低コストかつ短期間での導入が可能です。」

⁻ Mike Olson Cloudera founder, Chief Strategy Officer, and Chairman of the Board

http://www.oracle.com/us/corporate/analystreports/corporate/esg-bigdata-intel-2193858.pdf





Oracle Big Data Appliance X5-2 ESG(第３者機関）調査に裏付けられた優位性：DIY(手組）より33%短期に構築

15

• Architect

1. Design a production-ready, enterprise-class, high-throughput approach for both running hadoop and for integrating with current enterprise relational systems

2. Design a growth strategy, so the initial system can expand easily without hitting future unanticipated issues like network bottlenecks

3. Design redundancy/failover strategy for all levels (power, network cards and cables, network switches, core hadoop, supporting software, o/s disks, etc)

4. Design a strategy for what services should run in which locations, and how to easily change those locations due to growth or unplanned maintenance

5. Design network approach including network switches needed now and in the future

6. Determine an optimal matching configuration of server model, drive type, drive count, cpu, networking, and memory

7. Conduct rigorous (and ongoing) testing to determine exact versions to use for BIOS, drive firmware, network cards, and O/S packages

Install

8. Physically rack up the servers

9. Setup network switches

10.Cable the servers

11.Install optimal firmware versions for ILOM, BIOS, drives, and network cards

12.Setup all the IPs, including for administration networks, virtual IPs for failover, etc

13.Install the O/S

14.Setup tuned O/S parameters (such as file and page cache, swap, networking, etc) to support heavy I/O and heavy network workloads

15.Install the Oracle Java VM

16.Install Oracle R, including optimized math libraries

17.Install Oracle MySQL metadata database and configure for failover

18.Install CDH (Enterprise Data Hub offering) and Cloudera Manager

19.Install the Oracle Big Data Connectors

20.Install Oracle Big Data SQL

21.Test the installation for each node of cluster

22.Sanity check network timings and performance of the cluster post-install

23.Certify cluster with SAS, NGData, and other third party products

Grow

24.Research, plan, and design a way to reallocate/balance services appropriately as you add servers and racks

25.Design how to expand/scale/setup the networking appropriately as you add servers and rack

Secure

26.Research, plan, design, and test overall security implementation technique

27.Manually install/configure disk encryption

28.Manually install/configure network encryption

29.Manually install supporting Kerberos infrastructure, enable Kerberos, and configure for failover

30.Manually install/configure Audit Vault collector

Patch & Upgrade

31.Assess multi-level patching needs (i.e. upgrade bios, ILOM, O/S, Java, Hadoop)

32.Determine when it is necessary to upgrade HW firmware

33.Assess when it is necessary to upgrade O/S and how to upgrade O/S without disruption existing Hadoop installation

34.Write scripts to automate patching of multiple layers and multiple nodes from a single command

35.Write scripts to add new features

Service

36.Install/Configure Automatic Service Request for proactively opening Oracle Support tickets

37.Install/Configure Enterprise Manager plug-in for enterprise monitoring integration

38.Worry about resolving hardware issues, thanks to BDA’s Oracle Field Hardware Support

39.Worry about hardware points of failure, thanks to BDA’s use of Enterprise Servers with robust Redundancy (O/S disks, network switches, PDUs, Bonded cables)

40.Worry about disruptive disk failures that might hurt SLAs, thanks to BDA’s use of Enterprise Disks with Predictive Disk Monitoring

Financials

41. Lose weeks during the design and analysis phase of a build-your-own cluster

42. Pay for consultants to validate your cluster design

43.Dedicate scarce highly talented people to work on cluster installation and growth when they could be working on tackling business opportunities

44.Remember to account for extra requirements (racks, power distribution units, inter-rack networking)

45.Contract for annual support with operating system vendor (this is part of the BDA’s single annual support fee)

46.Contract for annual support with R support vendor (this is part of the BDA’s single annual support fee)

47.Contract for annual subscription/support with Hadoop distribution vendor (this is part of the BDA’s single annual support fee)

Oracle Big Data Appliance で省略される、47にも及ぶ構築作業項目




Oracle Big Data Appliance 事前最適化されたビッグデータ活用Hadoopプラットフォーム

16

•36のCPUコア（2 ×18 Core Intel ® Xeon ® E5-2699 v3 Processors （2.3 GHz）

•96TBのストレージ容量（12 x 8 TB 7.2K RPM 高容量 SAS (hot-swap)

•128GBのメモリ (8 x 16GB DDR4 Memory) 768GBまで拡張可能

Oracle Big Data Appliance ノード Oracle X5-2L Server

Oracle Big Data Appliance Starter Ruck:6ノード

• 6台のOracle X5-2L Serverで構成 • 合計216のCPUコア • 合計576TBのストレージ容量 • 合計768GBのメモリ（最大4608GBまで拡張可能）

Oracle Big Data Appliance Full Ruck:18ノード

• 18台のOracle X5-2L Serverで構成 • 合計648のCPUコア • 合計1728TBのストレージ容量 • 合計2304GBのメモリ（13824GBまで拡張可能）

1ノードずつ追加可能

•40Gb/sec InfiniBand 合計 100 port (内部接続、Exadataへの接続)

•10Gb/sec Ethernet 合計16 ports (データセンター機器との接続)

•Oracle Linux 6.7 •Oracle Java JDK 8u66 •Cloudera Enterprise Data Hub Edition 5

• Cloudera Distribution including Apache Hadoop (CDH) v5.4.7

•Cloudera Impala, Cloudera Search, Apache HBase, Apache Spark •Cloudera Manager,Cloudera Navigator

•Oracle R Distribution •Oracle NoSQL Database v3.4.7



＊ハードウェアのサポート契約で、上記ソフトウェアのサポートを追加料金なしでご提供（Oracle NoSQL Database EEを除く）

ソフトウェア


Agenda



Oracle Big Data SQL


Oracle Big Data SQL

18

Smart Scan クエリをExadataの

ストレージサーバーにオフロード

Storage Index クエリに必要な

データブロックのみをスキャン

SQL一つで、必要なデータが

高速にセキュアに返される

Smart Scan クエリをBig Data Applianceの

データノードにオフロード

Storage Index クエリに必要な

データブロックのみをスキャン

SQL

必要データのみ移動

SQL

Big Data Appliance +

Hadoop/NoSQL

Exadata +

Oracle Database 12c

Hive metadata

ビッグデータの活用をよりシンプルに、しかも迅速に、そしてセキュアに

既存のアプリ、ツール、スキル

そのままで全てのデータがクエリ可能


Oracle Big Data SQL


Oracle Big Data SQL

select last_name, state, movie, genre from movielog m, customer c where genre=‘comedy’ and c.custid = m.custid

Smart Scan：ローカルでの絞り込み・データ転送の極小化

1

NameNode/Hive Metastoreから以下の情報取得: • データの保持場所 • データの構造 • 対象のブロック数

1

2

Big Data SQL Serverが並列読込み: • DataNodeが並列にデータアクセス • 行と列の絞り込み

2

Hive Metastore

HDFS NameNode

3

データベースサーバーでの処理 • 関連するデータのみ転送されてくる • データベースのテーブルとジョイン • データベースセキュリティポリシーの適用

3

HDFS Data Node BDS Server

HDFS Data Node BDS Server

customer DB

Hadoop

19


Oracle Big Data SQL


Oracle Big Data SQL Storage Index：スキャン対象を絞込み、クエリ時間とデータIOを削減

20

HDFS

Field1, Field2, 1001 1010 1045 1109 1043 1001 1045 1609 1043 11455 1909 12430 13010 10450 1909 2043

Field3, … , Fieldn

HDFS Block1

(256MB)

HDFS Block2

(256MB)

Index B1 – Movie_ID Min: 1001 Max: 1609

B2 – Movie_ID Min: 1909 Max: 13010

Example: Find all ratings from movies with a MOVIE_ID of 1109

✓

✗

• 自動的にHDFS上のデータブロック毎のIndexの最大値と最小値を作成

• スキャン前に目的のデータが最大値-最小値の間にあるかを確認

• 最大値-最小値の間になければ、スキャンを行わず、クエリにかかる時間と、HDFSからのI/Oを削減

平均65%、最大100倍高速化


Oracle Big Data SQL


Oracle Big Data SQL

21

Hadoop上のデータにもOracle Databaseの強固なセキュリティ機能を提供

Big Data Appliance +

Hadoop

Exadata +

Oracle Database

SSN EMPID LAST FIRST SALARY

111-11-1111 275895 Smith John 125275

222-22-2222 335685 Jones Sally 250950

333-33-3333 558544 Stinson Chuckie 32000

EMPID LAST FIRST

275895 Smith John

335685 Jones Sally

SSN SALARY

111-11-XXXX 125275

222-22-YYYY 250950

333-33-ZZZZ 32000

•BDAの持つ機能 —Kerberos/LDAPによる認証 —Apache Sentryによる認可 —Oracle Audit Vault Fire Wallによる監査 —HFDSのデータ格納されるHDDの暗号化 —ネットワーク暗号化

•データベースのセキュリティ制御 —マスキング/リダクション —仮想プライベートデータベース —ファイングレインアクセス制御

•セキュリティ管理の統合、シンプル化


Oracle Big Data SQL


Agenda





Oracle Big Data Discovery データ分析前の1000本ノックをいかにアジャイルに迅速に繰り返すか

ビジネスの状況の把握

ビジネス状況の把握データの理解

データの準備

モデル作成評価展開/共有

データ

CRoss-Industry Standard Process for Data Mining（CRISP-DM）：業種を超えたデータマイニングプロセス

データの理解

データの準備

モデル作成

評価

展開/共有

23

・サンプリング・データの把握、理解・変数の選択、把握・データ加工

専門スキルやツールが求められ、高度な職人技で行われている分析プロセスを迅速に可能に






24

直感的なUI画面でデータサイエンティストの生産性を向上

1.Hadoop上のデータを可視化、タグ付け

2.データの値特性、品質、分析価値有無を可視化

3.データの因果関係、説明変数のシミュレーションと把握

4.次の分析へデータ加工




Oracle R Advanced Analytics for Hadoop

・RとHadoopを活用した分析のためのソフトウェア

・R言語のみでデータマイニングの分散並列処理が可能

・HDFS上のデータへR言語からアクセス

・Spark対応

Oracle Big Data Spatial and Graph

（Spatial Analytics）

・豊富な空間演算関数

・近傍情報、ジオフェンス判定

・位置情報への付帯情報の付加

・空間データ、ラスタ（画像）データの加工・準備

Oracle Big Data Spatial and Graph

（Graph Analytics）

・プロパティグラフ

・標準のグラフ分析関数

・ソーシャルメディア分析

・IoT

・サイバーセキュリティ

Oracle’s Big Data Advanced Analytics

Hadoop上でデータ分析をしたい

Oracle’s Big Data Advanced Analytics

25

さらに、、


Agenda


Map Reduce処理をもっと簡単に構築したい



Oracle Data Integrator Oracle Data Integrator Application Adapters for Hadoop Oracle Data Integrator Advanced Big Data Option

• ファイル/RDBMSからHiveへのロード • Hive を利用したデータの検証と変換 • FileもしくはHiveからOracleへのロード

27

Map Reduceによるデータ加工やETL処理、DBへのデータロードをGUIで定義可能

Hadoop Cluster

f(x)

MapReduce

Data Load

Oracle Database


Application Adapters for Hadoop

• 追加オプションでSparkやPigのコードを生成する事が可能

• Hadoopの最新技術を活用した、高速なインメモリ処理がGUIで定義可能に




Oracle Data Integrator Oracle Data Integrator Application Adapters for Hadoop Oracle Data Integrator Advanced Big Data Option

28

GUIの画面で論理的なデータフローを、物理的なフローに変換可能

Logical Design

Physical Design

Oracle

MySQL

Hive

Sqoop

Sqoop

IKM

LKM

LKM

Oracle

Hive

MySQL

Hive




Agenda






30

Oracle Databaseが持つ並列処理の仕組みを活用し、 HadoopとDB間を高速データ連携

• Hadoop上のデータを並列処理でOracle DBに高速データロード（15TB/時間）

• Hadoop側でフォーマット変換するため、Oracle DB への負荷を最小化

• 自動ロードバランスによるデータロード処理時間の短縮

• ケルベロス認証のサポートによるセキュアなデータ連携

JSON Log

files Hive

Text Parquet Avro Sequence

files

Compressed

files And more …



Many versions 10g Release 2 11g Release 2 12c On any OS platform


Agenda

MapReduceから DBのデータを使いたい




Oracle Table Access for Hadoop（Oracle Big Data Appliance機能）

HiveやSpark SQLからOracle Databaseのデータにアクセス

Big Data Appliance Cloudera Hadoop

Oracle Database

MapReduceから DBのデータを使いたい


HCatalog

StorageHandler

JDBC

• Oracle DBからのデータの移動の必要なく、Hive SQL, Spark SQLからOracle DBのデータにアクセス可能

• Hadoopからのデータアクセスを並列化し、高速かつセキュアに実現

32


Agenda


Copy to BDA



Copy to BDA（Oracle Big Data SQL機能）

データライフサイクルを見越した低コストでのデータ管理

Big Data Appliance Cloudera Hadoop

Exadata Oracle

Database

Copy Partition to

BDA

Oracle Big Data SQL

直近13ヶ月分のデータ

14ヶ月目以降のデータ


Copy to BDA

• ビジネス上重要なデータをExadataに保持

• 過去データをBDAに安価に保持

– Hadoop上でデータ分析を実施

– アーカイブデータによる非定形なクエリの実施

• 既存アプリケーションに改修の必要なく、全てのデータにSQL でクエリ可能

SQL

34


Agenda





Oracle’s Big Data Integration Solution データ連携、メタデータ管理、データガバナンス：ヘテロな環境にも対応可能

36



Oracle Data Governance Foundation Oracle Enterprise Data Quality

Oracle Enterprise Metadata Management with Business Glossary

Staging

Sqoop

HDFS

Hive

Flume

ETL Offload / Transformation

Data Streaming Kafka (MPP Pub/Sub)

Storm and Trident

Spark Streaming

HBase

Discovery Sandbox/s

R

Unst

ructu

red

Str

uctu

red

Oracle GoldenGate

Oracle Data Preparation



Agenda

Cloudへの取り組み


Integrated Cloud: エンタープライズ向けの統一化されたプラットフォーム

38

Cloud On-Premises

DEVELOP AND DEPLOY ANYWHERE

同じ「アーキテクチャ」同じ「オラクル製品」

同じ「知識・ノウハウ」

オンプレミスで培った高度な技術をセキュアなクラウド環境へ

Complete Open

Integrated Engineered

Complete Open

Integrated Engineered

オラクルのクラウド戦略


Oracle Big Data Cloud Service エンタープライズ向けビッグデータ活用環境をクラウドで

39

Big Data Cloud Service

高パフォーマンスかつセキュアな最新の Hadoop の専有環境をご提供

必要に応じて柔軟なスケールアップ/ダウンも可能

高パフォーマンスな専有環境

オラクルの最新ビッグデータ活用製品も含有単なるインフラ層のコストや管理コスト削減

だけでなく、ソフトウェアも含めたTCO削減が可能

ビッグデータ活用のための製品も

含有

Oracle Big Data SQL Cloud Service により RDBMS, Hadoop, NoSQL にSQLでアクセス可能

クラウド上で総合的なビッグデータ管理システムを実現

SQL一つで全てのデータを

活用可能


Big Data + IoT環境をセキュアなクラウドでも活用可能

Big Data Cloud + IoT ＋ SaaS + PaaS Cloud

Gateway software 2G/3G/LTE

ネットワーク

WWAN

Database

Hadoop

NoSQL

Big Data SQL

Big Data Discovery

SCM

ERP

Sales Marketing

HCM PLM

ファイアウォール

IoT Cloud Service Big Data

Cloud Service SaaS

Docs

Data Prep.

Java BI

Dev DB

Integ ration

Process Mobile

PaaS

IoT Cloud Service Gateway & SDKs

Device Virtualization

High Speed Messaging

Endpoint Management

Stream Processing

Event Store

Enterprise Connectivity

40


Agenda

本日のまとめ


本日のまとめ

Hadoop活用の8+1つの勘所

42








Oracle Big Data SQL





MapReduceからDBのデータを使いたい


ライフサイクルを見越したデータ管理をしたい Copy to BDA


Oracle’s Big Data Integration

ビッグデータ/IoT環境をセキュアなクラウド環境で実行したい Oracle Cloud


Agenda

技術情報お試し環境

ご紹介


技術情報

• 各製品技術情報ページ

–Oracle Exadata

–Oracle Big Data Appliance

–Oracle Big Data Connectors

–Oracle Advanced Analytics

–Oracle Big Data Discovery

–Oracle NoSQL Database

–Oracle Spatial &Graph

–Oracle Big Data Spatial & Graph

–Oracle Data Integration

44

http://www.oracle.com/technetwork/jp/database/exadata/index.html

http://www.oracle.com/technetwork/jp/database/exadata/index.html

http://www.oracle.com/technetwork/jp/database/bigdata-appliance/overview/index.html

http://www.oracle.com/technetwork/jp/database/database-technologies/bdc/big-data-connectors/overview/index.html

http://www.oracle.com/technetwork/jp/database/bigdata-appliance/overview/bigdataappliance-datasheet-1883358-ja.pdf

http://www.oracle.com/technetwork/jp/database/options/advanced-analytics/index.html



https://www.oracle.com/big-data/big-data-discovery/index.html


http://www.oracle.com/technetwork/jp/database/database-technologies/nosqldb/overview/index.html




http://www.oracle.com/technetwork/jp/database/options/spatialandgraph/overview/index.html

http://www.oracle.com/technetwork/database/database-technologies/bigdata-spatialandgraph/overview/index.html



http://www.oracle.com/jp/products/middleware/data-integration/overview/index.html



ご参考資料

オラクルデータベースインサイダー＠IT

• いつものSQLでHadoop操作を。“フツーの会社”のためのビッグデータ活用基盤とは

• どこが違う？何がうれしい？オラクルならではのビッグデータソリューション

• ビッグデータとIoTを組み合わせて使い、さらに高い価値を得る。オラクルのソリューションが可能にしたベストプラクティス

• 日常業務の中で自然にアナリティクスを実践。 Analytics 3.0時代を加速するオラクルのビッグデータアナリティクスソリューション

45

http://www.atmarkit.co.jp/ait/articles/1506/30/news163.html

























• 事前設定済のオラクルビッグデータ製品の最新バージョンをインストール作業の必要なく、すぐに利用可能

• OTNサイトから無料でダウンロード

• サンプルデータ込、自己学習のための動画、デモスクリプトも公開

• RDBMS、Hadoop、NoSQL、R、Spatial, Graph、興味のある製品から、ビッグデータ活用の全体フローまでお好きな製品をローカルの仮想マシン環境上で

• 自己学習環境としてぜひお試しください

*自己学習用のサポート対象外製品です

*使用にあたっては、 License Agreementをよくお読みになり、同意の上、ご利用ください

*OTN Communityのフォーラムにも技術ディスカッションのスレッドがございます https://community.oracle.com/community/database/big_data

オラクルのビッグデータ製品が、仮想マシン環境上ですぐに無料でお試しできます！

Oracle Big Data Lite Virtual Machine のご紹介

ダウンロード先：http://www.oracle.com/technetwork/database/bigdata-appliance/oracle-bigdatalite-2104726.html

https://community.oracle.com/community/database/big_data




• Oracle Enterprise Linux 6.6

• Oracle Database 12c Release 1 Enterprise Edition (12.1.0.2)

– Oracle Multitenant, Oracle Advanced Analytics, Oracle OLAP, Oracle Partitioning, Oracle Spatial and Graph, and more

• Oracle Big Data SQL

• Cloudera Distribution including Apache Hadoop (CDH5.4.0)

• Cloudera Manager (5.4.0)

• Oracle Big Data Discovery 1.1

• Oracle Big Data Connectors 4.2

– Oracle SQL Connector for HDFS 3.3.0

– Oracle Loader for Hadoop 3.4.0

– Oracle Data Integrator 12c

– Oracle R Advanced Analytics for Hadoop 2.5.0

– Oracle XQuery for Hadoop 4.2.0

含まれる製品（Version 4.2.1） • Oracle NoSQL Database Enterprise Edition 12cR1

(3.3.4)

• Oracle Big Data Spatial and Graph 1.0

• Oracle JDeveloper 12c (12.1.3)

• Oracle SQL Developer and Data Modeler 4.1

• Oracle Data Integrator 12cR1 (12.1.3.0.1)

• Oracle GoldenGate 12c

• Oracle R Distribution 3.1.1

• Oracle Perfect Balance 2.4.0

• Oracle CopyToBDA 2.0

http://www.oracle.com/technetwork/database/bigdata-appliance/oracle-bigdatalite-2104726.html




48

1. Google “Big Data Lite”

2. Download the VM

3. Do the Tutorial



Oracle Big Data Lite Virtual Machine のご紹介 Hands-on Labs 自己学習用おすすめコース

Training Collateral 説明

Data Manipulation with Hive and Pig

まずはここから HiveやPigの基本的な操作が学べます

Analyze All Your Data with Oracle Big Data SQL

Oracle DBからHadoopに透過的なSQLアクセスを行うシナリオ。 Hadoopがよく分かってなくとも、DBの知識だけでなんとかなります。

Tame Big Data with Oracle Data Integration

HiveやSqoopはなんとなくわかってる人向け GUIでETLプロセスを定義できます。

Oracle R Enterprise v 1.4 - Tutorial Series

最近注目のRを始めてみたい方向け

etc

49

http://www.oracle.com/technetwork/topics/bigdata/articles/hive-and-pig-hol-1937050.pdf

http://www.oracle.com/technetwork/topics/bigdata/articles/hive-and-pig-hol-1937050.pdf

https://apex.oracle.com/pls/apex/f?p=44785:24:0:::24:P24_CONTENT_ID,P24_PREV_PAGE:10258,1

https://apex.oracle.com/pls/apex/f?p=44785:24:0:::24:P24_CONTENT_ID,P24_PREV_PAGE:10258,1

https://apex.oracle.com/pls/apex/f?p=44785:24:::NO:24:P24_CONTENT_ID,P24_PREV_PAGE:10235,16

https://apex.oracle.com/pls/apex/f?p=44785:24:::NO:24:P24_CONTENT_ID,P24_PREV_PAGE:10235,16

http://apex.oracle.com/pls/apex/f?p=44785:24:0::::P24_CONTENT_ID,P24_PREV_PAGE:8984,1





Agenda

最新イベントご紹介


POCO (The Power Of Cloud by Oracle) を実現する最新のクラウドテクノロジー/製品/サービス

その具体的な活用事例をご紹介します

2日間にわたり7つのサミットを開催

80 を超えるセッション

お客様によるビジネス変革の実例紹介

Oracle OpenWorld 2015 最新情報

詳細･お申し込み oracle.co.jp/clouddays

oracle.co.jp/clouddays


クラウド時代でデータベースの開発、チューニング、アップグレード

などのエンジニアリング・ノウハウはどう変わったのか？

クラウド上で「使える実践的なノウハウ」をご紹介します

17:45～20:00 参加しやすい夕方からの開催

実践的な10の技術者向けセッション

Hadoop、機械学習、IoT、Java、Database、最新技術のノウハウをご紹介

詳細･お申し込み http://www.oracle.co.jp/events/ddd2015/

http://www.oracle.co.jp/events/ddd2015


Software

Cloudera World Tokyo 2015 Oracleセッション資料 「ビッグデータ/IoTの最新事例とHadoop活用の勘所」

Cloudera World Tokyo 2015 Oracleセッション資料　「ビッグデータ/IoTの最新事例とHadoop活用の勘所」