Embed Size (px)
Citation preview
Copyright © 2017, Oracle and/or its affiliates. All rights reserved. | 1
OracleならではのHadoopソリューション HadoopとDatabaseのさらなる統合を実現！ Oracle Big Data SQL 3.1 ご紹介
2017/1/13 日本オラクル株式会社 クラウド・テクノロジー事業統括
Copyright © 2017 Oracle and/or its affiliates. All rights reserved. |
•以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことはできません。以下の事項は、マテリアルやコード、機能を提供することをコミットメント（確約）するものではないため、購買決定を行う際の判断材料になさらないで下さい。オラクル製品に関して記載されている機能の開発、リリースおよび時期については、弊社の裁量により決定されます。
2
OracleとJavaは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。 文中の社名、商品名等は各社の商標または登録商標である場合があります。
Copyright © 2017 Oracle and/or its affiliates. All rights reserved. |
はじめに • データベース上のデータのみならず、HadoopやNoSQL上のすべてのデータにも、データベースへのSQLでシンプルに、迅速に、セキュアにアクセス可能にするOracle Big Data SQLの最新バージョン3.1がリリースされました
• ビッグデータ、IoT、AIの技術を利用し、真にビジネス価値を生み出すためには、HadoopやNoSQL上のデータだけでは実現は難しく、マスタデータやトランザクションデータといった、RDBMS上のビジネスデータとの連携とが必須となります
•今回のアップデートにより、より多くのお客さまの、ビッグデータ/IoTからの真なるビジネス価値創出と、競争優位確立のお役に立てると確信しております
3
Copyright © 2017 Oracle and/or its affiliates. All rights reserved. |
業務 アプリケーション
オペレーショナル レポーティング
RDBMS
成功のポイントはデータベースとの共存にあり！
HadoopとRDBMSの強みを組み合わせる データの特性や活用目的にあわせ、最適なテクノロジーを組み合わせる
ソーシャル メディア
IoT
73°
Big Data Management
System
Hadoop
アナリティクス
• Hadoopの特長 – Schema-On-Readによる柔軟性
• 格納時にデータスキーマの考慮不要、 利用時に定義
• レイアウトが変わるデータに向いている
–高速なデータ加工・編集・集計処理 • 並列分散処理システム
• Sparkなどの豊富なエコシステム
–低いバイト単価 • ストレージコストの低下の恩恵
4
Copyright © 2017 Oracle and/or its affiliates. All rights reserved. |
成功のポイントはデータベースとの共存にあり！
Oracle Big Data Management System データ量にとらわれず、新たなテクノロジーの恩恵をどう活用するか
目的 パターン/ データ特性
Hadoop DWH/Database
バッチ処理・ データ加工
バッチ処理と 生データ保持
ETL処理、生データ 処理後データ
データ 分析
データ密度・ データ価値
低い 高い
フォーマット 変更頻度
多い 少ない
粒度 細かい 粗い
参照頻度 少ない 多い
センサーデータ、 ログデータ、GPSデータ、SNS等
既存のRDBMS内のデータ （マスターデータ/
トランザクションデータ）
明細データ サマリデータ
経年データ アクティブデータ
5
バッチ処理・データ加工・ 大福帳作成・生データ保持
ETL処理・データ加工後の データ
Copyright © 2017 Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data SQL • データベース上のデータのみならず、HadoopやNoSQL上のすべてのデータにも、データベースへのSQLでシンプルに、迅速に、セキュアにアクセス可能
6
Smart Scan クエリをExadataの
ストレージサーバーにオフロード
Storage Index クエリに必要な
データブロックのみをスキャン
SQL一つで、 必要なデータが
高速にセキュアに返される
Smart Scan クエリをBig Data Applianceの データノードにオフロード
Storage Index クエリに必要な
データブロックのみをスキャン
Predicate Pushdown Hadoopが得意な処理を、
Hadoop側で実施
SQL
必要データ のみ移動
SQL
Hadoop Oracle Database 12c
既存のアプリ、ツール、スキル
そのままで全てのデータがクエリ可能
Hive metadata
Copyright © 2017 Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data SQL3.1 リリースハイライト
1. Expanded Deployments – DatabaseとHadoopの組み合わせパターンが増えました
2. Ethernet Option for Connections to the Exadata Database Machine – Exadataとの接続にEthernet 接続も可能となりました
3. Simplified Deployment on Oracle Database Servers -Oracle Grid Infrastructure is now Optional – Database側のグリッド構成が必須でなくなりました
4. Unified Platform Support in the Oracle Big Data SQL Installer – BDSのインストーラが、BDAとDIY環境で統合されました
5. New Features to Simplify ILM - Oracle Database Tablespaces in HDFS – DBのテーブルスペースをHDFS上に配置できるようになりました。ただし、Read-Onlyです
6. Enhancements in Oracle Shell for Hadoop Loaders（OHSH） 1.2 – DBとHadoopの統合シェルコマンドである、Oracle Shell for Hadoop Loadersが拡張されました
7. Enhancements to Copy To Hadoop – OHSHでdirectcopyというオプションが追加され、DBのpumpデータを直接HDFSに着地させることができるようになりました
8. Installation Instructions Moved to Oracle Big Data SQL Installation Guide – インストールガイドが独立しました
7
主なUpdate（マニュアルより）
Copyright © 2017 Oracle and/or its affiliates. All rights reserved. |
1.Expanded Deployments
8
Big Data SQL適用パターンが拡大、さらに多くのお客様にHadoopとDBの統合活用を提供
Engineered Systems
X B
Oracle Cloud*
Commodity Servers Mixed Deployment
Engineered Systems*
Mixed Deployment
* Coming Soon!
詳細な対応バージョン等は、 Compatibility Matrixを参照ください
Copyright © 2017 Oracle and/or its affiliates. All rights reserved. |
5.New Features to Simplify ILM - Oracle Database Tablespaces in HDFS
9
より多くのデータを安価に、セキュアに、SQLで分析可能に
Oracle Big Data SQL
Rolling 13 months Month 14-n
Oracle Big Data SQL 3.0 w/ DB12c • HadoopフォーマットでHDFSにデータ保持 • Big Data SQLによりスキャンや絞込み処理をHadoop側にオフロード可能
Oracle Big Data 3.1NEW w/ DB12c
• OracleフォーマットでHDFSにデータ保持 • dbfをネイティブに取り扱うことが可能 パフォーマンスがさらに向上
New capability in 3.1 Data Stored in Oracle format
Copyright © 2017 Oracle and/or its affiliates. All rights reserved. |
5.New Features to Simplify ILM - Oracle Database Tablespaces in HDFS
10
2つの統合パターンを実現。HDFS上のデータをOracle側で実表としても定義可能に
• 1. Viewによる統合(従来の方式) • 2. ハイブリッドテーブル
HDFS With BDS
HDFS With BDS
DATABASE
VIEW
DATABASE
実表
実表 外部表
HDFS
DATABASE
Copyright © 2017 Oracle and/or its affiliates. All rights reserved. |
5.New Features to Simplify ILM - Oracle Database Tablespaces in HDFS
11
2つの統合パターンを実現。HDFS上のデータをOracle側で実表としても定義可能に
… JAN 2014 FEB 2014 MAR 2014 OCT 2016 NOV 2016 DEC 2016
HDFS
Orders
Database
OCT 2016 NOV 2016 DEC 2016
JAN 2014 FEB 2014 MAR 2014
ホットではない、パーティションをHDFSに移動
ハイブリッドな パーティションテーブル
実表のレイアウトは変更なし ＝アプリに影響なし
Copyright © 2017 Oracle and/or its affiliates. All rights reserved. |
OracleBig Data SQL詳細情報
• Oracle Big Data SQL3.1パッチ（MOSより） – Patch 25369057 - bdsql 3.1 installer bundle for CDH – Patch 25369091 - bdsql 3.1 installer bundle for HDP – Patch 24368922 - one-off-patch on top of 12.1.0.2.161018 DBBP
• マニュアル –Oracle Big Data SQL Online Documentation Library Release3.1
• ご参考資料 –Oracle Database 12c Release 2 コアテク・セミナー(2016/10）資料、6．Big Data
12
Copyright © 2017 Oracle and/or its affiliates. All rights reserved. |
Appendix:Big Data活用をオンプレミスでもクラウドでも
13
お客様データセンター
購入
お客様による管理
専有環境
Big Data Appliance
お客様データセンター
サブスクリプション
オラクルが管理
専有環境
近日リリース予定 Big Data Cloud Machine
Oracle Cloud
サブスクリプション
オラクルが管理
専有環境
Big Data Cloud Service 近日リリース予定 Big Data Cloud Service – Compute Edition
Oracle Cloud
サブスクリプション
フルマネージド
共有環境
Copyright © 2017 Oracle and/or its affiliates. All rights reserved. |
Appendix:Oracle Big Data Cloud Service
14
エンタープライズ向けビッグデータ活用環境をクラウドで
・データ蓄積可能な、高パフォーマンスな お客様専用環境をご提供 ・月額定額料金、クエリ実行に課金なし ・1時間単位での一時的なリソース増減が可能
1.多様なデータを 専用環境上に すぐに蓄積可能
・Cloudera HadoopのエコシステムやSparkも利用可能 ・オラクルのビッグデータ分析ツールを包含 （R言語、空間分析、グラフ分析、画像分析） ・データロード、データ加工を実現するETLツール包含
2.ビッグデータ分析・ 活用ツールを含有
・Oracle Exadata Cloud Serviceとの高速連携 クラウド上でビッグデータマネジメント基盤を実現 ・Oracle Big Data SQL Cloud Service により、 SQLで高速かつセキュアにアクセス可能 ・SaaSやPaaSなど他クラウドとの密連携
3.他クラウドとの 密連携
Big Data Cloud Service
https://cloud.oracle.com/ja_JP/bigdata
Copyright © 2017 Oracle and/or its affiliates. All rights reserved. |
Appendix: 関連情報のご案内 •各種技術資料を、SlideShareで公開しております
–Hadoopソリューション • OracleのHadoopソリューションご紹介
• Oracle Big Data Cloud Serviceのご紹介
• Oracle Cloudで始める、DBエンジニアのためのHadoop超入門（db tech showcase2016)
• OracleとHadoop連携の勘所 （Oracle DBA ＆Developers Day2016資料）
–機械学習ソリューション • Oracle Data Miner Tutorial （Data Miner のセットアップ、表データの加工とモデル構築）
• Oracle R Enterprise（Oracle R Enterprise のセットアップ、Oracle R Enterprise の使い方）
–その他豊富なクラウドサービス
Slideshare oracle4engineer
15
詳細は「Slideshare, oracle4engineer」で検索
Copyright © 2017 Oracle and/or its affiliates. All rights reserved. |
Appendix: 関連情報のご案内
データベースインサイダー
16
•各種技術資料を、オラクルデータベースインサイダーで公開しております
–Big data/IoT関連 • ちょっと待って！そのHadoop、NoSQL、RDBMSの使い分けは正しいの？ 最適解をオラクルのビッグデータ製品開発者に聞いた
• 「IoT＆ビッグデータ環境を2週間で導入してビジネス立ち上げ」も Oracle Cloud Platformなら本当にできる！
• どこが違う？ 何がうれしい？ オラクルならではのビッグデータソリューション
• アナリティクスがもっと簡単に 業務ユーザーの身近なツールになる
• リアルタイムデータ連携 ビッグデータ活用の領域でも普及が進むOracle GoldenGate
• いつものSQLでHadoop操作を。 “フツーの会社”のためのビッグデータ活用基盤とは
詳細は「データベースインサイダー」で検索
Copyright © 2017 Oracle and/or its affiliates. All rights reserved. |
オラクルのビッグデータ製品が、仮想マシン環境上ですぐに無料でお試しできます！
Appendix:Oracle Big Data Lite のご紹介
17
• 事前設定済のオラクルビッグデータ製品の最新バージョンが 入ったVM環境をインストール作業の必要なく、すぐに利用可能
• OTNサイトから無料でダウンロード
• サンプルデータ込、自己学習のための動画、 デモスクリプトも公開
• RDBMS、Hadoop、NoSQL、R、Spatial, Graph、 興味のある製品から、ビッグデータ活用の全体フローまで お好きな製品をローカルの仮想マシン環境上で
• 自己学習環境としてぜひお試しください
*自己学習用のサポート対象外製品です
*使用にあたっては、 License Agreementをよくお読みになり、同意の上、ご利用ください
*OTN Communityのフォーラムにも技術ディスカッションのスレッドがございます https://community.oracle.com/community/database/big_data
Copyright © 2017 Oracle and/or its affiliates. All rights reserved. | 18
Oracle Digitalは、オラクル製品の導入をご検討いただく際の総合窓口。 電話とインターネットによるダイレクトなコニュニケーションで、どんなお問い合わせにもすばやく対応します。
もちろん、無償。どんなことでも、ご相談ください。
Copyright © 2017 Oracle and/or its affiliates. All rights reserved. |
