63

[Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

Embed Size (px)

Citation preview

Page 1: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報
Page 2: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

Azure

Page 3: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

AZURE REGIONS

Page 4: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

+

Applications

Management

App Frameworks

Databases & Middleware

Infrastructure

Linux

Page 5: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

+

Azure

Page 6: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

>85%of Fortune 500 use

Microsoft Cloud

Page 7: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

Azure momentum

%

k Million

MillionMillion

Trillion

NEW AZURE CUSTOMER SUBSCRIPTIONS/MONTH

MESSAGES PER WEEKPROCESSED BY AZURE IOT

ORGANIZATIONS USING AZURE ACTIVE DIRECTORY

DEVELOPER REGISTERED WITH VISUAL STUDIO TEAM SERVICES

REVENUE FROM START-UPS AND ISVS

SQL DATABASES IN AZURE

Page 8: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

CORE INFRASTRUCTURE

Compute Storage Networking Security

ADVANCED WORKLOADS

Web + Mobile

Internet of Things

Microservices

Data + Analytics

Identity Management

Media Streaming

High Performance Compute

Cognitive Services

TOOLS

Visual Studio + Visual Studio Code + Visual Studio Team Services + Xamarin

Page 9: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報
Page 10: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

価値

Page 11: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

医療機器/電子カルテのデータを収集(血圧計、パルスオキシメーター、Microsoft Band など)・ 予測分析から治療計画を調整

Page 12: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

DEMO

Cortana Intelligence Suiteユース ケース

Page 13: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報
Page 14: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

MachineLearning

Stream Analytics

SQL DataWarehouse

Event Hub

各種デバイス

Data Factory

Data Lake StoreBlob Storage

Data Lake Analytics

Power BI

HDInsight

Cognitive Services

Data Catalog

Bot Framework

Page 15: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

MachineLearning

Stream Analytics

SQL DataWarehouse

Event Hub

各種デバイス

Data Factory

Data Lake StoreBlob Storage

Data Lake Analytics

Power BI

HDInsight

Cognitive Services

Data Catalog

Bot Framework

Page 16: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報
Page 17: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報
Page 18: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

(Speech APIs)

Pepper による顔認識(Face APIs)

http://www.headwaters.co.jp/news/pepper/SynApps.html

http://www.asahiinryo.co.jp/company/newsrelease/2015/pick_1221_3.html

Page 19: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

MachineLearning

Stream Analytics

SQL DataWarehouse

Event Hub

各種デバイス

Data Factory

Data Lake StoreBlob Storage

Data Lake Analytics

Power BI

HDInsight

Cognitive Services

Data Catalog

Bot Framework

Page 20: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報
Page 21: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

具体的な業務シナリオに基づく実装テンプレート

- 自動車テレマティクス分析- 航空機の予防保守- 電力の需要予測https://gallery.cortanaintelligence.com/solutionTemplates

Page 22: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報
Page 23: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報
Page 24: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

データソース

業務システム

デバイス/センサー

ニア

リアル

タイム

バッチ

Page 25: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

データソース

業務システム

デバイス/センサー

バッチ

Page 26: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報
Page 27: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報
Page 28: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

企業内データを定期的に Azure データストアに

Azure Data Factory

Page 29: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

Azure Data Factory

Page 30: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

Azure Data Factory で各種データソース間を接続

Page 31: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

Azure Data Factory の接続可能なデータソース

Blob Storage, Table StorageSQL Database, SQL Data WarehouseData Lake Store, DocumentDB

Oracle, DB2, MySQL, PostgreSQL, Teradata, SybaseHDFS, OData, ODBC, HTTP (Web)

Page 32: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

Azure Data Factory でオンプレミスと接続

Page 33: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

Azure Data Factory でオンプレミスと接続

Page 34: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

Azure Data Factory の使いどころ

Page 35: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報
Page 36: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

TB, PB データをバッチ処理でクレンジング (前処理)

Azure Data Lake Analytics

Page 37: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

Azure Data Lake Analytics

Page 38: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

Azure Data Lake Analytics

Page 39: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

Azure Data Lake Analytics の使いどころ

Page 40: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

Azure Data Factory⇒Azure Data Lake Analytics の流れ

Page 41: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報
Page 42: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

即時スケールアウトが可能なデータウェアハウス

Azure SQL Data Warehouse

Page 43: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

即時スケールアウトが可能なデータウェアハウス

Page 44: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

Azure Storage Blob 上のファイル

D12D11 D13 D14 D15 D16 D18D17 D19 D20

D22D21 D23 D24 D25 D26 D28D27 D29 D30

D32D31 D33 D34 D35 D36 D38D37 D39 D40

D42D41 D43 D44 D45 D46 D48D47 D49 D50

D52D51 D53 D54 D55 D56 D58D57 D59 D60

D2D1 D3 D4 D5 D6 D8D7 D9 D10

Page 45: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

Azure Storage Blob 上のファイル

D2D1 D3 D4 D5 D6 D8D7 D9 D10

D12D11 D13 D14 D15 D16 D18D17 D19 D20

D22D21 D23 D24 D25 D26 D28D27 D29 D30

D32D31 D33 D34 D35 D36 D38D37 D39 D40

D42D41 D43 D44 D45 D46 D48D47 D49 D50

D52D51 D53 D54 D55 D56 D58D57 D59 D60

Page 46: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

Azure Storage Blob 上のファイル

D2D1 D3 D4 D5 D6 D8D7 D9 D10

D12D11 D13 D14 D15 D16 D18D17 D19 D20

D22D21 D23 D24 D25 D26 D28D27 D29 D30

D32D31 D33 D34 D35 D36 D38D37 D39 D40

D42D41 D43 D44 D45 D46 D48D47 D49 D50

D52D51 D53 D54 D55 D56 D58D57 D59 D60

Page 47: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

Azure Storage Blob 上のファイル

D2D1 D3 D4 D5 D6 D8D7 D9 D10

D12D11 D13 D14 D15 D16 D18D17 D19 D20

D22D21 D23 D24 D25 D26 D28D27 D29 D30

D32D31 D33 D34 D35 D36 D38D37 D39 D40

D42D41 D43 D44 D45 D46 D48D47 D49 D50

D52D51 D53 D54 D55 D56 D58D57 D59 D60

Page 48: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

ブラウザで使えるインタラクティブ ダッシュボード

Power BI Service

Page 49: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

Power BI - Custom Visuals Gallery

Page 50: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

データソース

業務システム

デバイス/センサー

バッチ

Page 51: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

データソース

業務システム

デバイス/センサー

ニア

リアル

タイム

Page 52: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報
Page 53: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報
Page 54: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

スケールアウト可能なイベントストリーミング

Azure Stream Analytics

Page 55: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

スケールアウト可能なイベントストリーミング

Page 56: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報
Page 57: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

機械学習処理サービス

Azure Machine Learning

Page 58: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

機械学習処理サービスNo. シナリオ種類 具体例

1. 予測 ・翌日の売上予測

・仕入個数予測

2. クラス分類、クラスタリング ・顧客ステージの分類

・自動判別 (フォルダ分け、タグ付け等)

3. レコメンデーション ・併売商品の提案

・顧客属性や履歴に基づくユニキャストDM

4. 異常検知 ・故障時期の推定

・システム(サーバーリソース) 異常の事前検出

・不正検知 (クレジットカードやセキュリティ等)

5. レコメンデーション ・併売商品の提案

・顧客属性や履歴に基づくユニキャストDM

6. その他 ・文字認識、画像認識、最適化

Page 59: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

機械学習処理サービス

25 個の標準アルゴリズム

Page 60: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

データソース

業務システム

デバイス/センサー

ニア

リアル

タイム

バッチ

Page 61: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

Cognitive Services

Page 62: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

Bot Framework

Bot Framework で構築した Bot

Bot Connector Bot DirectoryBot Builder SDKs作成した Bot を

各種サービスに接続

- テキスト, SMS- Office 365 メール, Skype- Slack, Twitter など

Node.js, C# による

ダイアログ開発

COMING SOON

世界最大級のBot 公開ディレクトリ

• Bot ダッシュボードでのBot 登録、接続、公開、管理

• メッセージ ルーティング

• 30 を超える言語への自動翻訳

• ユーザーや状態の管理

• Web チャットコントロールへの組み込み

• デバッグ用ツール

• GitHub で OSS として公開

• シンプルなプロンプトやコマンドダイアログから洗練されたフォームまで

• 適切な話し手になるためのライブラリとサンプル

• チャット エミュレーター

• Cognitive Services に含まれる関連サービスとの連携

• Bot 登録の公開ディレクトリと認定

• Web チャットコントロール経由で登録された Bot を利用可能

• Bot の提供チャネルとして構成可能、検索も可能

Page 63: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報

データソース

業務システム

デバイス/センサー

ニア

リアル

タイム

バッチ