47
#azurejp https://www.facebook.com/dahatake/ https://twitter.com/dahatake/ https://github.com/dahatake/ https://daiyuhatakeyama.wordpress.com/ https://www.slideshare.net/dahatake/

次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

Embed Size (px)

Citation preview

Page 1: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

#azurejp

https://www.facebook.com/dahatake/

https://twitter.com/dahatake/

https://github.com/dahatake/

https://daiyuhatakeyama.wordpress.com/

https://www.slideshare.net/dahatake/

Page 2: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)
Page 3: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)
Page 4: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)
Page 5: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

Switchboard

携帯電話のSwitchboard ミーティング

IBM, Switchboard

ブロードなスピーチ

Page 6: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)
Page 7: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

チームに力を 臨床業務の最適化継続した診療にデジタルを

患者を健康に

緊急

外来クリニック

薬局

ポリシー監査

セキュリティとコンプライアンスの

強化

セキュリティとコンプライアンス

の強化

ポリシー監査

権限のあるケアコーディネート

治療計画

変形させた心配の連続変形させた心配の連続

権限のあるコーディネート

患者の関与患者の関与

継続した診療

治療計画

セキュリティとコンプライアンスの強化

操作の最適化操作の最適化

Page 8: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

001

100

0

11

001

100

0

11

10

0

001

10

0

0

1

1

010

001

100

0

11

0

1

ケアプラン

00

1

1

00

0

1

1

10

0

0

1

10

0

患者 X

個人履歴

レコード今

00

1

1

00

0

1

1

10

0

0

1

10

0

患者 X

個人履歴

レコード今

調整投与

低グルコース

調整投与

低グルコース

患者の履歴とチャート表記を記録し、転写するためにデジタルアシスタントにタスクを依頼

インテリジェントツールを使用して、個々の診療プランに対するベストアクションを推奨

診療チームのアラートを生成するために高度な解析・予測を適用しながら、リモートで患者の監視を提供

Page 9: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

放射線

看護

こんにちはジョン、どのように私はあなたを助けることができる?

私はインフルエンザを持っていると思います。

発熱していませんか?

放射線

潜在的な調査結果

sc、結果

潜在的な調査結果

sc、結果

高度な学習モデルを採用し、医用画像処理のワークフローを迅速化し、潜在的所見を特定

バーチャル看護助手で遠隔地の患者の症状を診断し、不必要な訪問を減らす

医療記録と認知ロボット機能を組み合わせて、医師の計測器の精度上げ、強化する

Page 10: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

Develo

per

Data

Sci

en

tist

一般的なアルゴリズムでのデータ解析・実行

Page 11: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)
Page 12: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

with cntk.layers.default_options(activation=cntk.ops.relu, pad=False): conv1 = cntk.layers.Convolution2D((5,5), 32, pad=True)(scaled_input)pool1 = cntk.layers.MaxPooling((3,3), (2,2))(conv1)conv2 = cntk.layers.Convolution2D((3,3), 48)(pool1)pool2 = cntk.layers.MaxPooling((3,3), (2,2))(conv2)conv3 = cntk.layers.Convolution2D((3,3), 64)(pool2)f4 = cntk.layers.Dense(96)(conv3)drop4 = cntk.layers.Dropout(0.5)(f4)z = cntk.layers.Dense(num_output_classes, activation=None)(drop4)

例:手書き文字認識 (MNIST)

Page 13: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

Microsoft Azure

Page 14: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

Compute Infrastructure

Page 15: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

Featuring / Training

Prediction

Data / Users

ScalablePerformance

Throughput+ Efficiency

1度のトレーニングで、

数十億 TFLOPS

Xeon CPU だと、

1年がかり

GPU だと1日

処理毎に数十億

FLOPS

Xeon CPU だと数秒

GPU だと即座

Page 17: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

ND6s ND12s ND24s ND24rs

Cores 6 12 24 24

GPU 1 x P40 2 x P40 4 x P40 4 x P40

Memory 112 GB 224 GB 448 GB 448 GB

Disk ~700 GB SSD ~1.4 TB SSD ~3 TB SSD ~3 TB SSD

Network Azure Network Azure Network Azure Network InfiniBand

Page 18: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)
Page 19: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

R User

Workstation

R Server for Hadoop

RDDsHDInsight

HDFS

RDDs

HDFS

RDDs

HDFS

Page 20: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)
Page 21: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)
Page 22: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

Video Indexer

Cognitive Services Labs

Page 23: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

Video Indexer

Cognitive Services Labs

Custom Custom Custom Custom Custom

Page 24: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

従来の Database

+ App

Intelligence Database

+ App

Application +

Intelligence

Database

Application

Intelligence

+ Database

VS

Page 25: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

#azurejp

Azure Data Lake

Azure Media Service

SQL Server 2017

Page 26: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

Azure Data Lake service

Big Data as a Services

無限にデータをストア・管理Row Data を保存

高スループット、低いレイテンシの分析ジョブセキュリティ、アクセスコントロール

Azure Data Lake store

HDInsight & Azure Data Lake Analytics

Page 27: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

1. 顔の解析

2. 画像へのタグ付け

3. 顔の感情分析

4. OCR

1. テキストからの重要語句の抽出

2. テキストの感情分析

Azure Data Lake の 6つの Cognitive 機能

Page 28: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

• オブジェクト認識 (タグ)

• 顔認識、感情認識

• JOIN処理 –幸せな人は誰なのか?

REFERENCE ASSEMBLY ImageCommon;REFERENCE ASSEMBLY FaceSdk;REFERENCE ASSEMBLY ImageEmotion;REFERENCE ASSEMBLY ImageTagging;

@objects =PROCESS MegaFaceViewPRODUCE FileName, NumObjects int, Tags stringREADONLY FileNameUSING new

Cognition.Vision.ImageTagger();

@tags =SELECT FileName, T.Tag

FROM @objectsCROSS APPLY

EXPLODE(SqlArray.Create(Tags.Split(';'))) AS T(Tag)

WHERE T.Tag.ToString().Contains("dog") ORT.Tag.ToString().Contains("cat");

@emotion_raw =

PROCESS MegaFaceViewPRODUCE FileName string, NumFaces int, Emotion stringREADONLY FileName

USING new Cognition.Vision.EmotionAnalyzer();

@emotion =SELECT FileName, T.Emotion

FROM @emotion_rawCROSS APPLY

EXPLODE(SqlArray.Create(Emotion.Split(';'))) AS T(Emotion);

@correlation =SELECT T.FileName, Emotion, Tag

FROM @emotion AS E

INNER JOIN@tags AS T

ON E.FileName == T.FileName;

Images

Objects Emotions

filter

join

aggregate

Page 29: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

付加価値を提供する多くのパートナーソリューション

Streaming /

CDNコンテンツ保護

Processing取り込み

と保管

メディア配信のコア機能を

APIとして提供

Azure Media Services

PlayerAI

(Artificial Intelligence)

Page 30: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

Vision

Speech

Language

Face

画面上の文字

歴史的建造物

話している言葉

翻訳

話者

オブジェクト

シーン

感情

感情

感情キーワード

Page 31: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

Azure Media

Service Azure Functions

翻訳

感情 キーワード

Page 32: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)
Page 33: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

R & Python ベースのAI のストアドプロシージャ

MicrosoftML Library の組み込み

Graphモデルのサポートによるより複雑な関係を分析

クエリ処理の最適化による比類なきパフォーマンス

AI を組み込んだ最初の商用データベース

SQL Server2017

Page 34: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

• SQL Server, CNTK & R/Python –それぞれの強い部分を連携させたエンタープライズグレードの AI アプリケーション

• データを移動させる必要がないため、セキュリティと効率化が向上

• GPU による、処理能力の向上

Featurizationclassifier model

でのスコアリング

Web App

Diagnosis: 35% certainty

Python / R で実装したストアドプロシージャ ストアドプロシージャ

の呼び出し

Model table,

Features table,

New Images table

SQL Server

Page 35: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

execute sp_execute_external_script

@language = N'R'

, @script = N'

x <- as.matrix(InputDataSet);

y <- array(dim1:dim2);

OutputDataSet <- as.data.frame(x %*% y);'

, @input_data_1 = N'SELECT [Col1] from MyData;'

, @params = N'@dim1 int, @dim2 int'

, @dim1 = 12, @dim2 = 15

WITH RESULT SETS (([Col1] int, [Col2] int, [Col3] int, [Col4] int));

‘R’ もしくは ‘Python’

R file や Python file の読み込みも

入力データ。 T-SQL SELECT も使えるスクリプト用のパラメーター。”OUTPUT” もサポー

ト。トレーニング済みのモデルには varbinary(max) を

使用

Result setのバインド(Optional)

STDOUT や STDERR と一緒にメッセージ文字列も

R dataframeもしくはPython Pandas dataframe

Page 36: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

launchpad.exe

sp_execute_external_script

sqlservr.exeNamed pipe

それぞれの SQL インスタンスがlaumchpad.exe を持

SQLOS

XEvent

MSSQLSERVER Service MSSQLLAUNCHPAD Service

“何を” そして “どう”

“実行” するか

“launcher”

Bxlserver.exe

sqlsatellite.dll

Bxlserver.exe

sqlsatellite.dll

Windows Satellite

Process

sqlsatellite.dll

Run your “query”

Page 37: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

In-memory OLTPColumn Store

大量データの書き込み処理

PowerBI DashboardスケールするDatabase 内の分析

R

業務ユーザー

分析の用意

Stored

Predictions

Visualize

SQL-R を使って、秒間100万件の機械学習の処理も

Page 38: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

Gathering

Data

Store

Data

Store

Data

Store

Data

Store

Data

Store

Training

DatasetModel

Data Process Training Deploy Prediction

Model

ModelLang. Image

Model Video

Dataset Model

Dataset Model

Model

Service

Page 39: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)
Page 40: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)
Page 41: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)
Page 42: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

リモートモニタリング・制御

多数のIoTデバイスからの収集データをマージ

先進AIの適用を可能にする、無限に近いコンピューティングリソースとストレージ

リアルタイム応答に必要なローレーテンシーでタイトなコントロールループ

プライバシーデータや知的財産の保護

Page 43: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

Azure IoT Edge IoT Hub

Devi

ces

Local Storage

Azure Machine

Learning

(Container)

Functions

RuntimeContainer

Management

Device

Twin

Device

Twin

Azure Stream

Analytics

(Container)

Azure Functions

(Container)

Cognitive Services

(Container)

Custom Code

(Container)

Module

Twin

Module

Twin

Module

Twin

Module

Twin

Module

Twin

Module

TwinModule

TwinModule

TwinModule

TwinModule

Twin

Page 44: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

#azurejp

Page 45: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)
Page 46: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

さあ、始めましょう!azure.com

Page 47: 次世代のデータ活用としてのIntelligent Data Platform-Microsoft Azure と AI (Artificial Intelligence)

© 2017 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries.

The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a

commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation.

MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.