[Japan Tech summit 2017] MAI 005

Microsoft Tech Summit 2017

～ＤＢＡのＡＩことはじめ～

何かもっと良いものあれば差し替え

出典）https://deepmind.com/blog/alphago-zero-learning-scratch/

出典）https://www.microsoft.com/

出典）https://www.apple.com/

お手伝いしましょうか？

出典）https://www.google.com/

人相名前は？あなたは何者？好きな食べ物は？

コルタナと申します。仕事はあなたのお役に立つことです。

ドーナツです。言ってみただけですけど。

私の名前はシリです。もうご存知かとおもっていました。

私がだれかなんて、どうでもいいことですよ。

私の好みなんて、気にしないでください。

私はGoogleアシスタントです。

アシスタントです。私は様々な食べ物が好きです。

Microsoft

Google

①今更何ができるの？もう遅いよ。

②ＤＢＡ仕事に関係ないしさ。

③今回もブームで終わるでしょ。

2012/10/28 2013/10/28 2014/10/28 2015/10/28 2016/10/28 2017/10/28

「AI Deep Learning」Trend Search

「NVIDIA Corp」Stock Price

出典）https://trends.google.com/trends/explore?date=today%205-y&q=AI%20Deep%20Learning

出典）https://stooq.com/q/d/?s=nvda.us&c=0&d1=20121027&d2=20171027&i=w

2010年

2011年

2012年

University

of Toronto

2013年

Clarifai

2014年

Google

2015年

Microsoft

2016年

人間

画像識別誤り率（％）

人間の識別能力を超過

本番システムで実用可能

出典）Large Scale Visual Recognition Challenge (ILSVRC)

コンピューター画像識別世界競技会ベストレコード推移

ｔｆ

MobileAPP

Social

DesktopAPP

WebBrowser

Data Source ConsumerPublishAI Predict

DWH／DM

Report

Data Prep

ModelingEvaluation

AI Train

ｔｆ

MobileAPP

Social

DesktopAPP

WebBrowser

DWH／DM

Report

Data Prep

ModelingEvaluation

AI Train

ｔｆ

MobileAPP

Social

DesktopAPP

WebBrowser

DWH／DM

Report

Data Prep

ModelingEvaluation

AI Train

SQL ServerIntegrationServices

SQL ServerAnalysisServices

SQL ServerReportingServices

SQL ServerR Server

Power BIReport Server

ｔｆ

MobileAPP

Social

DesktopAPP

WebBrowser

DWH／DM

Report

Data Prep

ModelingEvaluation

AI Train

SQL ServerR Server

SQL Serverの門外

アプリケーション

インテリジェンス

データベース

アプリケーション

インテリジェンス

データベース

SQL Server 2017 のコンセプトのひとつ

『データがあるところにインテリジェンスを』

ｔｆ

MobileAPP

Social

DesktopAPP

WebBrowser

DWH／DM

Report

Data Prep

ModelingEvaluation

AI Train

SQL ServerR Server

ML Services によりSQL Server がAIをサポート

SQL ServerMachine Learning

Services

SQL Server サーバー

Python/R ランタイム

Machine Learning Services

Database Services

プロシージャＡ

プロシージャＣプロシージャＢ

Python/R記述Predict処理

RAPID機械学習Chainer CNTK

Python/R記述Train処理

Python/R記述その他処理

TensorFlow その他FW

ｔｆ

MobileAPP

Social

DesktopAPP

WebBrowser

DWH／DM

Report

Data Prep

ModelingEvaluation

AI Train

SQL ServerR Server

SQL ServerMachine Learning

Services

ｔｆ

AI for X

Data Source Consumer本番システムで利用可能なＡＩ実行基盤

AI for YAI for Z

DWH／DM

ReportAPI

BIMobileAPP

Social

DesktopAPP

WebBrowser

SQL Server ワンボックスAI プラットフォーム

▌システムモデル

▌Y県自治体のお悩み事毒キノコの誤食による食中毒の被害があとを絶たない。なんとか減らせないものか…。

Deep Learning on SQL Server による画像判定

Predict

Internet

BingImageSearch

スマホ

食用キノコ画像

毒キノコ画像

学習モデル（AI）

要判定キノコ画像

キノコ狩り

判定結果可視化

▌Y県自治体のお悩み事毒キノコの誤食による食中毒の被害があとを絶たない。なんとか減らせないものか…。

Deep Learning on SQL Server による画像判定

▌登場人物

Data Scientist ：ＡＩを開発。

SQL Server DBA：ＡＩをSQL Serverにデプロイ。

Developer ：ＡＩをアプリに組込み、結果を可視化。

Internet

BingImageSearch

スマホ

毒キノコ画像

判定結果

事前環境

SQL Serveron IaaS w/GPU

VS Codeon IaaS w/GPU

キノコ狩り

PredictTrain

デモ① Data Scientist「私が慣れ親しんだ環境でAIを開発します。」

可視化

Internet

BingImageSearch

毒キノコ画像

判定結果キノコ狩り

スマホ

PredictTrain

Predict

デモ② DBA「ＡＩを『コピペ』のプロシージャ化で SQL Server にデプロイします」

Internet

BingImageSearch

毒キノコ画像

スマホ

PredictTrain

Predict

デモ③ Developer「ＳＱＬ文１行でＡＩを実行し、結果を可視化します」

可視化

Internet

BingImageSearch

毒キノコ画像

可視化

スマホ

ｔｆ

Data Source Consumer本番システムで利用可能なＡＩ実行基盤

MobileAPP

Social

DesktopAPP

WebBrowser

システム構成要素が少なく信頼性が高い

入口と出口が標準化されたI/Fで接続可能

AIがSQL Serverのリッチな機能に相乗可能

AI for XAI for Y

AI for Z

Report

DWH／DM

200人の日本人の身体データ

誤って100人分の性別情報を削除

身体データから，その方の性別を推定する以外にオプションがありません。

90個の身体特徴があるので，頑張れば性別判定できそう。

1st Step：ルール・ドリブンアプローチ

(自分のアタマで考える)

現在の時刻：午後6時 (残り12時間)

身体データに入っている90個の身体特徴を見ながら，

性別を予測するプログラムをゼロから書こう。

「身長」と「体重」の2つの特徴を使えば，おそらく個人の性別を判定できるだろう。

「身長」と「体重」だけでは性別判定できなさそう。

他の身体特徴も使う必要がありそうだ。

2nd Step：インサイト・ドリブンアプローチ

(データに教えてもらう)

現在の時刻：午前0時 (残り6時間)

残り時間は6時間。性別判定プログラムを6時間で書き上げるのは難しそうだ。

プログラム開発の生産性をアップする，何か別の良いソリューションはないかな？

データ削除を免れた100人の身体データから，日本人の性別と身体特徴の関係を調べたら？

あなたが知らない，男女判別に有用な身体特徴を見つけられるかもしれませんよ。

性別情報が残った100人の身体データから，

日本人の性別判定する予測モデルを作ろう。

性別情報を削除してしまった残り100人の性別は，

この予測モデルを使ってレストアしよう。

200人

100人 100人

最初は，「身長」と「体重」だけで日本人の性別判定できるか試してみよう。

追加の身体特徴を使うかどうかは，この予測結果を見てから判断しよう。

「身長」と「体重」だけで72%，日本人の性別を判定できそうだな。

予測精度を100%に近づけたいから，

追加の身体特徴を使おう。何を使うべきか？

混同行列予測

女性男性

正解女性 15 6

男性 8 21

100人の日本人の身

体データは，2つのクラスタに分割できそうだ。

各クラスタの代表点

(重心)を見ると，女性は「体脂肪」が性別判定に効きそうだ。

身体特徴重要度

身体寸法体脂肪

関節可動域肘関節.伸展

体力測定長座体前屈

身体寸法腹囲

身体特徴重要度

被験者情報身長

身体寸法頚椎高

体力測定握力

被験者情報体重

次は「身長」「体重」に「体脂肪」を加えて，日本人の性別を予測できるか試してみよう。

追加の身体情報を使うかどうかは，この予測結果を見てから判断しよう。

「身長」と「体重」に「体脂肪」を加えると，

日本人の性別を84%判定できそうだな。

予測精度を100%に近づけたいけど，

午前6時までにモデリングが終わるか不安だ。

混同行列予測

女性男性

正解女性 19 2

男性 6 23

3rd Step：データ・ドリブンアプローチ

(AIに教えてもらう)

現在の時刻：午前2時 (残り4時間)

残り4時間。予測モデルを4時間で仕上げできるか不透明だ。

プログラム開発の生産性を更に加速する，何か別の良いソリューションはないかな？

データ削除を免れた100人の身体データに含まれる

90個すべての身体特徴を使ったらどう？

ディープラーニングを使えば，性別判定に効く身体特徴を勝手に探してくれますよ。

性別情報が残った100人の身体データから，

日本人の性別判定する予測モデルを作ろう。

性別情報を削除してしまった残り100人の性別は，

この予測モデルを使ってレストアしよう。

200人

100人 100人

最初に，90個すべての身体特徴を使って日本人の性別判定できるかざっと試してみよう。

これでダメだったら，身体特徴から性別を当てるのは難しいとあきらめがつきそうだ。

90個すべての身体特徴を使うと，

日本人の性別を96%予測できそうだな。

間違えた日本人 2名は，プログラムで個別にケアすれば，

なんとかなりそうだ！！

混同行列予測

女性男性

正解女性 26 1

男性 1 22

→ システム化はこれから！

→ SQL Server がＡＩをサポート！

→ 使うべき実用的テクノロジー！

“Data is the New Oil”

出典）https://www.photo-ac.com/

▌シナリオあるスキーレンタル事業者のレンタルデータ（月日、曜日、祝日、天気、降雪量など）をもとに将来のレンタル数の予測を行います。

▌ポイントシンプルなサンプルです。

まずはPythonの開発環境でモデルトレーニング（scikit-learn×線形回帰アルゴリズム）とスコアリングを実装し、これとまったく同じ処理をSQL Server にデプロイする方法を学びIn Database Analyticsを実践します。

https://goo.gl/QDnxp1

▌シナリオニューヨークのタクシー事業者の乗車データ（時刻、距離、ピックアップ場所など）をもとに特定の乗車においてチップが得られるかどうかを予測を行います。

▌ポイントIn Database Analytics の開発ライフサイクルを体感するようにチュートリアルが構成されています。

同じシナリオのサンプルコードをPython、Rの両言語で用意しています。

scikit-learnとRevoScaleそれぞれでロジスティック回帰モデルをトレーニングします。

モデルの

デプロイ

モデルの

オペレー

ション

探索と

可視化

特徴抽

トレー

ニングテスト

https://goo.gl/Lq8GVt

▌シナリオローンデータをモデル化し、貸付金利を上昇させた場合の貸倒償却度合の変化についてWhat-If分析を行います。

▌ポイントIn Database Analyticsの真価を体感できるようにチュートリアルが構成されています。

PowerBIによる可視化を含んだサンプルです。

RevoScaleRでディシジョンフォレストモデルをトレーニングします。

In-memory TableColumn StorePower BI

Predict（parallel）

VisualizeTrain Rloan Data

Import

https://goo.gl/zb8Rwb

https://goo.gl/QDnxp1

https://goo.gl/Lq8GVt

https://goo.gl/zb8Rwb

ご清聴いただきありがとうございました

CREATE PROCEDURE ユーザ定義プロシージャASBEGINEXEC sp_execute_external_script@language = N'Python',@script =N'#Python code#'

SQL Server 2017

Python Runtime

結果返却

Python/Rコード実行

C#/VB.NET

Node.js

Python

EXEC ユーザ定義プロシージャ

sp_execute_external_script の呼び出し

EXEC sp_execute_external_script@language = N'Python',@script =N'#Python code#'

もしくは

Server

Sqlsrvr.exe Launchpad.exe

Pythonlauncher.dll/Rlauncher.dll

Python.exe/RTerm.exe

Python35.dll/R.dll

PyLink.dll/RxLink.dll

BxlServer.exe

SqlSatellite.dll

Database EngineServices

LaunchpadServices

Python/R Process BxlServer Process

Named Pipe

③ ④

Named Pipe

⑤⑥TCP/IP

conhost.exe

APP Server

sp_execute_external_script

１．SQL Server Database Engine Services と

SQL Server Machine Learning Services のインストール

２．外部スクリプト実行機能の有効化

（EXEC sp_configure 'external scripts enabled', 1;）

３．SQL Server の再起動

SQL Server 2016 の RServices が改名してMachine Learning Services となっている

▌Machine Learning ServicesPython/RをSQL Serverに統合した InDatabase な実行環境を提供

• SQL17CU1でWindows版のみ

▌Machine Learning ServerスケーラブルなPython/Rの実行環境を提供

• SQL Serverとは直接かかわりがない

– Windows版はSQL Serverのライセンスによって提供される

• Windows/Linuxに対応こっち（Machine Learning Server）は別物

▌Python：version 3.5.2

Anaconda 4.3 がインストールされる

• Continuum Analytics社が提供するPythonディストリビューション

Python HOME

• C:¥Program Files¥Microsoft SQL Server¥MSSQL14.MSSQLSERVER¥PYTHON_SERVICES

▌R：version 3.3.3

Microrosft R がインストールされる

• Revolution Analytics社（2015年Microsoft社が買収）が提供するRディストリビューション

R HOME

• C:¥Program Files¥Microsoft SQL Server¥MSSQL14.MSSQLSERVER¥R_SERVICES

▌Machine Learning Services は Standard Edition でも使えます

Enterprise Edition 比較で機能差は無し。• （抜粋） Standard Edition has all the capabilities of in-database analytics included with Enterprise Edition,

except for resource governance. Performance and scale is also limited: the data that can be processed must fit in server memory, and processing is limited to a single compute thread, even when using the RevoScaleR functions.

スレッド数やリソースのスケーラビリティに制約有り。

▌プラットフォームは SQL Server on Windows のみSQL Server on Linux は今時点未サポート

▌AlwaysOn による可用性構成は Availability Group のみサポートFailover Cluster Instance は未サポート

[Japan Tech summit 2017] MAI 005

Travel

Asume @ Tech Summit PR 2015

[Japan Tech summit 2017] SPL 004

[Japan Tech summit 2017] PRD 011

[Japan Tech summit 2017] DEP 02

[Japan Tech summit 2017] PRD 005

Presentación de PowerPoint - onGranada · Presentación del eHealth Business Summit: eHealth Business Summit es una iniciativa de onGranada Tech City que tiene como fin poner en

[Japan Tech summit 2017] DEP 008

[Japan Tech summit 2017] SPL 005

[Japan Tech summit 2017] SEC 006

LA FRENCH TECH AU WEB SUMMIT 2015 - …5 La French Tech au Web Summit 2015 Le Web Summit se tient à Dublin depuis 2010. Il a été créé par l’irlandais Paddy Cos-grave. Il est

High tech summit 2017 dansk

[Japan Tech summit 2017] SEC 004

FIWARE Tech Summit - Digitizing Agriculture: The Case of IoF2020

Gamewheel VDZ Tech Summit Presentation

Presentación Transporte Colectivo (DTOP) en el Tech Summit PR 2014

[Japan Tech summit 2017] SEC 012

[Japan Tech summit 2017] CLD 013

HR Tech Summit - Gry, grywalizacja i biznes - realne efekty czy zabawa 15.04.14

MAX SUMMIT 2017 · max summit 2017 max summit 2017 max summit 2017 ad tech 기술을 넘어, 마케팅을 바꾸다 2017년 6월 23일(금) 10:00 - 18:00 세션 진행 18:00 - 22:00

[Japan Tech summit 2017] DAL 005