113
1

Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Embed Size (px)

Citation preview

Page 1: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

1

Page 2: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

2

Page 3: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

稼働中

アナウンス済み / 構築中

米国中部Iowa

米国東部Virginia

米国政府Virginia

米国中北部Illinois

米国政府Iowa

米国中南部Texas

南ブラジルSao Paulo State

西ヨーロッパNetherlands

北中国 *

Beijing

南中国 *

Shanghai

東日本Tokyo, Saitama

西日本Osaka

南インドChennai

東アジアHong Kong

東南アジアSingapore

東南オーストラリアVictoria

東オーストラリアNew South Wales

中央インドPune

カナダ東部Quebec City

カナダ中央Toronto

西インドMumbai

ドイツ北東**

Magdeburg

ドイツ中央 **

Frankfurt北ヨーロッパ

Ireland

米国東部2

Virginia

イギリス2 Regions

US DoD East

TBD

US DoD West

TBD

* Operated by 21Vianet ** Data Stewardship by Deutsche Telekom

30の地域でサービス中、38の地域まで拡大予定

世界最大のインフラストラクチャー

中央韓国Seoul

南韓国TBD

米国中西部Utah

米国西部California

米国西部2

California

100カ所以上のデータセンター ネットワーク網が全世界で第 2 位の規模 AWS の 2 倍、Google 6 倍の地域サポート

https://azure.microsoft.com/en-us/regions/

New

イギリス2 Regions

Page 4: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

マイクロソフトのネットワークは、世界第 2 位の規模(上にいるのは、米国政府のネットワークのみ)

Page 5: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

第三者機関からの評価

Magic Quadrant forCloud Infrastructure as a Service Worldwide (May 2015)

Topic Area Magic Quadrant Last Release Microsoft

Business Applications Business Intelligence and Analytics Platforms Feb-16 Leader

Software Infrastructure Client Management Tools May-15 Leader

Software Infrastructure Cloud Infrastructure as a Service May-15 Leader

Business Applications CRM Customer Engagement Center Apr-15 Leader

Software Infrastructure Data Warehouse Database Management Systems Feb-16 Leader

Software Infrastructure Enterprise Application Platform as a Service Mar-16 Leader

Business Applications Enterprise Content Management Oct-15 Leader

Software Infrastructure Horizontal Portals Sep-15 Leader

Software Infrastructure Operational Database Management Systems Oct-15 Leader

Software Infrastructure Public Cloud Storage Services Jun-15 Leader

Business Applications Sales Force Automation Jul-15 Leader

Software Infrastructure Secure Email Gateways Jun-15 Leader

Business Applications Social Software in the Workplace Oct-15 Leader

Communications Equipment Unified Communications Aug-15 Leader

Software Infrastructure Web Conferencing Dec-15 Leader

Software Infrastructure x86 Server Virtualization Infrastructure Jul-15 Leader

Identity Identity & Access Management Jun-16 Leader

LEADER

Magic Quadrant forPublic Cloud Storage Services (June 2015)

Magic Quadrant forEnterprise Application Platform as a Service (March 2016)

Magic Quadrant forX86 Server Virtualization Infrastructure (July 2015)

Magic Quadrant forOperational Database Management Systems (Oct 2015)

LEADER LEADER LEADER LEADER

Magic Quadrant forBusiness Intelligence and Analytics Platforms (Feb 2016)

LEADER

Gartner Magic Quadrants…• Microsoftは core cloud technologies, IaaS, PaaS, Private &

Public Clouds等、全17のカテゴリーでリーダー

Page 6: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Azure は、日本初のクラウドセキュリティゴールドマークの取得 (外部監査人による ISO 27017 認定)を始め、ISO 27018、HIPAA、FedRAMP、SOC 1、SOC 2 などの、幅広い国際的および業界固有のコンプライアンス基準に適合しています。米国防総省、英国政府での採用、日本の FISC などの国ごとの基準も満たしています。

Azure DC は、ネットワークレイヤに人工知能を用いた DDoS / DOS / IDS 防御機能を標準で備え、不正なトラフィックを自動検知・遮断することができます。

マイクロソフトは、サイバークライムセンターを運営しています。サイバークライムセンターでは、24 時間の監視体制で、1日5億件以上のトラフィックを分析し、マルウェアの情報/状況を把握するとともに、攻撃元の特定を行い、セキュリティ関連団体、インターポールや各国の警察機関に情報を提供しています。

サイバークライムセンターは、米国本社の他、日本を含む世界5都市に拠点を展開しています。

世界最高レベルの安全性

Page 7: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

日本初のクラウドセキュリティゴールドマークを取得

Microsoft Azure、Office 365が情報セキュリティ監査の認定を取得

その他の第三者認証・監査

透明性

お客様データ・プライバシー保護

準拠法・裁判管轄

準拠法は日本法

合意管轄裁判所は東京地方裁判所

日本データセンター開設東西拠点により災害対策環境も含めて日本DCを利用可能

セキュリティセンターによる情報公開

ISO/IEC 27018の準拠• 事業者は、カスタマーの同意なしに個人情報をマーケティングや広告には使って

はいけない• 事業者は、データの保管場所(国)及び、取扱事業者を公開しなければならない

EU のデータ保護指令の要件を満たすと認定(世界で最初に認定を受けた企業)

その他対応規格/認証

セキュリティ監査協会(JASA)クラウドセキュリティ推進協議会が制定した「クラウド情報セキュリティ監査制度」において、日本で初めて「クラウド セキュリティ(CS)ゴールドマーク」を取得

「クラウド情報セキュリティ監査制度」:クラウドサービスを提供する事業者のサービスのセキュリティが、国際的な基準(ISO/IEC 27017)で求められる水準であることを示すことを目的とし、サービス提供の実態が、情報セキュリティ マネジメントの基本的な要件を満たしているか評価する仕組みとして制定

CS ゴールドマークは国際的な基準とされる Service Organization Controls (SOC)2 にならぶ、日本で初めての第三者認定制度であり、クラウドサービスの利用者は、CSゴールドマークを導入時や年次の利用者自身の監査結果として利用することができます。

政府調達基準(http://www.nisc.go.jp/active/general/kijun2016.html)においても、セキュリティ監査制度の活用示唆されている

日本マイクロソフトには、JIS クラウド セキュリティ コントロール標準化専門委員会幹事や ISO/IEC JTC 1/SC 27 WG1 および WG4 委員も在籍

西日本 東日本

EU Model Clauses , Data Processing Agreement, ISO 27001, SAS 70, SSAE 16/ISAE 3402, HIPAA BAA, FISMA, FERPA

原則お客様データはお客様のものでありクラウドサービスをお客様に提供する目的にのみ使用

委託先の管理• 社員と同等のセキュリティレベル、プライバシー基準を維持• 下請業者の一覧を公開

閉域網接続サービスの提供• Azure :提供中• Office 365 :提供中

クラウドセキュリティ(CS)ゴールドマーク取得により、Microsoft Azure、Office 365を、日本のお客様が、客観的な基準により安全性・信頼性が確認されたサービスとして、選択できるようになりました。当社の CSP プログラムなどを活用し Azure や Office 365を活用したクラウドビジネスを推進するパートナー各社にとっても、サプライチェーンとして利用サービスの安全性・信頼性を客観的にお客様へと証明することが可能となります。

http://jcispa.jasa.jp/cs_mark_co/cs_gold_mark_co/

Page 8: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

コンプライアンスへの適合状況(2016年 8月 26日現在)

https://www.microsoft.com/en-us/TrustCenter/Compliance/default.aspx

Page 9: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

政府機関からのデータ開示要求に対する対応

https://www.microsoft.com/en-us/TrustCenter/Compliance/default.aspx

https://www.eff.org/who-has-your-back-government-data-requests-2014

Page 10: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Platform Services

Infrastructure Services

Web Apps

MobileApps

APIManagement

API Apps

Logic Apps

Notification Hubs

Content DeliveryNetwork (CDN)

Media Services

BizTalkServices

HybridConnections

Service Bus

StorageQueues

HybridOperations

Backup

StorSimple

Azure SiteRecovery

Import/Export

SQL Database

DocumentDB

RedisCache

AzureSearch

StorageTables

DataWarehouse

Azure AD Health Monitoring

AD PrivilegedIdentity Management

OperationalAnalytics

Cloud Services

BatchRemoteApp

ServiceFabric

Visual Studio

AppInsights

Azure SDK

VS Online

Domain Services

HDInsight MachineLearning

StreamAnalytics

Data Factory

EventHubs

MobileEngagement

Data Lake

IoT Hub

Data Catalog

Security & Management

Azure ActiveDirectory

Multi-FactorAuthentication

Automation

Portal

Key Vault

Store/Marketplace

VM Image Gallery& VM Depot

Azure ADB2C

Scheduler

The Azure Platform

Page 11: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

11

Internet of Things (IoT) が AI 分野をリード社会インフラから一般業務システムにまで波及

安心・安全・健康 インフラ(橋、トンネル、道路、水道、ガス)の問題検知 インフラ部品 / プラント部品の故障検知 店舗・住居(強盗、空き巣、火災)の見守り 高齢者 / 要介護者の見守り 発作などの検知

製品サービスの高度化 自社製品の買い替えタイミングの把握 積極的なメンテナンス(保守の差別化) 製品のインテリジェント化(製品の差別化)

第四次産業革命 機械学習による工場のインテリジェントネットワーク化 異なるメーカー、工場間のインテリジェントネットワーク化

業務システムのインテリジェント化 機械学習によるプロフェッショナル / エキスパートの行動の取り込み 機械学習によるホワイトカラーの業務の取り込み

Page 12: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

12

Azure は最も先進的な AI & IoT Platform を提供Azure は、AI & IoT に必要な機能スタックを統合的に提供

基本:スケーラビリティと信頼性 Azure IoT Hub :数百万イベント/秒を受け入れられるキャパシティ Azure Data Lake :エクサバイト超のスケーラブルな HDFS ストレージサービス Azure HDInsight & Spark :Hadoop によるスケーラブルなデータ処理 Azure SQL Data Warehouse :ペタバイト級のスケーラブルな RDB DWH サービス Azure Data Factory :スケーラブルなワークフローエンジン、情報生成ツール

コア:自動検知、自動判断・予測、可視化 Azure Stream Analytics :リアルタイム集計や特異点検知 Azure Machine Learning :人工知能コアプラットフォーム Cognitive Services :人工知能サービス API 群 Power BI :データのビジュアル化

優位:低いコスト Azure は世界最大のクラウドサービスの1つ。AWS よりも低い費用

クリティカル:信頼と継続性、グローバル対応 40年に渡るエンタープライズビジネスの経験 年間1兆円の研究開発投資、5年間で1兆5千億円の設備投資 世界 26 地域、100 ヶ所以上のデータセンターでサービス展開 サイバー攻撃に対する高度な防御機能を備えた DC とサイバークライムセンター

Page 13: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

13

Azure IoT Platform

LoB Apps

Third-party

Systems

External

Analytics Tools

Device Actions through Agent Capabilities Command and Control

Data Ingress Data Egress (Visualize + Decide)Data Processing (Transform + analyze / Capture + manage)

Agent

Gateway

0011010111000101

Agent 0011010111000101

Agent

Agent

• Accepts Commands

• Selectivity Transmits Data

0011010111000101

0011010111000101

953:00 PM

25% humidity

70 preset

IoT Hub

Data Factory

Azure Storage / Data Lake

HDInsight & Spark

Notification HubWeb Site

Stream Analytics

Machine Learning

IoT Platform

011010110101

Data Management Gateway

Azure SQL DB / Data Warehouse

Rest

AP

I

PowerBI.com

Real-time Dashboard & Mobile

HoloLens

Windows 10

IoT

Cognitive

Services

Bot Framework

>> Cloud AI Platform

Page 14: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Pepper × Azure = Cloud Robotics の衝撃

“ソフトバンクグループは8日、ヒト型ロボット「ペッパー」事業で米マイクロソフト(MS) と提携を発表した。MS のクラウドとつないで小売業の接客支援サービスを共同開発し、今秋に提供する。2月に米 IBM の学習するコンピューター「ワトソン」との連携を発表したのに続く協業となる。人工知能 (AI) や言語処理など海外の最新技術を取り込んでペッパーの魅力を引き上げる。”

3月8日付日本経済新聞より

“ソフトバンクロボティクスとマイクロソフトコーポレーションは8日、クラウドロボティクス分野において戦略的協業を発表した。協業の第一弾として人型ロボット「Pepper」と クラウドプラットフォーム「Microsoft Azure」を活用した小売業界向け次世代型店舗 ソリューション「未来の商品棚 (仮称)」を 2016年秋を目処に提供する。”

3月8日付マイナビニュースより

Page 15: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Pepper AI × Cloud AI = Cloud Roboticsイノベーションを容易に実現

15

理解・会話・推奨の自動化

Page 16: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Cloud Robotics Azure Platform

16

Pepper × Azure

デバイスエコシステム

Power BI を始めとした

データ活用エコシステム

DeviceController

DeviceRouter

ApplicationRouter

32 インスタンスまでスケール可能

Microsoft Azure

繰り返し学習

Power BIService

Cloud AIの利用

API Call

API Call

Page 17: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

LINE:女子高生人工知能「りんな」

https://blogs.bing.com/japan/2015/08/07/aijk_rinna/

Page 18: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

1818アクション

自動化されたシステム

アプリ

Web

モバイル

Bots

インテリジェンス

ダッシュボード &

可視化

Cortana

Bot

Framework

Cognitive

Services

Power BI

データの取得

Event Hubs

Data Catalog

Data Factory

機械学習/分析

HDInsight

(Hadoop and

Spark)

Stream Analytics

インテリジェンス

Data Lake

Analytics

Machine

Learning

データの格納

SQL Data

Warehouse

Data Lake Store

データソース

アプリ

センサー/

デバイス

データ

企業内に散在するデータを収集し、整理し、分析/学習し、アクションにつなげる

End-to-Endのサービスを提供

Page 19: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

19

Page 20: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

20

※ Wikipedia より引用

定型レポート(SSRS)

セルフサービス BI

(Power BI)

マシンラーニング(Azure ML)

機械学習とデータマイニングは交差する部分が大きく、技法も同じなので混同されることが多いが、次のように定義できる。

• 機械学習の目的は、訓練データから学んだ「既知」の特徴に基づく予測である。• データマイニングの目的は、それまで「未知」だったデータの特徴を発見することである。

Page 21: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

• レコメンデーション• 同じ商品を買った人が買った別のアイテムを お勧め商品として提示

• 同じ属性を持った人が買った商品を お勧め商品として提示

• 分類• メール本文・タイトルの内容からスパムメールの分類

• Web サイトの行動履歴から不正ユーザの検出

• 異常検知• センサー情報に基づく機械故障予測

• NW アクセス情報から不正アクセスや攻撃を検知

• ユーザ属性の推定• 属性情報が完全に取れているお客様のデータから、属性情報に欠損のあるお客様の属性情報を推定

21

Page 22: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Microsoft の AI 分野での取り組み

Bing maps

提供開始

目的地への

最短経路

Microsoft

Research

設立

Hotmail

提供開始

迷惑メールの

判別

Bing search

提供開始

最適な

検索結果

1991 20091997 2008

Kinect

販売開始

人の動きを

認識する

Azure ML

提供開始

将来起こること

の予測

Skype

Translator

提供開始

人の言葉を

認識する

2014 20152010

CNTK

OSS公開

深層学習

ツールキット

2016

Cognitive

Services

提供開始

知覚・記憶・

判断・推理

2016

クラウド

ロボティクス分野

戦略提携

Pepper による

次世代型店舗

2016

Microsoft AI

andResearch

Group

設立

2016

りんな

提供開始

会話型

AI

2015

Page 23: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

2323

機械学習 教師あり学習

教師なし学習

強化学習

決定木

線形回帰

SVM

ロジスティック回帰

ニューラルネットワーク

クラスタリング

次元削減

Q学習

K-mean法

主成分分析

正準相関分析

ディープニューラルネットワーク

畳みこみニューラルネットワーク

再帰的ニューラルネットワーク

回帰結合ニューラルネットワーク

Page 24: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

• クラウドベースの機械学習実行基盤

• 機械学習の「モデル作成」「モデルの評価」から、作成した分析モデルのデプロイ( Web サービス化)まで、機械学習 の開発~サービス提供で必要となるすべてのコンポーネントを PaaS で提供

Microsoft Azure Machine Learning

開発環境

予測モデルのデプロイ( Web サービス )

24

Page 25: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

25

Page 26: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

熟練者のノウハウをサービス化して世界に展開

26

経営課題• 高度な予兆保全サービスによる連続稼働性の向上と、低コストの保守ビジネスによる利益確保を両立したい

• 急成長するアジア市場で保守技術者の大量育成が必要

効果

解決策

“我々は予防保全の業界標準の先を行き、先取りした予兆的な保全を行うことにより、より高い稼働時間を保証したかった”

ANDREAS SCHIERENBECK

CEO

ThyssenKrupp Elevator

• ThyssenKrupp とその顧客の保守費用を削減

• 予測モデルの精度を向上し、急成長する市場の未熟な保守技術者も活用

• エレベーターの稼動データをリアルタイムに監視・見える化し、PCやモバイルでどこでも活用

• 問題発生時の対処方法のノウハウを機械学習でシステムに学ばせ世界中に展開

Page 27: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

2727

デバイス・コネクティビティ

データ収集とブローカーサービス

イベント処理とデバイス管理

データ管理(変換・蓄積・処理)

高度な分析(Big Data 処理)

データの提供と表現・気づき

モビリティとコラボレーション

ISS Agent

ISS Gateway

Event Hub

Blob Storage

マシンデータの蓄積

Azure ML予兆の学習モデル

Azure ML

修繕方法の学習モデル

ダッシュボード

参照 • 顧客• 設備• 担当者

Notification

Hubs通知

予兆イベント

修繕方法の推奨

• ヘルス状態• インシデント管理• 対応のディスパッチ

現地技術要員のモバイルデバイス

オペレーションセンター

Power BIセルフサービス分析

『ThyssenKrupp teams up with Microsoft to create ‘smart’ elevators』

http://blogs.microsoft.com/firehose/2014/09/30/thyssenkrupp-teams-up-with-microsoft-to-create-smart-elevators/

数千のシステムとセンサーデータ• イベント :

ドア開閉、軸アライメント、キャビン速度、モーター温度など

• アラーム :

故障アラーム、エラーコードなど

Page 28: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Azure ML を用いてビルの熱源・動力の制御モデルを構築し、自動制御を実施

28

① 建物の情報を Microsoft Azureにリアルタイム送信

② 機械学習 Microsoft Azure Machine Learning によりデータを解析・学習し、建物にフィードバック

これまでのビル設備管理は“経験と勘”に頼っていたが、今回の連携とクラウド化によって、実データに基づく制御モデルの構築や管理の自動化が可能となり、ビルの使用エネルギー効率化と管理負担の軽減が実現する

Page 29: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

ビジネス課題• ゲーム開始直後 (3ヶ月以内) に解約する会員の増加

• 解約が予期される会員への早期のアクションが必要

• アクティブ期間が伸びるほど収益への影響が大きい

利用データ最初の3日間の下記データを基に150以上のパターン化(数十TB以上)

• Engagement(各セッションや日毎の利用時間)

• Performance(ランキング、勝利数、敗退数)

• Social(友人や他ユーザーとの同時プレイ数)

モデリング• パターン化されたユーザー毎に次の7日間の行動を分析

• 1 週間分のデータを基にモデルのテストを実施(Boosted Decision Tree を活用)

効果 ランダム抽出による従来の分析方法に

比較して、3倍以上の精度で解約する会員を特定

AUC*:0.779

影響を与えた主要な項目:

・友人とのプレイ数

・3日目のプレイ数

・3日目のプレイヤーの Grade

*AUC (Area under the carve)

AUC 0.9 - 1.0 High accuracyAUC 0.9 - 0.7 Moderate accuracyAUC 0.5 - 0.7 Low accuracy

Page 30: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

3030

Page 31: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

3131

ビジネス課題• 口コミサイトの削除対象投稿を人手により監視

• キーワード検索では精度が悪い

• 投稿内容を熟読し、削除の有無を判断するため、非常に工数がかかる

モデリング• 日本語の形態素解析 (分かち書き) のソフトウエアとAzure MLを組み合わせ、削除

対象投稿を抽出

• 品詞の抽出方法(名詞のみ、名詞+動詞+形容詞 等)とアルゴリズムの組み合わせを総当たりでテストし、精度を向上

効果• Azure MLが削除対象投稿を判断してくれるようになったため、作業が非常に楽に

なった

*AUC (Area under the carve)

AUC 0.9 - 1.0 High accuracyAUC 0.9 - 0.7 Moderate accuracyAUC 0.5 - 0.7 Low accuracy

Page 32: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

生活リズムの色分け表示

各種統計グラフ表示

空腹・オムツ替の予測通知

新生児を育てるママの

10人に1人がダウンロード

Page 33: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

お客様からの言葉~ Azure ML 採用による効果

「解析回数を大幅に増やすことができ、

求めるクオリティレベルの結果を得られた。

解析スクリプトの自社開発を検討していたが、

リソース的に困難であり Azure ML がなければ

実現できていなかった。

同レベルの解析回数を実施しての最適化は工数的に

想像できないレベル。」

Page 34: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

34

Page 35: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

1. トレーニングデータ(実績データ)の準備• 予測モデルを作成する為のトレーニングデータ(実績データ)を準備

例:顧客属性によるお勧め商品の提示(リコメンデーション)を行いたいのであれば、どういった属性情報のお客様が、どういう商品を買ったのかという実績データが必要

2. 予測モデルの開発と評価

3. 予測モデルの公開(Web サービス)• 作成した予測モデルは、非常に簡単な操作でWebサービスとして公開可能。

35

Page 36: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

①部品をドラッグ&ドロップ

②各部品のプロパティーを設定

36Azure ML Studio の基本的な使い方

Page 37: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

①部品をドラッグ&ドロップ

②各部品のプロパティーを設定

37Azure ML Studio の基本的な使い方

Page 38: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

38

Page 39: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

39

性別 年齢 配偶者 子供人数

製品カテゴリ

男性 19 無 0 1

女性 44 有 2 3

男性 49 有 1 2

男性 12 無 0 3

女性 37 無 0 1

女性 60 有 2 4

男性 44 有 1 2

女性 27 有 0 4

女性 51 有 3 2

女性 81 有 2 1

男性 22 無 0 3

男性 29 無 0 2

トレーニングデータ(実績データ)を元に予測モデルを作成

Azure Machine Learning ではトレーニングデータを使ってモデルの学習を行い、予測モデルを作成

性別:男

年齢:45

配偶者:有

子供人数:2

Page 40: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

40

Azure Machine Learning では、以下のシステム・サービスからトレーニングデータをロード可能

CSV, TSV, ARFF, SvmLight 形式

HDInsight

(Hadoop)

Azure SQL Database

Azure テーブル

OData

業務システム OData

Training

Data

Azure

Machine Learning

Page 41: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

41

Page 42: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Train

Model

Score

Model

検証用データ

トレーニングデータ

Evaluate

Model

機械学習アルゴリズム

予測モデルの評価予測モデルの見直し• アルゴリズムの変更

• パラメータの見直し

Page 43: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

43

トレーニングデータの読込み

データクレンジング・メタデータ設定

読み込んだデータを「トレーニングデータ」と「評価用

データ」に分割

予測モデルの作成に使用するアルゴリズム

予測モデルの作成(トレーニング)

左インプット:利用するアルゴリズム右インプット:トレーニングデータ

作成した予測モデルを評価する為に、評価用データで予測を実行

予測結果の評価と可視化

Page 44: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

44

ML Studio : Experiments > Evaluate Model > Evaluation Result

• True Positive

• False Positive

• True Negative

• False Negative

• Accuracy

• Precision

• Recall

• F1 Score

• Threshold

• AUC

AUC 0.9 - 1.0 High accuracy AUC 0.9 - 0.7 Moderate accuracy AUC 0.5 - 0.7 Low accuracy

Page 45: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

45

Page 46: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

予測モデルの公開(Web サービス)

46

Page 47: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

47

② Web サービスのInput / Output を設定

③「 PREPARE WEB SERVICE 」ボタンをクリックすると Web サービスが

作成される

① Deploy 用のExperiment を作成

Page 48: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

48

WEBサービスは「REQUEST/RESPONSE」「BATCH

EXECUTION」の2種類が作成される

API Help Pageで作成された Web サービスの詳細を確認可能

Web フォーム、Excel を使ってWeb サービスや予測モデルの確認・評価を行う事が可能

Page 49: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

REST API. POST リクエスト

HTTP の Req/Res の body は JSON 形式

REST API. 入力として各種データソースが指定可能。Azure Blob/Azure Table/Azure SQL Database/HiveQL/HTTP

レスポンスとして “JOBID” が返ってくる。それを基にバッチジョブの状態を定期チェック

状態が Finished/Failed になったら処理結果を取得結果は Azure Blob に出力される

Page 50: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

50

• Request-Response Service Web サービス URI

インプットパラメータ アウトプットパラメータ サンプルコード( C# / Python / R )

• Batch Execution Service (BES)• Web サービス URI• ジョブの投入方法• ジョブステータス確認方法• ジョブのキャンセル方法• サンプルコード( C# / Python / R )

Page 51: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

51

① Excel シートにパラメータを入力

② 予測結果が表示される

① Webフォームに入力パラメータを設定

② クリックすると予測結果が表示される

Page 52: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Training

Data

Web

Service

Azure Machine Learning

Microsoft Azure

52

Webシステム

Azure Blob ストレージ

Hive

Azure SQL Database

Azure テーブル

業務システム

OData

OData

HDInsight

( Hadoop )

他システム

Power View 等のデータ分析・可視化

ツール

Azure Blob ストレージ

Azure SQL

Database

Batch Execution

Service

Request-Response

Service

評価モデル作成

(Training)

Page 53: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

53

Page 54: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

54

Page 55: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

55

Page 56: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

56

Page 57: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

57

Page 58: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

58

Page 59: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

59

R 言語対応

• Execute R Script / Create R Model モジュール• R スクリプトの記述と実行を制御する Azure ML のモジュール• 良く利用される 400 以上の標準的なRパッケージを事前ロード済み• カスタムパッケージを作成、ロードして利用する事も可能。

Execute R Script• 主にデータ加工とプロット(可視化)に利用

Create R Model• 機械学習の独自アルゴリズムの実装に利用• Training Script(機械学習のアルゴリズム)と

Scoring Script (予測モデルの評価用スクリプト)の2つを記述

59

Execute R Script モジュールの例R スクリプトを記述

Execute R Script モジュール

カスタムパッケージ (Zip)

Page 60: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

60

Python 対応

• Execute Python Script モジュール• Python Script の記述と実行を制御する Azure ML のモジュール• 「データ加工」「予測結果のプロット」等に利用可能• Python の実行環境には、データ分析・科学技術計算ライブラリが豊富な

Anaconda ディストリビューションを採用• カスタムパッケージを作成、ロードして利用する事も可能

Execute R Script モジュールの例

カスタムパッケージ (Zip)

Execute R Script Python スクリプトを記述

Page 61: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

61

依存関係のある R パッケージ (.zip) をまとめて ZIP 化して、”+NEW” で Dataset としてアップロードする

Saved Datasets からアップロードした Dataset を Drag & Dropし、R 実行モジュールの Script Bundle Port (一番右側の入力ポート) に接続し、install.packages を利用して ZIP 内の R パッケージを読み込む

読み込み先としてセットするパスの “src/” 部分は固定

スクリーンショットは、RHmm モジュールを読み込んで利用している例。依存関係のある MASS と nlme を含めている。

Page 62: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

• Microsoft Azure Machine Learning Centerhttp://azure.microsoft.com/ja-jp/documentation/services/machine-learning/

• Azure Machine Learning Support Forumhttp://social.msdn.microsoft.com/forums/azure/en-US/home?forum=MachineLearning

• Machine Learning Bloghttp://blogs.technet.com/b/machinelearning/

62

Page 63: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

63

Page 64: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Agenda

人工知能 (AI) とは?

Cognitive Services 概要

Bot Framework 概要

Cognitive ServicesとBot Framework の利用方法

Page 65: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

人工知能 (AI) とは?

Page 66: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

人工知能 (AI) とは?

知能 (Intelligence) とは

人工知能(AI: Artificial Intelligence)とは

AIを支える技術: Machine Learning

Page 67: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

人工知能 (AI) とは?

AI = Big Data + Machine Learning

Page 68: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

人工知能 (AI) とは?

AI = Big Data + Machine Learning

Page 69: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

人工知能 (AI) とは?

AI = Big Data + Machine Learning

Page 70: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

AIの市場セグメント例

小売業

コールセンター

医療&ヘルスケア

農業

金融

自動車、運輸

観光

Page 71: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

AIの分類

・・・・・

・・・・・

・・・・・

・・・・・

・・・・・

Page 73: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Cognitive Services 概要

Page 74: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Microsoft Cognitive Services とは

Web API 経由で利用できる “人工知能パーツ”

Page 75: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Microsoft Cognitive Services とは

Web API 経由で利用できる “人工知能パーツ”

Page 76: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Microsoft Cognitive Services とは

Web API 経由で利用できる “人工知能パーツ”

Page 77: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Microsoft Cognitive Services 一覧

Face

ComputerVision

Emotion

Video

Speaker Recognition

CustomRecognition

Bing Speech

LinguisticAnalysis

LanguageUnderstanding

BingSpell Check

Web LanguageModel

Text Analytics

KnowledgeExploration

Entity Linking

AcademicKnowledge

Recommendations

Bing Image Search

Bing Video Search

Bing Web Search

Bing Autosuggest

Bing News Search

Translator

ContentModerator

Page 78: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

78

Cognitive Services:Face API画像を分析し、複数人の顔を自動認識。顔検知機能、顔のグルーピング機能、顔の人物特定機能などを提供する

https://www.microsoft.com/cognitive-services/en-us/face-api

顔から人物を特定

210人の顔を登録

2秒弱で特定完了

Page 79: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

79

Cognitive Services:Emotion API画像や動画を分析し、人の感情を自動的に認識。怒り・軽蔑・嫌悪・怖れ・幸福・中立・悲しみ・驚きの8つの要素を確率で回答

https://www.microsoft.com/cognitive-services/en-us/emotion-api

感情を自動認識

Page 80: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

80

Cognitive Services:Computer Vision API画像を分析し、2,000 に及ぶ物体を自動的に認識。自動タグ生成機能、自動説明機能、OCR 機能、サムネイル機能などを提供する

https://www.microsoft.com/cognitive-services/en-us/computer-vision-api

写真の中にある物体を自動認識しタグとして生成

Page 81: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Cognitive Services:Video API動画の安定化機能、動画から人の顔を認識・トラッキングする機能、動きを自動的に検出する機能、

サムネイル動画を自動作成する機能などを提供

https://www.microsoft.com/cognitive-services/en-us/video-api

動画の揺れを自動補正して、安定化

動画の中から人の顔を認識し自動的に追跡

Page 82: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Cognitive Services:Bing Speech API音声を認識しテキスト化する機能、テキストを認識し音声出力する機能などを提供

https://www.microsoft.com/cognitive-services/en-us/speech-api

話している内容を自動的にテキスト化

Page 83: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Cognitive Services:LUIS API会話を学習し、会話の内容から何をしたいのかを理解する

https://www.microsoft.com/cognitive-services/en-us/language-understanding-intelligent-service-luis

航空券予約であることを認識

(86%の信頼確率)

Page 84: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Cognitive Services:Linguistic Analysis API自然言語処理の為の高度な言語解析機能を提供

https://www.microsoft.com/cognitive-services/en-us/linguistic-analysis-api

文章の構造と品詞を自動認識

Page 85: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Cognitive Services:Text Analytics APIテキストを解析し、言語の自動特定、キーフレーズの自動抽出、ポジティブかネガティブかの感情の自動判別を行う

https://www.microsoft.com/cognitive-services/en-us/text-analytics-api

文章からキーフレーズを自動認識

Page 86: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

日本語の入力を分析するには?

Language: ja

keyPhrases: Azure

Page 87: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Cognitive Services で広がるサービスの可能性

株式会社HmComm 様

コールセンターソリューション

・・・・・・・・

・・・・・・・・

・・・・・・・・

・・・・・・・・・・・

・・・・・・・・

・・・・・・・・・・

・・・・・・

! ・・・・・・・・

・・・・ ・・・・

・・・・

・・・・

・・・・

・・・・

Page 88: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Cognitive Services で広がるサービスの可能性

製品の評判分析、要求分析

“(want to|request)”

HoloLens

・・・・・

・・・・・

・・・・・

・・・・・

・・・・・

・・・・・・・・・・

・・・・・

・・・・・

・・・・・

・・・・・

・・・・・

・・・・・

Page 89: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Computer Vision APIとBing Speech API 組み合わせ例

画像ファイル

テキストファイル

画像ファイルの送信

テキストファイル生成

撮影(画像ファイル生成検知)

実行スクリプト

画像表示・キャプション発声(HTML/JavaScript)

周期監視

Computer Vision API Describe Image機能

Microsoft

Cognitive Services

Bing Speech APIText To Speech機能

組み込みWebサーバ

SDカード

合成音声で発声”a cat is sitting

in the grass”

”a cat is sitting in the grass”

a cat is sitting in the grass

Page 90: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Face APIとBing Speech API 組み合わせ例

カメラ

カメラの前にいる人の画像

音声ガイダンス「写真を撮ってください」

ID用カメラ

写真付ID

音声ガイダンス「コードを入力してください」

カメラ画像とIDの画像を照合

アプリケーションの利用

音声ガイダンス「確認できました」

Page 91: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Cognitive Services 活用事例

Page 92: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Cognitive Services 活用事例

The Economist

Election 2016 Emotion Tracking

Page 93: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Cognitive Services 事例:対話型自動販売機

http://www.nri.com/Home/jp/news/2015/151221_1.aspx

Page 94: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Cognitive Services 事例:顔認識による Pepper 応対

http://www.headwaters.co.jp/news/pepper/SynApps.html

Page 95: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Cognitive Services 活用事例

株式会社アロバ様

アロバビューコーロ

Page 96: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Cognitive Services 活用事例

株式会社ピクセラ様

顔シークアプリ

Page 97: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Bot Framework 概要

Page 98: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Microsoft Bot Framework

Bot とは?

Bot Framework とは?

Page 99: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

ダイアログ形式のコミュニケーションを実装(C#, Node.js)

BOT アプリをメッセージングサービスに接続

Bing, Cortana などから利用できるディレクトリに登録

Microsoft Bot Framework

BOT アプリを容易に作成するフレームワーク

Page 100: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Bot Builder SDKs

Node.js & C# SDK

Page 101: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Bot Connector

BOTと他のメッセージチャネルを接続

Page 102: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Bot Directory

Bot Framework によるBOTの登録ディレクトリー

Page 103: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Bot Framework 活用事例

株式会社ZEALS 様

BOT TREE for MEDIA

Page 104: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Bot Framework 活用事例

高知銀行

(株式会社NextStreamer & 株式会社ブイキューブ)

店頭受付応答BOT「頭取くんと秘書子ちゃん」

Page 105: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Cognitive Services とBot Framework の利用方法

Page 106: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Cognitive Services 料金体系

基本的に無料

https://www.microsoft.com/ cognitive-services/en-us/pricing

https://www.luis.ai/

https://www.cris.ai/

https://portal.azure.com

Page 107: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Cognitive Services の開発環境、ドキュメント

開発ツール

https://github.com/Microsoft/ProjectOxford-clientsdk

https://dev.projectoxford.ai/docs/services/

https://bingapis.portal.azure-api.net/docs/services/

開発ドキュメント

https://www.microsoft.com/cognitive-services/en-us/documentation

Page 108: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Cognitive Services 呼び出し方法 (1)

API Call

https://api.projectoxford.ai/emotion/v1.0/recognize

Page 109: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Cognitive Services 呼び出し方法 (2)

ライブラリの利用 (例:C#)

Microsoft.ProjectOxford.Emotion

RecognizeAsync

Page 110: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Microsoft Cognitive Toolkit (CNTK)

Theano は、1 GPU ボードのみサポー

Microsoft CNTK (Computational Network Tool Kit) は、2 ノード、8 GPU ボードに

跨るスケーラビリティを唯一達成できたツールキット。圧倒的な性能を誇る

0

10000

20000

30000

40000

50000

60000

70000

80000

CNTK Theano TensorFlow Torch 7 Caffe

速度比較 (Frames/Second, The Higher the Better)

1 GPU 1 x 4 GPUs 2 x 4 GPUs (8 GPUs)

Page 111: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

AI & Bot に注目する理由

• いつでもどこでも

• ユーザーが使い慣れたツールを経由して、商品やサービスを提供可能

• 自然言語に近く、意図を類推しやすい

• パーソナライズ、パターン化などによる定型処理

Page 112: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

Microsoft Cognitive Services をおススメする理由

簡単 フレキシブル 実績

数行のコードを追加するだけ

Web API でアクセス

開発言語やプラットフォームを問わず利用可能

マイクロソフトのあらゆる分野の

テクノロジー開発から誕生

GET AKEY

Page 113: Microsoft Azureの機械学習サービス (Azure Machine Learning/Microsoft Cognitive Services)

情報リソースCognitive Services サービス解説

https://docs.com/decode2016/1562/dbp-018-ai-microsoft-cognitive-services

Cognitive Services ハンズオン

http://aka.ms/cogbot01_HOL1http://aka.ms/cogbot01_HOL2