KPMGによるHoloLensの多角的活用例～内部統制への応用～

2017年11月8日KPMGコンサルティング株式会社中野唯一郎

企業におけるMR活用の考察

3© 2017 KPMG Consulting Co., Ltd., a company established under the Japan Company Law and a member firm of the KPMG network of independent member firms affiliated with KPMG International Cooperative (“KPMG International”), a Swiss entity. All rights reserved.

デジタルテクノロジーの進化主要なテクノロジーのトレンド予測から、破壊的かつ急速なビジネス環境の変化が生じると想定され、Virtual Realityの次にAugmented Reality（拡張現実）が来ると予想されている

Source: Gartner（2016） “Hype Cycle for Emerging Technologies” 各社Webサイト

2016 2018 … 2021 … 2026 … 2031

Autonomous Vehicle

Augmented Reality

Blockchain

Virtual Reality

Smart Robots

Connected Home

Micro Data Center

4D Printing

Nanotube Electronics

Drones

Brain-Computer Interface

Natural Language Question Answering

Gesture Control Devices

Purpose Machine Intelligence

Machine Learning(AI)

Quantum Computing

Year to mainstream adoption

RPA

4© 2017 KPMG Consulting Co., Ltd., a company established under the Japan Company Law and a member firm of the KPMG network of independent member firms affiliated with KPMG International Cooperative (“KPMG International”), a Swiss entity. All rights reserved.

現実拡張＋情報収集で一歩先にHoloLensを利用した拡張現実技術は、ユーザに付加情報を与えると同時に、今まででは取得できないきめ細やかな情報収集が可能となる

付加情報の提供

対象

センサー

カメラ

マイク

GPS

拡張現実 情報収集 機械学習・分析

拡張現実で提供するデータを作成・提供する

HoloLensを利用して、ユーザに拡張現実を提供する

HoloLensを活用している現場のセンサー、カメラ、マイク等から、きめ細やかな情報を収集

機械学習やビッグデータ技術を用いて、価値の高いデータを抜き出す

5© 2017 KPMG Consulting Co., Ltd., a company established under the Japan Company Law and a member firm of the KPMG network of independent member firms affiliated with KPMG International Cooperative (“KPMG International”), a Swiss entity. All rights reserved.

HoloLensで収集できるデータHoloLensにはセンサー、カメラ、マイクが搭載されており、主に動画・音声情報が取得できる

搭載センサー 収集可能データ

その他センサー

映像

音声

環境認識カメラ

depthセンサー

RGBカメラ

複合現実感キャプチャ

マイク

慣性計測ユニット（加速度、ジャイロ、方位）

空間上のオブジェクト位置

ジェスチャ

動画

音声

HoloLensの座標

6© 2017 KPMG Consulting Co., Ltd., a company established under the Japan Company Law and a member firm of the KPMG network of independent member firms affiliated with KPMG International Cooperative (“KPMG International”), a Swiss entity. All rights reserved.

（補足）加速度、角速度の情報についてHoloLens上では慣性計測ユニットから加速度、角速度情報を直接取得することはできないしかし、カメラの位置情報（Transform.Position/Rotation）を取得することができるため、ここから算出することは可能

Position

Rotate

1X 4Y 3Z

0X 0Y 0Z

Position

Rotate

1.2X 2Y 1.5Z

45X 0Y 90Z

・一定間隔で取得されている・Position/Rotate/時間で差分を取れば計算可能

7© 2017 KPMG Consulting Co., Ltd., a company established under the Japan Company Law and a member firm of the KPMG network of independent member firms affiliated with KPMG International Cooperative (“KPMG International”), a Swiss entity. All rights reserved.

攻めの活用事例 ~ 農作物異常診断例えば農作物の異常診断を提供する際に、今まで取得できなかった周辺の農作物情報を取得・解析することによって、新サービス作成のインプット情報となる

農作物の異常診断 周辺情報の取得・解析 新たな知見

異常があった場合に通知 既存情報と組み合わせることによりさらに深く解析

新しい解析情報から新サービス創出

気温

センサー

HoloLens

湿度天気…

発育状況品質（曲がり方等）

…

＋

8© 2017 KPMG Consulting Co., Ltd., a company established under the Japan Company Law and a member firm of the KPMG network of independent member firms affiliated with KPMG International Cooperative (“KPMG International”), a Swiss entity. All rights reserved.

守りの活用事例 ~ 内部統制Holographic Boardroomやバーチャルミーティングルーム機能を提供すると同時に、会話の内容にリスク事項が含まれていないか監査・通知を実施する

HolographicBoardroom

音声データの不正識別 通知

３D情報を元に会議進行

会話テキスト

録音した会議音声

リスク識別器

機械学習を用いてリスク識別 発生リスクを通知

！管理者！

リスク事項

AzureとHoloLensを用いた内部統制システムアーキテクチャ案

10© 2017 KPMG Consulting Co., Ltd., a company established under the Japan Company Law and a member firm of the KPMG network of independent member firms affiliated with KPMG International Cooperative (“KPMG International”), a Swiss entity. All rights reserved.

アーキテクチャ案（利用者側）02 AzureとHoloLensを用いた内部統制システムアーキテクチャ案

UWP App

Edge Device(Auditor)Cloud (Azure)Edge Device

(Staff)

StorageAzureBlob

StorageMedia

CaptureUploadFromStream

HolographicDisplayClass

非同期

・MediaCaptureを使うとデバイスを占有するため、動画・音声・写真のいずれかしか取得できない・リアルタイム処理をする場合はIoT Hub/Stream Analytics、ないしEvent Hub/Spark Streaming(HDInsight)等を用いると考えられる・ただし後続に構えるCognitive Service API(LUIS等)はStream対応できないため一定間隔ごとにデータ分割、補正する必要がある

11© 2017 KPMG Consulting Co., Ltd., a company established under the Japan Company Law and a member firm of the KPMG network of independent member firms affiliated with KPMG International Cooperative (“KPMG International”), a Swiss entity. All rights reserved.

アーキテクチャ案（不正検知側）02 AzureとHoloLensを用いた内部統制システムアーキテクチャ案

Edge Device(Auditor)Cloud (Azure)Edge Device

(Staff)

Storage

AzureBlob

Storage

・Azure VM上から直接SMTP送信することは推奨されていないため、外部サービスやOffice365へのリレーを検討(https://blogs.technet.microsoft.com/jpaztech/2016/06/09/smtp-on-azurevm/)

・LUISでは文章単位でのIntent識別をさせるため、読点で区切るなどの前処理が必要

Cognitive Service

Language Understanding

Intelligent ServiceBing Speech

API

App Service

対象ファイル取得 テキスト化

前処理（読点区切りなどデータ整形）

不正識別 通知

(cronによる定期実行)

メール

プッシュ通知

チャットツール

ここに記載されている情報はあくまで一般的なものであり、特定の個人や組織が置かれている状況に対応するものではありません。私たちは、的確な情報をタイムリーに提供するよう努めておりますが、情報を受け取られた時点及びそれ以降においての正確さは保証の限りではありません。何らかの行動を取られる場合は、ここにある情報のみを根拠とせず、プロフェッショナルが特定の状況を綿密に調査した上で提案する適切なアドバイスをもとにご判断ください。

© 2017 KPMG Consulting Co., Ltd., a company established under the Japan Company Law and a member firm of the KPMG network of independent member firms affiliated with KPMG International Cooperative (“KPMG International”), a Swiss entity. All rights reserved.

The KPMG name and logo are registered trademarks or trademarks of KPMG International.

KPMGコンサルティング株式会社マネジャー中野 唯一郎T: 070-4471-5144E: tadaichiro.nakano@jp.kpmg.com

無断転載禁止