ジェスチャ認識・物体形状取得がもたらす新たな未来

ジェスチャ認識・物体形状取得がもたらす新たな未来

～ Kinect など距離センサーの概要と事例～

2016/02/02

第24回テクノフォーラム

木更津高専技術振興交流会

Natural Software 中村薫

自己紹介

中村薫フリーランスで主にDepthセンサー系の仕事をしています

アプリケーション開発

講演、ハンズオンセミナー

執筆など

Microsoft MVP for Windows Development

(旧: Microsoft MVP for Kinect for Windows)

http://www.naturalsoftware.jp/

[email protected]

Copyright © 2016 Natural Software All rights reserved.

http://www.naturalsoftware.jp/

mailto:[email protected]

Tokyo MotionControl Network


https://www.facebook.com/TokyoMotioncontrolNetwork

https://www.facebook.com/TokyoMotioncontrolNetwork

More Personal Computing



Windows 10の世界で、Microsoftの各種技術を使った、新しいComputing体験


• Gesture(ジェスチャー)• Identity(認証)• Speech(音声)• Ink(手書き)




タッチパネルWindows Hello(顔,光彩,指紋)Cortana,音声認識,音声合成DirectInk

Windows Hello


https://www.youtube.com/watch?v=yBb76e53hno


Cortana





Kinect(NUI)Kinect(Windows Hello)Kinect(音声認識)…




Kinect(NUI)Kinect(Windows Hello)Kinect(音声認識)…

人をセンシングするチカラ

次の一歩


https://www.microsoft.com/microsoft-hololens/en-us

https://www.microsoft.com/microsoft-hololens/en-us

次の一歩


https://www.youtube.com/watch?v=DilzwF90vec

https://www.youtube.com/watch?v=DilzwF90vec

次の一歩


• Scene Perception(場所のスキャン)• 3D Scan

次の一歩


• Scene Perception• 3D Scan

Kinect(Kinect Fusion)Point Cloud

次の一歩


• Scene Perception• 3D Scan

環境をセンシングするチカラ

Kinect(Kinect Fusion)Point Cloud

センサーを利用したパターン

Copyright © 2015 Natural Software.jp All rights reserved. 16

事例


エンターテインメント


http://www.naturalsoftware.jp/entry/2014/09/07/120940


認証(Windows Hello)




3Dスキャン


https://www.youtube.com/watch?v=nJOyqaBQg74


フェイススキャン


医療、リハビリ


https://www.youtube.com/watch?v=KVhdJgnPak4


環境スキャン


VR(Virtual Reality)

Copyright © 2015 Natural Software.jp All rights reserved.

https://developer.leapmotion.com/vr

24

https://developer.leapmotion.com/vr

VR空間内を触る


https://www.youtube.com/watch?v=loD61OVYdmA

https://www.youtube.com/watch?v=loD61OVYdmA

Project Tango


http://www.engadget.com/2015/08/18/google-intel-realsense-tango/

http://www.engadget.com/2015/08/18/google-intel-realsense-tango/

界隈の流れ



大きな流れ・1


大きな流れ・1


Microsoft Intel

Apple Google

大きな流れ・1


Microsoft Intel

Apple Google

Windows Hello

Project Tango

紹介するDepthセンサー


MicrosoftKinect v2

IntelRealSense

Apple Google

Windows Hello

Project Tango

Kinect v2


Kinect v2


http://www.microsoftstore.com/store/msjp/ja_JP/pdp/productID.298959900

• 人間の認識ができる

• 顔の高精度な認識ができる

• 音声認識ができる

• 3Dスキャンができる

http://www.microsoftstore.com/store/msjp/ja_JP/pdp/productID.298959900

Kinect v2


Color:カラー画像 Depth：距離データ

Body:体の情報(関節など) Audio:音声データ

Infrared:赤外線画像

PlayerIndex:プレイヤー番号

Kinect v2


Control:ユーザーインタフェース(NUI)

Fusion:3次元モデルの再構築

Face:顔の情報(表情など)

HD Face:高精度の顔情報(3Dモデルなど)

Speech:音声コマンド認識

Gesture:ユーザー定義のジェスチャー

Kinect v2


Kinect Studio:Kinectデータの記録と再生

Visual Gesture Builder:ポーズやジェスチャーの作成

Kinect v2 Configuration Verifier:

ハードウェアが要求を満たしているかチェックする

事例


エンタメ




フェイススキャン


医療、リハビリ




デモ


インテル RealSense テクノロジー


インテル RealSense テクノロジー• 手指や顔の表情を認識できる

• 環境センシングができる

• 音声認識、音声合成ができる

• インテル RealSense SDKを利用する

• インテル RealSense カメラが3Dを担当

• コンピューターへの内蔵化が進む


http://click.intel.com/intelr-realsensetm-developer-kit.html

http://click.intel.com/intelr-realsensetm-developer-kit.html

インテル RealSense カメラ


F200 R200

内蔵されたインテル RealSense カメラ


F200 R200

内蔵化のメリット

• ユーザーの増加• 内蔵することで、コンシューマー製品に乗る

• 価格のさらなる低下

• ケーブルからの解放• 電源、USBケーブル

• タッチパネルとのコラボレーション• タブレット＋Depthセンサー


内蔵化のデメリット

• 自由度の減少• 端末のサイズに制限される


インテル RealSense SDK


Color/Depth/IR Stream Facial AnalysisEmotion

Hand and Finger Tracking Gesture and Pose Depth Mask



Segmentation Object Tracking(AR) 3D Scan

Speech Recognition Voice Synthesis

"Nothing to say?"

Eye Tracking



Measure Refocus Paste On Plane

Depth Upscale Color PopDepth Enhance



Scene Perception

Enhanced VideographySegmentation

事例


エンターテインメント


http://www.shikumi.co.jp/

http://www.shikumi.co.jp/

認証(Windows Hello)




3Dスキャン




ハッカソン


http://news.mynavi.jp/articles/2016/01/25/realsense/

http://www.hightouch-hackathon.com/

http://news.mynavi.jp/articles/2016/01/25/realsense/

http://www.hightouch-hackathon.com/

デモ


様々な業界から、

自分たちの問題を解決する

手段に使えそうなアイデア


www.naturalsoftware.jp


Technology

ジェスチャ認識・物体形状取得がもたらす新たな未来