View
686
Download
1
Category
Preview:
Citation preview
ジェスチャ認識・物体形状取得がもたらす新たな未来
~ Kinect など距離センサーの概要と事例~
2016/02/02
第24回テクノフォーラム
木更津高専 技術振興交流会
Natural Software 中村 薫
自己紹介
中村 薫フリーランスで主にDepthセンサー系の仕事をしています
アプリケーション開発
講演、ハンズオンセミナー
執筆など
Microsoft MVP for Windows Development
(旧: Microsoft MVP for Kinect for Windows)
http://www.naturalsoftware.jp/
kaorun55@naturalsoftware.jp
Copyright © 2016 Natural Software All rights reserved.
Tokyo MotionControl Network
Copyright © 2016 Natural Software All rights reserved.
https://www.facebook.com/TokyoMotioncontrolNetwork
More Personal Computing
Windows 10の世界で、Microsoftの各種技術を使った、新しいComputing体験
Copyright © 2016 Natural Software All rights reserved.
• Gesture(ジェスチャー)• Identity(認証)• Speech(音声)• Ink(手書き)
More Personal Computing
Copyright © 2016 Natural Software All rights reserved.
• Gesture(ジェスチャー)• Identity(認証)• Speech(音声)• Ink(手書き)
タッチパネルWindows Hello(顔,光彩,指紋)Cortana,音声認識,音声合成DirectInk
Windows Hello
Copyright © 2016 Natural Software All rights reserved.
https://www.youtube.com/watch?v=yBb76e53hno
More Personal Computing
Copyright © 2016 Natural Software All rights reserved.
• Gesture(ジェスチャー)• Identity(認証)• Speech(音声)• Ink(手書き)
Kinect(NUI)Kinect(Windows Hello)Kinect(音声認識)…
More Personal Computing
Copyright © 2016 Natural Software All rights reserved.
• Gesture(ジェスチャー)• Identity(認証)• Speech(音声)• Ink(手書き)
Kinect(NUI)Kinect(Windows Hello)Kinect(音声認識)…
人をセンシングするチカラ
次の一歩
Copyright © 2016 Natural Software All rights reserved.
https://www.microsoft.com/microsoft-hololens/en-us
次の一歩
Copyright © 2016 Natural Software All rights reserved.
https://www.youtube.com/watch?v=DilzwF90vec
次の一歩
Copyright © 2016 Natural Software All rights reserved.
• Scene Perception• 3D Scan
Kinect(Kinect Fusion)Point Cloud
次の一歩
Copyright © 2016 Natural Software All rights reserved.
• Scene Perception• 3D Scan
環境をセンシングするチカラ
Kinect(Kinect Fusion)Point Cloud
エンターテインメント
Copyright © 2016 Natural Software All rights reserved.
http://www.naturalsoftware.jp/entry/2014/09/07/120940
認証(Windows Hello)
Copyright © 2016 Natural Software All rights reserved.
https://www.youtube.com/watch?v=yBb76e53hno
3Dスキャン
Copyright © 2016 Natural Software All rights reserved.
https://www.youtube.com/watch?v=nJOyqaBQg74
医療、リハビリ
Copyright © 2016 Natural Software All rights reserved.
https://www.youtube.com/watch?v=KVhdJgnPak4
VR(Virtual Reality)
Copyright © 2015 Natural Software.jp All rights reserved.
https://developer.leapmotion.com/vr
24
VR空間内を触る
Copyright © 2016 Natural Software All rights reserved.
https://www.youtube.com/watch?v=loD61OVYdmA
Project Tango
Copyright © 2016 Natural Software All rights reserved.
http://www.engadget.com/2015/08/18/google-intel-realsense-tango/
大きな流れ・1
Copyright © 2016 Natural Software All rights reserved.
Microsoft Intel
Apple Google
Windows Hello
Project Tango
紹介するDepthセンサー
Copyright © 2016 Natural Software All rights reserved.
MicrosoftKinect v2
IntelRealSense
Apple Google
Windows Hello
Project Tango
Kinect v2
Copyright © 2016 Natural Software All rights reserved.
http://www.microsoftstore.com/store/msjp/ja_JP/pdp/productID.298959900
• 人間の認識ができる
• 顔の高精度な認識ができる
• 音声認識ができる
• 3Dスキャンができる
Kinect v2
Copyright © 2016 Natural Software All rights reserved.
Color:カラー画像 Depth:距離データ
Body:体の情報(関節など) Audio:音声データ
Infrared:赤外線画像
PlayerIndex:プレイヤー番号
Kinect v2
Copyright © 2016 Natural Software All rights reserved.
Control:ユーザーインタフェース(NUI)
Fusion:3次元モデルの再構築
Face:顔の情報(表情など)
HD Face:高精度の顔情報(3Dモデルなど)
Speech:音声コマンド認識
Gesture:ユーザー定義のジェスチャー
Kinect v2
Copyright © 2016 Natural Software All rights reserved.
Kinect Studio:Kinectデータの記録と再生
Visual Gesture Builder:ポーズやジェスチャーの作成
Kinect v2 Configuration Verifier:
ハードウェアが要求を満たしているかチェックする
エンタメ
Copyright © 2016 Natural Software All rights reserved.
http://www.naturalsoftware.jp/entry/2014/09/07/120940
医療、リハビリ
Copyright © 2016 Natural Software All rights reserved.
https://www.youtube.com/watch?v=KVhdJgnPak4
インテル RealSense テクノロジー• 手指や顔の表情を認識できる
• 環境センシングができる
• 音声認識、音声合成ができる
• インテル RealSense SDKを利用する
• インテル RealSense カメラが3Dを担当
• コンピューターへの内蔵化が進む
Copyright © 2016 Natural Software All rights reserved.
http://click.intel.com/intelr-realsensetm-developer-kit.html
内蔵化のメリット
• ユーザーの増加• 内蔵することで、コンシューマー製品に乗る
• 価格のさらなる低下
• ケーブルからの解放• 電源、USBケーブル
• タッチパネルとのコラボレーション• タブレット+Depthセンサー
Copyright © 2015 Natural Software.jp All rights reserved. 47
インテル RealSense SDK
Copyright © 2016 Natural Software All rights reserved.
Color/Depth/IR Stream Facial AnalysisEmotion
Hand and Finger Tracking Gesture and Pose Depth Mask
インテル RealSense SDK
Copyright © 2016 Natural Software All rights reserved.
Segmentation Object Tracking(AR) 3D Scan
Speech Recognition Voice Synthesis
"Nothing to say?"
Eye Tracking
インテル RealSense SDK
Copyright © 2016 Natural Software All rights reserved.
Measure Refocus Paste On Plane
Depth Upscale Color PopDepth Enhance
インテル RealSense SDK
Copyright © 2016 Natural Software All rights reserved.
Scene Perception
Enhanced VideographySegmentation
エンターテインメント
Copyright © 2016 Natural Software All rights reserved.
http://www.shikumi.co.jp/
認証(Windows Hello)
Copyright © 2016 Natural Software All rights reserved.
https://www.youtube.com/watch?v=yBb76e53hno
3Dスキャン
Copyright © 2016 Natural Software All rights reserved.
https://www.youtube.com/watch?v=nJOyqaBQg74
ハッカソン
Copyright © 2016 Natural Software All rights reserved.
http://news.mynavi.jp/articles/2016/01/25/realsense/
http://www.hightouch-hackathon.com/
Recommended