内蔵化、モバイル化に向かうDepthセンサー

内蔵化、モバイル化に向かうDepthセンサー

中村薫

自己紹介

中村薫フリーランスで主にDepthセンサー系の仕事をしています

アプリケーション開発

講演、ハンズオンセミナー

執筆など

Microsoft MVP for Kinect for Windows

[email protected]

Copyright © 2014 Natural Software All rights reserved.

mailto:[email protected]

Tokyo MotionControl Network

https://www.facebook.com/TokyoMotioncontrolNetwork


https://www.facebook.com/TokyoMotioncontrolNetwork

今年の動き

Copyright © 2014 Natural Software All rights reserved.http://store-world.leapmotion.com/

http://www.gizmodo.jp/2014/09/6mm4android.html

https://www.google.com/atap/projecttango/

http://pc.watch.impress.co.jp/docs/news/20141009_670328.html

http://www.microsoftstore.com/store/msjp/ja_JP/pdp/productID.298959900 http://structure.io/getstarted

http://store-world.leapmotion.com/




http://www.microsoftstore.com/store/msjp/ja_JP/pdp/productID.298959900

http://structure.io/getstarted

センサーを利用したパターン


Kinect for Windows v2

• 10月に正式版としてリリース

• さまざまなWindows環境に対応

– Windowsストア

– Windowsデスクトップ

– Unity




Structure Sensor

• 唯一のiOS対応センサー

• 主にスキャン用途




Intel RealSense

Copyright © 2014 Natural Software All rights reserved.http://www.gizmodo.jp/2014/09/6mm4android.htmlhttp://pc.watch.impress.co.jp/docs/news/20141009_670328.html

• Windows PCおよびAndroidタブレットに内蔵

• フロント(ユーザー側)、リア(空間側)といくつかのバリエーション



Leap Motion

Copyright © 2014 Natural Software All rights reserved.http://store-world.leapmotion.com/https://www.leapmotion.com/product/vr

• Windows PCおよびキーボードに内蔵

• Oculus Riftの目として活用

• Android対応の話も

http://store-world.leapmotion.com/

https://www.leapmotion.com/product/vr

Google Tango

Copyright © 2014 Natural Software All rights reserved.https://www.google.com/atap/projecttango/

• Androidタブレットに内蔵

• 開発者向けに発売開始


Depthセンサーの流れ

Windows PC と Androidの対応および内蔵


さまざまなセンサー&デバイス


KINECT FOR WINDOWS V2


Kinect for Windows v2

• Xbox Oneに付属のKinectと同等

• 2014年10月にSDKの正式版が公開




Kinect for Windows SDK v2

Color:カラー画像 Depth：距離データ

Body:体の情報(関節など)

Copyright © 2014 Natural Software.jp All rights reserved.

Audio:音声データ

Infrared:赤外線画像

PlayerIndex:プレイヤー番号

15


Control:ユーザーインタフェース(NUI)

Fusion:3次元モデルの再構築

Face:顔の情報(表情など)


HD Face:高精度の顔情報(3Dモデルなど)

Speech:音声コマンド認識

Gesture:ユーザー定義のジェスチャー

16


Kinect Studio:Kinectデータの記録と再生

Visual Gesture Builder:ポーズやジェスチャーの作成


Kinect v2 Configuration Verifier:

ハードウェアが要求を満たしているかチェックする

17


• 現状では重心および心拍は含まれていない

Copyright © 2014 Natural Software.jp All rights reserved. 18

http://www.youtube.com/watch?v=Hi5kMNfgDS4

http://www.youtube.com/watch?v=Hi5kMNfgDS4

Kinectの同時利用


http://www.slideshare.net/SugiuraTsukasa/kinect-for-windows-v2-39855851


アプリケーションからの同時利用




対応言語および開発環境

• Visual Studio 2012以降(Expressも可)

–ネイティブ(C++)

–マネージ(.NET:C#、VBなど)

– WinRT (Windowsストアアプリ：C#、HTML&JavaScriptなど)

• Unity Pro(C#)


インテル REALSENSE テクノロジー


インテル RealSense テクノロジー

• 手指や顔の表情を認識できる

• インテル RealSense SDKを利用する

• インテル RealSense カメラが3Dを担当

• コンピューターへの内蔵化が進む


http://click.intel.com/intelr-realsensetm-developer-kit.html

http://click.intel.com/intelr-realsensetm-developer-kit.html

インテル RealSense カメラの種類


https://software.intel.com/en-us/realsense/home

https://software.intel.com/en-us/realsense/home

インテル RealSense SDK

Color Stream Hand and Finger Tracking Gesture and Pose Depth Mask

Speech Recognition Voice Synthesis

"Nothing to say?"

Facial AnalysisEmotion


ハードウェア要求

対応OS Windows 8.1 (x64)

CPU 第4世代以降のインテルCoreプロセッサ

カメラインテル RealSense カメラ F200


インテルRealSenseカメラの仕様フロント F200

RGBカメラ解像度 1920x1080

Depthカメラ解像度 640x480

認識範囲 20cm – 120cm


インテル RealSense SDKの仕様


入力機能詳細RealSenseカメラ

手• 手指の検出と追跡• ジェスチャーの認識

• 手指の22点を追跡• 9つのジェスチャーを認識

必須

顔 • 顔の検出および追跡

• 複数人の顔を検出• 78点の顔の部位を検出• 7つの表情を検出• 顔の認証

音声 • 音声認識• コマンド制御• ディクテーション• 音声合成

環境• セグメンテーション• 3Dスキャン• AR(拡張現実感)

• 背景除去• 3Dオブジェクトなどのスキャニング• 2Dおよび3Dオブジェクトの追跡

必須

対応言語および開発環境

• Visual Studio 2010以降(Expressも可)–ネイティブ(C++)

–マネージ(.NET:C#、VBなど)

• Unity Pro(C#)

• Java

• JavaScript(ブラウザ)

• Processing


LEAP MOTION


Leap Motion

• 指先を高精度で検出(v2でさらに進化)

• ハードウェアの内蔵化が進んでいる

• Android対応が進む

https://www.leapmotion.com/


https://www.leapmotion.com/

Leap Motion SDK

Hand and Finger Tracking Gesture

http://www.buildinsider.net/small/leapmotionfirstimp/01

Touch


http://www.buildinsider.net/small/leapmotionfirstimp/01

Leap Motion+Oculus Rift


https://developer.leapmotion.com/vr

https://developer.leapmotion.com/vr


Oculus Rift

• 非透過型のヘッドマウントディスプレイ

• 両目の視差を利用した立体視を体験できる

• 現在、開発者版段階

Copyright © 2014 Natural Software All rights reserved. https://www.oculus.com/order/

https://www.oculus.com/order/

Gear VR

• Oculus VRとSamsungで共同開発されたAndroidスマートフォン用VRキット

• モバイルVRの可能性

Copyright © 2014 Natural Software All rights reserved.https://www.oculus.com/ja/

https://www.oculus.com/ja/

STRUCTURE SENSOR


Structure Sensor

• Kinect v1とほぼ同じセンサー

• iOS対応


ViewerおよびScanner


スキャナー機能

• Structure SDK

• Skanect

• 3D Systemsとの提携


GOOGLE TANGO


Google Tango

Copyright © 2014 Natural Software All rights reserved.https://www.google.com/atap/projecttango/

• Androidタブレットに内蔵

• 開発者向けに発売開始

• ロボットとの連携？


デバイスの実行環境(OS)


Windows Mac OSX Linux iOS Android 内蔵化モバイル端末への統合

Kinect for Windows v2 ○ × × × × × ×

Intel RealSense ○ × × × △ ○ ○

Leap Motion ○ ○ ○ × △ ○ ○

Structure Sensor ○ ○ ○ ○ × × ○

Google Tango × × × × ○ ○ ○

凡例○：公式サポート △：将来的にサポート予定 ×：未サポート

内蔵化のメリットデメリット


内蔵化のメリット

• ユーザーの増加

–内蔵することで、コンシューマー製品に乗る

• 価格のさらなる低下

• ケーブルからの解放

–電源、USBケーブル

• タッチパネルとのコラボレーション

–タブレット＋Depthセンサー


内蔵化のデメリット

• 自由度の減少

–端末のサイズに制限される


www.naturalsoftware.jp


Technology

内蔵化、モバイル化に向かうDepthセンサー