エフサミ2014

はじめてのモーションセンサー

自己紹介

中村薫フリーランスで主にDepthセンサー系の仕事をしています

アプリケーション開発、講演、ハンズオンセミナー、執筆など

Microsoft MVP for Kinect for Windows

[email protected]

Copyright © 2014 Natural Software All rights reserved.

mailto:[email protected]

Tokyo MotionControl Network

https://www.facebook.com/TokyoMotioncontrolNetwork



注目のセンサー&デバイス

Kinect

Kinect v2

Creative Camera

Leap Motion

Oculus Rift


Structure Sensor

大きな流れ・1


大きな流れ・1


Microsoft Intel

Apple Google

大きな流れ・2


Intel RealSense Leap Motion

センサーを利用したパターン・１


センサーを利用したパターン・２


なぜDepthセンサー？

• センサーの低価格化

• Web,モバイルに続く価値の提供


さまざまなセンサー&デバイス


注目のセンサー&デバイス

Kinect Kinect v2 Creative Camera

Leap Motion


Structure Sensor

Kinect

• NUIのさきがけ

• Xbox用のほかにWindows用のセンサーがある

http://www.xbox.com/ja-JP/xbox360



Kinect for Windows SDK

Color Stream Depth Stream

Player Tracking Skeleton Tracking

Audio Stream


Toolkit

Kinect Studio

Kinect Background RemovalKinect Fusion

Face TrackingVoice Command

Kinect Interaction


Kinect v2

• Xbox One に同梱された新しいKinect

• Kinect for Windows v2 Developer Preview の配布が始まっている

http://www.xbox.com/ja-JP/xbox-one/meet-xbox-one


http://www.xbox.com/ja-JP/xbox-one/meet-xbox-one

Kinect for Windows v2

• Xbox Oneに付属のKinectと同等

• 2014年夏にリリース予定

• Kinect for Windows v2のソフトウェアやハードウェア、APIは暫定的なものであり正式版では変更される可能性があります。


Kinect for Windows SDK v2

Color Stream Depth Stream Skeleton Tracking


Audio


Control Fusion Face


実装されたけど、動かない

Creative Senz3D

• 手指を認識できるセンサー

• Intel Perceptual Computing SDK を利用する

• コンピューターへの内蔵化を予定


Intel Perceptual Computing SDK

Color Stream Hand and Finger Tracking Gesture and Pose Facial Analysis

Speech Recognition Voice Synthesis

"Nothing to say?"

Pulse EstimatorEmotion


インテルRealSenseテクノロジー


Leap Motion

• 指先を高精度で検出

• 使いやすいソフトウェア

• ハードウェアの内蔵化が進んでいる

https://www.leapmotion.com/



Leap Motion SDK

Hand and Finger Tracking Gesture

http://www.buildinsider.net/small/leapmotionfirstimp/01

Touch



Structure Sensor

• Kinect v1とほぼ同じセンサー

• iOS対応

• eBayにて発売開始


ViewerおよびScanner


デバイスの実行環境(OS)

Copyright © 2014 Natural Software.jp All rights reserved.

Windows Mac OSX Linux iOS Android

Kinect for Windows v1 ○ × × × ×

Kinect for Windows v2 ○ × × × ×

Intel RealSense ○ × × × △

Leap Motion ○ ○ ○ × △

Structure Sensor ○ ○ × ○ ×

Google Tango × × × × ○

Kinect for Wndows v2のソフトウェアやハードウェア、APIは暫定的なものであり正式版では変更される可能性があります。

凡例○：公式サポート △：将来的にサポート予定 ×：未サポート

デバイスの実行環境(開発環境、言語)

Copyright © 2014 Natural Software.jp All rights reserved.

C++.NET

(C#,VB)WinRT

(C++,C#,VB)Unity(C#)

Objective-C JavaJava

Script


○ ○ × △ × × ○

Kinect for Windowsv2

○ ○ ○ ○ × × ○

Intel RealSense ○ ○ × ○ × ○ ×

Leap Motion ○ ○ × ○ ○ ○ ○

Structure Sensor ○ ○ × ○ ○ × ×

Google Tango × × × × × ○ ×

Kinect for Wndows v2のソフトウェアやハードウェア、APIは暫定的なものであり正式版では変更される可能性があります。

凡例○：公式ライブラリあり △：非公式ライブラリあり ×：未サポート

事例


医療

http://www.youtube.com/watch?v=624N3-nIieICopyright © 2014 Natural Software All rights reserved.

http://www.youtube.com/watch?v=624N3-nIieI

サイネージ


空中ディスプレイKinect, Leap Motion, Intel PerC


現実世界へのインタラクション階段＋マッピング＋Kinect

http://www.youtube.com/watch?v=h8wZnY_jWF8



Photo by Ben Lorph

Kinect x 8台


Kinectコンテストから

Copyright © 2014 Natural Software All rights reserved. http://k4wa.com/

http://k4wa.com/

非接触バイタルセンシング


http://monoist.atmarkit.co.jp/mn/articles/1310/02/news063.html

http://monoist.atmarkit.co.jp/mn/articles/1310/02/news063.html

高齢者遠隔運動指導・管理モデルRehAct


http://monoist.atmarkit.co.jp/mn/articles/1310/02/news063_2.html



Senz3D+Oculus Riftで行動誘導


行動誘導の研究


https://www.youtube.com/watch?v=ldEyGeSw4M8

https://www.youtube.com/watch?v=ldEyGeSw4M8

Structure Sensorを使った試作


センサー詳解


KINECT V1


Kinect v1

• NUIのさきがけ

• Xbox用のほかにWindows用のセンサーがある




Kinect for Windows SDK

Color Stream Depth Stream

Player Tracking Skeleton Tracking

Audio Stream


Toolkit

Kinect FusionFace Tracking

Kinect Interaction Kinect Background Removal


KINECT V2


注意!!

• Kinect for Windows v2のソフトウェアやハードウェア、APIは暫定的なものであり正式版では変更される可能性があります。


Kinect v2


Kinect v2

• Xbox One に同梱された新しいKinect

• Kinect for Windows v2 Developer Preview の配布が始まっている

• Kinect for Windows v2のRTMは7月末の予定

• Kinect for Windows SDK v2 のRTMは未定




http://www.youtube.com/watch?v=Hi5kMNfgDS4

http://www.youtube.com/watch?v=Hi5kMNfgDS4

KINECT V1とV2の比較


Kinect for Windows v2のハードウェア要求

対応OS Windows 8, Windows 8.1

開発環境 Visual Studio 2012以降(C++, C#など)

CPU Core i7 2.5GHz以上 64bit CPU

メモリ 4GB以上

USB USB 3.0

グラフィック DirectX 11対応のグラフィックカード


Kinect v2のソフトウェアやハードウェア、APIは暫定的なものであり正式版では変更される可能性があります。

センサーの仕様比較


Kinect v1 Kinect v2

Color画像640x480

1280x9601920x1080

Depth画像80x69

320x240630x480

512x424

Depthセンシング方式 Light Coding TOF(Time of Fright)

Depth認識範囲800mm-4000mm(Default)

400mm-3500mm(Near)500mm-4500mm

水平視野角 57度 70度

垂直視野角43度

(±27度:チルトモーター)60度

(http://goo.gl/pZQRKm)


http://goo.gl/pZQRKm



Kinect v1 Kinect v2

人の検出 6人 6人

人の骨格検出 2人 6人

検出骨格数 20点/一人 25点/一人

手指検出 × △(親指と指先)

手のポーズ検出△

(Kinect Interaction：グー、パー)○(グー、チョキ、パー)




Kinect v1 Kinect v2

ジェスチャー△

(Kinect Interaction:入力支援)○

マイク 4つのマイクアレイ 4つのマイクアレイ

音声入力 ○ ○

チルトモーターありなし

加速度センサーありなし




Kinect v1 Kinect v2

USB USB 2.0 USB 3.0

複数Kinectの同時利用 4台まで未定

複数アプリからの同時利用 × ○



Color Stream Depth Stream Skeleton Tracking



Depthを比較する


Kinect v1 Kinect v2


物

Kinect v2

壁

台

反射の時間を測る

Depthセンシング方式(TOF)


Depthセンシング方式(Light Coding)

ランダムな点を照射し、歪みを計測する





全身の骨格検出数


Kinect v1 : 20点/一人 Kinect v2 : 25点/一人

全身の骨格検出数




http://www.innovotion.co.jp/blog/2013/11/27/22/






Kinect v1からのデータ

• ColorImageStream

– RGB または IR

• DepthImageStream

– Depth と PlayerIndex

• SkeletonStream


Kinect v2からのデータ

• ColorFrameReader

• DepthFrameReader

• InfraredFrameReader

• BodyIndexFrameReader

• BodyFrameReader

• LongExposureInfraredFrameReader

• MultiSourceFrameReader


改善点

• DepthとPlayerIndex(BodyIndex)が分離された

– V1ではDepthとPlayerIndexがひとまとまりだった

• ColorストリームとIRストリームを同時に読み込むことができる

– V1ではColorとIRストリームは排他(PrimeSense系センサーの仕様?)


INTEL PERCEPUTUAL COMPUTING SDK


Intel Perceptual Computing SDK

• 2013年3月に正式版がリリースされたSDK

• 手指および顔の認識、音声認識が特長

• 全ての機能はリファレンスカメラとしての「Creative* Interactive Gesture Camera」でのみ動作する

• 一部のカメラのみの機能はWebカメラでも動作する

• 以降 PerC SDKと表記する


PerC SDK

Color Stream Hand and Finger Tracking Gesture and Pose Facial Analysis

Speech Recognition Voice Synthesis

"Nothing to say?"

Pulse EstimatorEmotion


Sensor

http://download-software.intel.com/sites/default/files/article/325946/creativelabs-camera-productbrief-final.pdfCopyright © 2014 Natural Software All rights reserved.

http://download-software.intel.com/sites/default/files/article/325946/creativelabs-camera-productbrief-final.pdf

Creative* Camera

• SoftKinetic 社 DS325 互換

• Creative* Camera で SoftKinetic 社 iisu SDK を利用することもできる

• 逆(DS325 で PerC SDK)はできない


RGB Camera

解像度 720p (1280×720 pixels)

フレームレート 30 fps

視野角 73 度

表示範囲 0m – 7.01m


IR Depth Sensor

解像度 QVGA (320×240 pixels)

フレームレート 30 fps

視野角 73 度

認識範囲 15cm – 100cm

認識技術 Time-of-flight(TOF)



• 2014年1月のCESにて、PerC SDKやCreative* Cameraは「インテルRealSenseテクノロジー」として発表された

• 2014年末にはDepthセンサーが内蔵されたノートPCやタブレットPCが発売予定





LEAP MOTION


Leap Motion

• Leap Motion社が販売しているデバイス

• 手や指の動きを認識する


なにができるのか

http://www.youtube.com/watch?v=3b4w749Tud8


http://www.youtube.com/watch?v=3b4w749Tud8

Leap Motion SDK

Hand and Finger Tracking Gesture


Touch



Leap Motion SDK v2

http://www.buildinsider.net/small/leapmotionfirstimp/01Copyright © 2014 Natural Software All rights reserved.

Hand Tracking Arm Tracking


Leap Motion のインタフェース

Leap Motion Application Interface Leap Motion WebSocket Interface

https://developer.leapmotion.com/documentation/GetStarted/Leap_Architecture.htmlCopyright © 2014 Natural Software All rights reserved.

https://developer.leapmotion.com/documentation/GetStarted/Leap_Architecture.html

Airspace


内蔵されたLeap Motion

http://gizmodo.com/heres-the-first-laptop-with-leap-motion-built-right-in-1346551607Copyright © 2014 Natural Software All rights reserved.

http://gizmodo.com/heres-the-first-laptop-with-leap-motion-built-right-in-1346551607

デバイスの実行環境


出力装置の進化


ディスプレイを越えて


http://www.youtube.com/watch?v=h8wZnY_jWF8Copyright © 2014 Natural Software All rights reserved.


Oculus Rift（オキュラス・リフト）

http://www.oculusvr.com/Copyright © 2014 Natural Software All rights reserved.

http://www.oculusvr.com/


触覚を得る


http://www.youtube.com/watch?v=xaFBjUJj00M


http://www.youtube.com/watch?v=xaFBjUJj00M

http://www.youtube.com/watch?v=CE4WsYncNa4


http://www.youtube.com/watch?v=CE4WsYncNa4

今後の予測


新しいデバイス


http://makezine.com/2014/01/12/make-editors-highlights-and-picks-from-ces-2014/

http://mobilesyrup.com/2014/01/09/thalmic-labs-shoots-to-kill-with-ces-demo-first-look/


http://mobilesyrup.com/2014/01/09/thalmic-labs-shoots-to-kill-with-ces-demo-first-look/

キーワード

• 内蔵化

• モバイル

• Web/クラウド


内蔵化

センサーの内蔵化が進むでしょう。

• Leap Motion

• インテルRealSenseテクノロジー






内蔵化によるメリット

• ユーザーが個別にセンサーを購入する必要がなくなる

• センサーを所持するユーザーが増える

• センサーを使ったアプリケーションの需要が高まる


モバイル

• iOSやAndroid対応のセンサーが発売され、モバイルでのセンサー利用が可能になるでしょう。




モバイル化によるセンサー用途

• 空間スキャン

• ユーザーの向いている方向を認識

• ユーザーを認識


Web/クラウド

• センサーSDKのブラウザ対応が進んでいます。Webやクラウドとセンサーの連携が進んでいくでしょう。


Tokyo MotionControl Networkhttps://www.facebook.com/TokyoMotioncontrolNetwork


Technology

エフサミ2014