ウェアラブルデバイスとモーションセンサーの融合

ウェアラブルデバイスとモーションセンサーの融合

2014/10/03 第７７回ISIT定期交流会

Natural Software 中村薫

自己紹介

中村薫フリーランスで主にDepthセンサー系の仕事をしています

アプリケーション開発、講演、ハンズオンセミナー、執筆など

Microsoft MVP for Kinect for Windows

[email protected]

Copyright © 2014 Natural Software All rights reserved.

mailto:[email protected]

Tokyo MotionControl Network

https://www.facebook.com/TokyoMotioncontrolNetwork


https://www.facebook.com/TokyoMotioncontrolNetwork

今日の目的

• Depthセンサーについて知ってもらう

• Depthセンサーとウェアラブルデバイスの可能性について一緒に考えたい


大きな流れ・1


大きな流れ・1


Microsoft Intel

Apple Google

大きな流れ・2


Intel RealSense Leap Motion

なぜDepthセンサー？

• センサーの低価格化

• Web,モバイルに続く価値の提供


事例


医療

http://www.youtube.com/watch?v=624N3-nIieICopyright © 2014 Natural Software All rights reserved.

http://www.youtube.com/watch?v=624N3-nIieI

リハビリ


http://monoist.atmarkit.co.jp/mn/articles/1310/02/news063_2.html



アミューズメントCopyright © 2014 Natural Software All rights reserved.

仮想試着

http://www.facebook.com/photo.php?fbid=3392874617478


http://www.facebook.com/photo.php?fbid=3392874617478

空中ディスプレイCopyright © 2014 Natural Software All rights reserved.

現実世界へのインタラクション


http://www.naturalsoftware.jp/blog/7906

http://www.naturalsoftware.jp/blog/7906

Photo by Ben Lorph

Kinect x 8台


DEPTHセンサーの用途


NUI


NUIとは

• Natural User Interfaceの略で、より直感的にコンピューターと対話するインタフェース

• タッチパネル入力、音声入力、Kinectなどセンサーを使った入力、ペン入力など


CUIからNUIへ


3Dスキャン


3Dスキャンの概要

• センサーから得られた空間情報をコンピューター上で再構築し、3Dモデル化する

• 距離データを活用する


3Dスキャン


センサーを利用したパターン(1)






さまざまなセンサー&デバイス


お品書き

Kinect for Windows v2 Leap Motion v2


Intel RealSense

Structure Sensor Oculus Rift

Kinect for Windows v2

• Xbox Oneに付属のKinectと同等

• 2014年7月時点でオープンベータとしてリリース(センサーはリリース版)


http://www.microsoftstore.com/store/msjp/ja_JP/pdp/productID.298959900

http://www.microsoftstore.com/store/msjp/ja_JP/pdp/productID.298959900

Intel RealSense

• 主に手指を認識できるセンサー

• 顔の検出や音声認識も搭載

• コンピューターへの内蔵化を予定


Intel RealSenseテクノロジー


Leap Motion

• 指先を高精度で検出

• 使いやすいソフトウェア

• ハードウェアの内蔵化が進んでいる

https://www.leapmotion.com/


https://www.leapmotion.com/

Structure Sensor

• Kinect v1とほぼ同じセンサー

• iSense 3Dとしても販売

• iOS対応


デバイスの実行環境(OS)


Windows Mac OSX Linux iOS Android

Kinect for Windows v2 ○ × × × ×

Intel RealSense ○ × × × ○

Leap Motion ○ ○ ○ × △

Structure Sensor ○ ○ ○ ○ ×

Kinect for Windows v2のソフトウェアやハードウェア、APIは暫定的なものであり正式版では変更される可能性があります。

凡例○：公式サポート △：将来的にサポート予定 ×：未サポート

Intel RealSenseのソフトウェアやハードウェア、APIは暫定的なものであり正式版では変更される可能性があります。

デバイスの特長


距離全身の骨格検出手指の検出 3D スキャン

Kinect for Windows v2 中距離(0.5m-8m) ○ △ ○

Intel RealSense 近距離(0.2m-1.2m) × ○ ○

Leap Motion 近距離(0.07m-0.7m) × ○ ×

Structure Sensor 中距離(0.4m-3.5m) △ ○ ○

Kinect for Windows v2のソフトウェアやハードウェア、APIは暫定的なものであり正式版では変更される可能性があります。

凡例○：公式サポート △：将来的にサポート予定 ×：未サポート

Intel RealSenseのソフトウェアやハードウェア、APIは暫定的なものであり正式版では変更される可能性があります。

Oculus Rift

• 非透過型のヘッドマウントディスプレイ

• 両目の視差を利用した立体視を体験できる

• 現在、開発者プレビュー段階


Senz3D+Oculus Rift


Leap Motion + Oculus Rift


行動誘導の研究


https://www.youtube.com/watch?v=ldEyGeSw4M8

https://www.youtube.com/watch?v=ldEyGeSw4M8

ウェアラブルとの融合


ウェアラブル

http://blogs.independent.co.uk/2013/01/03/tech-battlegrounds-in-2013/Copyright © 2014 Natural Software All rights reserved.

http://blogs.independent.co.uk/2013/01/03/tech-battlegrounds-in-2013/

センサー,モバイル,ウェアラブルの融合

http://www.kickstarter.com/projects/551975293/meta-the-most-advanced-augmented-reality-interfaceCopyright © 2014 Natural Software All rights reserved.

http://www.kickstarter.com/projects/551975293/meta-the-most-advanced-augmented-reality-interface

Meta Pro


http://www.redorbit.com/news/technology/1113032110/metapro-augmented-reality-glasses-121913/

http://www.redorbit.com/news/technology/1113032110/metapro-augmented-reality-glasses-121913/

Depthセンサーの弱点を補う


今できること


今できること


今できること


Depthセンサー+ウェアラブルのアイデア

• VRとの併用

• ARとの併用

• 距離を測る

• 3Dスキャンする

• より自然な記録(カメラ)


www.naturalsoftware.jp


Technology

ウェアラブルデバイスとモーションセンサーの融合