はじめようMixed Reality- Immersive headset 編 -

株式会社ホロラボ

立原愼也

自己紹介

株式会社ホロラボ

プログラマ / リサーチャー

デコ・シ(@Ash_Yin)

立原愼也

経歴

2017/03 東京理科大学大学院卒

2017/04 大手電機メーカー(SE) 入社

2017/06 大手電機メーカー(SE) 退職/ホロラボ入社

運営からの注意喚起

このあと

滅茶苦茶

セッチャクした

基礎編

Mixed Reality Immersive Headsetとは？

https://item.rakuten.co.jp/acer-direct/5jr03ww001/

Mixed Reality Immersive Headsetとは？

PCと対応ヘッドセットを組み合わせて複合現実を実現するもの

マイクロソフトと提携したパートナー企業から販売される

http://pc.watch.impress.co.jp/docs/news/1084483.html

Immersive Headset とHoloLens

https://www.microsoft.com/ja-jp/store/d/microsoft-hololens-commercial-suite/944xgcf64z5b

廉価版のHoloLensなんでしょ？

・Gestureは使えません

・パススルーはできません

・環境マッピングは使えません

・スタンドアロンではない

HoloLensとImmersiveの比較

機能 HoloLens Immersive headset

入力

Gaze ✓ ✓

Gestures ✓

Voice ✓ ✓

Gamepad ✓ ✓

Motion controllers ✓

空間認識機能

ワールド座標 ✓ ✓

空間音響 ✓ ✓

Spatial Mapping ✓

Mixed Reality Headsetの特徴

項目 Oculus Immersive headset

解像度(片方) 1080×1200 1440×1440

視野角 対角110度 水平105度

自由度 6DOF 6DOF

トラッキング方式 アウトサイド・イン インサイド・アウト

リフレッシュレート 90Hz 90Hz

アウトサイド・イン：環境に設置したセンサを利用する方法

インサイド・アウト：撮像系側のセンサを利用する方法

Mixed Reality Controller

Bluetooth または有線接続

単3電池2本/コントローラで動作

Mixed Reality Headsetの種類

Acer Windows Mixed

Reality Headset with

Motion Controllers

$399.00

Dell Visor Windows

Mixed Reality

Headset with Motion

Controllers

$449.00

HP Windows Mixed

Reality Headset with

Motion Controllers

$449.00

Lenovo Explorer

Windows Mixed

Reality Headset with

Motion Controllers

$449.00

https://www.microsoft.com/en-us/store/collections/vrandmixedrealityheadsets

Mixed Reality Headsetの種類

https://www.microsoft.com/en-us/store/collections/vrandmixedrealityheadsets

項目

解像度 2880 x 1600

視野角 110度

ディスプレイ 有機EL

ヘッドフォン+デュアルマイクロフォンアレイ

IPD調整機構付き

$499.00Samsung Odyssey Windows Mixed Reality

Headset with Motion Controllers

Mixed Reality Headsetの購入

$399とは…

https://item.rakuten.co.jp/acer-direct/vdr05sj002/

Mixed Reality Controllerの購入

技適に気を付けましょう…

Mixed Reality Headset 動作スペック

項目 Mixed Reality Ultra Mixed Reality

OS Windows 10(RS3)Fall Creators Update, Home, Pro, Business, Education

CPU Intel Core i5 (第4世代) CPU 4コア以上AMD FX-4350 4.2Ghz 4コア以上

Intel Core i5 (第7世代) CPU, 2コアIntel® Hyper-Threading Technology 対応

RAM 8GB DDR3 8GB DDR3 Dual Channel

HDD 10GBの空き

グラフィクスカード

NVidia GTX 965M / AMD RX 460以上のDX12対応GPU Intel® HD Graphics 620以上のDX12対応GPU

ディスプレイ Windows Display Driver Model (WDDM) 2.2

ディスプレイポート

外部または内蔵VGA（800×600）ディスプレイ

USB USB 3.0 タイプAもしくはタイプC ×1

Bluetooth 4.0 Bluetooth 4.0

Windows Mixed Reality PC Check

Setup

HMDを挿すだけでセットアップが開始

※コントローラがない場合代わりにゲームパッドまたはマウスを利用する

Setup

境界の設定 (別にやらなくてもよい)

Setup

境界の設定 (別にやらなくてもよい)

境界を設定するとワイヤーフレームの壁が

現れる。

(展示会場では設定した方が良さそう)

Mixed Reality ポータル - Cliff House -

Cliff House

Holograms

Mixed Reality ポータル - Cliff House -

HMDやコントローラがなくともシミュレーションすることができます

Cliff Houseで使えるキー操作

・Win: メニュー

・WASD: 前後左右(+Shiftで高速移動)

・QE: ロール

・矢印キー：ヨー、ピッチ

・スペース：クリック

・T: 境界オンオフ

Mixed Reality ポータル - Cliff House -

2Dのアプリ

3Dのアプリ

Mixed Reality ポータル - Sketchfab -

1. Sketchfab へアクセス

2. モデルを選択

3. View in VRをクリック

Mixed Reality ポータル - Sketchfab -

心がぴょんぴょんする動画

開発準備編

開発環境

・Windows10 (Pro/Home)

・Unity 2017.2 (Pro/Personal)

・Visual Studio 2017 (Community/Enterprise/Proffesional)

・Windows Developer kit SDK 16278

・Insider Preview Build (10/17以降はFall Creators Update)

Installation checklist for immersive headsets

注意点 - Visual Studio -

Visual Studioの導入によって、動かなくなるバージョンがある

Visual Studioをアップデートしたら3日間ハマった話 - Qiita

@morio さんの戦いの記録

-> VS2017.15.3 対応のUnityを使う必要がある

注意点 - Unity Beta (現在) -

先日でたUnity2017.2.0f2ではなく， Unity2017.2.0 RC MRTP を入れる

http://beta.unity3d.com/download/b9a6355603bd/download.html

とにかく環境が不安定，動いたものが動かなくなったり大変

Hello Tofu!

Hello Tofu! - Editorで動かす -

何も考えずCubeを置く

Hello Tofu! - Editorで動かす -

1. Build Settingsから，Switch

PlatformでUniversal Windows

Platformを選択

2. SDKを10.0.16278.0に変更

3. Unity C# Projectsにチェック

4. Player Setting->XR SettingのVirtual Reality Supportedにチェックを入れる

Unityを再生する

Hello Tofu! - Build -

HMDを挿していれば自動でMixed

Reality ポータルが立ち上がる

(Bug) HMDを挿していない状態で再生するとクラッシュする。その場合，Mixed Reality ポータルをシミュレーションモードで立ち上げておけば動作する

Hello Tofu! - Build -

ImmersiveとHoloLensではターゲットSDKが異なる

・Immersive : 15063

・HoloLens: 14393

そのため，ビルドする際もフォルダを分けることをオススメする

例) ImmersiveApp, HoloLensAppなど

Hello Tofu! - Build -

ImmersiveAppフォルダからソリューションファイルを開き，図のように設定してビルドする(Ctr+F5)

成功時画面

Mixed Reality Toolkit

Mixed Reality Toolkit

Mixed Reality Toolkitは、Microsoft

HoloLensとWindows Mixed Reality

headset を対象としたアプリケーションの開発を加速するためのスクリプトとコンポーネントの集まりです。このプロジェクトは、複合現実感アプリケーションを作成するための参入障壁を削減し、皆が成長できるようコミュニティに貢献することを目的としています。MixedRealityToolkit – UnityはMixedRealityToolkitをベースとしたコードを使用しており、Unityでの利用を容易にします。

Mixed Reality Toolkit

Mixed Reality Toolkit

MixedRealityToolkit-Unityにアクセス1.

2. BranchesからDev_Unity_2017.2.0 を選択

3. Clone or DownloadからDownload

Mixed Reality Toolkit

ディレクトリ Immersive/HoloLens 内容

AdaptiveQuality Immersive 動的クオリティの取得とViewPort設定

ColorPicker HoloLens カラーピッカー

FastConfigurableShader 両方 高速なシェーダーサンプル

GameControllerManipulator Immersive ゲームコントローラーでのオブジェクト操作

GamePad Immersive ゲームコントローラーでのオブジェクト操作

GazeRuler HoloLens Gazeを使った計測

InteractiveElements HoloLens Gestureを使ったインタラクティブな3DオブジェクトとUIのサンプル

Medical HoloLens 医用画像データをインポートし、HoloLensでそれを表示および操作する方法

MotionControllers-GrabMechanics Immersive モーションコントローラを使ったオブジェクトの操作

Prototyping HoloLens 高速にインタラクティブなプロトタイプを作るためのコンポーネント群

SavingSpatialMeshes HoloLens SpatialMappingの保存

SceneLauncher HoloLens シーンランチャー

SpatialMappingComponent HoloLens SpatialMappingRendererとSpatialMappingColliderを使ったサンプル

SpatialUnderstanding HoloLens 壁や床を認識するSpatilUnderstandingのサンプル

Text HoloLens HoloLensに適した文字表示のサンプル

HoloToolkit-Examples (Mixed Reality Camera を使っているかどうかで大別)

Mixed Reality Toolkit

ディレクトリ Immersive/HoloLens 内容

Boundary Immersive 動的クオリティの取得とViewPort設定

Input 両方 Gesture/GamePad/HandControllerを使った入力サンプル

Sharing HoloLens 高速なシェーダーサンプル

SpatialMapping HoloLens SpatialMapping を使ったサンプル群

SpatialSound HoloLens 空間音響のサンプル

UI 両方 異なるデバイス間での使いやすさを向上させるためにオブジェクトを自動的に拡大/縮小する

Utilities 両方

HoloToolkit-Tests (Mixed Reality Camera を使っているかどうかで大別)

Mixed Reality Toolkit - AdaptiveQuality -

低負荷 高負荷

高負荷ではQualityが低下し, ViewPortのサイズが変更される→文字がぼやけるようになる

Mixed Reality Toolkit - AdaptiveQuality -

AdaptiveQualityExample

GpuTiming.csGpu call 時刻を計測するコンポーネントGpuTimingCameraコンポーネントをアタッチすると特定のカメラのコストを計測できるGpuTiming.GetTime（ “Frame”）を使用して時間を取得できる

Mixed Reality Toolkit - AdaptiveQuality -

AddaptiveQuality.cs

AddaptiveViewport.cs

GPU時間を計測して，アプリのQualityレベルの上げ下げを動的

に行い，変更イベントを発火。イベントをリッスンして，高負

荷のコンポーネントの有効/無効を操作して，安定したフレー

ムレートを維持の補助をする。

Qualityの変化をリッスンし，指定されたデータに従って

ViewPortを調整する。

Mixed Reality Toolkit - AdaptiveQuality -

AddaptiveViewport.csを参考にクオリティごとの処理を組むとよい

Mixed Reality Toolkit - Boundary -

Immersiveデバイスで床を描画するツール。

オブジェクトが境界内にあるかを確認する機能もある

境界内にあるか

確認したいオブジェクト

境界

Mixed Reality Toolkit - Boundary -

境界内

境界外

Mixed Reality Toolkit - Boundary -

BoundaryTest.cs

Mixed Reality Toolkit - Boundary -

BoundaryManager.cs

起動！

Immersive

RoomScale

(0,0,0)

HoloLens

Stationary

(0,0,0)

Mixed Reality Toolkit - Input Gamepad -

Holotoolkit-Tests/Input/Scenes/GamepadTestHolotoolkit-Examples/Gamepad/XboxControllerExample

オブジェクトの移動や回転 テレポーテーションの操作

Mixed Reality Toolkit - MotionControllers-GrabMechanics -

Mixed Reality Toolkit

公開され次第、まとめます

Mixed Reality Toolkit - Camera -

HoloLensCameraに代わるもの テレポーテーション機能がついている

Mixed Reality Toolkit - Camera -

HoloLensCameraに代わるもの

Opaque Display Settings: Immersive用の設定

Transparent Display Settings: HoloLens用の設定

Mixed Reality Toolkit

とりあえずこれを入れよう、3種のコンポーネント

MixedRealityCameraParent: CameraとBoundary

Managers: Gesture, GamePad, HandControllerの入力を扱うコンポーネント

Cursor: Gazeカーソル

HTKを直接いじるような実装をしていなければ、これらPrefabを入れ替える

だけでMRTK2017.2の環境に移植できます (ハズです)

むしろUWP対応が大変。。。。

HoloLensとの協調作業

Mixed Reality 250: Sharing mixed reality

ビルド済みプロジェクト(HoloLens/Immersive)

Mixed Reality 250 翻訳概要から第1章まで - 戯言日記

Windows Mixed Reality - Acer and HoloLens Side-By-Side - YouTube

Acer VR+hololens firesystem BIM and repair simulation

https://www.youtube.com/watch?v=_CYXXba879M&feature=share

おまけ

無限に歩きたい編

自作ダミープラグ

55円でダミープラグを作ってVirtualDes

ktopのデスクトップを広げた話 - Qiita

MSI ゲーミングPC VR One VR One 7RD-010JP

歩き回るためのアイテム ディスプレイを取っ払うアイテム

Immersive headset

現実を忘れるアイテム

WinMR HMD

Dummy Plug

無限に歩きたい編

注)歩くときは大人の方と一緒に

PC

T-AKESEN-COO

TMCN