Holo lens × ue4での開発について

HoloLens × UE4での開発について

自己紹介

山地直彰

XRを中心に関西とかで活動してる関西のHoloLensの人

最近はHoloLens×UE4での開発もしてる

最近やったホロ活

・HoloLens×UE4で作成したゲームがUE4ぷちコンで2位になる

・Osaka HoloLensミートアップvol2やりました

・HoloLensいじり始めてそろそろ一年

・Dell Visor及びWindowsMRモーションコントローラーを体験

・VR ZONE SHINJUKUでHoloLensを装備しながらコンテンツを体験してDXR

・Nagoya HoloLens Meetup vol1に参加して、ついでにLTもしてくる

XRについて

主にAR/MR/VR等の総称として使用

広義的にはAR/MR/VR等のUXを支える技術等も含む？

略さずいうとXR(クロスリアリティ)のイメージ

ーーその他XR

USJのXRライド(GearVR+屋内ジェットコースター)

GDC2017でOpenXRという標準規格が発表(ARも含むVRの新しい規格)

UnityでもXRというワードが使われている

最近は普及してきた？

XRミーティング(このイベント)について

・月1ぐらいでXRに関する情報交換、情報共有

・HoloLens体験やHoloアプリのお披露目、空間共有等実機を試せる

・XRと絡んでればわりと何でもあり

・XRについて興味がある人同士で交流

・発表等もゆるい感じ

最近のHolo話題

・HoloLensのガッコウ

・Windows Mexed Reality SteamVR preview

・WindowsMixedRealityモーションコントローラーが開発者向けに発送される

・WindowsMixedRealityモーションコントローラーは単体でも買える模様

・WindowsMixedRealityHeadset一般販売開始

・Immersiveデバイス対応のUnity2017.2がリリース(MRTKも対応済み)

・競合デバイスのMeta2がようやく日本にも届き始めた模様

・富士通もWindowsMixedRealityデバイスを販売

・日本エイサーWindowsMixedReality向け開発コンテスト

・HoloLensの壊れ方報告

ここから本題

WindowsMR、UE4で開発できるの？

できなくはない

(Epic Games)公式では対応していないが、(Epic Games)非公式で(Microsoftの)公

式(の人)が対応しているものがある

UE4はソースコードが公開されており、ビルドも各自で行えるため、UWP向けの

出力機能を持った改造したエンジンのソースコードがある

UWP向けのデプロイ方法についてはここに書いてあります

環境構築

1.GitHub上のUE4のソースコードにアクセスできるようにする

2.UWP用のUE4のGitHubにアクセスし、Clone or Download(WinMR用にブランチ

は「dev_MixedReality」を選択)

3.VisualStudioのセットアップを行い、従来GitHub経由のUE4と同じ手順で環境構

築(README.mdに手順は記載されています)

4.エンジンのビルドが完了すれば、UWP出力可能なUE4が使用できます

(基本的には自前でUE4をエンジンビルドするのと同じ)

デプロイ方法

1.ビルドしたUE4を起動して、「UWP(x86-32bit)」をターゲットとして、パッケ

ージ化

2.ダイアログが出て、パッケージ化時の証明書関連の設定を求められます(デプロ

イするだけであればOKを選択し、次のメッセージボックスではいを選択でOK)

3.パッケージ化完了でappxファイルがパッケージデータの出力先に生成されます

4.デバイスポータル側からappxファイルをインストール

「UWP(x86-32bit)」でパッケージ化

証明書関連の設定

ストアに上げる場合は設定が必要だろうが、手元で実験する分には設定不要

ダイアログボックスは「OK」→メッセージボックスは「はい」

パッケージ化の終了直前に勝手にでてきます。

appxファイルが出力される

通常通りビルドした際のデータが一式出力されている模様

デバイスポータル経由でインストール

デバイスポータルのApp→Install App→App Packageで作成したappxファイルを

指定し、Deploy→Goボタン押下

WindowsMR用のHMD対応用プラグイン

VirtualReality→MicrosoftWindowsMixedRealityHMDプラグインを使用すると3Dア

プリとして使用できるっぽい

(デフォルトで有効になってた)

直面した問題点あれこれ

・WindowsMixedReality用の機能の使い方解らん

・動作が重いが最適化の最適解が不明

・一部動作で落ちる

・一部機能が正常に動いていない

あと中間ファイル含めてビルドしたエンジンデータが80GBほど容量持っていって辛かった

WindowsMixedReality用の機能の使い方解らん

情報がほとんどない(基本はGitHub上のドキュメント)

日本語の情報はたぶん存在しない

コンポーネントもまだ謎のものあり

HoloLensのデバッグ実行やリモートでの実行的なことはできるのだろうか(VSか

らのデバッグ実行やUnityのHolographicEmulation的なもの)

動作が重いが最適化の最適解が不明

いくつかモデルを表示していたらFPSが1桁になることも

モバイル向けの設定にはしたものの、HoloLens用の最適化としてこれでいいのか

不明

最終的に描画系の諸々をとにかく軽くなるように設定して、だいたい15～20FPS

で動くようにはなった

一部動作で落ちる

一部プラグインを有効にしたらエンジンが落ちて何もできなくなった(途中で何故

か発生しなくなる)

一部関数(OpenLevel等)を実行した際に、実機でのみ落ちた

一部機能が正常に動いていない

HoloLensの位置トラッキングが正常に動作していない(Immersiveは正常に動作)

音声認識のコンポーネントの内1つの終了処理が正常に動いていないっぽい

アプリの再開処理がおかしい(正常に再開できない)

その他情報

・なんか途中でGitHubにWindowsMixedReality用のテンプレートが追加されてた

・音声入力はブループリントのみで使える

・VRプレビュー使用でWindowsMRHeadsetによるプレビューが使用できる(エンジンの拡張機能設定から拡大・縮小解像度で縮小するとちゃんと見えない)

・複合現実ポータル向けのデプロイもできた

・ブループリントからモーションコントローラーの入力が取れそう

・ジェスチャーはまだブループリントからはとれなさそう

・SpacialMappingもまだブループリントからは使えなさそう

これらを踏まえたうえでも使った理由

・Blueprintが素晴らしい

・UE4で開発がしたい

・UnityよりUE4を使っている人と一緒に開発できる

・UE4でのリソースを使用できる

・UE4ぷちコンに応募するので、UE4である必要がある

まだまだ対応中で問題もあるが、それでも使いたいのであれば、一緒に使いましょう！

告知

Japan XR Fest vol.0

関西を中心にXR(AR/MR/VR)の開発に取り組む企業/個人による展示会(LT有)

日時:12/3(日) 10:00～19:00

会場:大阪イノベーションハブ(梅田)

以上！