RoomAlive - HoloLensに向けていまできること

RoomAlive - HoloLensに向けていまできること蜜葉 優

• H.N. :蜜葉 優 [@mitsuba yu] • UX Designer / Interaction Developer • Keynoteの表紙はいつも自分で撮影 • 今回はホワイトホースのオーロラ

• 最近のお仕事はWPFとStoreApps(!UWP) • Microsoft MVP for Windows Development • http://c-mitsuba.hatenablog.com

profile

いま一番さわってみたいものといえば

今日はKinectとプロジェクタを使ってAR的なことをやってみます。

その前段階の技術として、 今日はRoomAliveを紹介します。

• HoloLensおさらい • RoomAliveとは • DEMO • 開発環境とか

agenda

HoloLens

• メニューがでてくる • 部屋の形状を認識できる • ブラウザとか3Dオブジェクトを、ホログラム

的に表示できる • オブジェクトは部屋のどの位置に表示されて

いるか記憶されている • 回りこむと、オブジェクトの裏側が見える

HoloLens おさらい

RoomAlive

RoomAlive

ね、ほろれんずみたいでしょう？

• MS Researchが開発してる • Kinectで部屋の形状を認識して、 　いい感じに複数のプロジェクタで　部屋中を投影する　貴族向けプロジェクションマッピング技術　（ただし１プロジェクタでも可） • Magical Experiences Enabled by Scalable, Adaptive Projector-Camera

Units

• https://www.youtube.com/watch?v=ILb5ExBzHqw

RoomAliveとは

• ちなみに全身となったillumiRoomは2013年に発表されてる。

• ディスプレイにプロジェクタを向けて、画面外にもゲームを投影する技術

• HoloLensが来年にDeveloperKitが出るのでほぼ３年越し。

• (プロジェクタで遊んだらいいやん (とは言わない約束

• (雰囲気大事

とりあえずやってみよう DEMO

• ソフトウェア

• Kinect for Windows v2 SDK -> 公開されてる • RoomAlive Toolkit ->GitHubで公開されてる

• ハードウェア

• Kinect v2 ->先週買ってきた • プロジェクタ -> ご家庭のものでOK • GPU付きの速いぱそこん ->べるびゅで仕入れ！

開発環境

• 部屋の片付け -> これが一番大変 • プロジェクターとKinectをマッピングしたい面　

に投射 • この時平面にマッピングしようとするとエラーに

なる！！！ • パソコンの画面設定は拡張モードにする

RoomSetup

• KinectServer.exeを管理者権限で起動 • Socketで深度とか返してくれる

• ProjecterServer.exeを管理者権限で起動 • たぶん画面情報取得してる

• CalibrateEnsemble.exeでcalibration.xmlを生成 • XMLを環境に合わせて、微妙に書き換える • Calibrationする

CalibrationSetup

• Calibrationしたら、いろんな素材を書き出して、使う。

• XMLの保存もわすれずに。

CalibrationSetup

• マッピング情報が設定できてるはず、、なので、もうKinectは必要ない。

• 別のトラッキングにKinectを使える • Calibrationすると、マッピング情報のXML以外に、

Kinectを照射したオブジェクトとテクスチャが一緒に保存される。

• ProjectionMappingSample.exeをcalibration.xmlのファイルパスを引数に実行

Calibrationできた！

出来上がったファイルを見てみよう

出来上がったファイルを使って、サンプルを動かしてみよう

これだけだとあれなので、 生成したオブジェクトとテクスチャ を使ってみよう

時間があれば。。。

• RoomAlive toolkitはプロジェクションマッピングツール • プロジェクションマッピングに必要な様々なリソースを

作成できる。 • 点群plyファイル • 面のついたobjファイルとテクスチャ • RGBカメラで撮った画像ファイル jpg ttf • 深度センサで作成したモノクロ画像ファイル • マッピングのコンフィグが書かれたXML

まとめ

• RoomAlive toolkitのサンプルはSharpDXでできてるけど、素材を使っていろんな方法で開発できる

• 例えばUnityとかで、コンフィグのxmlを使って、パースが設定されるようなカメラを作成すれば、簡単にマッピング可能

• 他にも、できた3Dモデルを、実世界に投影して輪郭だけ動かしたりもできそう。

• 素材作りは簡単、実装はそこそこ、環境作りが一番大変

まとめ