HoloLensでIoT制御してみて感じる未来

IoT縛りの勉強会! IoTLT vol.26 @ 日本オラクルHoloLensでIoT制御してみて感じる未来

ワンフットシーバス 田中正吾

私の話はスライドを後ほど共有します。話す内容に注力いただいて大丈夫です！

自己紹介

田中正吾（たなかせいご）屋号：ワンフットシーバス

2004年よりフリーランス。以後、FLASH制作を中心にインタラクティブコンテンツを主に行い現在に至る。最近はJavaScriptやHTML5アニメーションにも関わりつつ、フロントエンド制作とIoTフォローアドバイスを絡めたりしてます。デジタルサイネージもやります。

さて、HoloLens

みなさんHoloLensご存知ですか？

Microsoft社が発売した初の自己完結型ホログラフィックコンピュータ

これなんですが

かぶると透過性のメガネで現実世界に3D映像を加えれるデバイス

現実世界を認識しながら3D空間として映像を投影できるメガネ

（現実にある感がすごいぞ）

ではデモを見てみましょう

ロケ地（仕事部屋）にUnityで作ったスイッチ登場させる

スイッチONOFFアニメーション動作します

これ存在感がちゃんとある

動画見てみましょう

こんなかんじで普段の生活に作ったUIが登場させられる！

Microsoft社は、これをMixed Reality、混合現実と呼んでます

さて、このHoloLens。

Wi-Fiさえあれば常時インターネットにつながってる！

つまり、インターネットでデータのやり取りが出来るデバイス

（Internet）

環境認識カメラや慣性計測ユニットなど複合でセンサが感知して世界を認識している

つまり、センサー感知で周辺の物事（Things）

を把握できるデバイス

センサとインターネット？

これってつまりIoTデバイスなんじゃないか？

実験だ！

HoloLens と IoTデバイスNefryを連携

準備

HoloLensから先ほどのスイッチを押すとWebSocketを発信

WebSocket経由で中継されてMilkcocoaサービスに伝わります

タップ！

Node-REDが中継WebSocket→Milkcocoa

LED点灯や振動Milkcocoa→Nefry

IoTデバイスNefryに接続したGroveが振動したりLED点灯したりきます

動画でみてみましょう

2分

IoT制御できた！

HoloLens WEB デバイス

さらにステップアップ！

LEDの要領で照明器具をDALIという照明API経由で動かしてみた

照明API（DALI）シーンに応じた点灯

照明器具の近くにスイッチ設置

タップ！

照明器具の現実空間にスイッチやボタンをMixed Reality

Node-REDが中継WebSocket→照明 API

照明API（DALI）シーンに応じた点灯

外から見た状況

スイッチいる

HoloLensからみた視界 外から見た状況

HoloLensからみた視界

外から見た状況

点灯！

点灯！

無事明かりがついた！

詳しい記事はこちらにあります。

http://www.1ft-seabass.jp/memo/2017/04/09/hololens-dali-api-first-contact/

IoT制御できた！

HoloLens WEB デバイス

感じた未来。

電気工事とは別のアプローチで空間にスイッチやボタンが設置できそうな未来

HoloLens WEB デバイス

外部のセンサー情報をHoloLensで空間に表示＆通知を見ながら制御できる未来

HoloLens WEB センサー

さらに

IoTは現実に対してセンサーやデバイスがインターネットによって

情報が相互に関わり合うもの

デバイスやセンサー（現実空間）

インターネット空間 データ

Mixed Reality 混合現実 も現実空間に対して3D映像によって情報が相互に関わり合うもの

現実空間データ上の3D空間 操作・データ

IoTもMixed Realityも現実に相互に関わり合う所が似ている！

IoTとMRも混ぜられそうなのでおもしろい未来が作れそう！

ということで

制作裏話や詳細聞きたいひとは懇親会で！（HoloLens x Nefryデモやるかも）

HoloLensと照明API DALIの連携をしてきたメモ – 1ft-seabass.jp.MEMOhttp://www.1ft-seabass.jp/memo/2017/04/09/hololens-dali-api-first-contact/

HoloLensアプリ（Unity）とNode-REDで動くWebSocketサーバーをつなぐメモ – 1ft-seabass.jp.MEMOhttp://www.1ft-seabass.jp/memo/2017/04/06/hololens_websocket_node-red_firstcontact/

HoloLensアプリ（Unity）とIFTTT Maker ChannelをHTTP POST連携するメモ – 1ft-seabass.jp.MEMOhttp://www.1ft-seabass.jp/memo/2017/04/05/hololens_ifttt_first_contact/

HoloLensからNode-RED経由で照明操作のDALI APIを操作するメモ – 1ft-seabass.jp.MEMOhttp://www.1ft-seabass.jp/memo/2017/02/24/hololens-node-red-dali-api-crossover/

HoloLensとCreateJSをMilkcocoaで連携して現実空間と仮想空間を行き来するメモ – 1ft-seabass.jp.MEMOhttp://www.1ft-seabass.jp/memo/2017/02/13/hololens_createjs_milkcocoa_first_contact/

リンク