HoloLens x IoT 試すときによくやる実装

xRLT vol.01

HoloLens x IoT 試すときによくやる実装

ワンフットシーバス 田中正吾

私の話はスライドを後ほど共有します。話す内容に注力いただいて大丈夫です！

自己紹介

今日の登壇時の写真について

HoloLensかぶっている人と見せかけて熱血Holo教師風に説明しているほうです

SAMURAI ISLAND EXPO17にて照明設備とHoloLensの連携の説明をしているときの写真

こっち

田中正吾（たなかせいご）屋号：ワンフットシーバス

2004年よりフリーランス。以後、FLASH制作を中心にインタラクティブコンテンツを主に行い現在に至る。最近は、JavaScriptやHTML5アニメーション、スマートフォン演出制作のワークフロー改善に関わったりしていました。デジタルサイネージやアプリ制作もやります。

HoloLens x IoT してます

WEB技術とのMixed Realityに可能性を感じていて HoloLens x IoT 系やっています

個人実験だけじゃなく企業連携やR&D実案件も出てきました

Mixed Reality

たとえばこんなことやっています

MQTTで遠隔無線で点灯するIoTデバイスNefryBT x 3

HoloLensからON/OFF制御！レッドがON、ブルーがOFFでうごきます。

雰囲気を伝える動画

いざ実演！

今回のしくみとその周辺

Raspberry PiにNode-REDを立ててHoloLensのWebSocketとNefryBTへのMQTTを中継

Node-RED

NefryBT

RaspberyPiHoloLens

MQTTWebSocket

Raspberry Pi Node-REDでいろいろ橋渡しNode-REDのフロー図

HoloLensとの通信方法。いろいろできる。

HoloLensBluetooth通信

HTTP通信

WebSocket通信

MQTT通信（Unity/.Net4.7でやりやすく）

ただ送るだけなら

HoloLensBluetooth通信

HTTP通信

WebSocket通信

MQTT通信（Unity/.Net4.7でやりやすく）

双方向のほう

HoloLensBluetooth通信

HTTP通信

WebSocket通信

MQTT通信（Unity/.Net4.7でやりやすく）

Wi-Fiなしでもイケる

HoloLensBluetooth通信

HTTP通信

WebSocket通信

MQTT通信（Unity/.Net4.7でやりやすく）

これをもとにクラウドもつなげてさまざまな恩恵を得ることもできる

画像認識・データ保存・高度な計算・セキュアな管理・スケールできる仕組み など

HoloLensBluetooth通信

HTTP通信

WebSocket通信

MQTT通信

クラウド

よくやる実装

HoloLens（Mixed Reality）はいろいろと試して探っていく時期

もちろんその中から良いものが生まれていく

まず「現実に発現する」ことが大事はじめて検討できるようになる！

ひとつの通信方法で結んでしまうと強固だがトライ＆エラーがしにくい場合がある通信のベストプラクティスも探している状態。たのしい。

そこで中間で橋渡しをしてる手法

今回もそうしている

Raspberry PiにNode-REDを入れて中継しているやり方

Node-RED

NefryBT

RaspberyPiHoloLens

MQTTWebSocket

「データが通っているか」「エラーはないか」データの流れを確認しやすい

直接つなげるとかっこいいがHoloLensまわりの境界チェックが苦労する

Node-RED

NefryBT

RaspberyPiHoloLens

CHECK

CHECK CHECK

CHECK

CHECKCHECK

さまざまな通信方法を変換できるのでしくみを作ることに専念できる

1手法で統一するとかっこいいが、通信方法ごと得手不得手がありやりにくいときが

Node-RED

NefryBT

RaspberyPiHoloLens

WebSocket通信 MQTT通信

まず、できあがるので、全体像が見えるその上で改良や機能追加できる

MixedReality x IoTだと技術要素が多いので出来上がらない時間が続くと心が折れやすい

Node-RED

NefryBT

RaspberyPiHoloLens

デメリットもあるがメリットも多い

➔機材が多くなる➔応答が遅くなる場合がある➔気にすることが多くなる➔まどろっこしさありうる

しくみが整ったら、少しずつ直接つないで洗練させていけばいい

みなさんやってきましょう！

ご清聴いただきましてありがとうございました！