Upload
takahiro-miyaura
View
227
Download
1
Embed Size (px)
Citation preview
自己紹介
• 宮浦恭弘 @ 大阪駆動開発コミュニティ
@TAKABRZ1
• 某会社でしがないシステムエンジニア
個人でHoloLensを購入(買っちゃった組)。
エンジニア時間がHoloLens >>> IOT >>>>>>> (越えられない壁) >>>>
社内事案になる位(前より悪化してる)
そもそもは武仙さんのTokyo HoloLens Meetup Vol.5での発言「xRLTではあほなネタ募集してます」がきっかけ。
HoloLens
と
1000円のワイルドミニ四駆を300,000円のHoloLensで戯れるようにしたら受けるんじゃね?
某広島でのハッカソン
参加メンバー構成上エンジニア率が低く、かつHoloLensチームができていた。他チーム支援(特にHoloLensチーム)重視のためにボッチ戦へ。
深夜。。。自分とHoloLensチームのアプリを開発するために最も生産性の高いスタイルで効率化
↓
結果両方開発を完了し何とか間に合う。
そしてなぜか最優秀賞Mashup Award 2017出場枠が!
えっ! Σ(゜゜ノ)ノ
何を作ったか。見てる人:「魔法使いすげぇ!」と言わせるシステム
HoloLens
ジェスチャ操作をコマンドとしてPush
通知
動く(゚д゚)ウマー
HoloLensを移動可能なジェスチャー検出デバイスと割り切ってワイルドミニ四駆をジェスチャーでコントロール
※Mashup Award 向けにはもっと別の強化を予定
ジェスチャー部品にMRDesignLabs_LunarModuleを使用
当日困ったこと。Milkcocoa連携に変える原因
HoloLens
ジェスチャ操作をコマンドとしてPush通知
ESP-WROOM-02
Arduino化してルーター兼Webサーバ
電波の干渉IOT側をルーターにした接続は安定しない。
+HoloLens自体が電波干渉源にもなる。
MRDesignLabs
祝!MRDesignLabs→Mixed Reality Toolkitへ一部機能が移植!
この領域で検出されるジェスチャー=左手
MrdesignLabsでのジェスチャー検出• ジェスチャーの検出を左右別に行うことが可能
• 顔(HoloLens)を中心として検出したジェスチャーの位置で左右を振り分ける
この領域で検出されるジェスチャー=右手
MRDesignLabsではInputSourceHandsコンポーネントでジェスチャーを検出
注!Lunar_Module用のMRDesignLabsのみ
ジェスチャー情報の取得方法
• ジェスチャーの状態を取得する(InputSources.Instance.hands.GetHandState)
• CurrentHandState handState =
InputSources.Instance.hands.GetHandState(Handedness, MinConfidence)
• Handedness:検出したい手(右/左/両方)
• MinConfidence:信頼度(どの程度中心に視界範囲で検出可能にするか)
• CurrentHandStateには検出位置やTap中(Pressed)を検出するためのプロパティがある。
MrdesignLabsでのジェスチャーのユーティリティ
• LocalHandInput
• AirTap&Hold操作開始時点を中心(0,0,0) に3軸(X,Y,Z)の相対距離/加速度を検出する。
• 左/右/両方での検出を設定可能※左右別に検出する場合はそれぞれ設定が必要
• 左右の手を判別するための検出限界の設定がある
※顔の中心にあまり寄せてしまうと左右の判別ができない
LocalHandInputの利用
プロパティ名 説明Handedness ジェスチャーを検出する手を設定します。
Min Confidence 両手をどこまで近づけて検出できるようにするか。Use Dead Zone センサーのブレをど誤差として扱うか設定します。
Dead Zone デッドゾーンの範囲を指定します。移動量(速度)がデッドゾーン内の場合、移動していないとみなします。
Clamp Position この設定をチェックすると移動量が-1.0f~1.0fの範囲で変化。Clamp Velocity この設定をチェックすると速度が-1.0f~1.0fの範囲で変化。
Input Scale 入力値の倍率を設定します。