M 1 0 0 でア プ リ を作ってみた

ミクミンP (ニコニコ技術部)

Twitter: @ksasao

2015/4/24 M100スマートグラス開発者向けセミナー

ニコニコ技術部？

ニコニコ技術部 - ニコ百 http://dic.nicovideo.jp/id/398

2

自己紹介

3

【初音ミク】うちのミクさんにテルミンになってもらいました(2007年)http://www.nicovideo.jp/watch/sm1572456

【NT京都】原寸大「あの楽器」をつくってみた(2009年)http://www.nicovideo.jp/watch/sm1572456

デバイスとの組み合わせ

4

5【二次元】ミクさんと生活しはじめてみた【三次元】http://nico.ms/sm17432624 (2012年)

6ミクさんと脳波でリンクしてみたhttp://nico.ms/sm19059271 (2012年)

M100の仕様

• CPU OMAP4

- Android4.0向けプロセッサ (2011年)

- 動画再生などに向く

• OS Android 4.0.4 - オフラインの音声認識は Android 4.2～

- BLE (ビーコンなど) は Android 4.3～

• RAM 1 GB

• その他 オフライン音声認識ライブラリ- M100 OS 1.x 系 は Android 標準に近い

https://gist.github.com/ksasao/e336f88e1d029aa573e0- M100 OS 2.x 系 は SDK 参照

ジェスチャセンサAPI 7

まずはここから

• Android Screen Monitor Ver.3.0• http://www.adakoda.com/adakoda/android/asm/

• M100 の画面確認やキー入力が可能に

• SHIFTキーの扱いが微妙なため、英大文字の入力には注意• 素早く入力し、先頭の一文字をけずる

• Bluetooth Keyboard も便利• Riitek Rii mini Bluetooth keybord RT-MWK02 など

• http://www.amazon.co.jp/dp/B004I23KEE

8

既存アプリのお試し

• Amazon Android アプリストア

9

1. Scanner アイコンで QR コードを読み込み.apk をダウンロード

2. Download アイコンからインストール

日本の Amazon アカウントでも OK操作性の面で利用できるアプリは限定的

Webブラウザアプリ艦これビューア

• ブラウザのデフォルトで表示できるように設定

• HTMLの知識のみではじめられる

• 情報提示・チラ見用 10

デスクトップPC

顔認識

アップロード

HTML取得

M100

リモート接続(Team Viewer)で操作 (Android/iPhone)

ネイティブアプリ商品認識

• docomo Developer support の API を利用

• https://dev.smt.docomo.ne.jp/

• 商品認識、発話理解、音声合成、音声認識、文字認識、雑談対話、動作推定、トレンド記事抽出、知識Ｑ＆Ａなどが無償利用可

• IBM Watson (Bluemix) の画像認識なども利用可

• http://www.ibm.com/developerworks/jp/bluemix/index.html 11

M100

http://mpga.jp/app/korenani-beta.gif

飯テロ判定bothttps://twitter.com/no_meshitero

• IBM Watson を利用した食事判定• 700種類以上のカテゴリに分類

• 補助的に Google も利用

• 画像ベースのライフログの自動分類にも

12

{"images":[“image_id”:“0”, "image_name":"upload.jpg",“labels”:[{"label_name":"Boating","label_score":"0.644164"},{"label_name":"Scene","label_score":"0.61675"},{"label_name":"Food","label_score":"0.601799"},{"label_name":"Indoors","label_score":"0.579162"},{"label_name":"Man Made Scene","label_score":"0.573229"},{"label_name":"Water Sport","label_score":"0.570168"},{"label_name":"People Activity","label_score":"0.513724"},{"label_name":"Outdoors","label_score":"0.503192"}]}]}

内部応答例

ARアプリ

• Vuforia + Unity (+ MMD4Unity) が簡単• 単純な表示だけならコーディング不要

13このコンテンツは Unityちゃんライセンスで提供されています

• ARライブラリ、3D表示ライブラリの入手が容易に

• 有志による MikuMikuDance からのインポータなどが利用可能• 3Dモデルなどのライセンスは、モデルごとに異なるため、慎重に吟味を

M100に向いたコンテンツ

• 画面が小さいことを活かす• チラ見で済む内容・通知

• カメラが高画質であることを活かす• 静止画撮影・動画撮影・画像認識

• 操作はできるだけ少なく• 処理は極力自動で行えるようにする

14

開発上のポイント

• 人間の特性• 視野の中心からずらしたところに配置する

• 長時間利用で邪魔にならないように

• 音を有効につかう• 操作を前提としない

• ハードウェアの特性• 全力で動かさない

• 発熱で落ちる• 実機でひたすら試す

• バッテリーを節約• 基本的にスリープ動作を想定（スマートフォンと同等）• 画面をオンにしたままでは1時間位の動作

15

まとめ

• Vuzix M100 はブラウザアプリや Android アプリと同様の開発環境が利用可能

• 開発では、バッテリー、発熱、操作方法、表示方法など、スマートグラス固有の課題への対応が必須• ひたすら実機でのデバッグ

16

Ｑ＆Ａ

ミクミンP k.sasao@gmail.com

https://twitter.com/ksasao

17

商標に関する注記

• 本文中における製品名およびサービス名は、各社の商標または登録商標です

18