CardboardのUXをカメラで向上する (droidkaigi 2015/04)

CardboardのUIを カメラで向上する

高橋憲一　@ken1_taka

自己紹介

• Android, iOS, 3Dグラフィクス

• 株式会社 kabuku ソフトウェアエンジニア

• 東北TECH道場、Tech Institute 講師

普段はvirtualなものを実体化 （3Dプリント）するための開発をしてます

今日は思い切りバーチャルな世界の話

なぜやろうと思ったか

最近アプリ開発の講師はやっているけど、Androidについてhackしてないなぁ…

そうだ、Cardboard

CardboarでVR

• とっても手軽

• PCと繋ぐもっと高性能なのはもちろんありますが…

• ケーブルを繋いだりする煩わしさ

一つだけ残念なこと

• せっかくのタッチパネルを覆ってしまうのでタッチ操作が出来ない

• 横にマグネットのスライドスイッチはあります

しかし…

使ってくれと言わんばかりにカメラの部分がくり抜かれている

これを使わない 手はない！

でもやり始めたら結構茨の道だった(^^;

必要なもの

• Android Studio

• Cardboard SDK

• Unity 対応版もありますがそれではない方

• OpenCV

Cardboard SDK

• 導入は簡単

• https://developers.google.com/cardboard/android/download

• サンプルとライブラリ(.jar) をダウンロード

Cardboard SDK がやってくれること

• 左右に並べた複眼ビュー

• レンズ歪み補正

• マグネットスイッチのイベント

OpenCV

• ちょっと大変

• ここを参考にしました。

• http://smartphone-zine.com/android/use-opencv-for-android-in-the-android-studio.html

5.0だとうまく動かなかったり

• ここで解決

• http://answers.opencv.org/question/54450/error-opencv4android-caused-by-javalangillegalargumentexception-service-intent-must-be-explicit/

OpenCVを どう活用するか

カメラからの画像をOpenCVで認識する

• 指の形、ポジション

• 色を元にトラッキング

• http://docs.opencv.org/doc/tutorials/imgproc/shapedescriptors/hull/hull.html

Demo