Appleの先を行くポストタッチインターフェース

Appleの先を行くポストタッチインターフ

ェース

@issay

今までにないアプリを作りたい

加速度センサー、ジャイロスコープ、磁力センサー、近接センサー、カメラ、

GPS、etc...

Core Image、Core Motion、iBeacon、Core Location、etc...

AppStoreのアプリ数100万本以上

既存のAPIをそのまま使うアイディアは他の誰かに実

現されている！

「普通のやつらの上を行け」by Paul Graham

Appleが未だ実現できていない機能を先に作れ

それが世界初のアプリを作る道

iPhoneのフロントカメラ

自然な体制で常に顔を捉えている

顔の情報を活用しきれていない

Core Imageの顔検出

• 顔検出• 目、口の位置• 笑顔かどうか• まばたきをしているか• 頭のx軸方向の回転（リアルタイムは難しい）• 遅い（頑張ってもiPhone5で5fpsぐらい）

顔の細かい表情はとらえられない

Core Imageでできないこと

• 視線• 頭のy軸、z軸方向の回転• 眉の形、位置• 目の形• 鼻の形、位置• 口の形• 輪郭の形、位置

仕方ない、作るか

顔情報はUIに活用できる

デモ動画を是非ご覧下さい！

http://youtu.be/jMniE-YYP9g

例えば• リモコンを使わずにテレビの制御• Google GlassなどARメガネの制御• サイネージディスプレイの制御• 料理中のiPadの制御• フライトゲーム• 障害者のためのインターフェース• etc...

しくみ

Face Tracking• 多くの顔の特徴点をトラッキングするライブラリを独自開発

• スマホでもリアルタイムで動作するのが特徴（iPhone5で20fps以上）

• 顔画像とあらかじめ正解の特徴点を与えたデータから、学習させる

Face Tracking

• はじめにiOSのAPIとOpenCVで顔検出、トラッキング

• ブースティングという手法を使って、だんだんと実際の顔に特徴点をフィッティングさせていく

• 顔画像の任意の２点のピクセルの値の差分を元に計算しているので高速

特徴点に合わせて

画像を合成

以上