◯荒川豊，平部裕子，安本慶一

奈良先端科学技術大学院大学

タッチ操作の挙動分析による

行動・感情認識

• スマホに内蔵されたさまざなセンサを駆使

　　　　

スマートフォンを用いた行動認識

• 地磁気• 気圧• 近接• マイク• 回転ベクトル• カメラ

• 加速度• 重力• ジャイロ• 輝度• NFC• 放射線

• スマホでは，常時イベント発生• コンテキスト認識に利用できない？

【提案】タッチ操作は？

全アプリのタッチ操作をどうやってロギングする？

• セキュリティのための概念

• アプリ間は強制的に分離

• 他のアプリ上でのタッチ操作を監視できない

サンドボックス　 Sandbox

Android OS

App.1Logging

App.

手法１： Custom Android OS– InputManager を改造すればロギングは簡単にできそ

う

– カスタム ROM の普及は難しい

手法２： Android OS の手前でフック– イベントデバイスファイル (/dev/input/xxxx) を監視

– アプリからは Root 権限が必要

– adb 経由（ USB 接続）だと， Root 権限不要で丸見え

手法の検討

• タッチ操作に関するファイルの在処– 基本： /dev/input/eventX

– X ：機種依存

イベンドデバイスファイル

機種 Android OS X

Galaxy Nexus 4.2.1 1

Galaxy S2 4.0.3 2

Galaxy S3 4.0.2 6

Galaxy Note2 4.1.2 2

• 一見，よくわからない

• 複数行で１つのタッチ操作

• 機種により一部フォーマットが違

う

イベントデバイスドライバの逆解析101000-325592: 0003 0032 0000000a101000-325592: 0003 0035 0000011b101000-325592: 0003 0036 000002e3101000-325592: 0003 0030 0000000e101000-325592: 0003 0031 00000009101000-325592: 0003 003c ffffffd3101000-325623: 0000 0000 00000000101000-337007: 0003 0035 0000012a101000-337007: 0003 0036 000002d8101000-337007: 0003 0030 0000000c101000-337007: 0003 003c ffffffe7101000-337037: 0000 0000 00000000101000-348696: 0003 0035 00000142101000-348696: 0003 0036 000002c3101000-348696: 0003 0031 00000007101000-348696: 0003 003c ffffffbd101000-348696: 0000 0000 00000000101000-360324: 0003 0032 0000000b101000-360324: 0003 0035 00000164101000-360324: 0003 0036 000002a8101000-360324: 0003 0030 0000000f101000-360324: 0003 0031 0000000b101000-360355: 0003 003c 0000005a101000-360355: 0000 0000 00000000101000-371800: 0003 0032 0000000d101000-371800: 0003 0035 0000018c101000-371831: 0003 0036 00000286101000-371831: 0003 0030 00000010101000-371831: 0003 0031 00000009101000-371831: 0003 003c 00000000101000-371831: 0000 0000 00000000101000-383672: 0003 0032 0000000b101000-383703: 0003 0035 000001b6101000-383703: 0003 0036 00000269

• USB でスマホに繋ぐだけでロギング OK

• 代表的なタッチ操作の認識– シングルタッチ・マルチタッチ

– シングルスワイプ・マルチスワイプ

– ピンチイン・ピンチアウト・ローテート

• 記録・再生（可視化）

• 統計処理– 頻度，平均速度，平均圧力

– アプリケーションごとの集計

Touch Analyzer （現在ベータ版）

完成予想図

タッチ操作コンテキストによる行動認識

• β 版

• 簡単な評価：下記の文章を入力するというタスク

『台風 27 号は 17 日午後 3 時現在、マリアナ諸島にあ

り、ゆっくりと北北西へ進んでいる。中心気圧は 970

ヘクトパスカル、中心付近の最大風速は 35 メートル

で、強い勢力となった。また、中心から 90 キロ以内

では風速 25 メートル以上の暴風となっている。』

現在の状況

• 個人間の差異

被験者： 4人

アプリ： Facebook

時間： 3 分間

タッチ操作の挙動分析例１

• ストレスの有無

同一文章入力

時間制限の有無

タッチ操作の挙動分析例２

• ながら動作による差異

タッチ操作の挙動分析例３

寝っ転がって 話しながら 歩きながら

座って入力

• キーボードの差

　　フリック入力 ローマ字入力

タッチ操作の挙動分析例４

• 操作スキルの定量化– タッチ操作ログをクラウドで統計分析

– 各ユーザのスキルを定量化

• タッチ操作による個人識別

• 感情を理解するコンシェルジュアプリ

タッチ操作コンテキストの応用

操作スキルに応じて変化していく

ユーザインターフェース

• 今後の予定– ツールを完成させる

• PC 版だけでなく，スマホ完結版も

– HASC で培われた分析手法を適用

おわり