ストリーム処理エンジンを用いた顔映像に対する補助情報提供システム筑波大学　第三学群　情報学類情報科学主専攻

200412324 稲守孝之指導教官　北川博之　石川佳治　天笠俊之

発表手順1. 背景と目的2. システムの概要3. インタフェイスマネジャの実装4. 評価実験5. まとめと今後の課題

背景 ストリームの増加

時々刻々と変化するデータを次々と配信 小型カメラ等の映像取得デバイスの発達映像ストリームの高度利用への要求

顔映像ストリームを扱える情報統合利用システムを開発中

背景 顔情報に対して補助情報を付加することが有効

知り合いの詳細情報・最新情報を提供して会話を支援 面識のある人物の忘れてしまった情報を提供して補助 顔認識が困難な人を補助

HMD

常に情報を提供できるような環境において有効ウェアラブルデバイスを使用

例）

目的と研究内容目的

ストリーム処理エンジンを用いた顔映像に対する補助情報提供システムの開発研究内容 システムアーキテクチャの設計 ウェアラブルデバイスを用いて利用者に情報を提供するインタフェイスの実装 システムの評価実験

システムの概要補助情報を提供することでコミュニケーションの支援をするシステム

GUIで表示（ HMD）

「 E メールは、akiyama@...です。」

音声で読み上げ（ヘッドフォン）

カメラ

「反日戦争オンラインゲーム」

利用者

対話者

ハンドキーボード

システムアーキテクチャストリーム処理エンジン

インタフェイスマネジャ

人物情報 DB

メディエータ

DBラッパー 顔認識ラッパー 鈴木　一郎筑波大学「鈴木　一郎さんがいます。所属は、筑波大学です。」

連続的問合せ

ID Snapshot

Timestamp

1 <顔画像>

06:23:11

GUI

音声

ID Name 所属 …1 鈴木　一郎 筑波大学 …

提供情報処理結果

インタフェイスマネジャの設計方針HMDの画面は狭く文字で提供できる情報が少ない 音声により補足情報を提供過去に会った人の情報を見たい 履歴の表示見たい情報のみを表示してほしい 表示項目の選択ハンドキーボードでは複雑な操作はできない 選択キーと決定キーのみで操作可能

インタフェイスマネジャの設計

ストリーム処理エンジン

人物情報DB

インタフェイスマネジャ通信モジュー

ル データ管理モジュ

ール インタフェイ

スモジュール

履歴情報

読み上げモジュー

ル 音声

Webサーバブログ情報

GUIコンポーネント表示

到着データ

到着データ

表示データ

カメラ

デモムービー

評価実験（実験方法） 被験者にはシステムを使用し補助情報を見ながら会話をしてもらう

実験前に被験者にはシステムの目的・画面の見方・操作方法を説明 被験者は北川データ工学研究室のメンバ１０人

アンケートにより被験者からのフィードバックを得る アンケートはデバイス・ GUI・音声・システム全体の各項目について５段階評価と意見を求める

５段階評価において５を最も良い評価とする

実験の様子

被験者 対話者

ウェアラブルデバイスから提供される情報で対話者と会話をする

ハンドキーボードを使って見たい情報を選ぶカメラで対話者の顔を撮影する

評価実験（結果）

評価項目 平均点 意見GUIの有用性 3.9 シンプルでわかりやすい音声有用性 3.8 情報の取得が容易

会話の妨げになるシステム全体有用性 3.9 会話をしながら話題を探せるのは面白い

情報が必要な時にだけ提供してほしい

評価項目 平均点HMDの快適さ 3.1

ヘッドフォンの快適さ 3.4ハンドキーボードの快適さ 4.1

まとめと今後の課題まとめ ストリーム処理エンジンを用いた顔映像に対する補助情報提供システムの設計 利用者に情報を提供するインタフェイスを実装 システムの評価実験今後の課題 より詳細な評価実験 評価実験の結果をもとにしたインタフェイスの改良