第 19 回日本バーチャルリアリティ学会大会論文集(2014 年 9 月)

Interactive Instant Replay:

身体運動にカップリングされた映像と触覚提示による

スポーツ体験共有システム

Interactive Instant Replay:Sharing Sports Experience using Visual and Haptic Sensation based on the Coupled Body Motion

水品友佑1), フェルナンド チャリス1), 南澤孝太1), 舘暲1)

Yusuke MIZUSHINA, Charith Lasantha FERNANDO, Kouta MINAMIZAWA, Susumu TACHI

1) 慶應義塾大学大学院メディアデザイン研究科

(〒223-8526 神奈川県横浜市港北区日吉 4-1-1, {mizushina, charith, kouta, tachi}@kmd.keio.ac.jp)

概要: 触覚提示を用いた体験を伝送する技術は多く研究されているものの，それらを記録しておき後

に再生することで追体験できるまでには至っていない．そこで本稿では，記録した視覚，触覚情報

を身体運動にカップリングさせて提示することにより，スポーツ選手の体験をユーザが追体験し，

共有することのできるシステム Interactive Instant Replay を提案する．

キーワード: スポーツ観戦，触覚のスローモーション再生，Augmented Sports

1. はじめに

近年，触覚提示を用いた体験を伝送する技術が多く研究

されている．テレイグジスタンスロボットの TERESAR V[1]では，ユーザの上半身の動きと遠隔地のアバターロボ

ットの動きが同期しているため，ユーザが自在にアバター

ロボットを制御することができ，同時にアバターロボット

が取得した視覚，聴覚，触覚の情報をユーザにフィードバ

ックすることで，まるでユーザがあたかもアバターロボッ

トに入り込んで遠隔地にいるような臨場感の高い体験を

得ることができる．この際，圧覚，振動覚，温冷覚といっ

た触覚情報を伝送しており，ユーザは布のさわり心地の違

いなどの細かい触感を感じることができる．また，

Yamauchi らは硬軟感，摩擦感，粗さ感といった触感を，

インターネット回線を利用して伝送可能なシステムを開

発している[2]．これらのシステムは，マスタースレーブ

システムによりユーザの動きに応じた触覚情報をリアル

タイムに伝送することは可能であるが，それらを記録して

おき追体験できるまでには至っていない．一方，嵯峨らは

熟練者の作業を記録し，それを力覚提示装置で動的に再生

する HapticVideo を提案している[3]．このとき環境情報を

インピーダンス情報に変換し，ユーザの作業に同期した視

覚情報も提示することで，熟練者作業の記録と再生を実現

している．この事例から記録しておいた視覚，触覚情報で

あってもユーザの身体運動にカップリングさせて提示す

ることにより，記録した対象の体験を追体験することがで

きると考えられる．そこで本稿では，記録した視覚，触覚

情報を身体運動にカップリングさせて提示することによ

り，ここでは特にスポーツ選手の体験をユーザが追体験し

共有することのできるシステム Interactive Instant Replay を提案する．

2. Interactive Instant Replayテレビでのスポーツ中継では，リプレイシーンなどでた

びたびスローモーション映像が用いられる．スローモーシ

ョンのリプレイ映像では，通常では見ることのできない選

手の一瞬の動きを，より迫力のある映像として視聴するこ

とができる．Interactive Instant Replay では，選手のプレー

映像をユーザが自身の動きに合わせて再生させることで

インタラクティブに再生速度を変化させることができ，さ

らに同時に触覚もスローモーションで提示される．触覚の

スローモーション提示手法は橋本ら[4]により報告されて

おり，本システムでもこの手法を利用する．触覚情報を振

図 1 Interactive Instant Replay

298

This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.

動として取得し，時間軸方向に引き延ばすことで，スロー

モーション触覚を生成する．

3. システムの実装

今回はバドミントン競技を対象にシステムを構築した．

ユーザはラケットを振ることで，選手のバドミントンのシ

ャトルを打つ体験を追体験することができる（図 1）．以

下で触覚デバイスの実装，映像と触覚の提示手法について

説明する．TECHTILEtoolkit[5]では，触覚情報を音響信号

とすることで，従来と比べ簡易に触覚を扱うことを提案し

ている．この手法を利用し，シャトルを打った際の触覚を

取得，提示するラケットをそれぞれ作成した．ラケットの

フレーム部分は実際のラケットを分解し使用している．グ

リップ部分はデバイスを埋め込むため，木材を加工して成

形した．取得用ラケットには振動センサとして Primo 社製

の MX-E4758 を使用した．MX-E4758 は数 Hz の低周波領

域に周波数特性を持ち，触覚に関与する周波数領域の振動

を取得可能な小型の振動センサである．また提示用ラケッ

トには振動のアクチュエータとして TachtileLabs 社製の

HaputuatorMark2 を使用した．HaputuatorMark2 は振動触覚

提示を目的に作られたデバイスで，小型ながら強力な振動

を提示することができる．両ラケットのグリップの底には，

モノラルのミニジャックがついており，モノラルのミニプ

ラグケーブルをつなげることで，中に埋め込まれたデバイ

スに接続することができる．提示する映像は，動きに合わ

せてスローモーション再生されるためフレーム数の多い

動画が必要である．そのため VisionReaserch 社製のハイス

ピードカメラを用いて 8000fps で撮影を行った．本システ

ムではユーザの身体運動の情報としてラケットのモーシ

ョンデータを取得した．モーションデータの取得には

NaturalPoint 社製の Optirack Trio 用いた．映像提示は，映

像のフレーム番号とラケットの位置を 1対 1対応させるこ

とで，身体運動とカップリングさせた．触覚提示は，モー

ションデータのデータから衝突の瞬間のラケットの速度

を求め，その速度と触覚を記録した時の映像の中のラケッ

トの速度との比で，触覚の再生速度を定める．

4. 実証

本システムは，Eurohaptics2014 においてデモンストレー

ション展示を行った．展示では，ラケットを振る速度を変

えながら何度も繰り返し体験を楽しいでいる様子が観察

された．また，ラケットをゆっくり動かしたときに感じる

ことのできる触感を，アニメや漫画の表現のように誇張さ

れて感じられたという意見があった．これらの意見を踏ま

え，今後は触覚のインタラクティブなスローモーション提

示による効果の検討を進める．また，他のスポーツ種目へ

の応用にも取り組んでいく．

5. まとめ

本稿では，スポーツ選手の体験をユーザが追体験し共有

できることを目的に，記録した視覚情報と触覚情報を身体

運動にカップリングさせ提示する Interactive Instant Replayシステムの提案，実装を行った．今後は，触覚のインタラ

クティブなスローモーション提示による効果の検討に取

り組んでいく．

謝辞 本研究は JST-CREST「さわれる情報環境」プロジ

ェクトの一環として行われた．

参考文献

[1] Fernando, C., Furukawa, M., Kurogi, T., Hirota, K., Kamuro, S., Sato, K., Minamizawa, K. and Tachi., S: TELESAR V: TELExistence Surrogate Anthropomorphic Robot, ACM SIGGRAPH 2012, Emerging Technologies, Los Angeles, USA (2012.8)

[2] Yamauchi, T., Okamoto, S., Konyo, M., Hidaka, Y., Maeno, T., and Tadokoro, S: Real-time remote transmission of multiple tactile properties through master-slave robot system. In Proceeding of IEEE ICRA 2010, pp. 1753-1760,Anchorage, USA (2010.5)

[3] Saga, S., Vlack, K., Kajimoto, H. and Tachi, S: Haptic Video, ACM SIGGRAPH 2005, Emerging Technologies,Los Angeles, USA (2005.8)

[4] 橋本悠希, 梶本裕之: 触覚のスローモーション再生に

おける知覚特性, 第 14回日本バーチャルリアリティ学

会大会, 3A1-2, 東京(2009.9)[5] Minamizawa, K., Kakehi, Y., Nakatani, M., Mihara, S. and

Tachi, S: TECHTILE toolkit - A prototyping tool for design and education of haptic media, Laval Virtual VRIC 2012, Laval, France(2012.3)

図 2 触覚デバイス(左)，システム外観（右）

図 3 体験の様子

299