平成２２年度「革新的三次元映像技術による超臨場感コミュニケーション技術の研究開発」課題エ 感性情報認知・伝達技術の開発成果について

平成 ２１年度～平成 ２３年度（３年間）

１．施策の目標

３．研究開発の概要と期待される効果

２．研究開発の背景

４．研究開発の期間及び体制ＮＩＣＴ委託研究（日本放送協会 放送技術研究所、大阪学院大学、山梨大学、東北大学） 1

音について、また音と映像などで構成されるマルチモーダル感覚情報環境において、超臨場感とはどのような感覚かを明らかにする。更に、それを踏まえ、超臨場感コミュニケーション技術を用いることで共有される臨場感や、それに伴う感動などを解明し、超臨場感の度合いを定量的に示す。

超臨場感コミュニケーション技術は、遠くはなれている人間との相互理解や感動の共有を可能とするため、「あたかもその場にいるかのような」臨場感を実現するための研究分野である。この分野の研究を進展させるためには、超臨場感を評価する技術が不可欠である。

本課題である「感性情報認知・伝達技術」は、情感や暗黙知など、五感を超越した感性をありのままに伝える技術であるが、その中でも、聴覚（音）と視覚（映像）から得られる感性情報の伝達は、超臨場感コミュニケーションにおいて重要な役割を担う。とりわけ聴覚は、コミュニケーションを行う上で最も基本的な感覚であり、音楽を想起すれば明らかなように、それのみでも極めて高い臨場感を表出でき、かつ、末梢系のモデルによって特徴量抽出手法の開発が進んでいる感覚モダリティである。従って、超臨場感の解明や評価にあたっては、まず音について検討を進め、その結果を踏まえて、最も一般性のある音と映像の組合せた条件の検討を行い、更には加速度（自己運動感覚・体性感覚）等の情報も含めたマルチモーダル感覚情報環境における検討を進めるのが有効である。

超臨場感を定量的に評価するため、以下の研究開発を行う。

① 従来の聴覚フィルタモデルよりも詳細な分析を行う、音響分析モデルの構築 ② 主観評価実験に基づく、音の特徴量と、印象との関係のモデル化 ③ 主観評価実験に基づく、音や映像の特徴量と、臨場感との関係のモデル化 ④ 超臨場感の一般理解を明らかにし、それを構成する要因とマルチモーダル感覚情報の寄与のモデル化 ⑤ 主観評価実験に基づく、音の特徴と感動との関係のモデル化 ⑥ 上記の結果を組み合わせることによる、新たな超臨場感モデルの構築、および、超臨場感客観評価法の開発このような装置を開発することにより、超臨場感コミュニケーション技術の評価を可能とし、同技術の進展に貢献する。

①超臨場感推定技術

ジ－ン

ワクワク

ドキッゾクッ

超臨場感メータ

音の特徴量抽出

音の印象推定

映像の影響

多感覚の影響

課題エ-１ 「音の特徴量抽出の高精度化の研究」の主な成果

2

課題エ-１ 音の特徴量抽出の高精度化

◆ 相関が高い

θ

r = 2.5m

広がり感

心にしみる（ジーン）

音楽聴取後の最終評価音の広がりと感動評価の関係

スピーカ位置で広がり感が変化

0.00

0.20

0.40

0.60

0.80

1.00

00:00.0 02:00.0 04:00.0

音楽聴取中の評価（実時間評価）

感動

狭い 1.0

広い 7.0

評価値

音の広がり

両耳間相互相関度

両耳間相互相関度（IACC）

00:00.0 01:00.0 02:00.0 03:00.0 04:00.0

印象の差は、時間経過とともに大きくなる

感動

音の広がり

感動を高く評価した人と感動を低く評価した人の印象の差

スピーカ位置による広がり感の違い

1-IACCの平均

スピーカの角度

5.2

5.1

4.8

3.9

60度

30度

15度

3度

音の広がり

00:00.0 02:00.0 04:00.0

4.5

4.3

3.8

3.7

0.48

0.40

0.35

0.24

平均 聴取後

広い7.0

狭い1.0 ◆ コンテンツとシステムがほぼ独立に寄与

課題エ-２ 「音の特徴量と音の印象との関係の解明」の主な成果

3

課題エ-2 音の特徴量と音の印象との関係の解明

22年度目標：音特徴量と印象の関係分析１

2. 再生チャンネル数による印象の違い

1. コンテンツによる印象の違い

3. 臨場因子得点の予測

因子名 負荷の高い項目例

安定 芯のある、ぶれのない

明瞭 はっきりした、抜けのよい

感情 明るい、楽しい

密度 さっぱりした、涼しげな

印象 斬新な、個性的な

自然 素朴な、落ち着いた

肌理 艶がある、きめの細かい

因子名 負荷の高い項目例

感動 感動した、心にしみた

移動音像が上下に動く、音像が前後に動く

評価 快い、違和感がない

奥行響きが豊かな、音響空間に奥行きがある

躍動躍動感がある、音像の空間移動が速い

空間 広い情景、音が拡散する

臨場実在感がある、自分がそこに居るようだ

主観印象因子と項目（H21）

臨場感・空間印象因子と項目（H21） 主観印象

左：2ch、右：5.1chコンテンツ

臨場感・空間印象

左：2ch、右：5.1chコンテンツ

-1.20

-0.80

-0.40

0.00

0.40

0.80

1.20

安定↓ 明瞭↓ 感情↓ 密度↑ 印象↓ 自然↑ 肌理↑

平均因子得点

朗読 詩仙堂 葵祭 女声歌唱

安定↓ 明瞭↓ 感情↓ 密度↑ 印象↓ 自然↑ 肌理↑

王の帰還 ＤＡＤ ＥＰ１ 宇宙軍

-1.20

-0.80

-0.40

0.00

0.40

0.80

1.20

感動↓ 移動↓ 評価↑ 奥行↑ 躍動↑ 空間↓ 臨場↑

平均因子得点

朗読 詩仙堂 葵祭 女声歌唱

感動↓ 移動↓ 評価↑ 奥行↑ 躍動↑ 空間↓ 臨場↑

王の帰還 ＤＡＤ ＥＰ１ 宇宙軍

同一コンテンツの再生方式による印象の違い： 主観印象（左）と臨場感・空間印象（右）

-1.20

-0.80

-0.40

0.00

0.40

0.80

1.20

安定↓ 明瞭↓ 感情↓ 密度↑ 印象↓ 自然↑ 肌理↑

平均因子得点

音の主観印象の因子

森林2ch 森林5ch ＮＹ2ch ＮＹ5ch

-1.20

-0.80

-0.40

0.00

0.40

0.80

1.20

感動↓ 移動↓ 評価↑ 奥行↑ 躍動↑ 空間↓ 臨場↑

平均因子得点

音の臨場感・空間印象の因子

森林2ch 森林5ch ＮＹ2ch ＮＹ5ch

移動得点

臨場得点

奥行得点

明瞭得点 自然得点

.228 .226

.416 .269

臨場因子得点を従属変数，他の13の因子得点を独立変数とする重回帰分析（Stepwise法） ⇒ 4変数モデル（R2=.489）

臨場得点（予測値）

臨場得点（観測値）

課題エ-３ 「音や映像の特徴量と、臨場感との関係の解明」の主な成果

4

視聴覚素材に対する臨場感の評価

素材: 電車の通過

評価実験の方法(1) 40種の素材を65型ディスプレイ，バイノーラル方式により再生

• 日 常 風 景：電車や自動車が通過する場面など

• 非日常風景：ジェットコースターや花火等のイベントなど

(2) 21名の被験者が，各素材に対して「聴覚のみ」，「視覚のみ」，「視聴覚」の3条件について「臨場感」を7段階で評価

実験結果

• 動きのある素材について評価が高い傾向• 視聴覚臨場感は，聴覚のみあるいは視覚のみの臨場感を上回ることはない

→ 【今後の予定】 音や映像の特徴量から素材の臨場感を推定する感性モデルを構築

音像フロー算出アルゴリズムの確立

背景と目的• 音像の動きは素材の臨場感評価に大きく影響• 音の再生方式によらず両耳に到達した音信号に基づき音像を知覚＝ 2チャネル信号から音像の動きベクトル（音像フロー）を算出可能

→ 両耳間相関関数 (IACC: Interaural Cross Correlation) を画像に変換することで，画像信号処理により音像フローを算出

算出アルゴリズム(1) 両耳信号を帯域通過フィルタ (BPF) により狭帯域に分割(2) 各帯域ごとに IACC を算出し，その数値を輝度に変換(3) 横軸：ラグ，縦軸：周波数の静止画を作成(4) これを短区間ごとに繰り返し，動画を構成(5) ブロックマッチング法などの画像処理によって動きベクトルを検出(6) 複数帯域のベクトルを統合して音源ごとの音像フローを算出

課題エ-４ 「超臨場感を構成する要因とマルチモーダル感覚情報の寄与の研究」の主な成果

5

Webベースのアンケートシステムの構築・分析：http://www.ais.riec.tohoku.ac.jp/~kazu/cgi-bin/ank/Presence_questionnaire.cgi

• 超臨場感を構成する感覚情報の高精度提示可能な実験システム構築

– 視聴覚・触覚等，アンケート調査を元に使用する感覚情報を検討・決定

• 超臨場感と関連する刺激の物理パラメータの選定を開始

最終目標：超臨場感メーターの構築に向けた，マルチモーダル情報提示シス

テムの具備すべき要件の洗い出し

「超臨場感」と「臨場感」の違い （坂本ら，2010）

• 「超」の持つ多義性

– 臨場感を「超える」 もの

– 臨場感とは「まったく違う」概念を表すもの

• 「臨場感」に比べ語自体の認知が不足

– 「超臨場感」を説明するには定義の明確化が必要に

22年度目標

• アンケート調査結果をもとに提示すべき感覚情報を選定

– 「臨場感の理解」調査（寺本ら，2010）をもとに，「臨場感」に寄与の大きい視聴覚情報を主として使用

• 「臨場感」と異なる感覚・感性情報として「超」臨場感を考え，操作パラメータを検討

– 過去の「臨場感」の調査を元に選定されたパラメータ• 再現される視聴覚情報の空間的な広がり

– コンテンツを提示するためのシステムが具備すべき要件として考え得るパラメータ

• システムで再生可能な周波数帯域

• 視聴覚情報で提示される空間情報の不整合

• 提示される視聴覚情報の同期

「超臨場感」の知覚メカニズム解明のための実験システムの構築

候補として考え得る他の物理パラメータの洗い出しを進めると共に，それらと「超臨場感」をはじめとする感性指標との関連を，定量

的な分析を用いて明らかにしていく．

課題エ-５ 「音の印象と感動その関係解明」の主な成果

6

音に関する空間的な印象を表わす言葉

1

3

5

7

1

3

5

7

1

3

5

7

1

3

5

7

臨場感がない－ある

0.6 2.4 9.676 70 64

(m)(dB)

録音位置（演奏者からの距離）と臨場感の関係

2.476 70 64

(m)(dB)

0.6 2.4 9.670

(m)(dB)

0.6 2.4 9.670

(m)(dB)

MonoStereo

変化 再生音圧レベル一定

収音位置固定収音位置変化

変化

臨場感がある音 ⇒ 迫力がある，目の前に 臨場感が高まる条件■ 音圧レベルが大きい■ 空間的印象の付与

臨場感と相関が高い音の印象

迫力のある、質感がある、存在感のある、立体的な、響きがかな、・・・・

国語辞典より印象語の抽出（5名）

抽出された言葉：4498語 （3名の共通語 336語）

空間（872語）広い，奥行き，低い，響く，…動き（3274語）速い，集まる，弾む，…形状（1123語）丸い，大きい，鋭い，歪む…

濃淡（853語）はっきり，深い，鮮やか，…位置（146語）近い，均等，中央，包む，…音の特徴（119語）はっきり，暗い，調和，自然な，

臨場感の要因

感動を促進する音の印象

感動の分類を従属変数，音や音楽の印象（６因子）を独立変数とする重回帰分析

ジーンとする感動

-.32.01 -.20

臨場感・迫力自然な・心地よい 明るい・楽しい

-.85-1.33 .07

崇高・おごそかな耳障・ものたりない 覚えやすい

ワクワク・ゾクッとする感動

.64-.36 -.54

-.22-.86 .21

１．これまで得られた研究成果（特許出願や論文発表等）

１.産学官連携のための超臨場感コミュニケーションフォーラム 音響分科会にて

委託研究に関するセッションを提案し、その席で受託研究内容を報告

２.日本音響学会にてスペシャルセッション「臨場感の知覚と評価」を提案し、研究発表を実施

国内出願 外国出願 研究論文 その他研究発表 報道発表 展示会 標準化提案

革新的三次元映像技術による超臨場感コ

ミュニケーション技術の研究開発 課題エ 感性情報認知・伝達技術

２ １９ １

7

（1）表彰・受賞なし

（2）研究成果発表会等の開催について

３.電子情報通信学会にてシンポジウムセッション「聴覚的コミュニケーションにおけるユーザ体験としての臨場感／超臨場感」を提案し、研究発表を実施