1

ヒューマンメディア工学ヒューマンメディア工学Human Media EngineeringHuman Media Engineering

感性の工学的なモデル化感性の工学的なモデル化生理・心理・認知レベルの感性生理・心理・認知レベルの感性情報サービスへの応用情報サービスへの応用

加藤　俊一加藤　俊一Toshi KATOToshi KATO

［復習］［復習］

感性の工学的なモデル化

情報サービスへの利用

認知レベル

心理レベル

生理レベル

物理レベル視 聴 触 味 匂 視 聴 触画像 肌触 味 香 絵図

表情 動作

力

生理的 レベル

心理的

レベル

「のんびり」「躍動感」

「若々しい」 「さわやか」

「ソフト」is_sim ilar_ to

is_o pposite _to

is_ equa l_to

is_sim ilar_to

認知的 レベル

＜知覚感性＞ ＜創出感性＞

＜セルフフィードバック＞

音声

音 音楽

音声

音 音楽

物理化学的

レベル

感性の工学的なモデル化感性の工学的なモデル化

物理的レベル

視 聴 触 味 匂 視 聴 触

画像 肌触 味 香 絵図

表情

動作

力

生理的

レベル

音声

音

音楽

音声

音

音楽

物理化学的

レベル

Ａ

物理的なレベルでの感性

パターンの照合

二つのパターン　あるいは目の前のパターンと記憶しているパターンの特徴を照合（＝重ね合わせ）して「同じ」かどうかを判断。

どんな特徴に注目するかが明らかあるいは　明示的に指示されている。

感性の工学的なモデル化感性の工学的なモデル化

生理的レベル

視 聴 触 味 匂 視 聴 触

画像 肌触 味 香 絵図

表情

動作

力

生理的

レベル

音声

音

音楽

音声

音

音楽

物理化学的

レベル

2

生理的なレベルでの感性

初期視覚での特徴抽出

人間の目には、明るさ・色傾き模様（繰り返しの規則性）　などの特徴を抽出する神経回路がある。

ほぼ類似のパターン→ほぼ類似の神経の興奮・伝達

感性の工学的なモデル化感性の工学的なモデル化

心理的レベル

生理的

レベル

心理的

レベル

心理的レベルでの感性シミュレーション心理的レベルでの感性シミュレーション

ハードウェアとしての目：　共通構造

→　分類の個人差→　主観的な類似度：　個人毎

着眼点・注目点の重み付けが違う

画像特徴空間：　共通的

→　主観特徴空間（ＳＦ空間）：　個人毎

感性の工学的なモデル化感性の工学的なモデル化

心理的

レベル

「のんびり」「躍動感」

「若々しい」 「さわやか」

「ソフト」is_sim ilar_to

is_opposite_to

is_equal_to

is_sim ilar_to

認知的

レベル

＜知覚感性＞ ＜創出感性＞

［考察１］認知的なレベルでの感性［考察１］認知的なレベルでの感性

自分が絵画を見て述べた「印象」

自分が隣の人と同じ解釈をしたのはなぜか？（どんな特徴に重きを置いた？　それは隣の人と同じだったか？）

自分が隣の人と違う解釈をしたのはなぜか？（どんな特徴に重きを置いた？　隣の人はどうしていたか？）

3

［考察２］イメージの違い［考察２］イメージの違い

モネのそれぞれの絵から受ける印象は？

同じオブジェクト

同じアングル

同じ構図

「違い｣を生む原因は？

a1

a5

a4a3

a2b1

b8b7b6b5

b4b3b2

認知的なレベルでの感性認知的なレベルでの感性

個人差の大きい視覚的な特徴抽出（注目する特徴と言語表現での個人差）

認知的レベルでの感性シミュレーション認知的レベルでの感性シミュレーション

認知的な表現：主観的クラス分け×主観的ラベル付け

画像＊画像

言葉＊言葉

画像＊言葉

画像特徴量とイメージ語表現の相関：統合特徴空間（ＵＦ空間）

4

［考察３］［考察３］認知的レベルでの感性シミュレーション認知的レベルでの感性シミュレーション

あるデータ（変量）とあるデータ（変量）の対応関係を発見して、その関係に従って、計算機が判断する。

２変量間の対応関係を発見するデータ解析の手法は？

単回帰

２変量以上の間（１変量＋２変量以上）の対応関係を発見するデータ解析の手法は？

重回帰

単回帰・重回帰の仕組みを説明してみよう！

統合特徴空間の構成法統合特徴空間の構成法

学習用サンプルに対する教示学習

サンプル画像

画像的な特徴の数量化

主観的な解釈(イメージ語)の教示

ドメインの異なる変量の相関分析→　正準相関分析

… , pj, …

利用者 学習用絵画

印象語空間 画像特徴空間

統合特徴空間

印象語空間 画像特徴空間

主観特徴空間上での ポインティング 漠然としたイメージ 例示画 絵画データベース

（統合特徴空間）

ai, aj, ak pi, pj, pk

（画像主成分空間）主観特徴空間

（印象語主成分空間）

主観特徴空間（縮退）

…, ri, …

p0

r0

…, ci, …

a0

c0

Λ

r0 = Λ F T a0

GT

r0 = Λ F T H −1/2 b0

F T

F T H −1/2

r0 = GTp0

BT F T = F T H −1/2 BT

b0

G T = G T M −1/2 Q T Q T

［ビデオ資料］［ビデオ資料］絵画の感性検索絵画の感性検索（電子美術館）（電子美術館）

絵画の構図・色彩特徴量のモデルと絵画の構図・色彩特徴量のモデルとイメージ語表現の教示学習イメージ語表現の教示学習

イメージ語表現の違い（男女）イメージ語表現の違い（男女）

5

［宿題］［宿題］絵画の感性検索絵画の感性検索 （例：ナチュラル、さわやか）（例：ナチュラル、さわやか）

http://www2.hm.indsys.chuo-u.ac.jp/ArtMuseum/

景観写真の感性検索

構図の特徴を生かしたモデル化

明暗・色　　　　方向　　　　　位置

景観写真の感性検索 ３次元物体の感性的な表現３次元物体の感性的な表現

形状

質感：　色彩・表面反射・透過など（例）革、木、プラステック、金属、ガラス、石

質感に対する感性モデルの可視化質感に対する感性モデルの可視化

A:甘いB:カジュアルなC:シックなD:クリアなE:クールなF:ダンディなG:ダイナミックなH:エスニックなI:フォーマルなJ:ゴージャスなK:激しいL:ハードなM:ほがらかなN:地味な

感性シミュレーションの課題感性シミュレーションの課題

感性モデルの可搬性感性モデルの再利用：　異なったカテゴリー

感性モデルを用いた逆推定イメージ語→候補画像

例示画像→イメージ語の推定

感性モデルの段階的構築感性の経時変化

心理的負担の軽減→モデル構築の自動化

6

感性モデルの可搬性感性モデルの可搬性

街路景観で学習→室内景観にも適用（例）あたたかい＆柔らかい

感性モデルを用いた逆推定感性モデルを用いた逆推定

感性モデルの段階的構築感性モデルの段階的構築

プロファイルの利用　個人＆平均

追加学習

Images on the Web

Images Indexer

Web Crowler

Search Engine

Images DatabaseSearch Interface

Web Browser

DIME

K-DIME

Kansei Model

Kansei Model

Kansei Model Local

Cache

MIKE

感性エージェント技術感性エージェント技術サーチエンジンとの統合サーチエンジンとの統合

感性エージェント技術感性エージェント技術サーチエンジンとの統合サーチエンジンとの統合 ((““HawaiiHawaii”” + + ““FreshFresh””))

（比較） “Hawaii”

7

創出への応用創出への応用

生理的

レベル

心理的

レベル

認知的

レベル

物理化学

レベル

視 聴 触絵図

表情

動作

力

」

「ソフト」

is_sim ilar_to

＜創出感性＞

音声

音

音楽

感性の創出感性の創出

感性コーディネーション

組合せ問題を伴った感性検索・創出

カラーコーディネータ（実験システム）

コーディネート事例の色彩類似配色検索

コーディネート事例の組合せによる配色生成

コーディネート事例からのルールの発見→　 （限定的）ルールの利用による配色生成

事例に基づくカラーコーディネート事例に基づくカラーコーディネート ［宿題１］感性検索［宿題１］感性検索((認知レベル認知レベル))の利用実験の利用実験

感性検索システムを利用して、どの程度の類似画が検索されるか、検証・批評してみよう。

電子美術館 ART MUSEUMhttp://www2.hm.indsys.chuo-u.ac.jp/ArtMuseum/

初めの内は、平均のモデルで（追加学習なし）

次に、自分のモデルにチューニング（追加学習）

8

［宿題２］データ解析の復習

次のデータ解析の手法についてその原理分析方法利点・欠点など　を説明しなさい。

単回帰

重回帰

［［宿題］宿題］

提出物のスペック

レポート本文　３枚以内（両面印刷可）

表題・章立て・見出し・パラグラフ・表現

説明の図表

説明上必要な検索例など

Ａ４版・左上綴じ・紙版で

提出期限

次回の講義（５月２９日）の冒頭

本日の参考書本日の参考書

長尾、安西、橋本「マルチメディア情報学の基礎」〔岩波〕

第１章　人間と情報

第２章　マルチメディアシステムの形成

第４章　マルチメディアと感性情報処理

（財）イメージ情報科学研究所「ヒューマンメディアの調査研究報告書」〔→非売品、加藤のところにあります〕

9

［講義資料］［講義資料］

本年度の資料http://www.indsys.chuo-u.ac.jp/~kato/HM05/昨年度までの資料http://www.indsys.chuo-u.ac.jp/~kato/HM04/ http://www.indsys.chuo-u.ac.jp/~kato/HM03/http://www.indsys.chuo-u.ac.jp/~kato/HM02/http://www.indsys.chuo-u.ac.jp/~kato/HM01/http://www.indsys.chuo-u.ac.jp/~kato/HM00/など

今年から､みなさんのレポートもアップ・公開しようかと考えています｡｡｡