画像処理システム論 -...

画像処理システム論画像処理システム論Image Media SystemsImage Media Systems

加藤加藤 俊一俊一ToshiToshi KATOKATO

人間の目人間の目 vsvs 機械の目機械の目

人間の目の役割と仕組み vs機械の目の役割と仕組み

人間の目だから

経験する現象

できること （＝機械には難しいこと）

通用すること （＝だませること）

人間は何を感じているのか？人間は何を感じているのか？

「光」の「明るさ」

「光」の「色」 光の３原色

明るさの知覚明るさの知覚

Weberの法則知覚できる刺激の変化量ΔIは刺激の強さIに比例する。ΔI = k I

Weber-Fechnerの法則知覚される明るさの感覚量Eと刺激の強さIは対数に比例する。E = K log I + C

空間周波数に対する視覚特性空間周波数に対する視覚特性

空間周波数

明るさの空間的な変化の程度を表す指標

コントラスト

背景に対する刺激の変化量ΔI / I

視力

視細胞の空間的密度や時間応答特性によりコントラストを検出できる「限界」がある。（例）ランドルト環

空間周波数に対する視覚特性空間周波数に対する視覚特性

空間周波数

高い file(movie/hisf.mov)低い file(movie/losf.mov)

［実験］［実験］ 明るさに関する錯視明るさに関する錯視

テストパターンを見て回答してください。

どんな「模様」が見えますか？

明るさの知覚明るさの知覚

人間の視覚系（感覚系）にはわずかな刺激強度（明るさ）の変化を強調して知覚するための仕組みがある。（→側抑制 （詳しくは次回））

側抑制による錯視の例側抑制による錯視の例

側抑制側抑制

On-center型、off-center型光刺激の強さ・時間変化に対して隣接する領域で拮抗した現象

光刺激の空間的・時間的変化を検出エッジ強調

錯視現象マッハバンド、ハーマングリッド

側抑制（明るさに対する対比）側抑制（明るさに対する対比）

側抑制

On-center型： 正刺激（明）に対する反応

Off-center型： 負刺激（暗）に対する反応

刺激の微小変化を検出する仕組み

＋

－

－

＋

［参考］［参考］ 明るさの知覚明るさの知覚

Weberの法則知覚できる刺激の変化量ΔIは刺激の強さIに比例する。ΔI = k I

Weber-Fechnerの法則知覚される明るさの感覚量Eと刺激の強さIは対数に比例する。E = K log I + C

ランドルト環

視力検査では何を測る？

色彩の知覚色彩の知覚

桿体(杆体) 細胞

広い波長帯にわたって明るさに反応

細胞数が最も多い。

錐体細胞： Ｌ錐体、Ｍ錐体、Ｓ錐体

３つの波長域をカバー（重なり）

「光」（物理現象）と「色」（心理現象）

光の三原色

Ｒ（赤）、Ｇ（緑）、Ｂ（青）

カラーテレビ

光と波長と色光と波長と色

光と波長（物理量）

光と杆体細胞・錐体細胞光と杆体細胞・錐体細胞

明るさ：明るさ： 杆体杆体

波長：波長： 錐体錐体

光と杆体細胞・錐体細胞光と杆体細胞・錐体細胞

杆体細胞・錐体細胞の分布杆体細胞・錐体細胞の分布

光と波長と色光と波長と色

波長と３種類の錐体細胞

色彩の知覚色彩の知覚

錐体細胞の分布

中心窩→ 色彩を知覚できるのは視野の中心付近

色彩の知覚色彩の知覚

錐体細胞の分布

杆体>>Ｌ錐体>Ｍ錐体>>Ｓ錐体

［実験］［実験］ 色彩の知覚色彩の知覚

テストパターンを見て回答してください。

イラストがボケて見えるのは、どっち？

色彩の知覚色彩の知覚

明度差・色差に対する感度の違い

［実験］色彩の知覚［実験］色彩の知覚

テストパターンを見て回答してください。

赤と紫が「近い」のは？

「明るい」のはどの色？

色彩の知覚色彩の知覚

赤と紫が「近い」のは？

「明るく」感じるのは？

色彩の知覚色彩の知覚

L, M, S錐体の分布密度の違い

40:20:1 (?)

S（青）に対する感度が弱いのは？

屈折率？

水中？

色彩の知覚色彩の知覚

色差

色覚における側抑制

Ｌ－Ｍ： Ｒ（赤）とＧ（緑）の対比

Ｌ＋Ｍ－Ｓ： Ｙ（黄）と青（Ｂ）の対比

色彩の知覚色彩の知覚

明度差・色差に対する感度の違い

色彩の知覚色彩の知覚

色彩の表現方法

光の三原色

ＲＧＢ

L, M, S錐体にほぼ対応

色彩の知覚色彩の知覚

明暗対比

色対比

色彩の知覚色彩の知覚

マンセル表色系

色相(hue)彩度(chroma)明るさ(value)

色彩の知覚色彩の知覚

HSL, HSB表色系

色相(hue)彩度(satulation)明るさ(brightness, lightness)

色彩の知覚色彩の知覚

RGB表色系

光の三原色（加法混色）

CMY(K)表色系

色の三原色（減法混色）

色彩の知覚色彩の知覚

Lab表色系・YIQ表色系

明るさ L, Y赤・緑の対比 a, I黄・青の対比 b, Q

側抑制（色彩に対する対比）側抑制（色彩に対する対比）

色彩に対する側抑制

G-R+

G+

R-

Off-center

R-G+

R+

G-

B-Y

Y-B

On-center

運動視運動視

実際運動： 連続的な動きを検出

仮現運動： 離散的な刺激から動きを検出

応用例

映画、テレビ、アニメ、イルミネーション

時間周波数に対する視覚特性時間周波数に対する視覚特性

時間周波数

高い file(movie/hitf.mov)低い file(movie/lotf.mov)

空間＋時間周波数特性

空間＋時間周波数

中間 file(movie/mid.mov)

ドリフト変調

位相のシフト file(movie/drift.mov)

On/off変調

振幅の変化 file(movie/onoff.mov)

運動視運動視

自動運動：静止している物もわずかに動いて見える

眼は周期的にわずかに動いている。

誘導運動：相対的な動きから「逆方向」の動き

運動残効：動きに対する順応・期待

運動視運動視

ウルマンのシリンダー１重 file(movie/ull1.mov)２重 file(movie/ull2.mov)

仮現運動あらい file(movie/apr1.mov)細かい file(movie/apr2.mov)

運動残効中へ file(movie/vor1.mov)外へ file(movie/vor2.mov)

運動視運動視

運動＋図と地の分離

ランダムドット file(movie/rdk.mov)

立体視立体視

奥行きの知覚

筋肉： 水晶体（レンズ厚）、両眼の輻輳角

画像： 両眼視差、運動視差

画像： 陰影、テクスチャなど

ランダムドットステレオグラム

遠近法

ネッカーのキューブ

立体視立体視

両眼視差（人間）

立体視立体視

視差をつけた撮影（機械）

立体視立体視

視差をつけた画像の計算・生成（ＣＧ）

左目画像 右目画像

立体視立体視

運動視差による奥行きの知覚

奥行きと遠近感奥行きと遠近感

ポンゾの錯視

奥行き知覚は「視差」だけではない

立体視立体視

コンピュータビジョン

カメラの輻輳角

対応点マッチング

テクスチャ解析

立体視立体視

バーチャルリアリティ

両眼交互刺激

刺激の限界提示時間（上限）と解像度（密）

両眼同時刺激

解像度（粗）

バーチャルリアリティバーチャルリアリティ

両眼交互刺激

限界提示時間（上限）解像度（密）

液晶シャッター

偏光メガネ

赤青メガネ（モノクロ）

バーチャルリアリティバーチャルリアリティ

レンティキュラーレンズによる両眼同時刺激

空間解像度（粗）

バーチャルリアリティバーチャルリアリティ

「視差」

自分の体（位置・大きさ）を基準とした量→ 立体に見える＆ 対象の「絶対的な大きさ」も知覚

→ コンテンツ制作上の課題

立体視と運動視の相互作用立体視と運動視の相互作用

ローゼンバッハ現象

連続 file(movie/bot1.mov)不連続 file(movie/bot4.mov)

コンピュータビジョン

運動検出のモデル

時空間プロットによる運動速度検出

順応順応

明暗順応

色順応

[[実験実験] ] 明暗順応明暗順応

• このオジサンは、どこで、どんなことをしているでしょうか？

[[実験実験] ] 明暗順応明暗順応

• このオジサンは、どこで、どんなことをしているでしょうか？

明暗順応明暗順応

順応機構の必要性順応機構の必要性

ある定常状態では、受容できる刺激強度（ダイナミックレンジ）が限られる。

Weber-Fechner則「感度は刺激強度の

対数に比例」は、中間のレンジに対して成り立つ。

順応機構の必要性順応機構の必要性

強度に対する応答 変化に対する感度

明暗順応明暗順応

環境光（刺激強度）が急に変わると、

→暗： 暗くて何も見えない。

→明： 明るすぎて何も見えない。

ある時間が経過すると、知覚（＝コントラストの違いを検出）できるようになる。

→暗： 数分～数十分

→明： 数秒～数分

明暗順応明暗順応

感度を調整するcurve shifting

暗順応の過程暗順応の過程

暗順応の過程暗順応の過程

（補足）感度曲線のモデル（補足）感度曲線のモデル

（補足）感度曲線のモデル（補足）感度曲線のモデル

シグモイド関数

Naka-Rashotonの式

いたるところで微分可能

色順応色順応

環境光の影響に合わせて色感度を調整する仕組み。

[[実験実験] ] 色順応色順応

• 部屋の中のモノの色を当ててみよう！• 正面の壁• カーテン• 布製の椅子• テーブルクロス• 植栽の葉

[[実験実験] ] 色順応色順応

• 部屋の中のモノの色を当ててみよう！• 正面の壁• カーテン• 布製の椅子• テーブルクロス• 植栽の葉

色順応色順応

空間周波数に対する視覚特性空間周波数に対する視覚特性

空間周波数

明るさの空間的な変化の程度を表す指標

コントラスト

背景に対する刺激の変化量ΔI / I

視力

視細胞の空間的密度や時間応答特性によりコントラストを検出できる「限界」がある。（例）ランドルト環

（補足）自然界における「コントラスト一定」（補足）自然界における「コントラスト一定」

自然界＝光源（発光）＋物体（反射光）

物体の見え方

環境光 L反射率 物体σ’、背景σ：状況によらず一定→ ΔI = I’ – I = Lσ’ – Lσ = L(σ’ – σ)

環境光によらず、物体と背景のコントラストは一定。

→ ΔI / I = L(σ’ – σ) / Lσ = (σ’ – σ) / σ = const.

空間周波数に対する視覚特性空間周波数に対する視覚特性

空間周波数

高い file(movie/hisf.mov)低い file(movie/losf.mov)

生体から学ぶべきメカニズム（１）生体から学ぶべきメカニズム（１）

明暗順応：

明るさの変化に対する調節機構

側抑制：

視野の中の明暗の微小変化を局所的に検出・強調するメカニズム

色順応：

色彩の対比に対する調節機構

生体から学ぶべきメカニズム（２）生体から学ぶべきメカニズム（２）

初期視覚における特徴抽出：空間領域

局所的な明るさ・色調の対比

エッジ検出

構図

全体的な明るさ・色調

周波数領域画像・映像の複雑さ

画像・映像内の規則性

視覚系の全体像視覚系の全体像

外部世界→視覚系→知覚体験

物理的な制約と初期視覚系（ボトムアップ中心）

心理的な制約と高次視覚系（トップダウン制御が強くなる

→モデルベーストビジョン）

教科書・参考書教科書・参考書

岸野文郎、他：「画像と空間の情報処理｣（岩波、3800円）

淀川英司、他：「視聴覚の認知科学」（電子情報通信学会、2800円）

池田光男：「目は何を見ているか」（平凡社、2400円）

参考にした参考にしたwebweb資料資料

http://www.gifford.co.uk/~principia/Illusions/index.htmhttp://www.brl.ntt.co.jp/IllusionForum/basics/visual/http://www.ocular.net/jiten/jiten003.htmhttp://www.watsonkun.com/shujunsha/barrierfree.htmlhttp://bunseiri.hp.infoseek.co.jp/sikaku.htm

講義の資料講義の資料 on Webon Web

講義資料

http://www.indsys.chuo-u.ac.jp/~kato/IPS/

参考資料

http://www.indsys.chuo-u.ac.jp/~kato/HM/http://www.hm.indsys.chuo-u.ac.jp/http://www.jske.org/