SSII2014 チュートリアル資料

東京工業大学田中正行

見えない画像を見るための2 次元画像再構成　

～画像を知る・学ぶ・作る～

ＳＳＩＩ２０１４ チュートリアル2014 年 6 月 11 日

概要

１．知る－自然画像の性質，ノイズの性質

２．作る－ 2 次元画像再構成， 2 次元画像補間

３．学ぶ－学習に基づく 2 次元画像処理

2

ノイズ

信号

撮影モデル（劣化モデル）

3

原画像 レンズ センサ 回路 メモリ

ぶれ・ぼけ 離散化 ノイズ

原画像は２次元のグレイ画像とし，圧縮ひずみは考えない．

𝒚=𝑨𝒙+𝒏

結局， 2 次元画像処理でやりたいこと！

4

原画像

ぼけ画像離散画像

ノイズ画像

デノイズ

ぶれ復元

超解像

𝒚=𝑨𝒙+𝒏

共通の定式化

5

mmm nxDFy nAxy

超解像

ぶれ復元

デノイジング

劣化モデル（生成モデル）

nBxy nAxy

nxy nAxy

劣化モデル（生成モデル）

劣化モデル（生成モデル）

共通の定式化可能

𝒚=𝑨𝒙+𝒏劣化画像 y から，原画像 x を復元する処理

概要

１．知る－自然画像の性質，ノイズの性質（１）自然画像の事前確率（２）ノイズ推定

２．作る－ 2 次元画像再構成， 2 次元画像補間３．学ぶ－学習に基づく 2 次元画像処理

6

ノイズ

信号

拘束付き最小二乗法

7

𝒚=𝑨𝒙+𝒏

2

2

2

2HxAxy I

拘束付き最小二乗法

y: 観測画像x: 真の画像A: 劣化モデルn: ノイズH: ハイパスフィルタ

尤度 自然画像の事前確率

事後確率最大化（ MAP 法）

観測から

観測以外から

事後確率最大化と拘束付き最小二乗法

8

2

2

2

2

2

22

2

22

11'

HxAxy

HxAxy

I

I

)()|()|( xxyyx ppp 事後確率（ベイズの定理）

尤度事後確率

2

2

2

2exp)|(

Axy

xyp

2

2

2

2exp)(

Hx

xp

事前確率

尤度（ノイズモデル）：ガウスノイズを仮定

（自然画像の）事前確率：滑らかな画像を仮定

事後確率の対数に－１をかけて

拘束付き最小二乗法

事前確率の重要性

9

例えば， Haar ウェーブレットの低周波成分に相当

nAxy 2

2)( Axyx I

式の数（行列Ａの行数）が未知数の数（行列Ａの列数）より少ない．

問題 : 問題に対応する最小二乗コスト :

システム行列 A

原画像 x

観測画像 y

観測画像 y

• 実際の過程 • 可能な解

Haar ウェーブレットの高周波成分は，不定．唯一解を得るためには，付加的な情報（事前確率）が必要．

自然画像の事前確率が重要

より正確には行列 A の条件数を評価する必要がある

2

2

2

2HxAxy I

自然画像の事前確率（拘束項）

自然画像とは

10

自然画像：近年の人間が自然と目にする画像

自然画像以外

自然画像の事前確率とは

11

自然画像の分布（ Possible ）

数学的に可能性のある画像の分布(Probable)

8x8 の画像であれば，64 次元空間に広がる

自然画像は 64 次元よりもはるかに小さな次元の空間にのみ分布している

この小さな次元の分布が自然画像の事前確率分布

代表例：滑らかさ拘束

画像空間分布の模式図

画像空間分布の模式図

MAP 法（事前確率）に基づく再構成処理

12

Roth & Black （ CVPR 2005 ）， Weiss & Freeman （ CVPR 2007 ）

古典的な事前確率モデルRother (SIGGRAPH 2004), Fergus (SIGGRAPH 2006)

パッチに基づく事前確率モデル

適応的な事前確率モデル

Expected Patch Log Likelihood (EPLL)

Tanaka & Okutomi （ CVPR 2008 ）， Cho & Freeman （ CVPR 2010 ）

Zoran & Weiss （ ICCV 2011 ）●http://people.csail.mit.edu/danielzoran/

ノイズモデルと推定方法

14

劣化モデル：一画素のノイズに着目

１．独立なガウスノイズ

２．ポアソン・ガウスノイズ

３．一般化ガウスノイズ

𝑦=𝑥+𝑛 ,𝑛 𝑁 (0 ,𝜎 2)

𝑦=𝛼𝜌 (𝑥 )+𝑛 ,𝑛 𝑁 (0 ,𝜎2)

𝑦=𝑥+𝑛 ,𝑛 𝑁 ( 0 ,𝜎 2 (𝑥 ) ) ,𝜎2 (𝑥 )=𝜎𝑢2 𝑥𝛾+𝜎𝑤

2

: ガウス分布: ポアソン分布

Liu et al, TIP 2013●http://www.ok.ctrl.titech.ac.jp/res/NLE/AWGNestimation.html

Foi et al, TIP 2008●http://www.cs.tut.fi/~foi/sensornoise.html

Liu et al, ICIP 2013●http://www.ok.ctrl.titech.ac.jp/res/NLE/sd_nlevel.html

PCA に基づくノイズレベル推定

自然画像– 最小固有値はゼロに近い

ガウスノイズ– 固有値は一定値

15

ゼロと見なせる

Natural image Image patches

PCA

1 2 3 4 5 6 7 8

Eig

enva

lue

Principle component

一定値（ノイズの分散）

Image patches

PCA

Gaussian noise 1 2 3 4 5 6 7 8

Eig

enva

lue

Principle component

1 2 3 4 5 6 7 8

Natrual imageGaussian noise

Image patches

PCA

Noisy image

ノイズの分散

Principle component

Eig

en

va

lue ノイズ画像

ノイズ

信号

PCA に基づくノイズレベル推定結果 テクスチャがあまりない画像

テクスチャがリッチな画像

16

plane

mountain

テクスチャが少なければ良い結果

テクスチャがリッチだと精度は低い

1 2 3 4 5 6 7 8

Natrual imageGaussian noise

ほぼゼロ

1 2 3 4 5 6 7 8

Natrual imageGaussian noise

ゼロより大きい

Noise level estimation result

Noise level estimation result

ノイズレベル推定結果 (BSD dataset)

17

True Zoran et. al.[9] Tai et. al[25] Proposed method

Average Std.dev RMSE Average Std.dev RMSE Average Std.dev RMSE

1 2.129 1.662 1.986 2.059 1.574 1.890 1.512 0.986 1.105

5 4.993 1.464 1.455 5.761 1.083 1.320 5.285 0.429 0.507

10 9.741 1.589 1.602 10.635 0.825 1.038 10.282 0.389 0.470

15 14.643 1.606 1.637 15.553 0.677 0.871 15.254 0.336 0.395

20 19.582 1.645 1.689 20.482 0.613 0.778 20.127 0.308 0.327

25 24.464 1.649 1.725 25.458 0.549 0.713 25.057 0.384 0.386

デモ

Liu et al, TIP 2013●http://www.ok.ctrl.titech.ac.jp/res/NLE/AWGNestimation.html

テクスチャレスパッチ抽出を工夫

概要

１．知る－自然画像の性質，ノイズの性質２．作る－ 2 次元画像再構成， 2 次元画像補間

（１）データを増やす（２）構造を抽出する（仲間を見つ

ける）（３）ガイドを利用する（助けを借

りる）

３．学ぶ－学習に基づく 2 次元画像処理

18

ノイズ

信号

データを増やす

19

輝度方向にデータを増やす（平均する）

デノイズ（画像フィルタ）

空間方向にデータを増やす

マルチフレーム超解像

時間方向にデータを増やす

高フレームレイト化

20

なぜ高解像度画像が得られるのか？

1 次元信号の場合 2 次元画像の場合

測定器

測定器信号源

時刻

時刻

時刻

同期

時間解像度が 2倍

観測画像

画像間の位置関係既知

（単純）拡大画像 高解像度画像

空間解像度が 2×2倍

半画素ずつ移動

21

複数枚の画像からの超解像処理例

観測画像(150x30)

超解像画像(600x120)

観測画像(150x30)

超解像画像(600x120)

22

デモンストレーションソフトウェア例

輝度方向にデータを増やす（平均する）効果

23

M個の観測データを平均すると，平均値のノイズ分散は 1/M になる

𝑉 [ 1𝑀∑

𝑖

𝑀

𝑦 𝑖 ]= 1𝑀

𝑉 [𝑦 𝑖]

静止シーンを固定カメラで複数枚撮影

画像一枚だけの場合は空間的なフィルタ処理

フィルタ

真値の等しい画素を平均する

ガウシアンフィルタ

24

真値の等しい画素を平均する

空間的に近傍の画素の真値は等しいと仮定

ガウシアンフィルタ

位置 u

画素値 y空間的重み

jjis

jjjis

i G

yGx

)(

)(ˆ

uu

uu

エッジ付近でぼける

ui,uj: 画素位置yj: 画素値G: ガウス関数

バイラテラルフィルタ

jjirjis

jjjirjis

bii yyGG

yyyGGx

)()(

)()(ˆ

uu

uu

空間的な距離に基づく重み

画素値の差に基づく重み

位置 u

画素値 y

25

Tomasi, ICCV 1998

空間的重み

画素値重み

画素値重み

重み小

重み大

エッジを保存した平滑化フィルタ

真値の等しい画素を平均する

空間的かつ輝度的に近傍の画素の真値は等しいと仮定

バイラテラルフィルタ

ノンローカルミーンフィルタ

26

Buades 　 CVPR 2005

画像

注目パッチ 類似度

計算

位置 u

画素 y注目パッチ

類似度小→重み小

類似度大→重み大

空間方向の重みは利用しない（利用してもよい．）

真値の等しい画素を平均する

構造（パッチ）が似ている画素の真値は等しいと仮定

ノンローカルフィルタ

jjip

jj

Tjip

nli G

G

x)(

)(

ˆyy

ycyy

処理例

27

入力画像 バイラテラルフィルタ ノンローカルミーンフィルタ

バイラテラルフィルタノンローカルミーンフィルタ

Paris et al, A Gentle Introduction to Bilateral Filtering and its Applications●http://people.csail.mit.edu/sparis/siggraph07_course/

Buades et al, Non-Local Means Denoising●http://www.ipol.im/pub/art/2011/bcm_nlm/

概要

１．知る－自然画像の性質，ノイズの性質２．作る－ 2 次元画像再構成， 2 次元画像補間

（１）データを増やす（２）構造を抽出する（仲間を見つ

ける）（３）ガイドを利用する（助けを借

りる）

３．学ぶ－学習に基づく 2 次元画像処理

28

ノイズ

信号

高性能デノイジング

29

BM3D (Block-matching and 3D) filter, Dabov et al, Image denoising by sparse 3d transform-domain collaborative filtering, TIP2007

●http://www.cs.tut.fi/~foi/GCF-BM3D/

LSSC (learned simultaneous sparse coding)Mairal et al, Non-local sparse models for image restoration, ICCV2009

PLOW 　（ Patch-based Locally Optimal Wiener Filtering for Image Denoising ）Priyam et al, Patch-based Near-Optimal Image Denoising, TIP 2012

●http://users.soe.ucsc.edu/~priyam/PLOW/

パッチベース・ノンローカルアプローチ

Zontak et al, Separating Signal from Noise using Patch Recurrence Across Scales, CVPR 2013 http://www.wisdom.weizmann.ac.il/~vision/MultiScaleDenoising.html

パッチベースデノイジング手法 パッチベース手法

– 高性能な手法として注目されている。– 小さな四角形の領域を処理単位とする。

1. ノイズを含んだ画像からのパッチ生成

3. デノイジングされたパッチからの画像再構成

2. パッチごとの　　　デノイジング

データベースに基づく手法自然画像データベースの

情報を利用する。

ローカル手法近傍のパッチの情報を

利用する。

ノンローカル手法類似したパッチの情報を

利用する。

3種類

30

ノンローカルアプローチ ノンローカルアプローチとは

– 自然画像の自己相似性に着目し、画像中に含まれる類似パッチの情報を利用してデノイジングを行う。

1st step : CollaborativeHard-thresholding

周波数領域

例： BM3D Filter 繰り返し処理（ウィナーフィルタ）

31

類似パッチを集めることの意味

32

ノイズ

信号

自然画像全体をモデル化するのは困難ノイズ分布は変化しない

類似パッチを集める

信号とノイズの分離を容易にする

画像全体 類似パッチのみ

概要

１．知る－自然画像の性質，ノイズの性質２．作る－ 2 次元画像再構成， 2 次元画像補間

（１）データを増やす（２）構造を抽出する（仲間を見つ

ける）（３）ガイドを利用する（助けを借

りる）

３．学ぶ－学習に基づく 2 次元画像処理

33

ノイズ

信号

ガイドを利用する（助けを借りる）

34

ジョイントバイラテラルフィルタ

ガイデットフィルタ

ガイド画像の例：RGB-NIR ：　　 NIR をガイド画像　　として RGB 画像をデノイズRGB-D ：　　 RGB をガイド画像　　として D 画像をデノイズ

ノイズ

信号

ガイド画像 目的画像

ガイド画像を利用して，信号とノイズを分離

Kopf et al, Joint bilateral upsampling, SIGGRAPH 2007 実装例：　　　● http://nma.web.nitech.ac.jp/fukushima/research/weightedjointbilateralfilter.html　　　● http://www.mathworks.com/matlabcentral/fileexchange/27468-joint-bilateral-filter

He et al, Guided Image Filtering, ECCV2012, PAMI2013　　　● http://research.microsoft.com/en-us/um/people/kahe/eccv10/

ジョイントバイラテラルフィルタ

35位置 u

画素値 y

空間的重み

画素値重み

画素値重み 重み小

重み大

位置 u

ガイド画像ｚ

注目画素

jjirjis

jjjirjis

i zzGG

yzzGGx

)()(

)()(ˆ

uu

uu

空間的な距離に基づく重み

ガイド画像の画素値の差に基づく重み

jjirjis

jjjirjis

bii yyGG

yyyGGx

)()(

)()(ˆ

uu

uu

参考：バイラテラルフィルタ

ガイデットフィルタ

36

Guide patch I

Input patch p

Linear transformation

baIk

Nk

kkbaapbaI 22

),()(min

N: Sampled pixelsε: Smoothness parameter

残差項 滑らかさ項残差項：小

滑らかさ項：大

入力画像をガイド画像に使える！

残差項：大滑らかさ項：小残差高速処理

エッジ保存

●http://research.microsoft.com/en-us/um/people/kahe/eccv10/

出力画像

出力画像

ε ：小

ε ：大

ガイドを利用した補間（ガイデットアップサンプリング）

38

Linear transformation

baIk

Interpolation Output image

Nk

kkba

apbaI 22

),()(min

N: Sampled pixels

: Smoothness parameter

適切なガイド画像が得られれば，エッジを保存した補間が，高速に実現できる！

ガイド画像

入力データ

ガイデットアップサンプリングの応用例

スペクトル間の相関

ガイデットアップサンプリング (He et. al., ECCV2010)

マルチスペクトル CFA

G R G Or G

B G Cy G B

G Or G R G

Cy G B G Cy

G R G Or G

39

初期補間

ガイド画像

Y.Monno et al. , “Multispectral demosaicking using guided filter”, EI2011.

ガイド画像はどうするの？→　マルチスペクトルデモザイキング

色差補間とガイド画像の関係

40

－ ＋

色差

補間

G

初期補間

G データ

R データ 補間R 画像

G 画像

RGB 画像 R 画像 色差画像 (R-G)

高周波エネルギーを低減

補間が容易になる！

ガイド画像 線形変換してみたら？

残差補間

41

－ ＋

残差画像

補間

R − R

初期補間 ガイデットアップサンプリング

初期推定G データ

R データ 補間R 画像

RGB 画像 R 画像 色差画像 (R-G) 残差画像

高周波エネルギーをさらに低減

補間がさらに容易になる！

ガイデットアップサンプリング

matlab code:●http://www.ok.ctrl.titech.ac.jp/res/DM/RI.html

ガイド画像＆線形変換

概要

１．知る－自然画像の性質，ノイズの性質

２．作る－ 2 次元画像再構成， 2 次元画像補間

３．学ぶ－学習に基づく 2 次元画像処理（１）事例ベース超解像（２）スパースコーディング（３）機械学習（ Deep learning ）43

Freeman et al,Example-Based Super-Resolution, 2002.Kim et al, Example-based learning for single-image super-resolution, DAGM 2008.(●http://www.mpi-inf.mpg.de/~kkim/supres/supres.htm)44

事例ベース超解像

観測画像（低解像度画像）

高解像度画像

画像データベース

高解像度画像低解像度画像

• 一枚でも可能• データベースの作成が重要（コスト大）• 対応付けの問題

失われた（存在しない）高周波成分をデータベースに基づき，推定する処理

スパースコーディング

45

≅ +¿ +¿ +¿ +¿5.73 0.00 4.12 0.00 0.00

+¿

高解像度画像辞書 D

高解像度辞書入力

パッチ

出力パッチ

入力画像

出力画像

5.73 0.08

スパース係数を推定

ライブラリ ● http://spams-devel.gforge.inria.fr/　　　　　　 ● http://www.cs.technion.ac.il/~elad/software/

高解像度画像辞書： D低解像度画像辞書： BD

ぼけ＆ダウンサンプリングB低解像度画像辞書 BD

��=argmin𝜶

‖𝒚−𝑩𝑫𝜶‖22+𝜆‖𝜶‖1

��=𝑫��

スパース係数の推定

再構成出力パッチ

スパース係数：少数の係数のみ非ゼロの値を持つ

辞書学習

46

辞書固定スパース係数推定

スパース係数固定辞書更新

𝐼=∑𝑖

min𝜶 𝑖

‖𝒚 𝒊−𝑫𝜶𝑖‖2

2+𝜆‖𝜶𝒊‖1❑❑

自然画像データベース

高解像度画像辞書低解像度画像辞書

BD

課題：低解像度画像から推定されるスパース係数と高解像度画像から推定されるスパース係数が異なる

スパース係数推定

スパース係数推定

高解像度画像

低解像度画像

0.84 0.22 0.00 0.00

0.000.75 0.34 0.00

1.23

1.23

入力低解像度パッチ

カップリングを学習

47

He et al, Beta Processing Dictionary Learning for Coupled Feature Space with Application to Single Image Super Resolution, CVPR 2013(●http://web.eecs.utk.edu/~lhe4/)

自然画像データベース

高解像用辞書　学習

低解像用辞書

学習スパース係数間のカップリング M を学習

𝒙=𝑫𝑯𝜶𝑯

𝒚=𝑫𝑳𝜶𝑳

出力高解像度パッチ

高解像係数変換

低解像用辞書

スパース係数推定

高解像用辞書

高解像度パッチ再構成

𝜶𝑳

𝑴𝜶𝑳

𝑫𝑯𝑴𝜶𝑳

機械学習（ Deep learning ）

49

Schuler et al, A machine learning approach for non-blind image deconvolution, CVPR2013(●http://webdav.is.mpg.de/pixel/neural_deconvolution/)

Gao et al, Restricted Boltzmann Machine Approach to Couple Dictionary Training for Image Super-Resolution, 　 ICIP2013.

Vincent et al, Extracting and Composing Robust Features with Denoising Autoencoders, ICML2008

Nakashika, et al, High-frequency Restoration Using Deep Belief Nets for Super-resolution, International Conference on Signal Image Technology & Internet-Based Systems 2013.

概要

１．知る－自然画像の性質，ノイズの性質

２．作る－ 2 次元画像再構成， 2 次元画像補間

３．学ぶ－学習に基づく 2 次元画像処理

50

ノイズ

信号

何かのきっかけになれば嬉しいです！

Xin Li’s Reproducible Research:http://www.csee.wvu.edu/~xinl/source.html