C1 LECTURE NOTE 05 - 國立臺灣大學nova.bime.ntu.edu.tw/~ttlin/course01/lecture_notes/c1_lecture_note_05(2... · 3 631 M8210 影像處理原理與應用Lecture 05-5 國立台灣大學

1

631 M8210 影像處理原理與應用 Lecture 05-1

國立台灣大學生物機電系林達德

影像復原影像復原

5.1 影像衰減與復原模式5.2 雜訊模式5.3 具雜訊影像之復原-空間域濾波5.4 具雜訊影像之復原-頻域濾波5.5 線性空間不變系統之衰減5.6 衰減函數之估計



影像復原影像復原

5.7 逆向濾波5.8 最小平均平方誤差濾波5.9 限制最小平方濾波5.10 幾何平均濾波器5.11 幾何轉換

2



5.1 影像衰減與復原模式空間域衰減模式

頻域衰減模式

1)-(5.1 η(x,y) ,y)h(x,y)*f(xg(x,y) +=

2)-(5.1 N(u,v) v)H(u,v)F(u,G(u,v) +=



5.2 雜訊模式5.2.1 雜訊的空間與頻率性質

白雜訊(White Noise)-傅立葉頻譜為常數的雜訊

假設雜訊與空間座標無關，為隨機之雜訊

以機率模式敘述雜訊

3



5.2 雜訊模式5.2.2 幾種重要的雜訊機率密度函數

高斯雜訊(Gaussian Noise)

1)-(5.2 21 22 2) σ/-(z-µeπσ

p(z) =




Rayleigh雜訊

4)-(5.2 4

4 :variance

3)-(5.2 4 :mean

2)-(5.2 azfor 0

azfor )(2

2

/)( 2

π)b(σ

πb/a µ

eazbp(z)

baz

−=

+=

⎪⎩

⎪⎨⎧

<

≥−=−−

4




Erlang (Gamma)雜訊

7)-(5.2 :variance

6)-(5.2 :mean

5)-(5.2 0zfor 0

0zfor )!1(

22

1

abσ

abµ

eb

zap(z)

azbb

=

=

⎪⎩

⎪⎨⎧

<

≥−=

−−




指數(Exponential)雜訊

10)-(5.2 1 :variance

9)-(5.2 1 :mean

8)-(5.2 0zfor 00zfor

22

aσ

aµ

aep(z)

az

=

=

⎩⎨⎧

<≥

=−

5




均勻(Uniform)雜訊

13)-(5.2 12

)( :variance

12)-(5.2 2

:mean

11)-(5.2 otherwise 0

bza if )(

1

22 abσ

baµ

abp(z)

−=

+=

⎪⎩

⎪⎨⎧ ≤≤

−=




脈衝(Impulse, Salt-and-pepper)雜訊

14)-(5.2 otherwise 0

zfor azfor

⎪⎩

⎪⎨

⎧==

= bPP

p(z) ba

6







7






5.2 雜訊模式5.2.3 週期雜訊

為與空間相關之雜訊

通常可以利用頻域濾波加以處理

8



5.2 雜訊模式5.2.4 雜訊參數之估計

16)-(5.2

15)-(5.2

22 ∑

∑

∈

∈

−=

=

Szii

Szii

i

i

)p(zµ)(zσ

)p(zzµ

由感測器的特性或規格說明加以評估

應用統計分佈的平均值及標準差加以評估



5.3 具雜訊影像之復原-空間域濾波

假設造成影像衰減的唯一因子為雜訊

2)-(5.3 1)-(5.3

N(u,v)F(u,v)G(u,v)η(x,y)f(x,y)g(x,y)+=+=

已知雜訊與未知雜訊的處理方法

9



5.3 具雜訊影像之復原-空間域濾波5.3.1 平均濾波器

算術平均濾波器(Arithmetic Mean Filter)3)-(5.3 ,1),(ˆ

),( y)g(x

mnyxf

xySts∑∈

=

幾何平均濾波器(Geometric Mean Filter)4)-(5.3 ),(),(ˆ

1

),(

yxgyxfmn

Sts xy ⎥⎥⎦

⎤

⎢⎢⎣

⎡= ∏

∈

調和平均濾波器(Harmonic Mean Filter)5)-(5.3

1),(ˆ

g(x,y)

mnyxf

xyS(s,t)∑∈

=

反調和平均濾波器(Contraharmonic Mean Filter)

6)-(5.3 ),(

),(),(ˆ

1

yxg

yxgyxf

xy

xy

S(s,t)

Q

S(s,t)

Q

∑

∑

∈

∈

+

=




10







11



5.3 具雜訊影像之復原-空間域濾波5.3.2 排序統計值(Order-Statistic)濾波器

中間值濾波器(Median Filter)7)-(5.3 )},({),(ˆ

),( tsgmedianyxf

xySts ∈=

最大值最小值濾波器(Max and Min Filters)

9)-(5.3 )},({min),(ˆ

8)-(5.3 )},({max),(ˆ

),(

),(

tsgyxf

tsgyxf

xy

xy

Sts

Sts

∈

∈

=

=

中間點濾波器(Midpoint Filters)10)-(5.3 )},({min)},({max

21),(ˆ

),(),( tsgtsgyxf

xyxy StsSts ⎥⎦⎤

⎢⎣⎡ +=

∈∈

Alpha修整平均濾波器(Alpha-trimmed Mean Filter)11)-(5.3 ),(1),(ˆ

),(

tsgdmn

yxfxySts

r∑∈−

=




12







13



5.3 具雜訊影像之復原-空間域濾波5.3.3 適應性濾波器(Adaptive Filters)

適應性區域雜訊削減濾波器

12)-(5.3 ]),([),(),(ˆ 22

myxgyxgyxf LL

−−=σση




適應性中間值濾波器(Adaptive Median Filter)

Level A: A1 = zmed – zminA2 = zmed – zmaxIf A1 > 0 AND A2 < 0, Go to level BElse increase the window sizeIf window size ≤ Smax repeat level A Else output zxy

Level B: B1 = zxy – zminB2 = zxy – zmaxIf B1 > 0 AND B2 < 0, output zxyElse output zmed

14




適應性中間值濾波器(Adaptive Median Filter)



5.4 具雜訊影像之復原-頻域濾波5.4.1 帶斥濾波器(Bandreject Filters)

3)-(5.4 1 Filter BandrejectGaussian

2)-(5.4

1

1Filter Bandrejecth Butterwort

1)-(5.4

21

22

02

1

Filter Bandreject Ideal

220

2

21

2

20

2

0

00

0

eH(u,v)

D(u,v)DD(u,v)W

H(u,v)

WDD(u,v) if

WDD(u,v)W- if D

WD(u,v) if D

H(u,v)

D(u,v)WD(u,v)D

n

⎥⎥⎦

⎤

⎢⎢⎣

⎡ −−

−=

⎥⎦

⎤⎢⎣

⎡−

+

=

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

+>

+≤≤

−<

=

15



5.4 具雜訊影像之復原-頻域濾波5.4.1 帶斥濾波器(Bandreject Filters)



5.4 具雜訊影像之復原-頻域濾波5.4.2 帶通濾波器(Bandpass Filters)

4)-(5.4 1 (u,v) -H(u,v)H brbp =

16



5.4 具雜訊影像之復原-頻域濾波5.4.3 凹口型濾波器(Notch Filter)

9)-(5.4 120

21

21

eH(u,v) D(u,v)(u,v)DD

⎥⎥⎦

⎤

⎢⎢⎣

⎡−

−=

Ideal Notch Reject Filter

7)-(5.4 22

6)-(5.4 22 where

5)-(5.4 otherwise 1

or 0

2120

202

2120

201

0201

/

/

])vN/(v)uM/[(u(u,v)D

])vN/(v)uM/[(u(u,v)D

D(u,v)DD(u,v) if DH(u,v)

+−++−=

−−+−−=⎩⎨⎧ ≤≤

=

Butterworth Notch Reject Filter8)-(5.4

1

1

21

20

n

(u,v)(u,v)DDD

H(u,v)

⎥⎦

⎤⎢⎣

⎡+

=

Gaussian Notch Reject Filter




17






5.4 具雜訊影像之復原-頻域濾波5.4.4 最佳化凹口型濾波

18




16)-(5.4

1212

1

15)-(5.4 ˆ1212

1ˆ

14)-(5.4 ˆˆ1212

1

13)-(5.4 ),(),(),(),(ˆ12)-(5.4 11)-(5.4

2

2

22

1

]}y)w(x,y)η(x,(x,y)-g -[

t)]s,yη(xt)s,y -w(x

t)s,y{[g(x)b)(a(

(x,y)σ

t)s,y(xf)b)(a(

(x,y)f

(x,y)}ft)s,y(xf{)b)(a(

(x,y)σ

w(x,y)η(x,y)yxyxwyxgyxf

u,v) } H(u,v) G(η(x,y) u,v) H(u,v) G(N(u,v)

a

as

b

bt

a

as

b

bt

a

as

b

bt

++++

++++

=

++++

=

−++++

=

−=

{ℑ=

=

∑∑

∑∑

∑∑

−= −=

−= −=

−= −=

−

：推演加權值的過程如下

為加權值份，為受干擾影像的雜訊部上式中

η




21)-(5.4 ),(),(

),(),(),(),(),(

20)-(5.4 0),(

19)-(5.4 ),(),(

1212

118)-(5.4 ),(),(),(),(

17)-(5.4 ),(),(

22

2

2

2

2

yxyx

yxyxgyxyxgyxw

yxw(x,y)σ

(x,y)σ]}yxyx(x,y)-wg -[

t)]s,yη(xy) -w(x,

t)s,y{[g(x)b)(a(

(x,y)σ

yxyxwyxyxw

yxwtysxw

a

as

b

bt

ηη

ηη

η

ηη

−

−=

=∂∂

++

++++

=

=

=++

∑∑−= −=

解之最小值，可對下式求為求得

故可得

假設

19







20



5.5 線性空間不變系統之衰減

基本定義

1.輸入－輸出關係式g(x,y) = Ｈ f(x,y) + η(x,y) (5.5-1)

2.線性(Linearity) Ｈ[ a f1(x,y) + b f2(x,y) ] = a Ｈ[ f1(x,y)] + b Ｈ[ f2(x,y) ] (5.5-2)

3.相加性(Additivity)Ｈ[ f1(x,y) + f2(x,y) ] = Ｈ[f1(x,y)] + Ｈ[f2(x,y)] (5.5-3)

4.齊次性(Homogeneity)Ｈ[ a f1(x,y) ] = a Ｈ[f1(x,y) ] (5.5-4)

5.空間不變式(Space Invariant)Ｈ f( x-α, y-β ) = g( x-α, y-β ) (5.5-5)



5.5 線性空間不變系統之衰減連續函數之衰減模式

應用取樣或脈衝函數(Impulse Funtion)之觀念，f(x,y)可以下式表之：

6)-(5.5 ),(),(),( ∫ ∫∞

∞−−−= βαβαδβα ddyxfyxf

若η(x,y) = 0, 則由衰減模式之定義可得：

7)-(5.5 ),(),(),(),( ∫ ∫∞

∞−−−== βαβαδβα ddyxfHyxHfyxg

假設Ｈ為一線性運算子且積分之相加性成立，則：

8)-(5.5 )],(),([),( ∫ ∫∞

∞−−−= βαβαδβα ddyxfHyxg

由於f(α,β)與x, y無關，故由齊次性質可得：

9)-(5.5 ),(),(),( ∫ ∫∞

∞−−−= βαβαδβα ddyxHfyxg

21




其中令

10)-(5.5 ),(,, ] yxH[)yh(x, βαδβα −−=h(x,α,y,β)稱為Ｈ之脈衝回應(Impulse Response)，光學中亦稱h(x,α,y,β)為Point Spread Function (PSF)。將(5.5-10)代入(5.5-9)可得

11)-(5.5 ),,,(),(),( ∫ ∫∞

∞−

∞

∞−= βαβαβα ddyxhfyxg

若Ｈ與位置無關(Position Invariant)，則

12)-(5.5 ),(],,[ yxh)y(x,H βαβαδ −−=

因此(5.5-11)簡化為

13)-(5.5 ),(),(),( ∫ ∫∞

∞−−−= βαβαβα ddyxhfyxg




由(5.5-13)式可知，若已知一個線性系統的脈衝反應，則此線性系統之輸出g(x,y)可以由輸入f(x,y)加以算出。若有雜訊存在，則(5.5-11)成為：

15)-(5.5 ),( ),(),(),( yxddyxhfyxg ηβαβαβα +−−= ∫ ∫∞

∞−

14)-(5.5 ),( ),,,(),(),( yxddyxhfyxg ηβαβαβα += ∫ ∫∞

∞−

若Ｈ與位置無關(Position Invariant)，則

以捲積運算來表示，上式為：

16)-(5.1 η(x,y) ,y)h(x,y)*f(xg(x,y) +=

17)-(5.1 N(u,v) v)H(u,v)F(u,G(u,v) +=

22



5.6 衰減函數之估計5.6.1 由觀察影像進行估計

1)-(5.6 ),(ˆ),(

),(

)175.5(.3

),(ˆ),(.2

),(.1

vuFvuG

vuH

yxfyxg

yxg

s

ss

s

s

=

− 衰減函數，我們可以下式來估計假設雜訊影像甚小，依相同大小的理想影像建立與

之子影像取影像中具有強烈訊號



5.6 衰減函數之估計5.6.2 由實驗進行估計

2)-(5.6

321

A(u,v)G

(u,v)H

.

..

ss =

。

。

反應計算衰減函數依下式由所求得的脈衝

以求得脈衝反應以該設定對點光源取像

影像。取得與衰減影像類似之調整攝影機設定參數以

23



5.6 衰減函數之估計5.6.3 由模式進行估計

3)-(5.6 6522 /)vk(ueH(u,v) +−=

大氣紊流之影像衰減模式




9)-(5.6

8)-(5.6

7)-(5.6

6)-(5.6

5)-(5.6

4)-(5.6 )](),([),(

0 00

0

2

0

2

0

200

2

0 00

2

0 00

00

00

v) H(u,v)F(u,G(u,v)

(t)]dty(t),yxf[xH(u,v)

dteF(u,v)

dtF(u,v)eG(u,v)

dtdxdy(t)]ey(t),yxf[xG(u,v)

dxdye(t)]dty(t),yxf[x

dxdyg(x,y)eG(u,v)

dttyytxxfyxg

T

T (t)]vy(t)π[ux-j

T (t)]vy(t)π[ux-j

T vy)π(ux-j

- -

vy)π(ux-jT

- -

vy)π(ux-j

T

=

−−=

=

=

⎥⎦⎤

⎢⎣⎡ −−=

⎥⎦⎤

⎢⎣⎡ −−=

=

−−=

∫∫

∫

∫ ∫ ∫

∫ ∫ ∫

∫ ∫∫

+

+

∞

∞−

∞

∞−

+

∞

∞

∞

∞

+

∞

∞

∞

∞

+

則

令

均勻線性移動之影像衰減模式

24




均勻線性移動之影像衰減模式

11)-(5.6 e sin

10)-(5.6)sin(

vb)(uaj-

0

2

0

2 0

]vb)π(ua[vb)π(ua

TH(u,v)

euaπuaTdtedteH(u,v) uaj

T πuat/TjT (t)πuxj

+

−−−

++

=

=== ∫∫π

ππ



5.7 逆向濾波

以(5.7-2)式進行復原的問題– 雜訊N(u,v)為隨機函數– H(u,v)之值為零或很小值的情形

2)-(5.7 ),(),(),(),(ˆ

1)-(5.7 ),(),(),(ˆ

vuHvuNvuFvuF

vuHvuGvuF

+=

=

25



5.7 逆向濾波



5.8 最小平均平方誤差濾波Wiener濾波器

2)-(5.8 ),(),(/),(),(

),(),(

1

),(),(/),(),(

),(

),(),(),(),(

),(),(),(ˆ

1)-(5.8 })ˆ{(

2

2

2

*

2

*

22

vuGvuSvuSvuH

vuHvuH

vuGvuSvuSvuH

vuH

vuGvuSvuHvuS

vuSvuHvuF

ffEe

f

f

f

f

⎥⎥⎦

⎤

⎢⎢⎣

⎡

+=

⎥⎥⎦

⎤

⎢⎢⎣

⎡

+=

⎥⎥⎦

⎤

⎢⎢⎣

⎡

+=

−=

η

η

η

當衰減影像中之雜訊為白雜訊時

3)-(5.8 ),(),(

),(),(

1),(ˆ 2

2

vuGKvuH

vuHvuH

vuF⎥⎥⎦

⎤

⎢⎢⎣

⎡

+=

26







27




Image courtesy of the Research Laboratory of Electronics at MIT.

Norbert Wiener (November 26, 1894 - March 18, 1964) was an American mathematician, known as the founder of cybernetics. He created the term in his book Cybernetics or Control and Communication in the Animal and the Machine (MIT Press, 1948), widely recognized as one of the most important books of contemporary scientific thinking. Additionally, he is thought to be the first American-born and American-trained mathematician able to spar intellectually with anything or anyone Europe and the historic bastions of mathematics could proffer. His period thus represents a watershed in American mathematics.



5.9 限制最小平方濾波衰減模式之矩陣表示式

1)-(5.9 += f H求取下式之最小值

[ ]

5)-(5.9 010141

010

4)-(5.9 ˆ

3)-(5.9 ˆ-

2)-(5.9

22

22

1

0

1

0

22

p(x,y)

P(u,v)

G(u,v) P(u,v)γH(u,v)

(u,v)H(u,v)F

f(x,y)C

*

M

x

N-

y

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

−−−

−=

⎥⎥⎦

⎤

⎢⎢⎣

⎡

+=

=

∇= ∑∑−

= =

為下式之傅立葉轉換參數，為調整符合限制條件的

此最佳化問題的解為：

其限制條件為：

γ

f Hg

28



5.9 限制最小平方濾波



5.9 限制最小平方濾波求取參數γ的疊代法

[ ]

[ ] 13)-(5.9

12)-(5.9

11)-(5.9

10)-(5.9 ),(

9)-(5.9 ˆ

8)-(5.9

7)-(5.9

6)-(5.9 ˆ-

22

1

0

1

0

1

0

1

0

22

1

0

1

0

22

22

22

2

mσMN

η(x,y)m

mη(x,y)σ

yxr

(u,v) F,v)G(u,v)-H(uR(u,v)

a

γφ(γ)φ(γ)

ηη

M

x

N

yη

M

x

N

yηη

M

x

N

y

T

−=

=

−=

=

=

±=

==

=

∑∑

∑∑

∑∑

−

=

−

=

−

=

−

=

−

=

−

=

的計算式如下：與

，使因此可使用疊代法調整為單調遞增之函數

定義

，

f Hg

29



5.9 限制最小平方濾波



5.10 幾何平均濾波器Wiener濾波器的一般化

1)-(5.10 ),(

),(),(

),(

),(),(),(),(ˆ

1

2

*

2

*

vuG

vuSvuS

vuH

vuHvuHvuHvuF

f

α

η

α

β

−

⎥⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢⎢

⎣

⎡

⎥⎥⎦

⎤

⎢⎢⎣

⎡+

⎥⎥⎦

⎤

⎢⎢⎣

⎡=

α=1, Inverse Filterα=0, Parametric Wiener Filterα=0, β=1, Standard Wiener Filterα=1/2, β=1, Spectrum Equalization Filter

30



5.11 幾何轉換5.11.1 空間轉換(Spatial Transformation)

2)-(5.11 1)-(5.11

s(x,y)y' r(x,y)x'

==

一個影像f中影像元素座標(x,y)經由幾何失真(Geometric Distortion)產生一個新影像g(x',y')，此幾何失真轉換可以下式表示之：



5.11 幾何轉換5.11.1 空間轉換(Spatial Transformation)

復原方法有下列兩種：1.已知r(x,y)與s(x,y)關係式之復原。2.應用固定點(Tiepoints)以雙線性方程式(Bilinear

Equation)進行復原。

6)-(5.11 '5)-(5.11 '4)-(5.11 3)-(5.11

8765

4321

8765

4321

cxy cy cx c y cxy cy cx c x

cxy cy cx cs(x,y) cxy cy cx cr(x,y)

+++=+++=

+++=+++=

31



5.11 幾何轉換5.11.2 灰階值之內差法

1.最近鄰近點或零次內插法(Nearest-neighbor or Zero-order Interpolation)

3)-(5.11 d cx'y' by' ax' v(x',y') +++=

2.雙線性內差法(Bilinear Interpolation)




3.灰階內差法的簡易程式演算法

∑∑=

=

=

=

=

=−=+++++

+−+=

4

12

4

12

1/

11111111

i

i i

i

i i

i

RRI

O(x',y')

y-floor(y) bfloor(x), xwhere a),x-b)I(y-a)((,x)-b)I(y a(

)a)bI(y,x( abI(x,y)O(x',y')

：依距離平方計算加權值

依距離計算加權值：

Source: “Practical Algorithms for Image Analysis” by M. Seul et al.

32







33




以硬體處理影像放大時之灰階內插

Documents

C1 LECTURE NOTE 05 - 國立臺灣大學nova.bime.ntu.edu.tw/~ttlin/course01/lecture_notes/c1_lecture_note_05(2... · 3 631 M8210 影像處理原理與應用Lecture 05-5 國立台灣大學