51
第第第 第第第第第第第第 第第第第第第第 第第第第第第第第第第第第 第第第第第第第第第第第 第第第第第第第 :。、。 第第第第第第第第第 第第第第第第第 第第第第第第第第第第第第第第第第第第第第第第第 第第 :、; 第第第第第第第 第第第第第第第 第第第第第第第 第第 第第第第第第第第第第第第第 第第第第第第第 。、、体、、 第第第 第第第 第第第第第第第第第第第第 第第第第第第第第第第第 第第第第第第第第第第第 第 、;、, 第第第第第第第第第第第第第第第第第第第第第第第第第第第第第第第第第第第第第第 第第第第第第 第第第第第第第第 一,, 第第第第第第第第第第第 第第第第第第第第第第第 第第第第第 第第第第第第第第第第第第 ,一,。

第五章 图像的恢复与重构

Embed Size (px)

DESCRIPTION

第五章 图像的恢复与重构. 什么是图像退化:图像的质量变坏叫做退化。退化的形式有图像模糊、图像有干扰等。 图像退化的处理方法:无论是由光学、光电或电子方法获得的图像都会有不同程度的退化;退化的形式多种多样。如传感器噪声、摄像机未聚焦、物体与摄像设备之间的相对移动、随机大气湍流、光学系统的相差、成像光源或射线的散射等;如果我们对退化的类型、机制和过程都十分清楚,那么就可以利用其反过程来复原图像。 典型的图像复原方法是根据图像退化的先验知识建立一个退化模型,以此模型为基础,采用滤波等手段进行处理,使得复原后的图像符合一定的准则,达到改善图像质量的目的。. - PowerPoint PPT Presentation

Citation preview

Page 1: 第五章    图像的恢复与重构

第五章 图像的恢复与重构

什么是图像退化:图像的质量变坏叫做退化。退化的形式有图像模糊、图像有干扰等。图像退化的处理方法:无论是由光学、光电或电子方法获得的图像都会有不同程度的退化;退化的形式多种多样。如传感器噪声、摄像机未聚焦、物体与摄像设备之间的相对移动、随机大气湍流、光学系统的相差、成像光源或射线的散射等;如果我们对退化的类型、机制和过程都十分清楚,那么就可以利用其反过程来复原图像。 典型的图像复原方法是根据图像退化的先验知识建立一个退化模型,以此模型为基础,采用滤波等手段进行处理,使得复原后的图像符合一定的准则,达到改善图像质量的目的。

Page 2: 第五章    图像的恢复与重构

一、图像退化模型

f(i, j) :原始图像g(i, j) :降质图像T(·) :成像系统的作用,则: g(x,y)=T[f(x,y)]设 T 是线性移不变的。一幅连续的图像 f(x,y) 可以用抽样函数的二维卷积表示:

ddyxfyxf ),(),(),(

因此,

令 h(x,α;y,β) =T[δ (x-α,y-β) ] ,则有:

ddyxTfyxg ),(),(),(

ddyxhfyxg ),;,(),(),(

定义于不在原点的二维 δ 函数

由于 f(α,β ) 与 x ,y 没有关系

Page 3: 第五章    图像的恢复与重构

称 h(x,α;y,β) 为点扩散函数 (PSF) 或系统冲击响应。多数情况下它表现为时不变的,反映在图像中为位移不变的,则 h(x,α;y,β) 可以表示为 h(x-α,y-β)

),(),(

),(),(),(

yxhyxf

ddyxhfyxg

其中 * 表示卷积运算。如果 T(·) 是一个 h 可分离系统,即: h(x,α;y,β)=h1 (x,α) h2 (y, β)则二维运算可以分解为列和行两次一维运算来代替。在加性噪声情况下,图像退化模型可以表示为: g(x,y)=f(x,y)*h(x,y)+n(n,y)其中 n(x, y) 为噪声图像。

Page 4: 第五章    图像的恢复与重构

二、离散图像退化模型

对于图像降质过程进行数学建模,设:f(i, j) 为原始图像; y(i, j) 为降质图像; h(i, j; k, l)为点扩散函数;图像为 M×N 维。有

M

k

N

l

jinlkflkjihjiy1 1

),(),(),;,(),(

假设为空间不移变 h(i, j; k, l) ,则:

),(),(),(

),(),(),(),(1 1

jinjifjih

jinlkfljkihjiyM

k

N

l

Page 5: 第五章    图像的恢复与重构

线性位移不变的图像退化模型则表示为: g(x,y)=f(x,y)*h(x,y)+n(x,y)

结论:如果已知 g(x,y) 、 n(x,y) 、 h(x,y) ,则 f(x,y) 可以计算出来。对等式两端取傅立叶变换有: G(u,v)=F(u,v)H(u,v)+N(u,v) F(u,v)= (G(u,v)- N(u,v))/ H(u,v) f(x,y)= F-1[F(u,v)]

g(x,y)f(x,y)

n(x,y)

h(x,y) +

Page 6: 第五章    图像的恢复与重构

三、循环矩阵及傅立叶化一个一维离散序列通过一个系统发生失真的过程可用下图表示

1210 )()()(1

0

,...,M-,,xn(x)mxhmfxgM

meee

)1(

)1(

)0(

)1(

)1(

)0(

)0()2()1(

)2()0()1(

)1()1()0(

)1(

)1(

)0(

Mn

n

n

Mf

f

f

hMhMh

Mhhh

Mhhh

Mg

g

g

e

e

e

e

e

e

eee

eee

eee

e

e

e

nHfg

f= H-1[g- n]

用矩阵表示,可以写成

g(x)f(x)

n(x)

h(x) +

如果考虑加性噪声,根据离散序列的卷积定理,有

扩展为周期为M 的序列

Page 7: 第五章    图像的恢复与重构

由于离散卷积的周期性,有 he(x)=he(x+M) , H 可以写成

)0()2()1(

)2()0()1(

)1()1()0(

eee

eee

eee

hMhMh

hhh

hMhh

H

1

0

1

0 1-N0,1,2,...,y

1-M0,1,2,...,x ),(),(),(),(

M

m

N

neeee yxnnymxhnmfyxg

H 是一个循环阵。结论:离散卷积都可以写成:输入矩阵 × 循环矩阵! 对数字图象的二维离散函数也是如此。对图像退化模型而言,有

A=5 B=5

M=9 M=9

Page 8: 第五章    图像的恢复与重构

用矩阵形式表示上式: g=Hf+n g 、 f 和 n 分别表示 M×N 的函数矩阵 ge(i, j) 、 fe(i, j) 和 ne(i, j) 的各行前后相连而成的列矢量 (堆叠矢量 ) 。如果假设原始图像是 M×N 维矩阵,则 H 是MN×MN 循环矩阵,且 H 是一个分块 (M×M 个 ) 循环矩阵:

)1(

)1(

)0(

)1(

)1(

)0(

021

201

110

MNn

n

n

MNf

f

f

e

e

e

e

e

e

MM

M

HHH

HHH

HHH

nHfg

每一个子矩阵 Hi自身也是循环矩阵 N×N :

)0,()2,()1,(

)2,()0,()1,(

)1,()1,()0,(

ihNihNih

ihihih

ihNihih

eee

eee

eee

i

H= +

MN×1 MN×MN MN×1 MN×1

Page 9: 第五章    图像的恢复与重构

1、一维信号序列循环矩阵的对角化和傅立叶化解矩阵方程: f= H-1[g- n]最简单的计算方法就是对角化, H → H-1也是对角阵。对角化 H 的方法——求取其特征值和特征矢量。对循环矩阵而言,设:其有 M 个特征值和特征矢量。

110 )1(2

exp2

exp1)( M-,, kkMM

jkM

jk

T

w

kM

Mjhk

MjMhhk eee )1(

2exp)1(

2exp)1()0()(

由于 w(k) 是由傅立叶系数构成的,因此 w(k)彼此是正交的。所以,由 w(k) 构成的变换矩阵是可逆的。

1

0

2

)()(N

u

uxN

jeuFxf

Page 10: 第五章    图像的恢复与重构

用特征矢量组成的矩阵: W=[w(0),w(1)…w(M-1)]生成对角矩阵 D : D=W -1HW ;且D(k,k)=λ(k) 。而

kiM

πj

M(k,i)wki

M

πjw(k,i)

kMM

jkM

jk

MH

H

H

M

MhhhMMH(k)

ikM

jihM

MkiMM

jihM

M

kMM

jhkM

jMhhk

eee

M

ie

M

ie

eee

2exp

1

2exp

)1(2

exp2

exp1)(

)1(00

0)1(0

00)0(

)]1()1(),0([

2exp)(

1)(

2exp)(

1

)1(2

exp)1(2

exp)1()0()(

1

1

0

1

0

为正交阵

序列的傅立叶变换乘

Ww

HWWD

T

1

根据周期性,M – i = - i

凑一个常数

所以 H=WDW -1

Page 11: 第五章    图像的恢复与重构

对 g=Hf+n而言,可以写成 g=WDW-1f+n ,有 W - 1g=DW-1

f+ W - 1n ;其中对 W-1g 列矢量的每一行 G(k)而言,有

序列的傅立叶变换)]1()1(),0([2

exp)(1

2exp

1)1(

2exp

1)1(

1)0()(

1

0

MgggkiM

jigM

kiM

jM

MgkM

jM

gM

gkG

eee

M

ie

eee

序列的傅立叶变换)]1()1(),0([2

exp)(1

2exp

1)1(

2exp

1)1(

1)0()(

1

0

MfffkiM

jifM

kiM

jM

MfkM

jM

fM

fkF

eee

M

ie

eee

对 W-1f 列矢量的每一行 F(k)而言

对 W-1n而言有同样的结果。所以对 W - 1g=DW-1f+ W - 1

n而言, G(u)=MH(u)F(u)+N(u) 。上面的过程称之为循环矩阵的傅立叶化。

Page 12: 第五章    图像的恢复与重构

如果图像的 g 、 f 、 n 采用堆叠矢量的方法构成, g=Hf+n 。同一维的情况类似,不同的地方是 H 为块循环矩阵,以及其中的傅立叶变换是二维的,但最后结论是一样的。 G(u)=MH(u)F(u)+N(u) ——一维情况下的结论G(u,v)=MNH(u,v)F(u,v)+N(u,v)——二维情况下的结论在实际应用中,认为 f(x,y) 、 h(x,y) 、 g(x,y) 、 n(x,y) 的维数是相等的。F(u,v) =[G(u,v)-N(u,v)]/ MNH(u,v) f(x,y) =F-1[F(u,v)]

2、二维信号序列块循环矩阵的对角化和傅立叶化

= +

Page 13: 第五章    图像的恢复与重构

3、 H(u,v) 的获取

要知道一个图象降质系统的 H(u,v) 是一件非常困难的事情。但因为 f(x,y)*h(x,y)=g(x,y) ,有 F(u,v)H(u,v)=G(u,v) 如果 f(x,y)=δ(x,y) , F[δ(x,y)]=1 则 H(u,v)=G(u,v)所以,可以用实验的方法得到 h(x,y) 和 H(u,v) ; H(u,v) 可用点源的输出图像的傅立叶变换来近似。另外,有一些图象降质系统的 H(u,v) 有固定的或近似的数学模型。

Page 14: 第五章    图像的恢复与重构

四、常见的线性移不变降质算子运动模糊:通常在拍摄过程中,相机或物体移动造成的运动模糊可以用一维均匀邻域像素灰度的平均值来表示: 大气扰动模糊:这种模糊经常出现在遥感和航空摄影中,由于曝光时间过长引起的模糊可用高斯点扩散函数来表示:

式中 K是一个归一化常数,保证模糊的大小为单位值, σ2 可以决定模糊的程度。

其他 022

1

)(L

xL

Lxh

)2

exp(),(2

22

yx

Kyxh

Page 15: 第五章    图像的恢复与重构

均匀不聚焦模糊 这是由于相机聚焦不准确引起的,虽然不聚焦由许多参数决定,如相机的焦距、相机光圈的大小、形状、物体和相机之间的距离等,但在研究中为了简单起见,我们用下列函数表示聚焦不准引起的模糊:

均匀二维模糊 这是最常见的一种模糊,可以用来近似聚焦不准引起的模糊:其中 L是奇数。

其他 0

1

),(22

2Ryx

Ryxh

其他 02

,2

1

),( 2

Lyx

L

Lyxh

Page 16: 第五章    图像的恢复与重构

五、无约束恢复

逆滤波对于图像退化模型: g(x,y)=f(x,y)*h(x,y)+n(x,y)两边取傅立叶变换: G(u,v)= F(u,v) H(u,v) +N(u,v) H(u,v)又称为系统的转移函数 ( 或滤波函数 ) ,它使图像退化。在无噪声的情况下,上式可以简化为: G(u,v)= F(u,v) H(u,v) F(u,v) =G(u,v)/H(u,v) 这种 1/H(u,v) 的形式称为逆滤波。再进行傅立叶逆变换就可以得到 f(x,y) 。

Page 17: 第五章    图像的恢复与重构

什么是无约束恢复

当对噪声一无所知时,使 n 无约束的小。由于 g=Hf+n ,假设通过恢复可以得到一个不错的 f的估计 f’ 。显然, f’ 应满足关系 g - Hf’ = n ,我们希望 n尽可能的小。于是问题转化为 f’ 在什么情况下 n最小——对矩阵而言就是它的迹 ( 对角线之和 ) 的平方最小。

gHffHgHf

f])fH)(gfHtr[(gfHgf TT 1

2 ˆ 0)ˆ(2ˆ

)ˆ( ˆˆ ˆ)ˆ(min

J

J

),(

),(),(ˆ

),(

),(),(ˆ

ˆ ˆ 11

vuH

vuGvuF

vuMNH

vuGvuF

gWDfWgWWDg)(WDWgHf -1-1-1111

Page 18: 第五章    图像的恢复与重构

实际情况中,噪声是不可避免的,因而只能求 F(u,v) 的估计值:

如果 H(u,v) 有许多零点,必然使得复原的结果受到极大影响。 或者如果 H(u,v) 不为零但是有非常小的值,也即病态条件,也会使复原效果受到影响。解决这个问题的方法是避开 H(u,v) 的零点。 幸好一般的 H(u,v) 在低频附近的有限区域内不为零。因此逆滤波可以在原点附近进行,相当于在频域乘上一低通窗口函数W(u,v) 。

),(

),(),(

),(

),(

),(

),(),(),(ˆ

vuH

vuNvuF

vuH

vuN

vuH

vuFvuHvuF

),(

),(),(ˆ ),(),(),(),(

vuH

vuGvuFvuNvuFvuHvuG 代入=将

Page 19: 第五章    图像的恢复与重构

为了防止随着 u 、 v 的增大 H(u,v) 的迅速减小而增设一些条件

由于截断地原因,被恢复的图象振铃较大。一种改进的方法是取 (?)

20

22

20

22

1

)(1

wv u

wv u u,v/HM(u,v)

其它 )(1

1 )(

u,v/H

k,ddu,v H k M(u,v)

其中, d、 k均为小于 1 的常数。逆滤波的应用条件:退化图像 g(x,y) 是信噪比较高的图像。

设:),()],(),([),(ˆ vuMvuNvuGvuF

Page 20: 第五章    图像的恢复与重构

对降质图像 g=Hf+n而言,所谓恢复可以看成是对 g通过某种线性变换 L而得到原图像的估计值 f’ 。其中, L 是 H 的某种逆过程。如果 f’ 与 f 之间的差满足某些条件——约束条件,例如:满足给定的均方误差,则称该图像被恢复了。

六、有约束恢复 (某种准则 )的一般公式

Tn

TTf

T''f

T'

TTf

T'

nT

fT

TTTTTTTT''

TTTT'

TTTTTT'

T''T'T'TT''

TTTTTTT''

T''T'''2

LLRLHLHR)fE(fLHR)fE(f

0)E( LHR)E(ff

R)E(nn R)E(ff

)LnnHnfHfnHL(Hffff

LnfLHffLgfff

LfnLHffff

ffffffff)f)(ff(f

)LnH(fLgf Lgf

])f)(fftrE[(f]})f)(ffE{tr[(fffEε

阵图像和噪声的自相关矩

}{2

各分项分别为

噪声是独立的,与图像不相关。求其期望应为

0 。

期望值越小,其迹也越小

Page 21: 第五章    图像的恢复与重构

因此

对求迹而言,式中第 2项和第 3 项的相等,有)LLRLHLHRLHRLHRtr(Rε T

nTT

ffTT

ff2

)LLRLHLHRLH2Rtr(Rε Tn

TTf

TTff

2

问题转化为: L 等于什么时,均方误差最小。

0

nT

fT

f

2

2LRH2LHRH2RL

ε

由此可得最佳 L : 1n

Tf

Tf )RH(HRHRL

0

0

0

0

将 Rf , Rn看成是一个循环块矩阵,对其进行对角化,有:

11

11

WBWR WAWR

WRWB WRWA

nf

nf

图像的相关度约为 20 - 30 个象素

合理的假设

Page 22: 第五章    图像的恢复与重构

由最佳 L : 1n

Tf

Tf )RH(HRHRL 可得 T

fnT

f HR)RHL(HR

两边乘以 W 和 W-1 : 1Tf

1n

1Tf

1 WHWR)WWRWH(WHRWLW

1T1f

1n

1T1f

11 WWHWWR)WWRWWHWWR(WHWWLW

*1T1 DW WHDWHW 又因为当 D 为对角阵时有所以 **1 ADB)(DADWLW

当 L 为分块循环矩阵时, WL W-1也是一对角阵。其对角线上元素的值为循环序列 (“主值”序列 ) 的傅立叶变换值。同理, D , D* , A , B 都为对角阵,其对角线上的元素的值为对应循环序列 (“主值”序列 ) 的傅立叶变换值。于是上式可以写成标量形式 ),(),(),(

),(),(),( 2

*

vuRvuRvuH

vuHvuRvuL

nf

f

合理的假设 f’(x,y)=g(x,y)*l(x,y)

Page 23: 第五章    图像的恢复与重构

七、维纳滤波恢复

基本原理 研究发现,逆滤波复原方法对噪声极为敏感,要求信噪比较高 (100以上 ) ,通常不满足该条件。 因此希望找到一种方法,在有噪声条件下,从退化图像 g(x,y) 复原出 f(x,y) 的估计值 f’(x,y) ,该估计值应符合一定的准则。 用向量 f, g, n 来表示 f(x,y), g(x, y), n(x,y) , Q为对 f’ 的线性算子,在约束条件 ||g-Hf’||2=||n||2

下求 Qf’ 的最小化 ||Qf’||2而得到 f 的最佳估计 f’。

Page 24: 第五章    图像的恢复与重构

用拉格朗日法求解

222 ˆˆ)ˆ(min nfHgfQf J

gHQQHHf

gHfHHQQ

0fHgHfQQf

f

TΤT

TTT

T

1)(ˆ

1 ˆ)(

)ˆ(2ˆ2ˆ

)ˆ(

s

/αs

J T

gHRRHHf Tnf

T 11 )(ˆ s

设 Rf 和 Rn 为 f 和 n 的相关矩阵,根据前述分析结果:

11 }{ }{ WBWRWAWRnnRffR nfT

nT

f EE

若 QTQ 用 Rf- 1Rn 来代替,

有:

拉格朗日系数

Page 25: 第五章    图像的恢复与重构

当 D 为对角阵,分块循环矩阵为

因此:

写成标量形式为:

gWWDWBWWWAWDWWWDf

WWDHWDWH T

1111111

11

)(ˆ

**

*

s

gWDBADDfW 1111 )(ˆ ** s

),(),(/),(),(

),(),(ˆ

2

*

vuGvuRvuRsvuH

vuHvuF

fn

波器退化为逆滤波器。时,没有噪声;维纳滤当称为参数维纳滤波器;时,

称为维纳滤波器;时,

0),(

),(ˆ1

),(ˆ1

vuS

vuFs

vuFs

n

统计量的得到是非常困难的一件事。

其中 Sf(u,v), Sn(u,v) 分别是 f(x,y) 和 n(x,y) 的功率谱。

Page 26: 第五章    图像的恢复与重构

在实际应用中,当噪声情况未知时

),(),(

),(

),(

1),(ˆ

2

2

vuGKvuH

vuH

vuHvuF

八、最小平方 (最大平滑 ) 恢复与维纳滤波恢复的不同在于 QTQ 的选择。维纳滤波中 QTQ 用 Rf

- 1Rn ,根据前面的推导,其依据的准则为均方误差最小。而最小平方恢复依据的准则为

222

min

y

f

x

f

换言之:在约束条件 ||g-Hf’||2=||n||2条件下,恢复出来的图像的梯度最小 ( 或称最大平滑 ) 。根据此条件选择 Q 。

Page 27: 第五章    图像的恢复与重构

由图像增强一章可知,对图像求梯度可用如下操作

如果 f(x,y)尺寸是 A×B,则图像与 p(x,y) 相卷的结果后的图像为 M×N , M≥A+3-1 , N≥B+3-1 。构造p(x,y) 、 f(x,y) 的扩展周期图像 pe(x,y) 与 fe(x,y) 做卷积。

)1,()1,(),1(),1(),(4),( jifjifjifjifjifjig

010

141

010

),( yxp

1313 0

2020 ),(),(

11 0

1010 ),(),(

N-y M-x

y xyxpyxp

N-y BM-xA

B-y A-xyxfyxf

e

e * * * * ** * * * ** * * * ** * * * ** * * * *

0 -1 0-1 4 -10 -1 0

1

0

1

0

),(),(),(M

m

N

neee nymxpnmfyxg

Page 28: 第五章    图像的恢复与重构

如果图像的 g 、 f 采用堆叠矢量的方法构成, 有 g=Cf

)0,()2,()1,(

)2,()0,()1,(

)1,()1,()0,(

021

201

110

jpNjpNjp

jpjpjp

jpNjpjp

eee

eee

eee

j

MM

M

C

CCC

CCC

CCC

C

MN×1 MN×MN MN×1

=

对 C 进行对角化,有 E=W-1CW 在约束条件 ||g-Hf’||2=||n||2条件下,恢复出来的图像的梯度最小 ( 或称最大平滑 ) 。根据此条件选择 Q 。

222 ˆˆ)ˆ(min nfHgfQf J

Page 29: 第五章    图像的恢复与重构

令 Q= C 根据 有:

左乘W-1 ,有gWWD)EWWEDW(WDgHC)CHHf 1*1*1*T1TT 1(ˆ ss

CWWEgWDE)ED(DfW -11***1 ˆ 1 其中s

根据对角化的讨论,有

),(),(),(

),(),(ˆ

22

*

vuGvuPsvuH

vuHvuF

gHQQHHf TΤT 1)(ˆ s

与维纳滤波不同此值为已知,不是统计量。

剩下的问题是对 s的估测。构造残差矢量 r=g-Hf’ ,调节 s使其满足 ||r||2=||n||2±a(a是一个准确度系数 ) 。赋给 s某个初始值;计算 f’ 和 ||r||2 。如果满足 ||r||2=||n||2±a,停止计算;如果 ||r||2<||n||2-a,增加 s,继续计算;如果 ||r||2>||n||2+a,减少 s,继续计算。

点对点计算

Page 30: 第五章    图像的恢复与重构

九、几何失真校正在不同条件下拍摄的图像,一个物体的图像常

会发生几何失真,出现歪斜变形的现象。从太空中宇航器拍摄的地球上的等距平行线,

其图像会变为歪斜或不等距;用光学和电子扫描仪摄取的图像常会有桶形失

真和枕形失真;用普通的光学摄影与测试雷达拍摄的同一地区

的景物二者在几何形状上有较大的差异。以一幅图像为基准,去校正另一种方式摄入的

图像,以期校正其几何失真,就叫做图像的几何失真复原或者几何失真校正。

Page 31: 第五章    图像的恢复与重构

1、空间变换几何基准图像的坐标系统用 f(x, y) 来表示需要校正的图像的坐标系统用 g(x’, y’) 表示设两个图像坐标系统之间的关系用解析式表示 x’=s(x, y) y’=t(x,y)通常 s(x,y) 和 t(x,y) 用多项式来表示:

1

0

1

0

1

0

1

0

),( ),(N

i

N

j

jiij

N

i

N

j

jiij yxbyxtyxayxs

f (x, y) g(x’, y’)

Page 32: 第五章    图像的恢复与重构

通常用线性失真来近似较小的几何失真 x ’ =a0+a1x+a2y y ’ =b0+b1x+b2y

更精确一些可以用二次型来近似 x ’ =a0+a1x+a2y+a3x2+a4xy+a5y2

y ’ =b0+b1x+b2y+b3x2+b4xy+b5y2

若基准图像为 f(x,y) ,失真图像为 g(x ’,y ’) ,对于景物上的同一个点,假定其灰度不变,则 f(x, y)=g(x’, y’) ,可利用已知点的对应点的坐标构造方程组求取 ai 、 bj 。

几何失真复原的一套方法也可以用于使图像失真的工作中:在广告制作和计算机动画中常常要使物体变形。

假设的变形关系

Page 33: 第五章    图像的恢复与重构

2、灰度插值

有时会遇到知道两点灰度值,要计算两点之间点的灰度值问题,如加大图像尺寸等。两点之间点的灰度值问题——灰度差值问题。双线性差值法g(E)=(xE-xA)[g(B)-g(A)]+g(A)

g(F)= (xF-xC)[g(D)-g(C)]+g(C)

g(H)=(yH-yA)[g(C)-g(A)]+g(A)

g(I) = (yI-yB)[g(D)-g(B)]+g(B) x

3×3 7×7

A B

C D

E

Fy

IH

0

Page 34: 第五章    图像的恢复与重构

十、图像质量的优劣的客观指标

图像质量的优劣既可以通过人眼主观视觉效果来判断,也可以通过客观指标来衡量。1 、均方误差 (MSE) :

2 、峰值信噪比 (PSNR) :

其中 M 、 N 分别是 x 方向、 y 方向图像像素点的个数,f(i,j) 和 f’(i,j) 分别是原始图像和测试图像在 (i, j) 点上的取值, L是图像中灰度取值的范围,对 8比特的灰度图像而言, L=255。

M

i

N

j

jifjifMN

MSE1 1

2)),(ˆ),((1

MSE

LPSNR

2

10log10

Page 35: 第五章    图像的恢复与重构

的期望值是

的方差—叠加噪声—

),()(),(

),(),(),(

),(]),([

)],(),([1

log10BSNR

,

22

2,

2

10

jiggEjig

jinjiyjig

jinmjin

jigjigMN

jinn

n

ji

3、模糊信噪比 (BSNR, the Blurred Signal-to-Noise Ratio )表示由模糊和叠加噪声引起的降质程度。

Page 36: 第五章    图像的恢复与重构

--恢复图像

--降质图像--原始图像

),(ˆ

),(

),(

)],(ˆ),([

)],(),([

log10ISNR

,

2

,

2

10

jif

jiy

jif

jifjif

jiyjif

ji

ji

ISNR只是评价图像恢复算法好坏的一个客观指标,ISNR高并不一定主观视觉效果好。

4、信噪比的改善度量 ISNR(the Improvement in SNR)

Page 37: 第五章    图像的恢复与重构

十一、图象的重构——从投影数据重构图象

在我们观察的图象中,有一部分是通过数据人为构造的图象,如: CT 图象、地址断面图象、安全检查设备输出的图象等。其中一类是由投影信息重构的图象——本节的重点。

1917 年,奥地利数学家 J.Radon证明了二维或三维物体可以从许多投影来重构其内部的数据。 1963年,美国科学家 A.M.Cormack首先将这一理论用于医学图象重构; 1972年,英国科学家 G.N.Homsfield设计出第一台 X射线扫描仪Computer Tomgraph——CT 。

二人于 1979 年双双获诺贝尔医学奖。

Page 38: 第五章    图像的恢复与重构

1、投影数据平行光按传输方向投射到一个物体后,在垂直于

平行光传输方向的平面上生成影象称为投影;用某种传感器取得的投影影象的数据称为投影数据。

不同物质组合体的视图

自然光投影视图

X 射线投影视图

片状 X 射线投影视图

最后一幅图象的数据就是重构断面图象的投影数据。显然,仅凭这组数据不能得到断面图象 (里面物体的方园无法判断 ) ,我们需要更多的数据。

Page 39: 第五章    图像的恢复与重构

2 、物质对 X射线的吸收研究表明:当强度为 I0的 X射线通过吸收率为 μ(x) 的物体时,有下面的关系:

b

a

b

a

dxxI

I

dxxII

)(ln

])(exp[

0

0

μ(x)

x

a bI0 I

II0

0

计算机采样示意图

基准检测器 检测器物体

+

I0lnI0

lnI

+ -

b

a

dxxI

I)(ln 0

A/D

Page 40: 第五章    图像的恢复与重构

3、由投影数据重构图像——简单方法对应一个吸收率不均匀物质, μ(x,y) 不为常数。可否根据得到的投影值求得 μ(x,y)?——结论:如果 μ(x,y) 已知,既可以重构图象。

方法一:解联立方程法设每个网格中的吸收系数为 x1~ x

N ,第 i条射线与第 xj 个象素的相交长度为 aij( 可以计算得出 ) ,代表第 j 个像素沿第 i条射线的贡献的权值。

像素编号每度采样一次射线条数

j

xapj

jijki )( ,1790,1,k

)(M ,1,2,i

)(

如果用 pi(θk) 表示沿射线方向在射线角度为 θk 时的总吸收测量值,则可通过解方程组的方法得到 x1~ xN 。 长度 aij 可以

计算出来,只要找出 63 个独立方程即可。

1

第 i 条射

线

第j

个像

接收

器2 3

N55

Page 41: 第五章    图像的恢复与重构

方法二:叠代法

被照射物质内的某一确切位置的吸收函数值是固定的。构造叠代公式进行叠代计算,其收敛值应是吸收函数值。

NθNθNk

Nk M

RP (i,j) μ (i,j)μ

1

上次求得的 μk

(i,j) 值

某角度为 θ 时的投影数据值

某角度为 θ 时射线经过的像

元数之和

同一投影线路上的上次 μk(i,j)

值之和

2.5+(3-5)/2=1.5

2.5+(7-5)/2=3.5

给定叠代结束条件:

μ1μ1

μ1μ1

2.52.5

2.52.5

3.53.5

1.51.5

3.752.75

2.251.25

3.53

21.5

42.75

2.251

43

21

3

7 2

5

3

64

1

5

4 (i,j) μ (i,j)μ N

kNk 1

给定初值2.5

Page 42: 第五章    图像的恢复与重构

4、投影定理和傅立叶重构

x

y s

s

t

p(s,θ)

θ

f(x,y)

X 射线方向

1) 、构造两个坐标系,相交成 θ角。根据解析几何的知识有

t

s

y

x

y

x

t

s

cossin

sincos

cossin

sincos

根据投影数据重构图像的理论进行图像重构。

Page 43: 第五章    图像的恢复与重构

2) 、寻找p(s,θ) 与 f(s,t) 之间的关系根据 X射线与物体吸收率的关系有: dttsfsp

L ),(),(

3) 、求投影p(s,θ) 在某一 θ时对 s的傅立叶变换:

)0,(),(

)]0(2exp[),(

]2exp[),(

]2exp[),(),(

SFTSF

dtdsTsSjtsf

dtdssSjtsf

dssSjspSP

L

L

其中, T=0。可以写成 F(S,T)=F(S,0)角度 θ固定后, p(s,θ) 的傅立叶变换= s轴上各点的傅立叶变换。

x

y s

s

t

p(s,θ)

θ

f(x,y) X射线方向

L

沿 L 方向的微

Page 44: 第五章    图像的恢复与重构

4) 、寻找 f(x,y) 与 p(s,θ) 、 f(s,t) 之间的关系由于吸收值与座标系统无关 (仅差坐标变换系数 ) ,有:

对 f(x,y) 和 f(s,t) 的傅立叶变换为:(1) ),()]cossin(),sincos[(),( tsftstsfyxf

(3) )](2exp[),(),(

(2) )](2exp[),(),(

dtdstTsSjtsfTSF

dydxyYxXjyxfYXF

将 (1) 代入 (2) 有 (雅可比行列式= 1 , dxdy=dsdt) :

dtdstYXsYXjtsf

dtdsJYtsXtsjtsfYXF

)])cossin()sincos((2exp[),(

)])cossin()sincos((2exp[),(),(

1

t

y

t

xs

y

s

x

J

雅可比行列式

Page 45: 第五章    图像的恢复与重构

观察傅立叶变换公式,与 (3)比较,恰好满足旋转公式

这个变换是频域的一个旋转变换,于是有

T

S

Y

X

Y

X

T

S

cossin

sincos

cossin

sincos

0)0,(),(),(

)3()](2exp[),(

)])cossin()sincos((2exp[),(),(

TSFSPTSF

dtdstTsSjtsf

dtdstYXsYXjtsfYXF

投影定理 (以前图所示 ):某角度投影数据对 s 的傅立叶变换= s轴上对应点的傅立叶变换。

t

s

y

x

y

x

t

s

cossin

sincos

cossin

sincos

对比

Page 46: 第五章    图像的恢复与重构

5、傅立叶重建原理如果已知 F(X,Y) ,则

dYdXyYxXjYXFyxf

)](2exp[),(),(

sin

cos

cossin

sincos

0S

S

Y

X

T

S

Y

X

T

该式即为重构图象的生成公式。

YXS

Y

S

X

J

雅可比行列式

ddSSySxSjSP

dYdXyYxXjSF

dYdXyYxXjYXFyxf

0

)]sincos(2exp[),(

)](2exp[)0,(

)](2exp[),(),(

Page 47: 第五章    图像的恢复与重构

实际应用中往往采用下面的方法

公式 F(S,T)= P(S,θ)=F(S,0) T=0 告诉我们:通过采样

数据得到的傅立叶变换值,实际上是 x-y座标系统旋转 θ角度后在 s-t 座标系统中 s轴上数据的傅立叶变换,如下图所示。如果要得到真正图象的傅立叶变换,需对下图做适当的修改。

X

Y

Y

X

Page 48: 第五章    图像的恢复与重构

一般用线性内插公式计算 (X,Y)座标点上的值。

4321

4

4

3

3

2

2

1

1

1111dddd

dP

dP

dP

dP

C

式中: C为直角坐标定位点; P1 , P2 , P3 , P4 为与C点距离最近之四点之值; d1 , d2 , d3 , d4 为 C点与 P1 , P2 , P3 , P4四点的距离。对于直角坐标定位点在旋转座标轴上之点,可采用零级内插公式得到:

)(min id

PCi

C

X

Y

得到频域图象后,对其进行反变换,即可得到 f(x,y) 。

最近点的傅立叶变换值

Page 49: 第五章    图像的恢复与重构

6、卷积反投影重建原理对空域图象而言,有

dYdXyYxXjYXFyxf

)](2exp[),(),(

空域、频域座标对应关系为

arctgY/X sin 20 sin

X cos r0 cos 22

SYry

YSSXrx

x

y st

θ

f(x,y)

φ

X

YS

T

θ

F(X,Y)

r

Page 50: 第五章    图像的恢复与重构

根据傅立叶重建公式及座标变换式,有

ddSSrjSSP

ddSSSrSrjSP

ddSSySxSjSPyxf

0

0

0

)]cos(2exp[),(

)]sinsincoscos(2exp[),(

)]sincos(2exp[),( ),(

P(S,θ)乘以 |S|等效为两个时域函数的卷积。 P(S,θ)的傅立叶反变换是投影数据 p(s,θ) ;而其余部分可设为 h(s) ,即

于是称为核函数— ]2exp[)(

dSsSjSsh

ddssshspdshspyxf ])(),([])(*),([ ),( ''

0

'

0

Page 51: 第五章    图像的恢复与重构

7、核函数是什么样子根据 |S|= (X2+Y2)1/2 ,可知

X

Y

|S|

s

h(s)

h(s)

s

h(s)

s

X

|S|

|S|

X

|S|

X

|S|

X

h(s)

s