数字图像处理数字图像处理

(Digital Image Processing(Digital Image Processing ））

数字图像处理与模式识别研究所数字图像处理与模式识别研究所

第三章 常用的数学变换

3.1 引言3.2 空域变换3.3 离散傅立叶变换3.4 离散余弦变换3.5 KL 变换3.6 其他正交变换

3.1 引言 图像的数学变换的特点在于其有精确的数学背景，是许多图像处理技术的基础。在这些变换中，一种是在空间域上进行的，这些变换根据处理操作的特点，可以分为图像的代数运算和几何运算，它们都是利用对输入图像进行加工而得到输出图像。另一种重要的数学变换则是将原定义在图像空间的图像以某种形式转换到另外一些空间，并利用输入图像在这些空间的特有性质有效而快速地对图像进行处理和分析。最典型的变换有离散傅立叶变换，它把空域中的图像信号看作二维时间序列，将其变换到频率域来分析图像的频谱特性。 空域变换有如加法、减法等的代数变换，也有如旋转、拉伸等的几何变换；频域变换除了傅立叶变换外，常用的非空域的变换还有离散余弦变换、PCA 变换等等。无论是在空域中的数学变换还是频域中的数学变换，它们在图像分析、滤波、增强、压缩等处理中都有着非常典型而重要的应用。

3.2 空域变换1. 代数变换 图像的代数变换是指对两幅图像进行点对点的四则运算而得到一幅新的输出图像。图像的代数运算在图像处理中有着广泛的应用，它除了可以实

现自身所需要的算术操作，还能为许多复杂的图像处理提供准备。1 ）加法运算

2 ）减法运算（差分）

),(),(),( yxByxAyxC

),(),(),( yxByxAyxC

+ =

=—

线性变换

非线性变换

3 ）其他灰度变换 灰度变换的变换函数曲线如下图：

(1) 图象求反

0

255

255

(2) 对比度拉伸

(3) 动态范围压缩

0

255

255

(4) 平均人脸模板

2. 几何变换 图像在生成过程中，由于系统本身具有非线性或拍摄角度不同，会使生成的图像产生几何失真。几何失真一般分为系统失真和非系统失真。系统失真是有规律的、能预测的；非系统失真则是随机的。 几何变换可以改变图像中物体之间的空间关系。这种运算可以看成是图像内的各物体在图像内移动的过程。例如，物体的转动、扭曲、倾斜、拉伸等等，都是几何运算的结果。如下图：

1 ）平移

0 0( , ) ( , )a x y x x b x y y y

0

0

( , ) 1 0

( , ) 0 1

1 0 0 1 1

a x y x x

b x y y y

dyyxbcxyxa ),(),(

1100

00

00

1

),(

),(

y

x

d

c

yxb

yxa

2 ）放缩

( , ) cos( ) sin( )

( , ) sin( ) cos( )

a x y x y

b x y x y

( , ) cos( ) sin( ) 0

( , ) sin( ) cos( ) 0

1 0 0 1 1

a x y x

b x y y

3 ）旋转

0,0 x

y

0,0 x

y

4 ）水平镜像

0,0 x

y

5 ）垂直镜像

6 ）一般的几何变换 下图显示了在失真和相应的校正图像中的四边形区域，四边的顶点是相应的“控制点”。假设四边形区域中的几何形变过程用双线性方程对来建模，即：

1 2 3 4

5 6 7 8

( , )

( , )

a x y c x c y c xy c

b x y c x c y c xy c

F

D

C

BA

F

D

C

AB

7 ）几何变换中灰度插值 对图像作定量分析时，就要对失真的图像进行几何校正（即将存在几何失真的图像校正成无几何失真的图像），以免影响分析精度。基本方法是先建立几何校正的数学模型；其次利用已知条件确定模型参数；最后根据模型对图像进行几何校正。通常分为两步： (1) 图像空间的坐标变换； (2) 确定校正空间各象素的灰度值。 输出象素通常被映射到输入图像中的非整数位置，即位于四个输入象素之间。因此，为了决定与该位置相对应的灰度值，必须进行插值运算。常用的插值方法有 3 种： (1) 最近邻插值 (Nearest Neighbor Interpolation)

(2) 双线性插值 (Bilinear Interpolation)

(3) 三次立方插值

(1) 最近邻插值 (Nearest Neighbor Interpolation) 最简单的插值方法是最近邻插值，即选择离它所映射到的位置最近的输入象素的灰度值为插值结果。数学表示为：

(2) 双线性插值 (Bilinear Interpolation) 双线性插值法是对最近邻法的一种改进，即用线性内插方法，根据点的四个相邻点的灰度值，分别在 x 和 y 方向上进行两次线性插值插值。如

下图：

1 1

1 1( ) ( ) ( ) ( )

2 2k k k k kf x f x x x x x x

首先，在 x 方向上作线性插值，对上端的两个顶尖进行线性插值得：

( ,0) (0,0) (1,0) (0,0)f x f x f f

( ,1) (0,1) (1,1) (0,1)f x f x f f

( , ) ( ,0) ( ,1) ( ,0)f x y f x y f x f x

( , ) (1,0) (0,0) (0,1) (0,0)

(1,1) (0,0) (0,1) (1,0) (0,0)

f x y f f x f f y

f f f f xy f

类似的，对于底端两个顶点进行线性插值有：

y 方向上作线性插值，以确定：

最后得到双线性插值插值公式为：

(3) 三次立方插值 该方法利用三次多项式 来逼近理论上的最佳插值函数 ，其数学表达式为：

上式中的是周围象素沿方向离原点的距离。待求象素的灰度值由其周围 16个点的灰度值加权内插得到。可推导出待求象素的灰度值计算式为：

)(xS xx /)sin(

2 3

2 3

1 2 0 1

( ) 4 8 5 1 2

0 2

x x x

S x x x x x

x

( , ) ( , )f x y f i u j v ABC 其中：

(1 )

( )

(1 )

(2 )

TS v

S vA

S v

S v

(1 )

( )

(1 )

(2 )

S u

S uC

S u

S u

.2 .1 0 1 2

S(x)

x

三次立方插值原理图

0

uv(x,y)

(i,j)

(i+1,j)(i+1,j+1)

(i,j+1)

(i.1,j.1) (i.1,j+2)

(i+2,j.1) (i+2,j+2)

( 1, 1) ( 1, ) ( 1, 1) ( 1, 2)

( , 1) ( , ) ( , 1) ( , 2)

( 1, 1) ( 1, ) ( 1, 1) ( 1, 2)

( 2, 1) ( 2, ) ( 2, 1) ( 2, 2)

f i j f i j f i j f i j

f i j f i j f i j f i jB

f i j f i j f i j f i j

f i j f i j f i j f i j

3.3 离散傅立叶变换1. 连续傅立叶变换1） 1D傅立叶变换定义

傅立叶变换 :

傅立叶反变换：

dxexfuF uxj 2)()(

dueuFxf uxj 2)()(

函数 f(x)的傅立叶一般情况下是一个复数量，可以表示为：

写成指数形式：

)()()( ujIuRuF

)(|)(|)( ujeuFuF

其中 : )()(|)(| 22 uIuRuF )(

)()(

uR

uIarctgu

称 |F(ω)|为 f(x)的傅立叶幅度谱，而 Φ(ω)为相位谱。

2 ） 2D 傅立叶变换 傅立叶变换可推广到二维函数。如果二维函数 f(x,y)满足狄里赫莱条件，那么存在下面的二维傅立叶变换对：

dxdyeyxfvuF vyuxj )(2),(),(

dudvevuFyxf vyuxj )(2),(),(

类似于一维傅立叶变换，二维傅立叶变换的幅度谱和相位谱：

),(),(|),(| 22 vuIvuRvuF

),(

),(),(

vuR

vuIarctgvu

2. 离散傅立叶变换 如果 x(n)为一数字序列， 0≤n≤N-1,则其离散傅立叶变换定义如下：

X(u)=n

N

0

1

x(n)e Nunj /2 u=0, 1, 2, . . . . . . , N-1

x(n)=

1

0

1 N

uNX(u)e Nunj /2 n=0, 1, 2, . . . . . . , N-1

nvM

m

N

n

muWWnmfvuF 2

1

0

1

01),(),(

nvM

k

N

l

muWWvuFMN

nmf

2

1

0

1

01),(

1),(

其中， u,m均取 0,1,…,M-1； v,n 均取 0,1,…,N-1；W1=exp(-j2π/M)；W2=exp(-j2π/N) ）。

二维离散傅立叶变换：

3. 离散傅立叶变换的性质 傅立叶变换有许多重其要的性质，这些性质为实际应用提供了诸多便利。下面以二维傅立叶变换为例，介绍几个主要的性质。

1 ）可分离性

令：

则：

])22

(exp[),(),(1

0

1

0

N

x

M

y

vyM

uxN

jyxfvuF

)2

exp(]})2

exp(),([{1

0

1

0

uxN

jvyM

jyxfN

x

M

y

1

0

)2

exp(),(),(M

y

vyM

jyxfvxF

)2

exp(),(),(1

0

uxN

jvxFvuFN

x

2 ）线性 傅立叶变换是线性变换，满足线性变换的叠加性：

)],([)],([)],(),([ 22112211 yxfFayxfFayxfayxfaF

3 ）共轭对称性

如果 F(u,v)是 f(x,y)的傅立叶变换， F*(-u,-v)是傅立叶变换的共轭函数，那么：

),(),( vuFvuF

4 ）旋转性 如果空间域函数旋转的角度为 θ0, 那么在变换域中此函数的傅立叶变换也旋转同样的角度，即：

),(),( 00 kFrf

5 ）比例变换性 如果如果是的傅立叶变换， a和 b是两个标量，那么：

),(),( vuaFyxaf

),(||

1),(

b

v

a

uF

abbyaxf

6 ） Parseval 定理 这个性质也称为能量保持定理。如果 F(u,v)是 f(x,y)的傅立叶变换，那么有下式成立：

dudvvuFdxdyyxf 22 ),(||),(|

这个性质说明变换前后的能量保持不变。

7 ）相关定理 两个二维函数 f(x,y),g(x,y)的相关函数定义如下：

ddyxgfyxgyxf ),(),(),(),(

符号“ ο”表示相关运算。傅立叶变换的一个重要性质是相关定理：),(),(),(),( vuGvuFyxgyxf

),(),(),(),( vuGvuFyxgyxf

8 ）卷积定理 两个二维函数 f(x,y),g(x,y)的卷积运算定义如下：

ddyxgfyxgyxf ),(),(),(),(

符号“ *”表示卷积运算。根据上面的定义，傅立叶变换的卷积定理如下： ),(),(),(),( vuGvuFyxgyxf

),(),(),(),( vuGvuFyxgyxf

4. 快速傅立叶变换 1965年，库利—图基提出把原始的 N 点序列依次分解成一系列短序列，然后求出这些短序列的离散傅立叶变换，以此来减少乘法运算，这就是快速傅立叶变换（ Fast Fourier Transform,FFT ）。 对于一个有限长序列 {x(n)} ， 0≤n≤N-1, ,按 n 的奇偶把 x(n)

分解为两个 N/2 点的子序列 :

其傅立叶变换为：

1

0

)()(N

n

nkNWnxkX

MN 2

偶数n

nkNWnx )(

奇数n

nkNWnx )(

)()2( 1 rxrx )()12( 2 rxrx 12

,,1,0 N

r

12

0

2

)(2

N

r

rk

NWrx W

kr

N

N

r

rx)12(

12

0

)12(

WWxWxk

N

rkN

N

r

rkN

N

r

rr2

12

02

2

12

01

)()(

kN

rkN WW 2)(1 rx )(2 rx

WWxWxk

N

rkN

N

r

rkN

N

r

rrkX )( )( )(2

12

02

2

12

01

)()()( kXWkXkX 21kN

)()(1

21

kr XxDFT

N

点

)()(2

22

kr XxDFT

N

点

1...,1,02

Nk

)(2

NkX

　　前一半的值)(kX

)()( kXWkX 2kN1 1...,1,0

2

Nk

　　后一半的值)(kX

复乘：2

2N

复加：2

2N

2)2

(N

1

)12

(2

NN

2

2 2

N2

N

2

一次分解后的运算量：

)0(1X

)1(1X

)2(1X

)3(1X

)0(2X

)1(2X

)2(2X

)3(2X

)0(X

)1(X

)2(X

)3(X

)4(X

)5(X

)6(X

)7(X

0NW

1NW

2NW

3NW

点 DFT2

N

点 DFT2

N

)0(x

)2(x

)4(x

)6(x

)1(x

)3(x

)5(x

)7(x

)0(X

)1(X

)2(X

)3(X

)4(X

)5(X

)6(X

)7(X

0NW

1NW

2NW

3NW

每个 点 DFT 分解成两个 点 DFT 。2

N

4

N

)0(x

)4(x

)2(x

)6(x

)0(1X

)1(1X

)2(1X

)3(1X

)0(3X

)1(3X

)0(4X

)1(4X

点DFT4

N

点DFT4

N 0NW

2NW

0NW

2NW

)1(x

)5(x

)3(x

)7(x

)0(2X

)1(2X

)2(2X

)3(2X

)0(5X

)1(5X

)0(6X

)1(6X

点DFT4

N

点DFT4

N

)0(1X

)1(1X

)2(1X

)3(1X

)0(2X

)1(2X

)2(2X

)3(2X

)0(X

)1(X

)2(X

)3(X

)4(X

)5(X

)6(X

)7(X

0NW

1NW

2NW

3NW

)0(3X

)1(3X

)0(4X

)1(4X

)0(5X

)1(5X

)0(6X

)1(6X

2NW

0NW

2NW

0NW

)0(x

)4(x

)2(x

)6(x

)1(x

)5(x

)3(x

)7(x

0NW

0NW

0NW

0NW

级N2log

级N2log

级个蝶形 /2

N

级个蝶形 /2

N

蝶形次复乘 /1

蝶形次复加 /2

次复乘NN2

log2

次复加NN2

log

第一级 第二级 第三级

所需的运算量：

上面称为 DIT-FFT 算法。也可以在频域进行分解，相应算法是DIF-FFT ，其蝶形分解图如下：

5. 离散傅立叶变换的显示 下图是一个图的 DFT 频谱图：

离散傅立叶变换的显示——对称平移后

离散傅立叶变换对称平移方法 离散傅立叶变换对称平移后频谱

其他几个图像的频谱图：

注意观察对应关系

Jean Buptiste Joseph Fourier 和他的付立叶变换

(a) 输入图像

(b) 幅值谱

(c) 相位谱

(d) 由幅值谱重构的图象

(e) 由相位谱重构的图象

结论：相位谱可能具有更重要的应用

3.4 离散余弦变换1. 1D 离散余弦变换的正变换

余弦变换为：

其中，

反变换为：

N

uxuauxg

2

)12(cos)(),(

1,...,1,0 Nx

1,,2,1 ,/2

0 ,/1)(

NuN

uNua

当当

),()()(1

0

uxgxfuCN

x

),()()(1

0

uxguCxfN

u

N

vy

N

uxvauavuyxg

2

)12(cos

2

)12(cos)()(),,,(

2. 2D 离散余弦变换的正变换

正变换为：

其中，

a(v)与 a(u)定义类似。

反变换为：

),,,(),(),(1

0

1

0

vuyxgyxfvuCN

x

M

y

1,,2,1 ,/2

0 ,/1)(

NuN

uNua

当当

),,,(),(),(1

0

1

0

vuyxgvuCyxfN

u

M

v

3. 2D DCT 基图像

二维 DCT基图像

DCT 变换举例：

3.5 KL 变换1. 离散 KL 变换 KL （ Karhunen-Loeve ）或（ DKT ），也称为 Hotelling 变换、特

征向量变换 (Eigenvector-Based Transform) 、主分量（ PCA ）变换等。 它是一种利用图像的统计性质 / 统计模型的变换。常用在数据压缩、

特征提取等方面。1 ）定义 设图像 f NN (x,y), 采样了 M 次，得到集合 {fi(x,y),i=1,2,…,M} 。对每

个图像按行或按列依次排列，得采样图像： Xi=(xi1,xi2,…,xiN

2)T, 则有： Mx 为均值向量： Mx=E{X} ， CX 为协方差矩阵： CX=E{(X-Mx)(X-Mx)T}, 近似表示：

M

i

TXX

TiiX MMXX

MC

1

][1

M

iiX X

MXEM

1

1}{

2222

2

21

11211

NNNN

N

eee

eee

A

令 ei,i, i=1,2,…,N2 分别表示矩阵的特征矢量与特征值，将 i 减序排列， 1> i2>…N2,

构造变换矩阵：

KL 变换：

KL反变换：

变换后均值为 0 ，方差为：

2 ）性质

2. 应用1 ）压缩 CX 实对称矩阵，总可以找到标准正交的特征向量集合构成 A ， A-1=A’ ，由 Y 利用 X=A’Y+MX 重建 X 。 压缩时，取 k个大的 i ，并构造出 Ak, ，则

离散 K-L 变换在最小平方误差的意义上最优。

22

111

2})ˆ{(

;N

kjj

k

jj

N

jj

XTk

XXER

mYAX

特点： 1 ）比其它方法图像压缩的效率高； 2 ）图像标准化（旋转）。其缺点是： 1 ）非分离，需要计算 CX ，及其特征值、特征向量； 2 ）无快速算法。

2 ）图像旋转 第一基向量与数据中最大变化的方向相对应。若目标已抽出，希望与某个标准的、或不变的方向对准。需要处理目标中各像素的坐标。如下图所示：

x1

(a)

y1y2

x2

0

e1

e2

(b)

y1

y1

(c)

y1

y1

二维目标的旋转。 (a) 原始数据的散布指明单位特征向量的方向；

(b) 利用变换 Y=AX 作数据旋转； (c) 利用变换 Y=A(X-MX) 作数据旋转和中心化

减少数据量、运算量

人脸图像样本库

人脸特征样本库

待识人脸图像

变换矩阵

特征变化

特征匹配

K-L 变换

身份确认

3 ） KL 变换用于图像压缩 ----- 人脸识别，称为特征脸

1 ．正交变换的一般形式2. Walsh-Hadamard 变换3 ． Haar 变换4 ．斜变换5. DST 变换6. Hartley 变换

3.6 其他正交变换

1 ．正交变换的一般形式 在图像处理技术中，离散图像的正交变换被广泛地应用于图像的特征提取、增强、复原、分割和描述，以及图像的编码和压缩中。这种变换一般是线性的，其基本运算是严格可逆的，并满足一定的正交条件，有时候也称为酉变换。而傅立叶变换、余弦变换就是正交变换的两种，除此之外，还有其他类型的正交变换。正交变换的一般形式为：

其反变换为：

其中， 分别是正变换核函数和反变换核函数。对于 2D，有：

1,,2,1 ),()()(1

0

NuuxgxfuTN

x

1,,2,1 ),()()(1

0

NxuxhuTxfN

u

),(),,( uxhuxg

1,,2,1, ),,,(),(),(1

0

1

0

NvuvuyxgyxfvuTN

x

N

y

1,,2,1, ),,,(),(),(1

0

1

0

NyxvuyxhvuTyxfN

u

N

v

如果正变换核是可分离的，则有： ),(),(),,,( 21 vyguxgvuyxg

如果反变换核是可分离的，则有： ),(),(),,,( 21 vyhuxhvuyxh

如果 ，则称此核是加法对称的。

离散傅立叶变换中，

因此，傅立叶变换是正交对称变换。

21 gg

)/)(2exp(1

),,,( NvyuxjN

vuyxg

)/2exp(1

)/2exp(1

NvyjN

NuxjN

),(),( 21 vyguxg

1111

1111

1111

1111

2

1hH

1111

1111

1111

1111

2

1wH

RC FAAT

2 ． Walsh-Hadamard 变换

正交变换可写成矩阵形式：

其中 F 是图像， Ac 是 g1元素构成的行变换矩阵， AR 是由 g2元素构成的列变换矩阵。 T 是变换的结果。

反变换矩阵形式： RCTBBF

Walsh 变换矩阵为：

Hadamard 变换矩阵为：

NN

NNN HH

HHH2

递推式为：

3 ． Haar 变换 Haar 变换的核函数为：

120,1,2,n ,1,2,p

02

)1(

2

)2/1( 2

2

)2/1(

2

n 2

),2( p

p

其它

ppp

pp

p nt

n

nt

tnharr

4×4 的 Haar 变换矩阵为：

2200

0022

1111

1111

4Haar

8×8 的 Haar 变换矩阵为：

22000000

00220000

00002200

00000022

22220000

000002222

11111111

11111111

8Haar

4 ．斜（ Slant ）变换

其变换矩阵为：

11

11

2

12S

由 2×2矩阵，通过下面的方式产生 N×N矩阵：

2/

2/

0

0

00

00

1010

0

0

0101

2

1

0

N

N

NNNN

NNNN

N S

S

II

abab

II

baba

S

nNN

NNN

Nab

abaa

2,,16,8,4 41/1

2 1

22/

2/2

其中，

5 ． DST 变换

其正变换为：

反变换为：

核函数为：

6 ． Hartley 变换

反变换为：

其中，

正变换为：

核函数为：