1

中国科学技术大学信息科学技术学院

基于谱聚类的特征点匹配 ——2009 年暑期大研结题报告

研究人：曹梦霏（PB006009066）

导师：庄连生

日期：2009 年 9 月 25 日

2

中 文 摘 要

基于谱聚类的特征点匹配算法是利用几何约束条件，针对不同特征点集中的

点，寻求其对应性。一方面，由于对应信息的获取根源于点集内部的几何关联，

因此该算法普适于任何类型的特征模式；另一方面，基于谱聚类的对任意形状的

样本空间都能获得全局最优解的聚类这一特性，算法的聚类过程性能上优越于其

它聚类算法，对于图划分来说即是满足最小割集准则的条件[1]；最后，针对利

用几何约束的匹配算法，基于谱聚类的实现过程还拥有区别于其他二次规划，或

是二步一次规划近似算法的速度优越性[2]，具体将在实验中有所体现。匹配算

法几乎是各种图像处理、分析算法的一个模块，在近年涌现的对图片特征层处理

以获得高层语义的算法中，特征点或特征集的匹配显得尤为重要。特征匹配算法

可广泛嵌入于图片分类、模式识别、视频跟踪等领域，但是目前专注于特征点匹

配的工作不多，而且正是由于不同的应用环境较多，因此特征匹配算法的要求不

尽相同，各算法往往是针对各自需要寻求较佳匹配算法。基于几何约束关系解决

对应性问题的技术[3]将对应性问题转化为图匹配问题，进而使用组合矩阵论[4]

中图谱处理技术获得最小割集下的最优二划分。实验中有对具体谱处理的特征向

量分析，以及另外旨向于应用的两部分实验：仿真点匹配和对实际图像使用 DOG

算子获得 sift 尺度不变特征[5]，后者数据使用了 David G. Lowe[5]的实验数据、一

些经典图像处理图像。其中的优越性以及算法仍存在的问题将在讨论中详述。

3

Abstract The algorithm of finding consistent correspondences between features based on

spectral clustering, which mines and utilizes the geometric information, is proved to

be efficient and effective due to the following factors: the foundation of the

correspondences is derived from geometric constraints among the internal points,

making the algorithm fit for all types of features; different from other clustering

which may fall into regional optimization when faced with concave kind of data sets,

spectral clustering is quite robust to solve the mincut problem[1]; as for the detailed

process of calculation using geometric constraints, the spectrum-based disposal

outperform the other algorithms such as the Integer Quadratic Programming, Linear

Programming[2] with several orders of magnitude faster. Matching is part of most

image processing, analyzing algorithms, and recent years in the seeking of high levels

of semantic comprehension its significance increase dramatically. However, the

study focused on it is not so much and the existing ones tend to come from their

own applications under certain circumstances. The spectral technique for

correspondence problems using geometric constraints [3] takes measures by

transforming the correspondence problem to graph matching problem, and further

utilizing the theory of Combinatorial Matrix Theory[4]，to gain the optimum solution

within the mincut demand. The experimental evaluation shows the spectral

technique is robust to outliers, accurate in terms of matching rate, and much faster

than existing methods; also, the remaining part explores the rules of eigenvector in

the spectral process.

4

目 录 摘 要.......................................................................................................................... 2

第一章 问题引入.......................................................................................................... 5

1.1 领域背景 ........................................................................................................ 5

1.2 问题简要描述 ................................................................................................ 5

第二章 研究现状.......................................................................................................... 6

2.1 一般方法概述 ................................................................................................. 6

2.2 典型算法简述 ................................................................................................ 7

2.2.1 基于核的金字塔匹配算法 ............................................................... 7

2.2.2 基于学习的匹配算法 ....................................................................... 9

第三章 基于谱聚类的对应点匹配............................................................................ 10

3.1 图匹配数学模型介绍 .................................................................................. 10

3.2 谱聚类基本数学模型及其论证 .................................................................. 11

3.2.1 直接特征向量聚类原理 ................................................................. 12

3.2.2 图拉普拉斯聚类原理 ..................................................................... 14

3.3 两种谱聚类算法运用的比较分析 .............................................................. 16

3.4 基于谱聚类的对应点匹配算法 .................................................................. 18

第四章 实验................................................................................................................ 19

4.1 仿真实验 ....................................................................................................... 19

4.2 图像实验 ....................................................................................................... 23

4.3 探索实验 ....................................................................................................... 25

第五章 总结................................................................................................................ 28

参考文献...................................................................................................................... 29

附录.............................................................................................................................. 30

5

一. 问题引入

1.1 领域背景

从工科基础理论来看，特征点匹配在模式分类、模式识别中是较为基础的问

题，并且在不局限于图像处理、分析的条件下，数据集间的对应性追求具有更为

广阔的天地；体现在实际应用中，图片分类、具体模式例如人脸的识别、高层语

义的机器学习等等领域中特征点匹配都具有重要的应用与扩展前景。例如：在一

些图片识别算法[2]中，采用训练样本中得到多次匹配的点作为识别过程的关键

点，可以提高识别的精度；在非监督分层级的语义构造[6]中，使用匹配点构造

基本的语义元素，进而逐层关联得到目标的分层语义。

本文围绕的匹配算法的特点是具有数学基础支撑、适用于多应用场景，并且

在较多情况下可作为其他算法的不失复杂度而改进鲁棒性能的协同工作。

1.2 问题简要描述

特征点匹配可以一般抽象为：给定两个特征集 P、Q，其中集合 P 包含 np 个

数据特征，Q 包含 nq 个模型特征。需要得到的输出解就是一个描述映射的点对

集，亦即一个二元关系几何 C，其中对任意(i，i’)∈C，有 i∈P，i’ ∈Q 。对于 P、

Q 中属于 C 中某对的特征称为 inliers，其它称为 outliers。不同的环境下对于映射

的满射性和单射性要求不同。

具体到图像领域的处理中，P、Q 可以是两个从特定图像或是图像集中提取

的特征集；要解决的问题就是从这两个特征集中得到某一集合中各个特征与另一

集合的各个特征的匹配情况，对于匹配的要求针对不同应用不同条件可以有所改

变。

对于这样问题的求解的基本思想就是挖掘利用特征间的数据关系来获取具

有一致性的对应关系。针对所利用的不同类型的数据有不同的方法构造问题处理

模型，而针对不同的处理方式又有多种数学工具加以应用。

6

获取特征点集建立匹配数学

模型获取对应关系

图一 特征点匹配基本模型

二. 研究现状

2.1 一般方法概述

要实现图像的特征点匹配，必须要考虑的因素包括：速度，这体现在算法的

复杂度上，需要从模型建立就开始着手考虑；精度，这体现在算法选取的信息来

源及其利用效率，可以从特征的选取以及处理来解决；鲁棒性，这体现在整个算

法对于噪声干扰的抵抗性能，同样在各个过程都应予以考虑。分析当前的主要处

理方法的对象，一般来说分为：（1）直接利用特征空间中各个特征点的有效距

离进行枚举匹配，例如 David G. Lowe[5] 就是利用这种方式获得两张图像的匹配

点；（2）利用空间信息中各个特征点的相互关系进行匹配，例如 berg 等人[2]

提出的利用空间中点对距离以及点对方向的差异进行匹配；（3）利用特征层中

的聚类关联获取各个特征点在特征空间中的相互关联性从而获得其匹配的概率，

例如典型的 codebook 算法，包括后续的 visual words，visual syntactic 等等。但

是对于第一种方法，由于目前各种特征例如针对局部细节的 sift 特征及其改装版

PCAsift、针对人脸识别的 Gabor 特征等等都难以在特征空间中将不同的高层语义

区分开来，因此单独使用这一信息来获取匹配是难以获得高精度的。第二种方法

考虑了特征点的空间信息，可以有效的改进第一种方法的精度，但是从具体实现

的复杂度来看在某些条件下可以被论证为是 np-hard 的问题，近年来相关工作包

括谱聚类，金字塔核算法；另外，除了如何处理空间信息的问题外如何最充分地

使用空间信息也是需要探讨的问题，在这方面近年也有相关的基于核和基于学习

的算法以获得对平面信息的最大利用。第三种方法是当前较为热门的处理方式，

7

它对于机器的人工智能有较大突破，除了在特征空间的聚类等处理外，单个特征

点间的处理仍是算法的基础模块[6]。

具体针对网络图像检索或者视频流处理，Matthew B. Blaschko 等人[8]提出利

用对谱聚类的改进，将除图像中的信息意外的其他信息如文本等同样构建相似度

函数进行处理；一方面利用了图的谱这一数学工具因而具有其特性，另一方面扩

充了可用信息。其文章作者实验表明该算法较传统的 PCA 等处理具有更佳的统

计特性。

目前已发表论文中对于特征点匹配常常拘束在第一种处理，具体实现中考虑

的如何使用特征层信息，亦即选取何种范数何种度量能够最大区分特征空间中模

式距离。但是由于从信源来看，其信息量的不充分必然导致精度没有加入空间信

息的高，而对于如何使用空间信息，下面将简述两种常用的方法。

2.2 典型算法简述

对于空间信息的使用，常见方法是构造相似度函数，或者是成本函数，然后

对其进行规划处理。但是具体到相似性度量，对于不同图像、同一图像中的块可

能都需要不同的参数。因此，在考虑空间信息时必然要从全局和局部两方面进行

处理。下面基于学习的匹配算法和基于核的金字塔匹配算法分别从两个角度来解

决这个问题。

2.2.1 基于核的金字塔匹配算法

由 K. Grauman 和 T. Darrell 等人[7]在 2005 年提出的金字塔匹配核算法总结来

有两个优点：（1）速度快，其匹配处理的复杂度是特征数的线性级，总算法的

复杂度也只是 O(TdmlogD)，其中 m 是特征的数量，T、d、D 是与样本规模有关

的参数但作者分析其总复杂度仍是当前算法中较优的；（2）能获取最优解，这

是由于其构造的核函数是正定的，且经证明满足 Mercer 条件。另外，在处理过

程中经过适当调整可以考虑有 outliers 的情况，具有对图像遮挡等情况的鲁棒性；

由于金字塔方法是全局的比较，作者虽并未数学证明但也从分析上强调了其算法

内在地包含对空间关联信息的考虑。

8

算法的数学模型是在两个特征集 P、Q 获得以后，分别对两个输入集合计算

其多尺度直方图，也就是所说的金字塔。对于特征集合 X，

X = { x | x = { [ 1

1f , …, 1

df ],…,[1

xmf ,…, xm

df ] } }， (1)

其中 X 中共有xm 个维数为 d 的特征，在直径为 D 的高维球域内，并且由等比例

压扩使得向量间最小距离为2

d。定义金字塔的特征提取函数为：

1 0[ ( ), ( ),..., ( )]LH x H x H x ， (2)

其中 L= log2 D , x ∈X，Hi(x)是由边长为 2i 的 d 维方格的直方图向量，维度为

ri= ( )2

i

dD

d。

于是对于输入的两个集 P、Q，金字塔匹配核度量集合间相似度使用：

0

( ( ), ( ))L

i i

i

K y z w N

， (3)

其中 Ni 是在第 i 层新匹配的点对数，即在更精细的尺度中无法匹配的特征对。

Wi 是可以设定的权值，以区分不同层匹配的重要性，但是越精细匹配的层中匹

配点的重要性越大，更应该判为正确匹配。而这个度量在金字塔匹配中可以转化

为更为简便的计算直方图间的重叠 overlap，或是交集 intersection：

( ) ( )

1

( , ) min( , )r

j j

j

A B A B

(3)

其中 A 和 B 是拥有 r 个方格的直方图，而 A（j）指示 A 中第 j 个方格的数量。因此

由上可知：

Ni=τ (Hi(y),Hi(z)) -τ (Hi-1(y),Hi-1(z))， (5)

进而可推出：

1 1

0

1( ( ), ( )) ( ( ( ), ( )) ( ( ), ( )))

2

L

i i i iii

K y z H y H z H y H z

， (6)

考虑到图像间的大小或特征点绝对数目的差别，应当进一步进行归一化：

1' ( , ) ( , )K P Q P Q

C ， (7)

其中 ( , ) ( , )C P P Q Q 。

9

图二是文章中对算法的举例数据图示：

图二：y 和 z 分别是两个一维特征集，线段划分直方图；最右边是得到的匹配相似度的数据

该文章作者在具体实现中运用支持向量机，并运用到目标识别任务中；表明

相对当前一些算法有更高的精确度和更低的复杂度。

2.2.2 基于学习的匹配算法

由 Tibério S. Caetano 等人[9]提出的基于学习的图匹配，其数学基础是将模式

匹配问题建模为经典的图匹配问题；而这篇文章正是聚焦于前述的如何最有效的

利用获得的关联信息，即一致性函数或成本函数的构造问题。

具体的图模型描述将在谱聚类算法中详述，这里仅仅简述该算法的主要思

想。基于学习的匹配算法是利用一些标注的匹配对，对图匹配中的成本函数或相

思度函数的映射情况进行最优逼近，将构造的损失目标函数最小化，从而得到其

最佳描述的参数集；因此也利用了参数估计的相关知识。该文章作者在实验中表

明其方法较图匹配中的二次规划算法具有更好的性能。

该算法引入了对参数训练的学习过程，因此不可能适用于无监督情况；另外，

样本的选取与学习也是对实验精度和复杂度影响较大的因素。而且从本质上来

看，该算法仍是采用的线性规划进行图匹配问题的近似求解；因此在保有学习这

一过程的基础上仍有许多可以考虑的地方。

10

三. 基于谱聚类的对应点匹配

基于谱聚类的对应点匹配算法将对应性问题当作图匹配问题处理，进而将图

匹配问题转化为单图的节点划分或者聚类问题；而图匹配与聚类相关的理论较多

较基础，因此整个算法具有严密的数学推导支撑。国内外均有较多研究者以谱聚

类为研究中心并进行各式算法的研究；其中谱聚类家族的一个有名分支为基于图

的拉普拉斯算子，由 Ulrike von Luxburg[1]详细整理介绍，是基于图拉普拉斯的谱

聚类领域的经典文章。然而本文中运用到对应点匹配算法的谱聚类处理与之少有

差别，后文将在理论和实验分别对二者今昔分析讨论。

3.1 图匹配数学模型介绍[10]

对于图 G=（V，E），V 为顶点集合，边集 E 是 V×V 的一个子集（后仅讨论

无向图情况）。图模型中，图的顶点和边还可以包含更多的信息，例如当这种信

息是简单的标定名称，则称图为标定图；其他情况下图的顶点和边可以涵盖一些

其他信息，这些信息都称作顶点或边的属性而图称为属性图。较为广泛使用的有

顶点属性图 Gi，即加权图；另外还有边属性图 Gij。至此，对于一般的图匹配问

题就是对于一个模型图 GM=（VM，EM），一个数据图 GD=（VD，ED），并满足| VM

|=| VD |，对所有信息进行处理并判决两图的相似性。具体问题的解即是寻找一

个一对一的映射 f：VD→VM，其中对任意(u，v)∈ED，有（f（u），f（v））∈EM。

若存在这样的 f，则称 GD 关于 f 同态于 GM；这时的图匹配问题可称为精确图匹

配问题（exact graph matching）。但是在有些情况下无法精确找到这样的 f，或

者根本就不存在（例如| VM |<| VD |的情况），因此处理的方法常常是定义一个

目标函数以获取其极值为目标得到图的最佳匹配；这时的图匹配问题称为不精确

图匹配问题。事实上，在实际应用中，模型特征数常常小于提取的任意样本特征

集的大小；因此使用到的算法都是针对非精确图匹配问题。

对于上述两个图定义一个匹配矩阵 y，其中 yii’ ∈{0,1}：当第一个图中的结

点 i 映射到第二个图中的 i’,则 yii’ =1，否则 yii’ =0。定义 cii’ 为匹配对 i→i’的相容

性函数值；dii’jj’ 为一对点对 ij→i’j’的相容性函数值。那么，图匹配问题的一般求

解就是在下列 np-hard 的二次规划问题中寻找最优匹配矩阵 y*：

11

' ' ' ' ' '

ii' ii'

* [ ]argmax ii ii ii jj ii jj

y

y c y d y y ， (8)

其中一般要求满足双射即对所有 i 有' 1iii

y ，对所有 i’有''

1iiiy ；或者是诸

如图像中的典型情况要求映射满足是多对一函数即对所有 i 有''

1iiiy 。特殊

地，若对所有 i，j，i’，j’有 dii’jj’ =0 则上述问题退化成为一个线性规划问题，在最

不利于解的情况下精确计算的复杂度为立方时间。

显然，相容性函数值 c，d 是依赖于顶点属性{ ,i iD MG G }，边属性{ ,

ij ijD MG G }；

故这个函数的选取在形式和取值上都是值得探讨的[9]。

3.2 谱聚类基本数学模型及其论证

给定一个数据点集P={x1，x2，x3，…，xn}作为待聚类的对象集，其中xi为待聚

类的数据点，以及数据点之间的相似性度量sij≥0。现以图模型对数据进行呈现：

构造相似图G=（V，E），每个顶点vi代表数据点xi，其中E=V×V表示顶点之间的

边集，eij表示顶点vi和vj之间的边(vi，vj)，即eij =(vi，vj)，边(vi，vj)上的权wij即sij≥0，

表示vi和vj之间的相似度，vi和vj之间越相似，即vi和vj越有可能属于同一类，wij越

大；反之wij越大，表明vi和vj越有可能属于同一类，特别有wii>0，i=1，2，…，n。

通过归一化可以将wij划归为[0，1]中，下文将默认已经归一化过了。称两顶点相

连接当且仅当相似度wij为正或者大于某个阈值。称二元函数R：V×V→[0，1]，

并满足R(vi，vj)=wij，i，j=1，2，…，n，为V的相似度函数。需要求解的结果就是

将数据集P中的数据点x1，x2，x3，…，xn亦即图中的v1，v2，v3，…，vn进行聚类，

按照某一规则将顶点集合V划分不相交子集的并，即满足：

1

, , , , 1,2,..., ,k

i i j

i

V V V V i j i j k

(9)

其中 k 是分类数，V i 是聚类结果的第 i 个类，i=1，2，…，k。

作为研究图的最有效工具之一，图的矩阵一般可以有两种表示方式：邻接矩

阵和关联矩阵。而上文中提到的相似度或边的权值 wij即可构成矩阵 , 1( )n

ij i jW w ，

就是所建立的图模型的邻接矩阵。谱聚类即是在图的邻接矩阵的基础上进行特征

值与 1 特征向量的分析处理，对于矩阵 W∈Rn×n，记 λ1≥λ2≥…≥λk，为矩阵 W 的特

12

征值，x1，x2，…，xn 是相应的特征向量。并且对于无向图，矩阵 W 是一个是对

称矩阵，其具有较多良好的性质，包括：实对称矩阵的特征值都是实数，实对称

矩阵不同特征值对应的特征向量都是正交的，实对称矩阵必可对角化等等。

3.2.1 直接特征向量聚类原理

首先从理想情况出发，相似度函数满足：

i j

i j

1 v v

v vs

， 和 属于同一类

0， 和 不属于同一类，

下面列出几个引理：

引理一：设 En 为 n×n 的全 1 矩阵，故 En 的谱为：λ1=n， 1 阶；λi=0，i=2，…，

n，为 n-1 阶。且 e=（1，1，…，1）T 是对应于 λ1 的特征向量，其特征子空间 Vλ1=L

（e）。

解释：运用行列式简单计算则可得到前半部分，后半部分显然可得。

引理二：对于矩阵 A=diag(An1，An2，…，Ank)，Ani∈Rni×ni(i=1,2,…,k)为实对称

矩阵，则矩阵 A 的特征值集合 λ(A)为：

1

( ) ( )i

k

n

i

A A

， (10)

且若 x∈Rni是矩阵 Ani对应于特征值 λ 的特征向量，则：

1 2

(0,...,0,0,...,0,..., ,...,0,...,0)

k

T T

n n n

x ，

是矩阵 A 对应于特征值 λ 的特征向量。

解释：这个结论同样可以利用行列式运算规则经过简单计算算得。

因此利用上述数学模型可以得到：若对图 G 的邻接矩阵 W 求解特征值及特

征向量，得到 λ1≥λ2≥…≥λk，及对应的特征向量 x1，x2，…，xn。当所有类中元素个

数都大于一时（这在实际应用中是经常允许的，而单独的元素不聚成类），并且

图中顶点的遍历顺序是从各个类依次展开（后文将对一般情况证明也成立），可

以得到：

（1）分类数：

13

{ | 1, 1,2,..., }max ii

k i i n ， (11)

解释：由引理一和二，可知矩阵中可以划分为 k 个全一方阵（方阵阶数大于

一）的对角子块，各个子块的特征值组成即为

1

( ) ( )i

k

n

i

A A

。

（2）对于各个数据点对类的从属情况可以从特征向量得到，先将前 k 个特

征向量得到 x1，x2，…，xk，由实对称阵的性质知它们是相互正交的。构成矩阵

X=（x1，x2，…，xk）= 1 2( , ,..., )T T T T

n ，其中 T

i 是 X 的第 i 个行向量。那么对于

图 G=(V,E)中任意顶点 vi，vj 有

i j

i ji jv v

，

同一类，若 和 非正交

非同一类，若 和 正交

解释：由引理二的第二部分，当归一化特征向量为：

1 2

1

1

1(1,...,1,0,...,0,...,0,...,0)

k

T

n n n

en

，

1 2

2

2

1(0,...,0,1,...,1,...,0,...,0)

k

T

n n n

en

，

┆

1 2

1(0,...,0,0,...,0,...,1,...,1)

k

T

k

n n nk

en

，

则显然 vi，vj 有此关系。而当特征向量为 x1，x2，…，xk 时，知它们是特征向量子

空间的一组正交基，故 L (x1，x2，…，xk)=L(e1，e2，…，ek)，因而维度为 k，矩阵

X 的秩为 k，加上特征向量的正交性，每一列的列向量之间仍满足同类中是线性

相关即同向的，不同类间是线性无关进而正交的。

下面说明对于一般实际情况中遍历顺序并非按照类间顺序。此时有实际的邻

接矩阵 W’是上述理想 W 经过有限次初等行变换以及相对应的初等列变换得到，

即：W=Pu…P1 W’ P1…Pu，记为 W=PW’PT。由于 W’是实对称矩阵，故 W’必可利用

特征向量进行对角化，有正交阵 U 使得：

14

1

' ... T

n

W U U

， (12)

进而有：

1

... ( )T

n

W PU PU

(13)

而 PU 中的行向量仍然是 W 的正交特征向量，特征向量一般形式为：

1 2

1 1 2 2( ,..., , ,..., ,..., ,..., )

k

k k

n n n

q q q q q q

。

因此通过对矩阵 X 的列向量的余弦比较或者分别考虑各特征向量中的元素值的

相对大小即可得到聚类的信息；考虑该聚类算法稳定性算法的工作有自动化所田

铮等人[11]的工作。

3.2.2 图拉普拉斯聚类原理

基本的图模型仍然是由数据点集 P={x1，x2，x3，…，xn}构造的相似图 G=（V，

E），及其邻接矩阵 W 组成，但是在对图处理过程中对邻接矩阵进行了一次称为

Laplacian 的转换，然后再对图拉普拉斯矩阵进行谱处理。对于具体不同的

Laplacian 转换，产生了不同的谱聚类算法，而且在理论上也有严密的矩阵理论知

识支撑，包括相关的扰动理论，但在获取聚类的各个环节具有更强的操作性，因

而是国际学者较为推崇的研究算法。

先引入一个符号定义：

1

n

i ij

j

d w

，称为节点的度；相应的度矩阵 D=diag

（d1，d2，…，dn）。那么非正规化的图 Laplacian 转换就是：

L=D-W， (14)

可以简单地证明，L 有诸多较好的性质：对任意向量 f 有：

2

, 1

' ( )n

ij i j

i j

f Lf w f f

； (15)

L 是对称半正定矩阵；L 的最小特征值为 0，对应的特征向量是全一向量；L 有 n

个非负实特征值 λn≥λn-1≥…≥λ1=0。

15

另外，对于聚类更为直接的性质是 L 中特征值 0 的重数 k 就等于图 G 中连通

分量即数据空间中类 G1，G2，…，Gk 的数目，而对应的指示向量1,...,

kG G 张成

特征值 0 的特征子空间。具体地，由于前述性质：

2

, 1

' ( )n

ij i j

i j

f Lf w f f

，

因此，对于特征值 0 的特征向量 f，有：

2

, 1

' ( ) 0,n

ij i j

i j

f Lf w f f

(16)

由于中间式子恒不小于 0，故对于 wij，必然有 fi=fj 属于同一类中，因而能够精确

地显示图中划分成分或聚类信息。更为详细的证明可见[1]。

正规化图拉普拉斯处理是在谱处理前再进行一次转换，有两种： 1 1 1 1

2 2 2 21

1 1

2

,

,

L D LD I D WD

L D L I D W

(17)

这样处理的两个矩阵同样有一些较好的性质：

对任意向量 f 有：

2

1

, 1

1' ( )

2

nji

ij

i j i j

fff L f w

d d

； (18)

L1 和 L2 都是对称半正定矩阵；对任意 L1 的特征值 λ 及其特征向量 w，可得 L2 中

必有特征值 λ 及其特征向量 u，满足

1

2w D u ；具体地，0 是 L1 和 L2的特征值，

对应的特征向量分别是

1

21D 和 1，其中 1 是全一向量；L1 和 L2 都是半正定矩阵，

且都有 n 个非负实特征值 λn≥λn-1≥…≥λ1=0。

对应地，关于聚类的相关性质有：L1 和 L2 中特征值 0 的重数 k 就等于图 G 中

连通分量即数据空间中类 G1，G2，…，Gk 的数目，而对应的指示向量1,...,

kG G

张成 L2 中特征值 0 的特征子空间，而1

1 1

2 2,...,kG GD D 。张成 L1中特征值 0 的

特征子空间。

16

对于上述三类本质相同的谱聚类技术，应用矩阵扰动理论可以分析出[1]：当

数据空间分布较均匀即类间规模相差不大时，三种方法效果一致；而当数据密度

不平衡时，正规化方法具有更强的鲁棒性，此外正规化方法中的 L2 矩阵处理能

够适合极小规模类的情况，较 L1 更好一些。

基于图拉普拉斯的谱聚类的一般算法就是：以相似度矩阵 S 为输入建立图模

型，W 为其加权邻接矩阵。从而计算出拉普拉斯矩阵 L，运用数值处理算法得到

L 的谱，即特征值 0 及其重数 k 和对应的特征向量 x1，x2，…，xk；将特征向量按

列排列成 n×k 矩阵后记 y1，y2，…，yn 为其行向量，然后将（yi）i=1,…,n 进行聚

类，得到 k 类 P1，P2，…，Pk；即可得到聚类信息 G1，G2，…，Gk，其中 Gi={j| yi

∈Pi}。

上文中都是从矩阵处理和分析的角度得到谱聚类的基本原理，但是基于拉普

拉斯图的谱聚类的还具有从图割集理论出发推导的数学基础，Ulrike von

Luxburg[1]总结论述了从图割集理论考虑聚类的三个观点。结论是针对一些不同

的设定情况（下列各情况在处理上都属 np-hard 问题，实际中一般是近似放松结

果），分别能够得到下述三种定义的类间距离最小化的聚类：

1

1

1

1

1

1

1( ,..., ) ( , ),

2

( , )1( ,..., ) ,

2 | |

( , )1( ,..., ) ;

2 ( )

k

k i i

i

ki i

k

i i

ki i

k

i i

cut G G W G G

W G GRatioCut G G

G

W G GNcut G G

vol G

(19)

其中：

,( , )

i ji j iji G j G

W G G w

，| |iG 子图Gi中的顶点数，vol( ) .i

i m

m G

G d

3.3 两种谱聚类算法运用的比较分析

将相似性矩阵直接作为线性变换，其中各组一致性值作为线性空间的基——

前种聚类利用了线性变换在特征空间中各个正交基方向的搜索进行对原始元素

17

的聚类。算法的优点在于原理简单，但是也有缺点如特征值分解的不稳定性，即

当聚类点间的相似性发生异常或者噪声较大时将可能得到错误的类；量化的扰动

分析在 András Farkas[11]的对于匹配矩阵中的特征值特征向量的扰动分析中有较

为详细的探索。第二种基于拉普拉斯图的谱聚类方法可以运用同一特征子空间的

多个特征向量进行聚类求解，在计算上更为稳定，并且在 Ulrike von Luxburg[1]

中关于特征向量 gap 的讨论涵盖了对算法鲁棒性的分析。但是目前仍没有二者在

同一条件下的性质比较的理论论证或是实际对比实验的相关文献，因此理论上只

能通过特定情况下的输入及处理要求进行算法的选择。

从实验来看，二者在处理上有一些差别。基于直接特征向量的聚类方法在获

得相似性矩阵后直接计算特征值和特征向量，但是由矩阵的扰动分析及相关实验

特征值本应涵盖的类的大小信息极不稳定，最多只能获得类的总数，因此要进一

步获取所有聚类信息需要对所有特征向量按列排列后的行向量进行两两比较并

在比较过程中设置新类。而在具体操作过程中，由于事先无法知道扰动情况故无

法得到新类产生所依赖的阈值，因而聚类过程是一个必须具有反馈机制而在类数

限定的条件下不断逼近最优解的计算过程；而事实上作为限定条件的类数又并不

如期望的可靠。因此基于直接特征向量的聚类方法更适合于进行二分类运算，因

为通过实验及 Marius Leordeanu 等人[3]对主向量的稳定性分析可知其最大特征

值受到扰动相对较小，并且不需要利用其数值信息，而只是要得到它的最大值的

地位信息，故更为鲁棒；同时，在二分类中最大特征值指向线性变换下数乘变换

最大的方向即特征空间的主向量，因而在特征向量中元素的相对大小值也是较为

稳定的。这也是在匹配过程中选择这一算法的理论依据。对于基于图拉普拉斯的

谱聚类算法，从获得全部聚类信息的目标来看具有更好的竞争力；这个竞争力一

方面来自于对扰动的鲁棒性，另一方面也来自于聚类处理模块中对特定特征子空

间的特征向量进行转置聚类处理的简洁清晰，并且由前者的性质保证，并不需要

对这一步中聚类算法有过多要求。但是从图匹配的二分类模型来考虑，虽然该算

法数学理论基础厚实，但计算相对复杂；而且对于三种矩阵的选取有赖于具体情

况的变化。最终目标的主类信息的获取同时必须要计算全局的聚类信息，因此并

不适合匹配算法的应用。

18

3.4 基于谱聚类的对应点匹配算法

以上述分块的数学抽象描述为基础，基于谱聚类的对应点匹配算法是在特征

点集 P={a1，a 2，a 3，…，a n}和 Q={b1，b 2，b 3，…，b n}间建立映射关系，将得到

的关系集作为聚类集合，然后对其采用直接向量聚类获得主类，而得到的关系主

类中 pairwise 元素就是两个特征点集 P，Q 的对应性描述。

点集P

点集Q

映射（a，b） 谱聚类Pairwise

的主类

图三 谱聚类点匹配模型

对于给定的特征点集 P={a1，a 2，a 3，…，a n}和 Q={b1，b 2，b 3，…，b n}下面是采

用直接向量聚类的谱聚类对应点匹配算法伪码：

• Step1：得到匹配对集，即 pairwise 的集合Δ ={p1,p2,…,pm}，其中 m 可

由一定约束获得，然后计算 i i( , )

( , ), ;

( );

ij i j

ii i a b

M agreement p p i j

M similarity p

（ ）（ ）

• Step2：计算矩阵 M 的主特征值 λ 及对应的特征向量 x。

• Step3：从 x 中取最大元素获得对应的正确的匹配对，并依据约束利用

每个已获得的匹配删除对应不可能的匹配对；即将该元素和被约束的

匹配对的对应元素值赋 0

• Step4：若 x 为全 0 向量则结束获得全部对应关系，否则返回 Step3。

19

四. 实验

实验分三部分：第一部分是仿真实验，利用 Matlab 的 rand 函数获得一定数

域内的分布伪特征点作为实验输入，相似度函数全置 0，一致性函数置为两匹配

对间的距离和方向差；第二部分是基于图片 sift 特征的实验，首先进行 sift 特征

空间中的余弦距离预匹配，然后再将得到的匹配作为输入进行谱聚类；第三部分

实验是探索性实验，对一些匹配对的加权矩阵的特征向量进行分析，以挖掘在匹

配过程中谱聚类对扰动的灵敏度信息和寻找主特征向量元素间的数值特征。

4.1 仿真实验

仿真实验检测算法在不同方差的高斯噪声影响以及无匹配点的数目（outlier，

下文简称外点，对应的有匹配点 inlier，下文简称为内点）变化下性能的鲁棒性，

并通过与 berg 等人[2]中利用线性规划的方法比较，体现精度的可靠与速度的优

越性。

仿真实验数据说明：要得到大小分别为 np 和 nq 的两个特征集 P={a1，a2，a3，…，

anp}和 Q={b1，b2，b3，…，bnq}，首先利用 Matlab 中函数 rand 产生模型特征集 Q

中的 i

qn 个内点，另外用相同的均匀分布产生 o

qn 个外点。而数据特征集 P 的产生

来自于首先对 Q 中 i

qn 个内点独立地加入分布为 N(0，σ)的白噪声以得到对应的 i

pn

个内点， i

qn = i

pn ；然后使用相同的均匀分布产生 o

pn 个外点（一般地有作为 o

pn ≥ o

qn ），

并将得到的[0，1]区间中的随机点比例扩充到25610

pn的方域中（np= i

pn + o

pn ），以

得到近似每 256×256 的区域有 10 个点的密度。这样产生仿真点的原因有：一方

面，由于仿真点没有差异性，所以对于匹配过程任意点都有可能与另一个集合中

的任意点匹配，因此最大化了匹配对的搜索空间并且使得实验所依赖的信息全部

为相对几何信息；另一方面，在平面中使用相同的均匀分布得到外点增大了外点

对对应点的匹配可能从而增大了匹配的难度。

具体实验中，加权矩阵中 M 对角线元 M（pi，pj）即匹配对的相似度置为零，

而匹配对间的一致性由下式产生：

20

2

2

d d4.5- , d d | 3

( , ) 2

0,

i j i j

i j i j

a a b bda a b b

i j dM p p

（ ）当|

否则

， (20)

其中匹配对 pi=(ai，bi)，pj=(aj，bj)，d i ja a和d i jb b

分别是点 ai 和 aj，bi 和 bj 之间的

欧氏距离，σd 控制一致性度量对变形的敏感度。σd 越大算法能适应越大的变形，

然而错误匹配点越有可能性得到误匹配。而作为比较的算法是 Berg 等人[2]的一

次规划算法。

算法引用说明：在谱聚类中加权矩阵的主特征值计算使用的是matlab中采用

Lanczos 算法变形的隐式重启阿诺地算法（Implicitly Restarted Arnoldi）实现的eigs

函数；一次规划算法使用的是matlab中基于LIPSOL （Linear Interior Point Solver）

的linprog函数。

只有噪声影响的实验结果：图四显示了谱聚类的方法与线性规划近似方法对

于不同标准差的噪声的干扰的效果比较。其中σ从0.5到10，以0.5的步长变化。可

以看到，随着噪声的增加，两种方法的效果曲线均逐渐偏离理想匹配线；但是仍

可看出对于噪声都具有一定的鲁棒性，而谱聚类的算法在噪声较强时显示处稍微

更强的鲁棒性。

加入外点干扰的实验结果：图五显示了谱聚类的方法与线性规划近似方法对

于一定噪声下不同数量的外点影响下的效果比较。其中加入的外点数和为0到30。

两种方法都与全匹配线发生了一些偏移，即有一些错误匹配点对被划分到主类中

去了；但是随着干扰点的增加，谱聚类方法的优势相对显现了。

关于速度比较的实验结果：表一分别显示了在噪声标准差为2时的10点、20

点、30点的匹配问题中两种方法时间的消耗，共运行30次取平均。结果表明，谱

聚类算法较于一次规划近似算法具有数个数量级的优越性。

表一 基于谱聚类与基于规划的匹配算法速度比较

时间/s 点数 10 20 30

基于谱聚类 0.0080 0.0313 0.1061

基于一次规划 1.1615 11.5592 44.8284

倍数 145.1875 369.3035 422.5108

21

另外，在实验中建立加权矩阵时，还可以加入点对间的方向信息：

2 2

2 2

d d arccos ( , )4.5- * - 1- * , d d | 3

2 2

( , ) arccos( , ) 3

0,

i j i j

i j i j

i j i j

a a b bda a b b

d d

i j i j

i j d

a a b b

M p p a a b b

（ ）（ ） 当|

并且 时，

其它。

(21)

其中 γ为取定的参数，用于调节角度偏转信息的权重。若使用这样的加权函数显

然在两个特征集合发生了角度偏转时能得到更好的结果，而另一方面由于加强了

平面信息的使用，在部分特征点发生比例、方面变化时也能提高效果。图六是使

用上述构造式的结果，结果显示特征点全部匹配，其中特征点有15个，当中的3

个点发生了比例及扭转；而在使用纯距离特性构造加权矩阵时是很难得到正确匹

配的。

图四 谱聚类与规划的匹配算法噪声扰动比较（A）,其中横坐标是噪声标准差，纵坐标是正

确匹配的数目

22

图四 谱聚类与规划的匹配算法噪声扰动比较（B）,其中横坐标是噪声标准差，纵坐标是正

确匹配的数目

图五 谱聚类与规划的匹配算法外点干扰比较（A）,其中横坐标是外点数目，纵坐标是正确

匹配的数目

23

图五 谱聚类与规划的匹配算法外点干扰比较（B）,其中横坐标是外点数目，纵坐标是正确

匹配的数目

图六 加入方向信息后对于仿射变换鲁棒性的例图

4.2 图像实验

图像实验是为了直接检验谱聚类算法在实际图片中的作用情况，由于图片中

的噪声更佳具有不确定性、外点分布更为混乱，而且特征点由于其特性可能有会

有沿着显著性目标一定的分布，因此实验更有实践意义。

实验采用David G. Lowe[5]提供的DoG特征检测器以及相关的sift特征提取算

法[13]。实验中首先将获得的sift特征进行特征空间的预匹配，即度量sift特征空

24

间的余弦距离并将所有潜在对的余弦距离排序，将最小距离大于第二小距离的

0.6倍的特征点视为外点剔出匹配资格；而将剩余的可能的匹配对即潜在的

pairwise作为聚类空间的模式进行谱聚类，从而达到提高谱聚类精度的效果。实

验表明，尽管sift特征具有较好的差异性，但是仍然在一些图像上进行实验时有

无匹配是无法通过提高预匹配的要求剔除的，抑或即使将要求提高很多，而损失

的正确匹配数将更多。图七的(A)和(B)是其中比较具有代表性的实验结果，其中

绿线连接的是正确匹配的结果，蓝线连接的是sift特征距离未筛选掉但经过谱聚

类算法去除的误匹配对。

图七 利用平面信息的谱聚类筛选出错误匹配的点（A）

25

图七 利用平面信息的谱聚类筛选出错误匹配的点（B）

4.3 探索实验

这部分实验主要是对数学与实践联系的观察，并从中分析出一些规律。表二

是对附录中图片的相关信息的记录：

表二 典型图片匹配信息

Sift

features

(left)

Sift

features

(right)

Number

of initial

matches

Info of

wrong

matches

Min

error

Max value

Min value

i

1

n

(1)Box 638 1021 77 错1 2.7756

*e-17

0.1315

0.0655

0.1140

(2)basmati 579 1021 38 错1 0.0062 0.1802

0.1305

0.1622

(3)Tmp 300 134 58 错2 0.0216

0.0111

0.2018

0.1176

0.1313

(4)lena

(scale)

343 1098 260 无错 3.7947

*e-4

0.1044 0.0620

(5)lena

(roatate)

343 384 175 无错 0.0740 0.0781 0.0756

26

表二从左到右各列的含义依次是：匹配图片队编号；左匹配图提取特征数；

右匹配图提取特征数；初始匹配对数；错误匹配对情况；正确匹配对应的特征向

量最小元素及错误匹配的最大元素（其中上三对中为错误匹配对对应元，后两行

是正确匹配对最小元）；主特征向量最大元素。其中上述实验的加权矩阵使用的

是公式(2)中的构造。因此要获得在这五组图片中最好的效果就需要将特征向量

处理时的阈值设为某个具有自适应能力的数，使得该数在前三对中要大于错误匹

配对的对应元素而后两组中该数需要小于最小的匹配元。

理想情况下，各特征点无误差地完全匹配，使得加权矩阵应当是元素全为4.5

的n阶方阵，因此特征值应等于n×4.5，对应的归一化指示特征向量中非零元应

为n个，值为1

n， 但是由表二显著的偏移知，由于采用二式中的软判决，稍

微的扰动就会造成矩阵非理想而致使特征值减小，而特征向量中元素波动。（事

实上，若将（2）式中的构造式改为：

1, d d | 3 arccos( , ) 3( , )

0,

i j i j

i j i j

d da a b bi j

a a b bM p p

当| 并且 时，

其它。

(22)

对于实验结果并不会有较大改变，而从矩阵处理的硬件实现角度看可能会使得求

解过程加快，但是硬判决的缺点是对于可能正确却发生较大扰动的事实无法挽回

其正确性，因此软判决也是有其好处的；但这不是本部分需要分析的重点，因此

后文仍采用（2）式的方式。）

由上分析知实验中的特征向量中阈值的产生及处理如图九。显然这样的机制

形成了闭反馈环，即在获得了正确的匹配对数后才能得到理想的特征向量元素值

作为阈值，但是没有适当的特征向量处理阈值又无法得到理想的特征向量元素

值。然而，针对本实验的情况，阈值并非精确等于理想的特征向量元素值，并且

错误的匹配对的对应元是一定小于正确匹配对的对应元的；此外实验可以事先得

到主特征向量中各个量的分布情况。因此，分析影响阈值产生的量是正确匹配对

的个数，但主特征向量中最大元素η又是理想的特征向量元素值的作用体现，这

个量是既得的已知量；前面的量与两个特征集中的特征数目也是有一定联系的，

虽然这个关系不够紧密，而且具有随机性，但意识上仍然可以理解对于两对图像

27

中拥有更多特征点的一对更倾向于拥有更多匹配对。因此在实现中可以通过这样

两个量最大元素η和两特征集中特征数目的小者ζ来构造阈值。通过对上述五组数

据的处理，得到了一个阈值σ的初步的拟合关系式：

6.501

1= *906 和2

*=tan( )

720

， (23)

其中对于主特征向量中元素值 xi，当且仅当 xi 满足 xi<σ1并且 xi<σ2时才认为 xi 对

应的匹配对为正确的匹配对。附录中图片均是正确的实验结果证明：前三组中恰

好剔除了错误的匹配对而保有了原有的正确对，后两组将全部正确的匹配对全部

保持。

特征向量元

1/sqrt(n)，

n为正确匹配数特征集Q

nq个特征

特征集P

np个特征

阈值<1/sqrt(n)

图八 谱聚类阈值的负反馈模型

当然，从理论分析来看，上述计算出的结果既不具有大样本的可靠性，也没

有严格的数学基础证明。但是其中表达的数学含义以及问题解决的方法仍然是可

以在大样本条件下进行进一步实验的，至于数学的理论推导，又有赖于更为细致

的分析证明了。

本部分剩下的将简要分析使用这种平面信息的基于谱聚类对应点算法的一

个较大弱势：比例缩放的鲁棒性能不够。从加权矩阵运算的角度来看，在数据空

间进行比例缩放后，任意两匹配对之间都会有较大的距离畸变，而且更糟糕的是

这种畸变在匹配对的聚类空间中不完全一致；这是稍作空间想象即可得到的。另

外，从实际运算的角度看，图十给出了上述五种实验组的主特征向量的图示。结

果表明第4组纯比例变换得到的主特征向量最不理想，是非常平坦的斜曲线；接

下来是具有一定比例变换的（1）、（2）组，同样在变化处过渡平缓；相对来看

28

（3）、（5）组的噪声影响和旋转影响由于没有比例的变化具有较为明显的锐截

止特性，因而能很好地区分正确与错误的匹配对。

这里对比例特性的敏感来自于加权矩阵构造时对于距离变化的依赖。因此，

通过寻求更佳的平面信息模式，是可以解决这个问题的。例如使用三角形块的形

状的参数变化如相对角度来控制对应点之间的形变就可以利用其稳定性获得更

佳的匹配一致性。

图九 实验图片谱聚类主特征向量图示

五. 总结

基于平面信息谱聚类的对应点匹配算法将图匹配问题作为聚类问题处理，具

有普适、快速、有效等特点，因此可以广泛应用于模式识别、模式分类中包括图

像处理、分析在内的实际问题。

然而，基于探索实验中提出的两个问题，即具体处理过程中的参数设置以及

对平面信息的有效挖掘与利用，仍然可以进行一些有意义的研究学习。

感谢调研和实验过程中庄连生老师给予的学术支持和精神鼓励。

29

参考文献：

[1] von Luxburg, Ulrike. 2007. “A Tutorial on Spectral Clustering.” Statistics and

Computing 17:395–416.

[2] A.C. Berg, T. Berg, J. Malik “Shape Matching and Object Recognition using Low

Distortion Correspondences”, TR CSD-04-1366, Dec. 2004

[3] M. Leordeanu and M. Hebert. “A spectral technique for correspondence

problems using pairwise constraints”, ICCV, 2005.

[4] 柳柏濂.组合矩阵论[M].北京:科学出版社,2005,1-49.

[5] David G. Lowe, "Distinctive image features from scale-invariant keypoints,"

International Journal of Computer Vision, 60, 2 (2004), pp. 91-110.

[6] Devi Parikh, Tsuhan Chen: “Unsupervised Learning of Hierarchical Semantics of

Objects (hSOs)”. CVPR 2007

[7] K. Grauman and T. Darrell. The Pyramid Match Kernel: Discriminative

Classification with Sets of Image Features. In Proceedings of the IEEE

International Conference on Computer Vision (ICCV), Beijing, China, October

2005

[8] Blaschko, M. B. and C. H. Lampert: “Correlational Spectral Clustering”.

Proceedings of the IEEE Computer Society Conference on Computer Vision and

Pattern Recognition (CVPR 2008)

[9] Tibe ́rio S. Caetano, Julian J. McAuley, Li Cheng and Alex J. Smola, “Learning

Graph Matching”, IEEE Trans. PAMI, VOL. 31, NO. 6, JUNE 2009

[10] Endika Bengoetxea,” Inexact Graph Matching Using Estimation of Distribution”,

www.sc.ehu.es/acwbecae/ikerkuntza/these

[11] 田铮,李小斌,句彦伟,“谱聚类的扰动分析” [期刊论文] -中国科学E辑2007(4)

[12] András Farkas, “The Analysis of the Principal Eigenvector of Pairwise

Comparison Matrices”, Acta Polytechnica Hungrarica, Vol.4, No.2.(2007)

[13] D. Lowe. http://people.cs.ubc.ca/~lowe/keypoints/

30

附录: (1)

(2)

(3)

31

(4)

(5)ps.下列旋转采用了双线性插值

32