书书书

第３９卷　第７期

２０１６年７月

计　　算　　机　　学　　报

ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳ

Ｖｏｌ．３９ Ｎｏ．７

Ｊｕｌｙ２０１６

　

收稿日期：２０１５１０１８；在线出版日期：２０１６０１１５．本课题得到国家“九七三”重点基础研究发展规划项目基金（２０１２ＣＢ３１６３０４）和国家自

然科学基金重点项目（６１４３２０１９）资助．高君宇，男，１９９４ 年生，博士研究生，主要研究方向为计算机视觉和多媒体．Ｅｍａｉｌ：

ｇａｏｊｕｎｙｕ２０１２＠ｇｍａｉｌ．ｃｏｍ．杨小汕，男，１９８９年生，博士研究生，中国计算机学会（ＣＣＦ）会员，主要研究方向为图像、视频的识别（排序）、

深度学习．张天柱，男，１９８２年生，博士，副研究员，主要研究方向为计算机视觉和多媒体．徐常胜（通信作者），男，１９６９年生，博士，研究

员，中国计算机学会（ＣＣＦ）会员，主要研究领域为多媒体分析／索引／检索、模式识别和计算机视觉．Ｅｍａｉｌ：ｃｓｘｕ＠ｎｌｐｒ．ｉａ．ａｃ．ｃｎ．

基于深度学习的鲁棒性视觉跟踪方法

高君宇　杨小汕　张天柱　徐常胜（中国科学院自动化研究所模式识别国家重点实验室　北京　１００１９０）

摘　要　传统的视觉跟踪方法（如Ｌ１等）大多直接使用视频序列各帧内的像素级特征进行建模，而没有考虑到各

图像块内部的深层视觉特征信息．在现实世界的固定摄像头视频监控场景中，通常可以找到一块区域，该区域中目

标物体具有清晰、易于分辨的表观．因此，文中在各视频场景内事先选定一块可以清晰分辨目标表观的参考区域用

以构造训练样本，并构建了一个两路对称且权值共享的深度卷积神经网络．该深度网络使得参考区域外目标的输

出特征尽可能与参考区域内目标的输出特征相似，以获得参考区域内目标良好表征的特性．经过训练后的深度卷

积神经网络模型具有增强目标可识别性的特点，可以应用在使用浅层特征的跟踪系统（如Ｌ１等）中以提高其鲁棒

性．文中在Ｌ１跟踪系统的框架下使用训练好的深度网络提取目标候选的特征进行稀疏表示，从而获得了跟踪过

程中应对遮挡、光照变化等问题的鲁棒性．文中在２５个行人视频中与当前国际上流行的９种方法对比，结果显示

文中提出的方法的平均重叠率比次优的方法高０．１１，平均中心位置误差比次优的方法低１．０．

关键词　深度学习；卷积神经网络；视觉跟踪；鲁棒性；Ｌ１跟踪系统；计算机视觉

中图法分类号 ＴＰ１８　　　犇犗犐号 １０．１１８９７／ＳＰ．Ｊ．１０１６．２０１６．０１４１９

犚狅犫狌狊狋犞犻狊狌犪犾犜狉犪犮犽犻狀犵犕犲狋犺狅犱狏犻犪犇犲犲狆犔犲犪狉狀犻狀犵

ＧＡＯＪｕｎＹｕ　ＹＡＮＧＸｉａｏＳｈａｎ　ＺＨＡＮＧＴｉａｎＺｈｕ　ＸＵＣｈａｎｇＳｈｅｎｇ（犛狋犪狋犲犓犲狔犔犪犫狅狉犪狋狅狉狔狅犳犘犪狋狋犲狉狀犚犲犮狅犵狀犻狋犻狅狀，犐狀狊狋犻狋狌狋犲狅犳犃狌狋狅犿犪狋犻狅狀，犆犺犻狀犲狊犲犃犮犪犱犲犿狔狅犳犛犮犻犲狀犮犲狊，犅犲犻犼犻狀犵　１００１９０）

犃犫狊狋狉犪犮狋　 Ｔｈｅｔｒａｄｉｔｉｏｎａｌｔｒａｃｋｉｎｇｍｅｔｈｏｄｓ（ｅ．ｇ．Ｌ１ｔｒａｃｋｅｒ）ｇｅｎｅｒａｌｌｙａｄｏｐｔｔｈｅｐｉｘｅｌｖａｌｕｅｓａｓ

ｆｅａｔｕｒｅｒｅｐｒｅｓｅｎｔａｔｉｏｎ，ａｎｄｉｇｎｏｒｅｔｈｅｄｅｅｐｖｉｓｕａｌｆｅａｔｕｒｅｓｏｆｉｍａｇｅｐａｔｃｈｅｓ．Ｉｎａｆｉｘｅｄｖｉｄｅｏ

ｓｃｅｎｅｏｆｔｈｅｒｅａｌｗｏｒｌｄ，ｗｅｒｅａｌｉｚｅｔｈａｔｗｅｃａｎｕｓｕａｌｌｙｆｉｎｄａｎａｒｅａｗｈｅｒｅｔｈｅｔａｒｇｅｔｓｈａｖｅｃｌｅａｒ

ａｐｐｅａｒａｎｃｅａｎｄａｒｅｅａｓｙｔｏｄｉｓｔｉｎｇｕｉｓｈ．Ｔｈｅｒｅｆｏｒｅ，ｉｎｔｈｉｓｐａｐｅｒ，ｗｅｓｅｌｅｃｔａｒｅｇｉｏｎｉｎｅａｃｈｖｉｄｅｏ

ｔｏｃｏｎｓｔｒｕｃｔｔｒａｉｎｉｎｇｓｅｔｆｏｒｄｅｅｐｍｏｄｅｌｌｅａｒｎｉｎｇ．Ｉｎｔｈｅｐｒｏｐｏｓｅｄｄｅｅｐｍｏｄｅｌ，ｗｅｄｅｓｉｇｎａｄｅｅｐ

ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｗｈｉｃｈｈａｓｔｗｏｓｙｍｍｅｔｒｉｃａｌｐａｔｈｓｗｉｔｈｔｈｅｓｈａｒｅｄｗｅｉｇｈｔｓ．Ｔｈｅｇｏａｌ

ｏｆｔｈｅｐｒｏｐｏｓｅｄｄｅｅｐｎｅｔｗｏｒｋｉｓｔｏｒｅｄｕｃｅｔｈｅｄｉｆｆｅｒｅｎｃｅｂｅｔｗｅｅｎｔｈｅｆｅａｔｕｒｅｓｏｆａｔａｒｇｅｔｏｕｔｏｆ

ｔｈｅｒｅｇｉｏｎａｎｄｉｎｔｈｅｒｅｇｉｏｎ．Ａｓａｒｅｓｕｌｔ，ｔｈｅｌｅａｒｎｅｄｄｅｅｐｎｅｔｗｏｒｋｃａｎｅｎｈａｎｃｅｔｈｅａｐｐｅａｒａｎｃｅ

ｆｅａｔｕｒｅｏｆｔａｒｇｅｔｓａｎｄｂｅｎｅｆｉｔｔｈｅｔｒａｃｋｅｒｓｔｈａｔｕｔｉｌｉｚｅｌｏｗｌｅｖｅｌｆｅａｔｕｒｅｓ，ｓｕｃｈａｓＬ１ｔｒａｃｋｅｒ．Ｆｉｎａｌｌｙ，

ｗｅｕｔｉｌｉｚｅｔｈｉｓｐｒｅｔｒａｉｎｅｄｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｔｗｏｒｋｉｎｔｈｅＬ１ｔｒａｃｋｅｒｔｏｅｘｔｒａｃｔｆｅａｔｕｒｅｓｆｏｒ

ｓｐａｒｓｅｒｅｐｒｅｓｅｎｔａｔｉｏｎ．Ｃｏｎｓｅｑｕｅｎｔｌｙ，ｏｕｒｍｅｔｈｏｄａｃｈｉｅｖｅｓｔｈｅｒｏｂｕｓｔｎｅｓｓｉｎｔｒａｃｋｉｎｇｆｏｒｈａｎｄｌｉｎｇ

ｔｈｅｃｈａｌｌｅｎｇｅｓｓｕｃｈａｓｏｃｃｌｕｓｉｏｎａｎｄｉｌｌｕｍｉｎａｔｉｏｎｃｈａｎｇｅｓ．Ｗｅｅｖａｌｕａｔｅｔｈｅｐｒｏｐｏｓｅｄａｐｐｒｏａｃｈｏｎ

２５ｃｈａｌｌｅｎｇｉｎｇｖｉｄｅｏｓａｇａｉｎｓｔｗｉｔｈ９ｓｔａｔｅｏｆｔｈｅａｒｔｔｒａｃｋｅｒｓ．Ｔｈｅｅｘｔｅｎｓｉｖｅｒｅｓｕｌｔｓｓｈｏｗｔｈａｔ

ｔｈｅｐｒｏｐｏｓｅｄａｌｇｏｒｉｔｈｍｉｓ０．１１ｈｉｇｈｅｒｔｈａｎｔｈｅｓｅｃｏｎｄｂｅｓｔｗｉｔｈａｖｅｒａｇｅｏｖｅｒｌａｐ，ａｎｄｉｓ１．０ｌｏｗｅｒ

ｔｈａｎｔｈｅｓｅｃｏｎｄｂｅｓｔｗｉｔｈｔｈｅａｖｅｒａｇｅｃｅｎｔｅｒｌｏｃａｔｉｏｎｅｒｒｏｒｓ．

犓犲狔狑狅狉犱狊　ｄｅｅｐｌｅａｒｎｉｎｇ；ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒｏｎｎｅｔｗｏｒｋｓ；ｖｉｓｕａｌｔｒａｃｋｉｎｇ；ｒｏｂｕｓｔ；Ｌ１ｔｒａｃｋｅｒ；

ｃｏｍｐｕｔｅｒｖｉｓｉｏｎ

１　引　言

视觉跟踪是当前计算机视觉领域的研究热点，

其广泛应用于物体智能识别、人机交互、车辆定位等

方面［１］．视觉跟踪还可应用于智能视频监控技术

中，服务智慧城市的发展和公共安全的需求［２］．虽

然近年来关于视觉跟踪算法的研究取得了较大的

进展［３１０］，但其在现实中应对各类复杂场景时仍然

面临着巨大的挑战，例如遮挡、亮度变化、姿态变

化、尺度变化等，如图１所示，在一个视频序列中

可能出现多种跟踪挑战．所以，如何使跟踪算法更

具鲁棒性以适应上述挑战仍然是目前研究聚焦的

核心．

图１　视频序列中可能出现的多种挑战（遮挡、光照变化、尺度变化、姿态变化等）

大多数跟踪算法都可划为判别型和生成型方

法［１１１２，１６］．判别型方法将跟踪问题建模为一个二元

分类问题，用以找到区分目标物体和背景的决策边

界．Ａｖｉｄａｎ［１１］将许多弱分类器组合成一个强分类

器，提出了一种全局跟踪方法．Ｂａｂｅｎｋｏ等人［１２］提

出了一种基于在线多示例学习的跟踪方法．Ｇｒａｂｎｅｒ

等人［１３］提出了一种在线ｂｏｏｓｔｉｎｇ方法来更新可区

分的特征．Ｓｔｒｕｃｋ跟踪系统［５］利用一类核函数实现

结构化输出跟踪结果．Ｋａｌａｌ等人［１４］提出了ＰＮ学

习算法，通过对潜在正负样本结构信息的学习构造

出目标跟踪的分类器．黄福珍等人［１５］提出了一种基

于ＬｅｖｅｌＳｅｔ的人脸跟踪方法，利用图像帧间差分快

速检测出运动区域，并根据人脸图像的投影映射规

则确定人脸所在的外接矩形，从而判定跟踪过程中

的人脸位置．

与判别模型相反，生成跟踪模型通过学习一个

模型来表示目标物体，然后使用此模型以最小的重

构误差搜索图像区域，以达到跟踪目的．Ｍｅｉ等

人［１６］提出了Ｌ１跟踪系统，通过对目标进行稀疏表

示，达到跟踪目的．Ｆｒａｇ跟踪系统［１７］通过使用局部

块的直方图表示对物体的外观进行建模，以解决部

分遮挡问题．Ｊｉａ等人［１８］提出了一种自适应的结构

化局部稀疏外观模型进行跟踪．Ｚｈｏｎｇ等人［１９］使用

基于稀疏表示的局部块间协同的模型以获得跟踪的

鲁棒性．Ｚｈａｎｇ等人［２０］在在线跟踪中引入了多专家

重建机制，通过求解一个熵最小化问题重建当前的

跟踪系统．肖国强等人［２１］提出了一种基于中心宏块

的视频目标跟踪算法，引入了一个中心宏块的概念，

通过两个层次的相似性度量，以建立相邻帧之间目

标的对应关系．

判别模型和生成模型中大多数方法直接使用视

频图像序列中的像素值进行建模，当跟踪过程中出

现严重的遮挡、复杂背景等较大挑战时，浅层的像

素级特征无法很好地应对．而经过学习得到的深

层视觉结构特征利于处理这些问题．近年来，深度

学习框架已经应用于计算机视觉领域并取得了良好

的效果．其中，卷积神经网络（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒｏｎ

Ｎｅｔｗｏｒｋｓ，ＣＮＮ）由卷积层和全连接层构成，通过共

０２４１ 计　　算　　机　　学　　报 ２０１６年

享权重和池化层（ｐｏｏｌｉｎｇｌａｙｅｒ）来降低参数的数目

和提升效果，具有良好地学习图像深层视觉特征的

能力．因此，本文提出了一种新颖的深度卷积神经网

络结构，利用视频场景中的区域位置特性以提高视

觉跟踪的鲁棒性．

本文提出了一种基于深度学习的跟踪算法．该

算法基于如下观察：在一个固定摄像头的视频场景

中，可以找到一块较好的区域，例如一块位置适中、

表现平整的马路等，如图２所示（黑白图①）．图２中

８张图片内矩形框所围成的区域即本文选择的部分

参考区域．在参考区域中目标物体通常会有清晰、易

分辨的表观，而当目标物体出现在参考区域外时，由

于非参考区域可能具有复杂的环境，目标物体的表

观易于呈现出不清晰、不完整的情况，如图３所示．

这个发现启发本文在跟踪过程中利用参考区域的位

置特性以增强目标的可识别性，即将目标样本映射

到参考区域内，以获得参考区域内目标样本的良好

表观特性．同时，本文改进了传统的用于分类的卷积

神经网络，构造了一个两路对称且权值共享的网络

模型，使其能学习到增强目标可识别性的权重参数，

并将此网络应用到视觉跟踪过程中．本文将出现在

参考区域的目标样本和不在参考区域的同一目标的

样本构成样本对，作为训练深度网络的输入．此网络

分为对称且权值共享的两条路径，每路都由３层卷

积层和一层全连接层组成．两种类型的样本分别通

过这两条路径并在全连接层输出固定维度的特征

（如１０×１０），通过最小化欧氏距离函数，使负样本

输出的特征尽可能与正样本相似．由于是固定摄像

头场景下的视觉跟踪且选取的参考区域固定，所以

该网络学习出的权重参数对于出现在该摄像头内的

目标物体具有通用性．各摄像头对应的深度网络进

行训练的样本对数量的均值为４０５３０对，其中充分

图２　８个视频场景中的参考区域

包含了遮挡、亮度变化、姿态变化等阻碍跟踪性能的

情况，使得学习到的模型具备适应各类问题的鲁

棒性．

１２４１７期 高君宇等：基于深度学习的鲁棒性视觉跟踪方法

① 根据投稿格式要求，文中均使用黑白图片．为了便于读者理解本文（尤其是实验结果与分析部分），推荐浏览彩色版图片，请访问：ｈｔｔｐ：／／ｎｌｐｒｗｅｂ．ｉａ．ａｃ．ｃｎ／ｍｍｃ／ｈｏｍｅｐａｇｅ／

ｊｙｇａｏ／ｒｅｓｕｌｔｇｊｙ．ｈｔｍｌ

图３　参考区域内外的目标样本差异

在跟踪过程中，深度网络输出的相应特征可以

提高许多直接使用浅层特征的跟踪系统的鲁棒性，

如Ｌ１跟踪系统．本文的实验部分以Ｌ１跟踪系统［３］

为例，提出了一种基于深度学习的 Ｌ１跟踪系统

（ＤｅｅｐＬｅａｒｎｉｎｇＬ１ｔｒａｃｋｅｒ），通过使用模板特征和

每一帧内粒子采样块对应的输出特征，通过求解一

个１规则化最小二乘问题，实现用模板特征集对目

标特征进行稀疏表示．本文提出的基于深度学习的

Ｌ１跟踪算法具有以下优点：（１）模型在应对遮挡、

光照变化、物体姿态改变等方面具有较高的鲁棒性．

由本文学习得到的卷积神经网络模型可以应用于其

他已有的跟踪模型中进行特征提取；（２）经过深度

学习训练得到的模型在该摄像头内进行目标跟踪具

有很强的通用性；（３）本文提出的模型在应对初始

帧内目标模糊或残缺的状况时较其他模型更优．通

过在２５个视频中与前文提及的目前国际上最为先

进的９种方法进行对比，本文提出的方法在平均重

叠率和平均中心位置误差的评价指标上超过了其他

跟踪系统．

２　相关工作

本文将提出的深度学习模型应用于一类基于稀

疏表示的生成型跟踪系统中，如Ｌ１跟踪系统［３］．近

年来，基于稀疏表示的跟踪方法得到了较大的发展．

文献［２２２３］利用粒子滤波方法中目标周围的采样

粒子具有相似性和依赖性的关系，提出了一个由多

个粒子共同构建的协同稀疏模型．文献［２４］构造了

一个结构化的多任务稀疏学习模型，提升了跟踪过

程的鲁棒性．文献［２５］采用部分匹配进行稀疏表示

的方法，良好地解决了部分遮挡问题．文献［２５］构造

了一个一致性低秩稀疏模型，利用粒子采样中粒子

之间的固有关系提高了跟踪过程的鲁棒性．王宇霞

等人［２６］提出了一种基于自重构粒子滤波算法的目

标跟踪，该算法能够通过分裂跟踪器以应对复杂多

变的跟踪环境，同时，合并过程能够从多个跟踪器中

选出最优跟踪器，利用合并冗余的跟踪器以达到减

少计算量的效果．

另一方面，近年来深度学习已经开始应用于视

觉跟踪．但这类方法依然存在两个问题：（１）由于深

度学习模型规模巨大，所以需要大量的样本进行

训练；（２）深度学习庞大的规模导致其在应用中产

生了大量的时间开销．为了解决缺少样本的问题，

Ｗａｎｇ等人［２７］使用大量的辅助图像离线训练了一个

栈式去噪自编码器，对目标候选进行特征提取，并将

这样的特征应用于粒子滤波的框架中，同时，在跟踪

过程中更新自编码器．更多的学者选择使用卷积神

经网络进行视觉跟踪．Ｆａｎ等人［２８］同样利用大量的

辅助图像训练深度卷积神经网络，并将模型应用于

行人跟踪中，取得了较好的效果．Ｚｈｏｕ等人［２９］使用

多个神经网络的聚合体进行目标跟踪．然而，这些方

法由于缺少大量跟踪过程中的实际数据，所以效果

提升的程度有限．为此，Ｌｉ等人［３０３２］设计了层次较

浅的卷积神经网络，设定了一个特殊的损失函数，并

以在线的方式对跟踪过程中产生的样本进行训练．

还有另外的一些方法试图解决上述的两个问题．

Ｈｏｎｇ等人［３３］利用卷积神经网络提取特征，并使用

在线更新的ＳＶＭ 对跟踪过程中的样本进行分类，

将正样本的特征进行反向传播，从而得到正样本对

应的显著图并以此显著图来进行判别式跟踪．Ｗａｎｇ

２２４１ 计　　算　　机　　学　　报 ２０１６年

等人［３４］利用离线训练好的卷积神经网络模型提取

层次特征并用以进行在线跟踪．Ｃｈｅｎ等人［３５］利用

类似于文献［２７］的方式训练了一个卷积神经网络，

而Ｈｕ等人［３６］则训练了一个卷积深度置信网络

（ＣｏｎｖｏｌｕｔｉｏｎａｌＤｅｅｐＢｅｌｉｅｆＮｅｔｗｏｒｋ，ＣＤＢＮ）应用

于跟踪过程．Ｚｈａｎｇ等人［３７］使用目标区域中随机提

取的归一化图像块作为卷积神经网络的滤波器，从

而实现了不用训练卷积神经网络的快速特征提取．

Ｋｕｅｎ等人［３８］提出了一种通过强短时限制和栈式卷

积自编码器学习到目标表示的不变性．文献［３９］利

用了一种半监督的深度学习方法进行目标跟踪．

３　基于深度学习的视觉跟踪方法

本节首先介绍了基于参考区域特征变换的深度

网络模型，训练好的深度网络模型可以应用于许多

传统的跟踪方法（如Ｌ１跟踪系统）．之后介绍本文

据此深度网络模型改进了的Ｌ１跟踪算法．

３１　基于参考区域特征变换的深度网络

图４展示了本文提出的基于参考区域特征变换

的深度网络架构．输入犱犪狋犪＝（狓０，狔０），其中狓０表示

出现在参考区域中的样本，狔０表示未出现在参考区

域中的同一目标的的样本．狓０所对应样本的表观大

部分清晰、易于分辨，狔０所对应样本中包含了大量的

遮挡、光照变化、姿态变化等情况．将狓０、狔０根据通

道数、高度和宽度进行尺寸归整，使得狓０，狔０∈

犚３×１００×１００，即狀０＝３×１００×１００．两者各自通过对称

且权值共享的三层卷积层、三层池化层和一层狓０全

连接层，并在全连接层输出各自的特征，维度为

１００．由于狓０，狔０通过的路径相互对称且对应层权值

共享，所以下面本文只介绍如何获得狓０对应的输出

特征．

图４　深度网络的架构

在第一个卷积层中，狓０通过一个权重矩阵犠１得

到了９６个特征映射，犠１包含９６个子矩阵，即犠

１＝

［犠１１；犠

１２；…；犠

１９６］，犠

１犻∈犚

３×１１×１１，其中犠１犻表示

第一个卷积层中每个卷积核对应的参数，卷积核的

通道数和尺寸分别为３和１１×１１，采样间隔为４．因

此输出的９６个特征映射｛狓１犻｝９６

犻＝１是通过对狓０卷积响

应的和经过非线性激励函数计算得到的．每个狓１犻通

过式（１）进行计算：

狓１犻＝ｄｏｗｎ（犳（犠１犻狓

０）） （１）

本文选用狊犻犵犿狅犻犱函数作为激活函数犳（·），对

自变量逐元素进行计算，其表达式见式（２）．“”代表

三维卷积．注意到传统的卷积神经网络模型［４０］中含

有偏置项犫，其输出为犳（犠狓＋犫），但是犠狓＋犫

可以写作珮犠狓～，所以本文省略了犫以便于表达．本

文使用最大池采样［４１］的方式对特征映射进行下采

样，下采样滤波器的尺寸为３×３，采样间隔为２，得

到狓１犻∈犚１１×１１．通过将所有的狓１犻连接在一起，可以

得到一个完整的特征映射狓１∈犚９６×１１×１１，其维度为

狀１＝９６×１１×１１．

犳（狕）＝１

１＋ｅｘｐ（－狕）（２）

在第二层中，为了能更充分地利用输入信息

狓１，本文在每个狓１犻的外侧进行填补，填补的尺度为

２．之后将狓１与２５６个卷积核依次进行卷积，对应的

权重参数为 犠２＝［犠

２

１；犠

２

２；…；犠

２

２５６］，犠

２犻 ∈

犚９６×５×５每个卷积核的通道数和尺寸分别为９６和

３２４１７期 高君宇等：基于深度学习的鲁棒性视觉跟踪方法

５×５，采样间隔为１，可得

狓２犻＝ｄｏｗｎ（犳（犠２犻狓

１）） （３）

这一层采用尺寸为３×３的滤波器进行下采样，

采样间隔为２，因此狓２犻∈犚５×５，将所有的特征映射

狓２犻组成狓２∈犚

２５６×５×５，其维度为狀２＝２５６×５×５．

在第三层中，本文将狓２映射到狓３，且这一层不

包含池化．３２个卷积核依次与狓２进行卷积，卷

积核的通道数和尺寸分别为３×３，每个输入狓２犻填

补的尺度为１．卷积核对应的权重参数记为犠３＝

［犠３

１；犠

３

２；…；犠

３

３２］，犠

３犻∈犚

２５６×３×３．

狓３犻＝犳（犠３犻狓

２） （４）

其中狓３犻∈犚５×５，将所有的狓３犻连接成一个具有狀３＝

３２×５×５＝８００维的向量，即狓３∈犚８００．

最后一层是全连接层，从而输出原始数据的最

终特征狓４，其维度为狀４＝１００．使用的权重矩阵为

犠４∈犚

狀４×狀３．

狓４＝犠４狓３ （５）

同样，狔０也经过相同的深度网络进行变换，最

后得到其在最后一个全连接层的输出特征狔４．对于

训练数据中的所有样本对，本文可以得到两个对应

的特征集合犡４＝｛狓４｝

犿

犻＝１和犢４＝｛狔

４｝犿犻＝１，其中犿表

示训练实例的数目．本文的目标函数是最小化正、负

样本之间的欧氏距离：

ａｒｇｍｉｎ犠１，犠２，犠３，犠４

１

２犿∑犿

犻＝１

狓４犻－狔４

犻

２

２（６）

式（６）中 · ２表示２范数．通过优化式（６）可以

获得上述整个深度网络的权重，学习到的权重具有

将样本映射到参考区域中的功能，本文将训练好的

卷积神经网络用在Ｌ１跟踪系统的框架下进行特征

提取．

３２　改进的犔１跟踪系统

本文参考了Ｂａｏ等人［３］提出的 ＡＰＧＬ１跟踪

系统，本文主要的改动是利用训练好的深度网络对

采样图像块和模板提取特征（而不是原始像素）并进

行稀疏表示，且不需要考虑单位模板和遮挡情况的

处理．

３．２．１　粒子滤波

在视觉跟踪中，粒子滤波是估计下一帧目标位

置后验概率的重要方法，包括预测和更新两步．本

文用狓狋表示在狋帧时目标物体的状态，用狔１：狋－１＝

｛狔１，狔２，…，狔狋－１｝表示１～狋时刻所有的观测．粒子滤

波通过下面两个概率进行预测和更新：

狆（狓狋｜狔１：狋－１）＝∫狆（狓狋｜狓狋－１）狆（狓狋－１｜狔１：狋－１）犱狓狋－１（７）

狆（狓狋｜狔１：狋）＝狆（狔狋｜狓狋）狆（狓狋｜狔１：狋－１）

狆（狔狋｜狔１：狋－１）（８）

狋帧内目标的最优状态可以通过估计其最大后

验概率求解：狓狋 ＝ａｒｇｍａｘ狓

狆（狓｜狔１：狋），当使用序列重

要性采样技术时，后验概率可以用一组具有不同权

重的粒子犛狋＝｛狓１狋，狓２狋，…，狓

犖狋 ｝进行近似．其权重在

简化的条件下满足狑犻狋∝狑犻狋－１狆（狔狋｜狓

犻狋）．

３．２．２　基于特征的稀疏表示

稀疏表示的目的是为了计算粒子狓狋的似然分

布，即狆（狕狋｜狓狋）．在狋帧，给定目标模板的特征集

犜狋＝［狋１狋，狋２狋，…，狋

狀狋］，令犛狋＝｛狓

１狋，狓２狋，…，狓

犖狋｝表示采

样粒子的状态且令犗狋＝｛狔１狋，狔２狋，…，狔

犖狋｝表示目标候

选的特征集．由于经过深度网络训练出的特征在应

对遮挡问题时十分有效，所以本文不使用单位模板．

目标候选特征可以由目标模板特征集近似线性表示

如式（９）：

狔犻狋≈犜狋犪，狔

犻狋∈犗狋 （９）

式中犪＝（犪１，犪２，…，犪狀）Ｔ称为目标系数向量．本文希

望犪是稀疏的，另外，本文给犪附加了非负约束以增

强Ｌ１跟踪系统的鲁棒性［１６］．因此，对于每一个目标

候选特征狔犻狋，其稀疏表示可以通过求解如下的１范

数最小化问题实现，并加以非负约束：

ｍｉｎ犪

１

２狔犻狋－犜狋犪

２

２＋λ犪 １，犪犼０ （１０）

最后，狓犻狋的似然概率由式（１１）给出：

狆（狕狋｜狓犻狋）＝

１

Γｅｘｐ｛－α狔

犻狋－犜狋犮

犻 ２

２｝ （１１）

式（１１）中，α是一个常数用来控制高斯核的形

状，Γ是正则因子，犮犻是式（１０）所求得的最优解．此

时，帧狋内目标状态的最优解可由式（１２）求得

狓狋 ＝ａｒｇｍａｘ狓犻狋∈犛狋

狆（狕狋｜狓犻狋） （１２）

另外，本文引入了一种模板更新机制［１６］以适应

跟踪过程中的光照和姿态变化等，但由于模型中使

用的是图像块的特征，所以本文调整了模板更新的

阈值．本文还参考了 Ｍｅｉ等人［４２］提出的最小误差边

界，用以加速求解上述１范数最小化问题．该理论

得出每一个粒子狓犻狋的似然分布有如下上界：

狆（狕狋｜狓犻狋）

１

Γｅｘｐ｛－犜狋犪^－狔

犻狋

２

２｝狇（狕狋｜狓

犻狋）（１３）

其中狇（狕狋｜狓犻狋）是粒子状态狓犻狋似然分布的上界，当

狇（狕狋｜狓犻狋）＜１

２犖∑犻－１

犼＝１

狆（狕狋｜狓犼狋）时，粒子狓犻狋将不会在重

采样中出现．本文使用两阶段的重采样方法以降低

跟踪过程中所需粒子数目［４２］．犪^通过式（１４）求得

４２４１ 计　　算　　机　　学　　报 ２０１６年

犪^＝ａｒｇｍｉｎ犪

１

２犜狋犪－狔

２

２（１４）

相比于ＡＰＧＬ１［１０］跟踪算法，本文的主要改动

是使用基于参考区域特征变换的深度卷积神经网络

模型对模板和粒子采样的图像块提取特征以进行稀

疏表示，并且由于训练好的卷积神经网络具有应对

遮挡的能力，所以在Ｌ１框架中本文不考虑遮挡情

况，见算法１．

算法１．　基于深度学习的Ｌ１跟踪算法．

输入：当前帧犉狋；

粒子集犛狋－１＝｛狓犻狋－１｝犖犻＝１

模板特征集犜狋－１＝｛狋犻｝狀犻＝１

输出：根据式（１２）求得的狓狋

１．ｆｏｒ犻＝１ｔｏ犖ｄｏ

２．根据狓犻狋－１得到新的粒子狓犻狋，并通过深度网络得到

对应的输出特征狔犻狋；

３．求解式（１４）对应的问题；

４．根据式（１３）计算狇犻．

５．ｅｎｄｆｏｒ

６．根据狇值，以降序方式对粒子进行排序；

７．令犻＝１且τ＝０．

８．ｗｈｉｌｅ犻＜犖ａｎｄ狇犻τｄｏ

９．求解式（１０）的最小化问题［３］；

１０．根据式（１１）计算似然分布狆犻；

１１．τ＝τ＋１

２犖狆犻；

１２．犻＝犻＋１；

１３．ｅｎｄｗｈｉｌｅ

１４．对于犼犻，令狆犼＝０；

１５．更新模板特征集犜狋－１；

１６．根据狆更新粒子集犛狋－１．

４　实验结果与分析

由于本文提出的深度网络应用于固定摄像头场

景，并且需要大量已标注的样本进行训练，所以本文

使用北京大学数字视频编解码技术国家工程实验室

（ＮＥＬＶＴ）的ＰＫＵＳＶＤＢ数据集进行验证．该数

据集也成功应用于２０１５年全国研究生智慧城市技

术与创意设计大赛中．实验使用了该数据集中２５个

行人目标的视频．这些视频具有多类场景并包含了大

量的遮挡、光照变化、姿态变化、密集背景、初始帧目

标模糊或残缺等情况．本次实验中，本文使用伯克利

大学视觉与学习中心（ＢＶＬＣ）提供的开源深度学习

架构Ｃａｆｆｅ［４３］训练本文的深度神经网络．在之后的

Ｌ１框架中，本文令λ＝０．２，模板个数犿＝１０，粒子

数目狀＝６００．最后的实验结果与当前国际上流行

的９种跟踪算法进行对比，这些算法分别简写为

ＯＡＢ［１３］、Ｆｒａｇ

［１７］、Ｓｔｒｕｃｋ［５］、Ｌ１

［３］、ＴＬＤ［１４］、ＭＥＥＭ

［２０］、

ＬＳＴ［１８］、ＳＤＧ

［１９］、ＭＩＬ［１２］．

４１　定量分析

为了定量分析每个跟踪系统的性能，本文使用

中心位置误差和重叠率两种度量方式．这两种度量

方式各有侧重，中心位置误差是跟踪结果和实际

情况中心点间的欧氏距离．重叠率是ＰＡＳＣＡＬ竞赛

中目标检测的评分标准［４４］，即对于给定的跟踪边界

框犚犗犐犜和实际情况的边界框犚犗犐犌犜，通过使用

狊犮狅狉犲＝犪狉犲犪（犚犗犐犜∩犚犗犐犌犜）

犪狉犲犪（犚犗犐犜∪犚犗犐犌犜）衡量跟踪系统的性能．

本文在２５个图像序列上与９种当前流行的跟踪系

统对比，结果见表１和表２．表中粗体和粗斜体的数

据分别表示最好和次好的结果．根据平均重叠率的

衡量标准，本文提出基于深度学习的视觉跟踪方法

（ＤＤＬ１）在２５个测试视频中有１６个排名第一，５个

排名第二，ＤＤＬ１方法在整个数据集上的平均重叠

率为０．６８，比次优的Ｓｔｒｕｃｋ方法高０．１１，比Ｌ１方

法高０．１６，比最低的ＴＬＤ方法高０．２６．总的来说，

本文提出的基于深度学习跟踪算法较好地超过了当

前流行的其他算法．根据平均中心位置误差的衡量

标准，本文提出的ＤＤＬ１跟踪方法在２５个测试视频

中有１０个排名第一，４个排名第二，在整个数据集

上的平均中心位置误差为１７．６５，比次优的Ｓｔｒｕｃｋ

方法低１．０，比Ｌ１方法低５０．３１，比最低的ＴＬＤ方

法低６８．５２．图５展示了其中１８个视频的逐帧中心

位置误差，可以看出，在跟踪过程中，本文提出的方

法的误差较其他９种方法保持在一个较低的水平．

４２　定性分析

图６展示了２５个视频序列上的１０个跟踪系统

的部分跟踪结果，图内这些视频序列的名称均为原

数据集视频名称的缩写．下文将根据跟踪过程中的

主要困难对各跟踪结果进行分析．

（１）遮挡．ｈｓｌｎ１３．１１为多人交错行走，目标在

过程中多次被严重遮挡，Ｌ１、Ｆｒａｇ、ＯＡＢ与ＴＬＤ算

法在２３帧、４４帧、６１帧和６５帧附近跟丢目标，其余

算法成功地进行了跟踪，但效果没有本文提出的方

法好．ｙｇｑ５．１０中目标沿路旁行走，在３９帧时，ＴＬＤ

算法跟丢了目标，而ＤＤＬ１方法可以一直紧凑地跟

踪目标．视频ｄｎｍ１．３中，目标被一辆汽车部分遮

挡，Ｆｒａｇ和ＴＬＤ算法分别在２５帧和２９帧处跟丢，

ＤＤＬ１方法效果显著．视频ｂｗｂ２．２和视频ｂｗｂ２．３

中行人被树枝遮挡，本文提出的方法较好地应对了

这类问题．

５２４１７期 高君宇等：基于深度学习的鲁棒性视觉跟踪方法

表１　２５个视频上１０个跟踪系统的平均重叠率

视频 ＤＬＬ１ ＯＡＢ Ｆｒａｇ Ｓｔｒｕｃｋ Ｌ１ ＴＬＤ ＭＥＥＭ ＬＳＴ ＳＤＧ ＭＩＬ

ｂｗｂ２．２

ｂｗｂ２．３

ｂｗｂ２．４

ｄｃｍ６．１１

ｄｃｍ６．１２

ｄｍｎ３．２

ｄｎｍ１．３

ｄｎｍ１．４

ｈｓｌｎ１３．１１

ｈｓｌｎ１３．１５

ｈｓｌｗ１４．１１

ｊｃｒｎ９．３

ｊｃｒｎ９．７

ｊｃｒｗ１０．３

ｊｃｒｗ１０．７

ｊｃｒｗ１０．１５

ｗｍｈｂｅ１１．１１

ｗｍｈｂｅ１１．１５

ｗｍｈｂｗ１２．１１

ｗｍｈｄ７．１１

ｗｍｈｄ７．１５

ｙｇｎ４．１２

ｙｇｑ５．１０

ｙｇｑ５．１１

ｙｔｗ８．７

０７５

０．３９

０６７

０９０

０７４

０３２

０８３

０７０

０６８

０８２

０７２

０６２

０５４

０．７１

０８１

０７７

０６１

０６４

０６３

０．５７

０６９

０８１

０．８４

０７５

０５１

０．６９

０４３

０．３１

０．６６

０．４５

０．１４

０．８１

０．６６

０．４８

０．５９

０．５２

０．５４

０．４９

０．６８

０．７０

０．６５

０．３８

０．５０

０．５７

０．６１

０．６４

０．６８

０．８５

０７２

０．０９

０．７０

０．３５

０．３５

０．２４

０．３４

０．２７

０．６１

０．６５

０．３５

０．４４

０６８

０．４５

０．４５

０．７６

０．７０

０．６０

０．４０

０．３９

０．５７

０．５２

０．５９

０．０９

０．８７

０．０５

０．２０

０．６６

０４３

０．４１

０．６８

０．４９

０．１６

０．８１

０６７

０．３９

０．６１

０．５０

０．５６

０．５２

０．７５

０．７０

０．６７

０．４３

０．４５

０７２

０．６６

０．６５

０．７３

０．８６

０．７１

０．２２

０．６５

０．３４

０７４

０７５

０７１

０．１２

０８２

０．５１

０．１６

０６７

０．４９

０．１６

０．３９

０．７８

０８１

０７２

０．２７

０６３

０．５４

０７１

０６９

０．２３

０．８７

０．２５

０．１６

０．２３

０．２８

０．５１

０．２３

０．１３

０．１５

０．６９

０．５２

０．３８

０．４９

０．６２

０．３１

０．２５

０．３８

０．６４

０．６３

０５２

０．４４

０．５４

０．２９

０．４９

０８２

０．６４

０．１０

０２５

０．６８

０．２０

０．４１

０．１７

０．４９

０．２５

０．８１

０．６６

０．２６

０．５７

０．５７

０．１２

０．４９

０．７３

０．７１

０．６１

０．４０

０．４８

０．５５

０．６１

０．５２

０．７０

０．８６

０．６８

０．２２

０７２

０．２８

０．６０

０．７１

０．５２

０．２８

０．８１

０．６４

０．３５

０．６０

０．５４

０７２

０６６

０８０

０．７７

０．６７

０．４９

０．４９

０．６１

０６９

０．６７

０．３３

０９０

０．６８

０．２２

０．７０

０３９

０．３９

０．７２

０．３９

０２９

０８２

０．６３

０４９

０．５５

０．５８

０．５８

０５４

０８１

０７９

０．６９

０．４２

０．４５

０．５９

０６９

０．６５

０．３７

０８８

０．７０

０．１９

０．７１

０．３３

０．４０

０．６８

０．４３

０２９

０８２

０．６５

０．３６

０．６１

０．６０

０．５６

０．４９

０．７５

０．６９

０．６８

０．４１

０．４６

０．５４

０．６５

０．６４

０．７０

０．８７

０．７１

０．１０

表２　２５个视频上１０个跟踪系统的平均中心位置误差

视频 ＤＬＬ１ ＯＡＢ Ｆｒａｇ Ｓｔｒｕｃｋ Ｌ１ ＴＬＤ ＭＥＥＭ ＬＳＴ ＳＤＧ ＭＩＬ

ｂｗｂ２．２

ｂｗｂ２．３

ｂｗｂ２．４

ｄｃｍ６．１１

ｄｃｍ６．１２

ｄｍｎ３．２

ｄｎｍ１．３

ｄｎｍ１．４

ｈｓｌｎ１３．１１

ｈｓｌｎ１３．１５

ｈｓｌｗ１４．１１

ｊｃｒｎ９．３

ｊｃｒｎ９．７

ｊｃｒｗ１０．３

ｊｃｒｗ１０．７

ｊｃｒｗ１０．１５

ｗｍｈｂｅ１１．１１

ｗｍｈｂｅ１１．１５

ｗｍｈｂｗ１２．１１

ｗｍｈｄ７．１１

ｗｍｈｄ７．１５

ｙｇｎ４．１２

ｙｇｑ５．１０

ｙｇｑ５．１１

ｙｔｗ８．７

４．９

１５１

１２．５

４６

６８

２１５

３．１

７４

３８２

１３４

６８

２３８

６２．３

１０．５

８．０

１６．０

６２．３

３０５

２３１

３０．４

１５．１

６５

３．４

５６

９５

４．３

２１．４

８４．７

５．２

１０．５

５０．５

３０

２０．０

４８０

２８．９

２７．４

３２．０

３４．８

１５．０

８．２

１９．１

５７．８

２５２

６９．６

２１．７

１３．８

１２．６

４．５

６０

４５．６

４．０

４０．９

９４．３

５９．４

１２３．７

２９．４

１３．４

２０．１

１８０．６

１３０．５

５８

４４．８

５６．１

７５

９．２

３７．３

４９．８

１０３．４

８９．２

３５．８

２０．９

３９４．９

３．４

１８８．５

１６．７

５．１

１６７

８．０

７．５

８５

５６．５

３．１

１９．５

５８．６

１５６

１３．８

２２１

２２２

９．１

７．５

１４９

２１０

５７．８

１９２

１２１

１１６

１０．１

３．５

６．８

３５．３

３．７

３５．１

６６

５．１

８．６

５４．９

３．３

２３．８

２９６．５

３７．５

１２．５

８９．４

１０４．４

１０．８

８．２

２３．１

１７７．７

５３．２

２２０．６

２６．３

２１．３

２９４．６

３．１

１６１．１

１７．７

２５．７

３２．７

３８．９

３５．６

１３７．２

４２．５

９．０

２２．４

１３５．５

９３．５

８．３

２７９．７

２７９．２

４０．９

２６．６

５４．０

３８．２

２３９．８

９８．９

１１０．０

２０５．２

７２

１４．８

１６１．２

１７．３

５．３

３５．６

５８

５４．４

１２．６

２４．８

４．１

１７２

７５．１

３１．０

９．８

１０３．２

４０．９

９．３

８．３

３８．４

３８．２

４１．６

９８．３

２０．３

３０．０

９．２

３．４

１０．１

１５０

３５

３４．６

２９．１

６．５

３７．２

２６．４

２９

２０．６

６２．８

３３．４

１０．２

２５．１

２４１

９．８

７１

２１．１

２６６

６５．０

４６．３

２２．０

２０．７

２１０．１

２４

７．６

１７．３

３３

３１．０

７８．３

６．６

７０．２

２６．７

３．３

２１．８

５０．８

３８．１

９．０

４３．４

３２．５

７９

６９

１５．５

４０．９

６２．０

６７．１

１９．０

２１．０

１８８．１

２８

７．９

２０．７

４．５

２９．９

９．２

４８

１２．６

２２０

３．４

２０．９

４９．０

２０．８

８．９

２８．０

３６．８

８．０

１０．２

１４７

２７．７

４６．２

７４．２

１２４

１２９

１２．２

３．２

６．２

５２．４

（２）突然运动．ｈｓｌｗ１４．１１中目标在１５帧时由

静止突然转身移动，ＯＡＢ算法当即跟丢，Ｓｔｒｕｃｋ、

ＭＥＥＭ和ＬＳＴ算法在１５帧后跟丢，Ｌ１、ＴＬＤ、ＳＤＧ、

ＭＩＬ算法在２０帧后出现较大误差，本文的算法与

Ｆｒａｇ跟踪系统表现最好．

（３）姿态变化．ｙｇｎ４．１２中目标骑行转弯，姿态

不断变化．Ｆｒａｇ、Ｌ１、ＬＳＴ和ＳＤＧ分别在５帧、１８帧、

２８帧和３０帧后跟丢目标．本文的方法取得了极好

的效果．视频ｙｇｑ５．１０中，目标斜向横穿马路，姿态

发生了较大的变化，Ｌ１、Ｆｒａｇ、ＴＬＤ 算法分别在

２０帧、２４帧、２５帧时跟丢目标，本文构建的算法可

以一直跟上．

（４）尺度变化．视频ｂｗｂ２．４中，目标从远处骑

行到近处，尺度发生了很大的变化，Ｆｒａｇ、ＯＡＢ、

ＴＬＤ、ＬＳＴ算法依次跟丢了目标，本文提出的基于

深度学习的跟踪方法取得了很好的效果．

６２４１ 计　　算　　机　　学　　报 ２０１６年

图５　１８个视频中１０种方法的逐帧中心位置误差（推荐观看彩色版以获得最佳效果）

７２４１７期 高君宇等：基于深度学习的鲁棒性视觉跟踪方法

８２４１ 计　　算　　机　　学　　报 ２０１６年

９２４１７期 高君宇等：基于深度学习的鲁棒性视觉跟踪方法

０３４１ 计　　算　　机　　学　　报 ２０１６年

图６　２５个视频中１０种方法的跟踪结果（推荐观看彩色版以获得最佳效果）

（５）目标初始帧模糊．ｄｍｎ３．２中目标初始帧仅

为出现在视频边界附近的一小部分模糊的侧身，且

ｄｍｎ３．２视频场景复杂，人流巨大．大多数跟踪算法

均在１２帧附近跟丢，本文的算法获得了最好的跟踪

效果．ｙｔｗ８．７中目标初始帧位于人流量很大场景

中，且初始状态为被严重遮挡，仅露出头部和颈部，

最终只有本文的算法可以跟上．这也正体现了本文

提出的基于深度学习算法的鲁棒性．

（６）遮挡和姿态变化．ｄｎｍ１．４中目标骑行过程

中转了一个较大的弧度，且被附近建筑遮挡，其他方

法均在２０帧后出现了较大的偏差，有的跟踪框不断

变小有的变大．

（７）遮挡和尺度变化．ｄｃｍ６．１２中目标由远及

近骑行，在１４帧时被行驶的汽车遮挡住了下半身，

ＴＬＤ算法当即跟丢，Ｆｒａｇ、ＳＤＧ、ＬＳＴ跟踪系统也在

４７帧、６２帧、７０帧时跟丢目标．ｄｃｍ６．１１中，行人由

近及远行走，在４０帧时被其他行人部分遮挡，Ｆｒａｇ、

ＭＥＥＭ、ＴＬＤ相继跟丢目标，本文的跟踪系统获得

了最佳效果．

（８）亮度变化和尺度变化．ｗｍｈｂｅ１１．１５视频中

目标从较远的树荫处走到较近的明处．Ｌ１、ＭＥＥＭ、

Ｆｒａｇ、ＳＤＧ、ＯＡＢ等均在１００帧之后出现较大误差，

本文的方法具有显著的效果．

（９）遮挡、突然运动和姿态变化．ｗｍｈｂｗ１２．１１

中目标在静止一段时间后突然斜向穿越马路，且

被路旁的汽车严重遮挡．Ｌ１、ＭＥＥＭ、Ｆｒａｇ、ＭＩＬ、

ＯＡＢ、ＴＬＤ和ＳＤＧ方法均在１０２帧后跟丢．本文的

方法成功地跟踪了目标，效果仅次于Ｓｔｒｕｃｋ跟踪

系统．

５　结束语

本文提出了一个新颖的基于深度学习的视觉跟

踪方法，其核心思想是利用固定摄像头下视频场景

１３４１７期 高君宇等：基于深度学习的鲁棒性视觉跟踪方法

中一块利于分辨目标的区域构造训练样本，并试图

学习到一种映射变换模型，将不在参考区域中的样

本映射到参考区域中．由于参考区域具有良好的位

置特性，所以训练出的深度网络具有增强目标可识

别性的特点．该网络可以提高多种传统跟踪系统的

鲁棒性，如Ｌ１跟踪系统．通过实验，本文在２５个行

人目标视频中与其他９种近年来国际上流行的跟踪

系统进行比较，结果显示，本文构建的算法超越了这

些已有算法．在后续的工作中，本文将不仅考虑参考

区域中样本和不在参考区域中样本构成的样本对，

还要考虑以背景作为负样本与目标样本构成样本对

进行训练，这样可以更好地增加目标与背景之间的

可区分性．另外，利用跨域映射的跟踪思路［４５］，对于

出现在不同摄像头的同一样本，可以训练一个基于

多摄像头场景参考区域的统一模型，使得训练好的

模型在多摄像头间具有良好的通用性．

致　谢　在此诚挚地感谢北京大学数字视频编解码

技术国家工程实验室（ＮＥＬＶＴ）提供的ＰＫＵＳＶＤ

Ｂ数据集．并对给本文给出宝贵意见和建议的应龙

师兄等表示感谢！

参 考 文 献

［１］ ＺｈａｎｇＴ，ＬｉｕＳ，ＸｕＣ，ｅｔａｌ．Ｓｔｒｕｃｔｕｒａｌｓｐａｒｓｅｔｒａｃｋｉｎｇ／／

ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄ

ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．Ｂｏｓｔｏｎ，ＵＳＡ，２０１５：１５０１５８

［２］ ＨｕａｎｇＫａｉＱｉ，ＣｈｅｎＸｉａｏＴａｎｇ，ＫａｎｇＹｕｎＦｅｎｇ，ｅｔａｌ．

Ｉｎｔｅｌｌｉｇｅｎｔｖｉｓｕａｌｓｕｒｖｅｉｌｌａｎｃｅ：Ａｒｅｖｉｅｗ．ＣｈｉｎｅｓｅＪｏｕｒｎａｌｏｆ

Ｃｏｍｐｕｔｅｒｓ，２０１５，３８（６）：１０９３１１１８（ｉｎＣｈｉｎｅｓｅ）

（黄凯奇，陈晓棠，康运锋等．智能视频监控技术综述．计算

机学报，２０１５，３８（６）：１０９３１１１８）

［３］ ＢａｏＣ，ＷｕＹ，ＬｉｎｇＨ，ｅｔａｌ．ＲｅａｌｔｉｍｅｒｏｂｕｓｔＬ１ｔｒａｃｋｅｒ

ｕｓｉｎｇａｃｃｅｌｅｒａｔｅｄｐｒｏｘｉｍａｌｇｒａｄｉｅｎｔａｐｐｒｏａｃｈ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ

ｔｈｅ２０１２ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎ

Ｒｅｃｏｇｎｉｔｉｏｎ．ＲｈｏｄｅＩｓｌａｎｄ，ＵＳＡ，２０１２：１８３０１８３７

［４］ ＦａｎＪ，ＳｈｅｎＸ，ＷｕＹ．Ｓｃｒｉｂｂｌｅｔｒａｃｋｅｒ：Ａ ｍａｔｔｉｎｇｂａｓｅｄ

ａｐｐｒｏａｃｈｆｏｒｒｏｂｕｓｔｔｒａｃｋｉｎｇ．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎ

ＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，２０１２，３４（８）：１６３３１６４４

［５］ ＨａｒｅＳ，ＳａｆｆａｒｉＡ，ＴｏｒｒＰ Ｈ．Ｓｔｒｕｃｋ：Ｓｔｒｕｃｔｕｒｅｄｏｕｔｐｕｔ

ｔｒａｃｋｉｎｇｗｉｔｈｋｅｒｎｅｌｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０１１ＩＥＥＥＩｎｔｅｒ

ｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ．Ｂａｒｃｅｌｏｎａ，Ｓｐａｉｎ，

２０１１：２６３２７０

［６］ ＫｒｉｓｔａｎＭ，ＰｆｌｕｇｆｅｌｄｅｒＲ，ＬｅｏｎａｔｄｉｓＡ，ｅｔａｌ．Ｔｈｅｖｉｓｕａｌ

ｏｂｊｅｃｔｔｒａｃｋｉｎｇＶＯＴ２０１３ｃｈａｌｌｅｎｇｅｒｅｓｕｌｔｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ

ｔｈｅ２０１３ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ

Ｗｏｒｋｓｈｏｐｓ．Ｓｙｄｎｅｙ，Ａｕｓｔｒａｌｉａ，２０１３：９８１１１

［７］ ＳａｌｔｉＳ，ＣａｖａｌｌａｒｏＡ，ＤｉＳｔｅｆａｎｏＬ．Ａｄａｐｔｉｖｅａｐｐｅａｒａｎｃｅ

ｍｏｄｅｌｉｎｇｆｏｒｖｉｄｅｏｔｒａｃｋｉｎｇ：Ｓｕｒｖｅｙａｎｄｅｖａｌｕａｔｉｏｎ．ＩＥＥＥ

ＴｒａｎｓａｃｔｉｏｎｓｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ，２０１２，２１（１０）：４３３４４３４８

［８］ ＷｕＹ，ＬｉｍＪ，ＹａｎｇＭＨ．Ｏｎｌｉｎｅｏｂｊｅｃｔｔｒａｃｋｉｎｇ：Ａｂｅｎｃｈｍａｒｋ

／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０１３ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒ

ＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．Ｏｒｅｇｏｎ，ＵＳＡ，２０１３：２４１１

２４１８

［９］ ＺｈａｎｇＴ，ＧｈａｎｅｍＢ，ＡｈｕｊａＮ．Ｒｏｂｕｓｔｍｕｌｔｉｏｂｊｅｃｔｔｒａｃｋｉｎｇ

ｖｉａｃｒｏｓｓｄｏｍａｉｎｃｏｎｔｅｘｔｕａｌｉｎｆｏｒｍａｔｉｏｎｆｏｒｓｐｏｒｔｓｖｉｄｅｏａｎａｌｙｓｉｓ

／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０１２ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎ

Ａｃｏｕｓｔｉｃｓ，ＳｐｅｅｃｈａｎｄＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ．Ｋｙｏｔｏ，Ｊａｐａｎ，

２０１２：９８５９８８

［１０］ ＹｕｎＴｉｎｇＪｉｎ，ＧｕｏＹｏｎｇＣａｉ，ＧａｏＣｈａｏ．Ｈｕｍａｎｔｒａｃｋｉｎｇｉｎ

ｉｎｆｒａｒｅｄｉｍａｇｅｓｂａｓｅｄ ｏｎ ｐａｒｔｉｃｌｅｓ ＭｅａｎＳｈｉｆｔ ｍｉｇｒａｔｉｏｎ

ａｌｇｏｒｉｔｈｍ．ＣｈｉｎｅｓｅＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒｓ，２００９，３２（６）：

１２２２１２２８（ｉｎＣｈｉｎｅｓｅ）

（云廷进，郭永彩，高潮．基于粒子 ＭｅａｎＳｈｉｆｔ迁移的红外

人体目标跟踪算法．计算机学报，２００９，３２（６）：１２２２１２２８）

［１１］ ＡｖｉｄａｎＳ．Ｅｎｓｅｍｂｌｅｔｒａｃｋｉｎｇ．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎ

ＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，２００７，２９（２）：２６１２７１

［１２］ ＢａｂｅｎｋｏＢ，ＹａｎｇＭＨ，Ｖｉｓｕａｌｔｒａｃｋｉｎｇｗｉｔｈｏｎｌｉｎｅｍｕｌｔｉｐｌｅ

ｉｎｓｔａｎｃｅｌｅａｒｎｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２００９ＩＥＥＥＣｏｎｆｅｒｅｎｃｅ

ｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．Ｍｉａｍｉ，ＵＳＡ，

２００９：９８３９９０

［１３］ ＧｒａｂｎｅｒＨ，ＧｒａｂｎｅｒＭ，ＢｉｓｃｈｏｆＨ．Ｒｅａｌｔｉｍｅｔｒａｃｋｉｎｇｖｉａ

ｏｎｌｉｎｅｂｏｏｓｔｉｎｇ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＢｒｉｔｉｓｈＭａｃｈｉｎｅＶｉｓｉｏｎ

Ｃｏｎｆｅｒｅｎｃｅ．Ｅｄｉｎｂｕｒｇｈ，Ｇｅｒｍａｎｙ，２００６，１（５）：６１５

［１４］ ＫａｌａｌＺ，ＭａｔａｓＪ，ＭｉｋｏｌａｊｃｚｙｋＫ．ＰＮｌｅａｒｎｉｎｇ：Ｂｏｏｔｓｔｒａｐ

ｐｉｎｇｂｉｎａｒｙｃｌａｓｓｉｆｉｅｒｓｂｙｓｔｒｕｃｔｕｒａｌｃｏｎｓｔｒａｉｎｔｓ／／Ｐｒｏｃｅｅｄｉｎｇｓ

ｏｆｔｈｅ２０１０ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎ

Ｒｅｃｏｇｎｉｔｉｏｎ．ＳａｎＦｒａｎｃｉｓｃｏ，ＵＳＡ，２０１０：４９５６

［１５］ ＨｕａｎｇＦｕＺｈｅｎ，ＳｕＪｉａｎＢｏ．Ｆａｃｅｃｏｎｔｏｕｒｅｘｔｒａｃｔｉｏｎａｎｄ

ｔｒａｃｋｉｎｇｕｓｉｎｇＬｅｖｅｌＳｅｔｓ．ＣｈｉｎｅｓｅＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒｓ，

２００３，２６（４）：４９１４９６（ｉｎＣｈｉｎｅｓｅ）

（黄福珍，苏剑波．基于ＬｅｖｅｌＳｅｔ方法的人脸轮廓提取与跟

踪．计算机学报，２００３，２６（４）：４９１４９６）

［１６］ ＭｅｉＸ，ＬｉｎｇＨ．ＲｏｂｕｓｔｖｉｓｕａｌｔｒａｃｋｉｎｇｕｓｉｎｇＬ１ｍｉｎｉｍｉｚａｔｉｏｎ

／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥ１２ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎ

ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ．Ｋｙｏｔｏ，Ｊａｐａｎ，２００９：１４３６１４４３

［１７］ ＡｄａｍＡ，ＲｉｖｌｉｎＥ，ＳｈｉｍｓｈｏｎｉＩ．Ｒｏｂｕｓｔｆｒａｇｍｅｎｔｓｂａｓｅｄ

ｔｒａｃｋｉｎｇｕｓｉｎｇｔｈｅｉｎｔｅｇｒａｌｈｉｓｔｏｇｒａｍ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２００６

ＩＥＥＥＣｏｍｐｕｔｅｒＳｏｃｉｅｔｙＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄ

ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．ＮｅｗＹｏｒｋ，ＵＳＡ，２００６：７９８８０５

［１８］ ＪｉａＸ，Ｌｕ Ｈ，Ｙａｎｇ ＭＨ．Ｖｉｓｕａｌｔｒａｃｋｉｎｇｖｉａａｄａｐｔｉｖｅ

ｓｔｒｕｃｔｕｒａｌｌｏｃａｌｓｐａｒｓｅａｐｐｅａｒａｎｃｅｍｏｄｅｌ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ

２０１２ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎａｎｄ Ｐａｔｔｅｒｎ

Ｒｅｃｏｇｎｉｔｉｏｎ．ＲｈｏｄｅＩｓｌａｎｄ，ＵＳＡ，２０１２：１８２２１８２９

［１９］ ＺｈｏｎｇＷ，ＬｕＨ，Ｙａｎｇ ＭＨ．Ｒｏｂｕｓｔｏｂｊｅｃｔｔｒａｃｋｉｎｇｖｉａ

ｓｐａｒｓｉｔｙｂａｓｅｄｃｏｌｌａｂｏｒａｔｉｖｅｍｏｄｅｌ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０１２

ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．

ＲｈｏｄｅＩｓｌａｎｄ，ＵＳＡ，２０１２：１８３８１８４５

２３４１ 计　　算　　机　　学　　报 ２０１６年

［２０］ ＺｈａｎｇＪ，ＭａＳ，ＳｃｌａｒｏｆｆＳ．ＭＥＥＭ：Ｒｏｂｕｓｔｔｒａｃｋｉｎｇｖｉａ

ｍｕｌｔｉｐｌｅｅｘｐｅｒｔｓｕｓｉｎｇｅｎｔｒｏｐｙｍｉｎｉｍｉｚａｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ

ｔｈｅ２０１４ＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ．Ｚｕｒｉｃｈ，

Ｓｗｉｔｚｅｒｌａｎｄ，２０１４：１８８２０３

［２１］ ＸｉａｏＧｕｏＱｉａｎｇ，ＫａｎｇＱｉｎ，ＪｉａｎｇＪｉａｎＭｉｎ，ｅｔａｌ．Ｔｒａｃｋｉｎｇ

ｖｉｄｅｏｏｂｊｅｃｔｂａｓｅｄｏｎｃｅｎｔｒａｌｍａｃｒｏｂｌｏｃｋｓ．ＣｈｉｎｅｓｅＪｏｕｒｎａｌｏｆ

Ｃｏｍｐｕｔｅｒｓ，２０１１，３４（９）：１７１２１７１８（ｉｎＣｈｉｎｅｓｅ）

（肖国强，康勤，江健民等．基于中心宏块的视频目标跟踪算

法．计算机学报，２０１１，３４（９）：１７１２１７１８）

［２２］ ＺｈａｎｇＴ，ＧｈａｎｅｍＢ，ＬｉｕＳ，ｅｔａｌ．Ｒｏｂｕｓｔｖｉｓｕａｌｔｒａｃｋｉｎｇｖｉａ

ｍｕｌｔｉｔａｓｋｓｐａｒｓｅｌｅａｒｎｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０１２ＩＥＥＥ

ＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．

ＲｈｏｄｅＩｓｌａｎｄ，ＵＳＡ，２０１２：２０４２２０４９

［２３］ ＺｈａｎｇＴ，ＧｈａｎｅｍＢ，ＬｉｕＳ，ｅｔａｌ．Ｌｏｗｒａｎｋｓｐａｒｓｅｌｅａｒｎｉｎｇ

ｆｏｒｒｏｂｕｓｔｖｉｓｕａｌｔｒａｃｋｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０１２Ｅｕｒｏｐｅａｎ

ＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ．Ｆｉｒｅｎｚｅ，Ｉｔａｌｙ，２０１２：４７０

４８４

［２４］ ＺｈａｎｇＴ，ＧｈａｎｅｍＢ，ＬｉｕＳ，ｅｔａｌ．Ｒｏｂｕｓｔｖｉｓｕａｌｔｒａｃｋｉｎｇｖｉａ

ｓｔｒｕｃｔｕｒｅｄｍｕｌｔｉｔａｓｋｓｐａｒｓｅｌｅａｒｎｉｎｇ．ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌ

ｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，２０１３，１０１（２）：３６７３８３

［２５］ ＺｈａｎｇＴ，ＬｉｕＳ，ＡｈｕｊａＮ，ｅｔａｌ．Ｒｏｂｕｓｔｖｉｓｕａｌｔｒａｃｋｉｎｇｖｉａ

ｃｏｎｓｉｓｔｅｎｔｌｏｗｒａｎｋｓｐａｒｓｅｌｅａｒｎｉｎｇ．ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆ

ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，２０１４，１１１（２）：１７１１９０

［２６］ ＷａｎｇＹｕＸｉａ，ＺｈａｏＱｉｎｇＪｉｅ，ＣａｉＹｉＭｉｎｇ，ｅｔａｌ．Ｔｒａｃｋｉｎｇ

ｂｙａｕｔｏｒｅｃｏｎｓｔｒｕｃｔｉｎｇｐａｒｔｉｃｌｅｆｉｌｔｅｒｔｒａｃｋｅｒｓ．ＣｈｉｎｅｓｅＪｏｕｒｎａｌ

ｏｆＣｏｍｐｕｔｅｒｓ，２０１６，３９（７）：１２９４１３０６（ｉｎＣｈｉｎｅｓｅ）

（王宇霞，赵清杰，蔡艺明等．基于自重构粒子滤波算法的目

标跟踪．计算机学报，２０１６，３９（７）：１２９４１３０６）

［２７］ ＷａｎｇＮ，Ｙｅｕｎｇ ＤＹ．Ｌｅａｒｎｉｎｇａｄｅｅｐｃｏｍｐａｃｔｉｍａｇｅ

ｒｅｐｒｅｓｅｎｔａｔｉｏｎｆｏｒｖｉｓｕａｌｔｒａｃｋｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０１３

ＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ．Ｈａｒｒａｈｓ

ａｎｄＨａｒｖｅｙｓ，ＬａｋｅＴａｈｏｅ，２０１３：８０９８１７

［２８］ ＦａｎＪ，ＸｕＷ，ＷｕＹ，ｅｔａｌ．Ｈｕｍａｎｔｒａｃｋｉｎｇｕｓｉｎｇｃｏｎｖｏｌｕ

ｔｉｏｎａｌｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｎｅｕｒａｌ

Ｎｅｔｗｏｒｋｓ，２０１０，２１（１０）：１６１０１６２３

［２９］ ＺｈｏｕＸ，ＸｉｅＬ，ＺｈａｎｇＰ，ｅｔａｌ．Ａｎｅｎｓｅｍｂｌｅｏｆｄｅｅｐｎｅｕｒａｌ

ｎｅｔｗｏｒｋｓｆｏｒｏｂｊｅｃｔｔｒａｃｋｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０１４ＩＥＥＥ

ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ．Ｐａｉｒｓ，Ｆｒａｎｃｅ，

２０１４：８４３８４７

［３０］ ＬｉＨ，ＬｉＹ，ＰｏｒｉｋｌｉＦ．Ｒｏｂｕｓｔｏｎｌｉｎｅｖｉｓｕａｌｔｒａｃｋｉｎｇｗｉｔｈａ

ｓｉｎｇｌｅｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０１４

ＡｓｉａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ．Ｓｉｎｇａｐｏｒｅ，２０１５：

１９４２０９

［３１］ ＬｉＨ，ＬｉＹ，ＰｏｒｉｋｌｉＦ．ＤｅｅｐＴｒａｃｋ：Ｌｅａｒｎｉｎｇｄｉｓｃｒｉｍｉｎａｔｉｖｅ

ｆｅａｔｕｒｅｒｅｐｒｅｓｅｎｔａｔｉｏｎｓｏｎｌｉｎｅｆｏｒｒｏｂｕｓｔｖｉｓｕａｌｔｒａｃｋｉｎｇ．

ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ：１５０３０００７２，２０１５

［３２］ ＬｉＨ，ＬｉＹ，ＰｏｒｉｋｌｉＦ．ＤｅｅｐＴｒａｃｋ：Ｌｅａｒｎｉｎｇｄｉｓｃｒｉｍｉｎａｔｉｖｅ

ｆｅａｔｕｒｅｒｅｐｒｅｓｅｎｔａｔｉｏｎｓｂｙｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓｆｏｒ

ｖｉｓｕａｌｔｒａｃｋｉｎｇ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＢｒｉｔｉｓｈＭａｃｈｉｎｅＶｉｓｉｏｎ

Ｃｏｎｆｅｒｅｎｃｅ．Ｎｏｔｔｉｎｇｈａｍ，Ｅｎｇｌａｎｄ，２０１４：１１１

［３３］ ＨｏｎｇＳ，ＹｏｕＴ，ＫｗａｋＳ，ｅｔａｌ．Ｏｎｌｉｎｅｔｒａｃｋｉｎｇｂｙｌｅａｒｎｉｎｇ

ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ｓａｌｉｅｎｃｙ ｍａｐ ｗｉｔｈ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ

ｎｅｔｗｏｒｋ．ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ：１５０２０６７９６，２０１５

［３４］ ＷａｎｇＮ，ＬｉＳ，ＧｕｐｔａＡ，ｅｔａｌ．Ｔｒａｎｓｆｅｒｒｉｎｇｒｉｃｈｆｅａｔｕｒｅ

ｈｉｅｒａｒｃｈｉｅｓｆｏｒｒｏｂｕｓｔｖｉｓｕａｌｔｒａｃｋｉｎｇ．ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ：

１５０１０４５８７，２０１５

［３５］ ＣｈｅｎＹ，ＹａｎｇＸ，ＺｈｏｎｇＢ，ｅｔａｌ．ＣＮＮＴｒａｃｋｅｒ：Ｏｎｌｉｎｅ

ｄｉｓｃｒｉｍｉｎａｔｉｖｅｏｂｊｅｃｔｔｒａｃｋｉｎｇｖｉａｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌ

ｎｅｔｗｏｒｋ．ＡｐｐｌｉｅｄＳｏｆｔＣｏｍｐｕｔｉｎｇ，２０１５，３８（６）：１０８８１０９８

［３６］ ＨｕＤ，ＺｈｏｕＸ，ＷｕＪ．Ｖｉｓｕａｌｔｒａｃｋｉｎｇｂａｓｅｄｏｎｃｏｎｖｏｌｕｔｉｏｎａｌ

ｄｅｅｐｂｅｌｉｅｆｎｅｔｗｏｒｋ／／ＣｈｅｎＹｕｎｊｉ，ＩｅｎｎｅＰ，ＪｉＱｉｎｇｅｄｓ．

ＡｄｖａｎｃｅｄＰａｒａｌｌｅｌＰｒｏｃｅｓｓｉｎｇＴｅｃｈｎｏｌｏｇｉｅｓ．ＳｐｒｉｎｇｅｒＩｎｔｅｒ

ｎａｔｉｏｎａｌＰｕｂｌｉｓｈｉｎｇ，２０１５：１０３１１５

［３７］ ＺｈａｎｇＫ，ＬｉｕＱ，ＷｕＹ，ｅｔａｌ．Ｒｏｂｕｓｔｔｒａｃｋｉｎｇｖｉａｃｏｎｖｏｌｕ

ｔｉｏｎａｌｎｅｔｗｏｒｋｓ ｗｉｔｈｏｕｔｌｅａｒｎｉｎｇ．ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ：

１５０１０４５０５，２０１５

［３８］ ＫｕｅｎＪ，ＬｉｍＫ Ｍ，ＬｅｅＣＰ．Ｓｅｌｆｔａｕｇｈｔｌｅａｒｎｉｎｇｏｆａｄｅｅｐ

ｉｎｖａｒｉａｎｔｒｅｐｒｅｓｅｎｔａｔｉｏｎｆｏｒｖｉｓｕａｌｔｒａｃｋｉｎｇ ｖｉａｔｅｍｐｏｒａｌ

ｓｌｏｗｎｅｓｓｐｒｉｎｃｉｐｌｅ．Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２０１５，４８（１０）：

２９６４２９８２

［３９］ ＤｏｕｌａｍｉｓＮ，ＤｏｕｌａｍｉｓＡ．Ｓｅｍｉｓｕｐｅｒｖｉｓｅｄｄｅｅｐｌｅａｒｎｉｎｇｆｏｒ

ｏｂｊｅｃｔｔｒａｃｋｉｎｇａｎｄｃｌａｓｓｉｆｉｃａｔｉｏｎ／／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０１４

ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ．Ｐａｉｒｓ，

Ｆｒａｎｃｅ，２０１４：８４８８５２

［４０］ ＫａｒｐａｔｈｙＡ，ＴｏｄｅｒｉｃｉＧ，ＳｈｅｔｔｙＳ，ｅｔａｌ．Ｌａｒｇｅｓｃａｌｅｖｉｄｅｏ

ｃｌａｓｓｉｆｉｃａｔｉｏｎｗｉｔｈｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓ／／Ｐｒｏｃｅｅｄｉｎｇｓ

ｏｆｔｈｅ２０１４ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎ

Ｒｅｃｏｇｎｉｔｉｏｎ．Ｃｏｌｕｍｂｕｓ，ＵＳＡ，２０１４：１７２５１７３２

［４１］ ＳｅｒｒｅＴ，ＲｉｅｓｅｎｈｕｂｅｒＭ，ＬｏｕｉｅＪ，ｅｔａｌ．Ｏｎｔｈｅｒｏｌｅｏｆ

ｏｂｊｅｃｔｓｐｅｃｉｆｉｃｆｅａｔｕｒｅｓｆｏｒｒｅａｌｗｏｒｌｄｏｂｊｅｃｔｒｅｃｏｇｎｉｔｉｏｎｉｎ

ｂｉｏｌｏｇｉｃａｌｖｉｓｉｏｎ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＢｉｏｌｏｇｉｃａｌｌｙ Ｍｏｔｉｖａｔｅｄ

ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ．Ｔüｂｉｎｇｅｎ，Ｇｅｒｍａｎｙ，２００２：３８７３９７

［４２］ ＭｅｉＸ，Ｌｉｎｇ Ｈ，Ｗｕ Ｙ，ｅｔａｌ．Ｍｉｎｉｍｕｍｅｒｒｏｒｂｏｕｎｄｅｄ

ｅｆｆｉｃｉｅｎｔ１ｔｒａｃｋｅｒｗｉｔｈｏｃｃｌｕｓｉｏｎｄｅｔｅｃｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ

ｔｈｅ２０１１ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎ

Ｒｅｃｏｇｎｉｔｉｏｎ．ＣｏｌｏｒａｄｏＳｐｒｉｎｇｓ，ＵＳＡ，２０１１：１２５７１２６４

［４３］ ＪｉａＹ，ＳｈｅｌｈａｍｅｒＥ，ＤｏｎａｈｕｅＪ，ｅｔａｌ．Ｃａｆｆｅ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ

ａｒｃｈｉｔｅｃｔｕｒｅｆｏｒｆａｓｔｆｅａｔｕｒｅｅｍｂｅｄｄｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ

ＡＣＭ ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎ Ｍｕｌｔｉｍｅｄｉａ．Ｏｒｌａｎｄｏ，

ＵＳＡ，２０１４：６７５６７８

［４４］ Ｅｖｅｒｉｎｇｈａｍ Ｍ，ＶａｎＧｏｏｌＬ，ＷｉｌｌｉａｍｓＣ Ｋ，ｅｔａｌ．Ｔｈｅ

ｐａｓｃａｌｖｉｓｕａｌｏｂｊｅｃｔｃｌａｓｓｅｓ（ＶＯＣ）ｃｈａｌｌｅｎｇｅ．Ｉｎｔｅｒｎａｔｉｏｎａｌ

ＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，２０１０，８８（２）：３０３３３８

［４５］ Ｚｈａｎｇ Ｔ，Ｘｕ Ｃ．Ｃｒｏｓｓｄｏｍａｉｎ ｍｕｌｔｉｅｖｅｎｔｔｒａｃｋｉｎｇｖｉａ

ＣＯＰＭＨＴ．ＡＣＭ ＴｒａｎｓａｃｔｉｏｎｓｏｎＭｕｌｔｉｍｅｄｉａＣｏｍｐｕｔｉｎｇ，

Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，ａｎｄＡｐｐｌｉｃａｔｉｏｎｓ（ＴＯＭＭ），２０１４，１０（４）：

３１４２

３３４１７期 高君宇等：基于深度学习的鲁棒性视觉跟踪方法

犌犃犗犑狌狀犢狌，ｂｏｒｎｉｎ１９９４，Ｐｈ．Ｄ．

ｃａｎｄｉｄａｔｅ．Ｈｉｓｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌｕｄｅ

ｃｏｍｐｕｔｅｒｖｉｓｉｏｎａｎｄｍｕｌｔｉｍｅｄｉａ．

犢犃犖犌犡犻犪狅犛犺犪狀，ｂｏｒｎｉｎ１９８９，Ｐｈ．Ｄ．ｃａｎｄｉｄａｔｅ．Ｈｉｓ

ｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌｕｄｅｒｅｃｏｇｎｉｔｉｏｎ／ｒａｎｋｉｎｇｏｆｉｍａｇｅａｎｄ

ｖｉｄｅｏ，ｄｅｅｐｌｅａｒｎｉｎｇ．

犣犎犃犖犌 犜犻犪狀犣犺狌，ｂｏｒｎｉｎ１９８２，Ｐｈ．Ｄ．，ａｓｓｏｃｉａｔｅ

ｐｒｏｆｅｓｓｏｒ．Ｈｉｓｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌｕｄｅｃｏｍｐｕｔｅｒｖｉｓｉｏｎａｎｄ

ｍｕｌｔｉｍｅｄｉａ．

犡犝犆犺犪狀犵犛犺犲狀犵，ｂｏｒｎｉｎ１９６９，Ｐｈ．Ｄ．，ｐｒｏｆｅｓｓｏｒ．Ｈｉｓ

ｒｅｓｅａｒｃｈ ｉｎｔｅｒｅｓｔｓ ｉｎｃｌｕｄｅ ｍｕｌｔｉｍｅｄｉａ ｃｏｎｔｅｎｔ ａｎａｌｙｓｉｓ／

ｉｎｄｅｘｉｎｇ／ｒｅｔｒｉｅｖａｌ，ｐａｔｔｅｒｎｒｅｃｏｇｎｉｔｉｏｎａｎｄｃｏｍｐｕｔｅｒｖｉｓｉｏｎ．

犅犪犮犽犵狉狅狌狀犱

Ｔｈｅｐａｓｔｆｅｗｙｅａｒｓｈａｖｅｂｅｅｎｓｏｉｎｓｐｉｒｉｎｇｉｎｔｈｅｈｉｓｔｏｒｙ

ｏｆｃｏｍｐｕｔｅｒｖｉｓｉｏｎ．Ｌａｒｇｅａｍｏｕｎｔｓｏｆｌｉｔｅｒａｔｕｒｅｓｈａｖｅｂｅｅｎ

ｐｕｂｌｉｓｈｅｄｗｈｅｎｕｔｉｌｉｚｉｎｇｔｈｅｂｉｏｌｏｇｉｃａｌｌｙｉｎｓｐｉｒｅｄＣｏｎｖｏｌｕ

ｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓ（ＣＮＮ）ｔｏｓｏｍｅｈａｒｄｃｏｍｐｕｔｅｒｖｉｓｉｏｎ

ｐｒｏｂｌｅｍｓ，ｓｕｃｈａｓｏｂｊｅｃｔｄｅｔｅｃｔｉｏｎａｎｄｉｍａｇｅｃｌａｓｓｉｆｉｃａｔｉｏｎ

ｐｒｏｂｌｅｍｓ．Ｎｅｖｅｒｔｈｅｌｅｓｓ，ｔｈｅｒｅａｒｅｓｔｉｌｌｓｏｍｅｏｔｈｅｒｃｏｍｐｕｔｅｒ

ｖｉｓｉｏｎｔａｓｋｓｌｏｎｇｉｎｇｆｏｒｂｅｔｔｅｒｓｏｌｕｔｉｏｎｓ，ｓｕｃｈａｓｖｉｓｕａｌｔｒａｃｋｉｎｇ．

Ｖｉｓｕａｌｔｒａｃｋｉｎｇｉｓｏｎｅｏｆｔｈｅｍｏｓｔｉｍｐｏｒｔａｎｔｄｏｍａｉｎｉｎａ

ｗｉｄｅｒａｎｇｅｏｆａｐｐｌｉｃａｔｉｏｎｓｉｎｃｏｍｐｕｔｅｒｖｉｓｉｏｎ，ｓｕｃｈａｓｈｕｍａｎ

ｃｏｍｐｕｔｅｒｉｎｔｅｒａｃｔｉｏｎ，ｒｏｂｏｔｉｃｓ，ｓｕｒｖｅｉｌｌａｎｃｅ ａｎｄ ｖｅｈｉｃｌｅ

ｔｒａｃｋｉｎｇ，ｅｔｃ．Ａｌｔｈｏｕｇｈｔｈｅｄｅｖｅｌｏｐｍｅｎｔｏｆｖｉｓｕａｌｔｒａｃｋｉｎｇｉｎ

ｔｈｅｓｅｙｅａｒｓ，ｔｈｅｒｅａｒｅｎｏｕｎｉｆｉｅｄｔｈｅｏｒｙｓｙｓｔｅｍｆｒａｍｅ．Ｍｏｓｔ

ｔｒａｃｋｅｒｓａｒｅｄｅｖｅｌｏｐｅｄｆｒｏｍｔｈｅｄｉｓｃｒｉｍｉｎａｔｉｖｅｏｒｇｅｎｅｒａｔｉｖｅ

ｐｅｒｓｐｅｃｔｉｖｅｓ．Ｄｉｓｃｒｉｍｉｎａｔｉｖｅａｐｐｒｏａｃｈｅｓｆｏｒｍｕｌａｔｅｔｈｅｔｒａｃｋｉｎｇ

ｐｒｏｂｌｅｍａｓａｂｉｎａｒｙｃｌａｓｓｉｆｉｃａｔｉｏｎｐｒｏｂｌｅｍｉｎｏｒｄｅｒｔｏｆｉｎｄｔｈｅ

ｄｅｃｉｓｉｏｎｂｏｕｎｄａｒｙｆｏｒｓｅｐａｒａｔｉｎｇｔｈｅｔａｒｇｅｔｏｂｊｅｃｔｆｒｏｍｔｈｅ

ｂａｃｋｇｒｏｕｎｄ．Ａｎｄｉｎｃｏｎｔｒａｓｔ，ｇｅｎｅｒａｔｉｖｅｔｒａｃｋｅｒｓｔｙｐｉｃａｌｌｙ

ｌｅａｒｎａｍｏｄｅｌｔｏｒｅｐｒｅｓｅｎｔｔｈｅｔａｒｇｅｔｏｂｊｅｃｔａｎｄｔｈｅｎｕｓｅｉｔｔｏ

ｓｅａｒｃｈｆｏｒｔｈｅｆｒａｍｅｒｅｇｉｏｎ ｗｉｔｈ ｍｉｎｉｍａｌｒｅｃｏｎｓｔｒｕｃｔｉｏｎ

ｅｒｒｏｒ．Ａｌｔｈｏｕｇｈｔｈｅｓｅ ｍｅｔｈｏｄｓｈａｖｅｓｏｍｅａｄｖａｎｔａｇｅｓｉｎ

ｃｅｒｔａｉｎｖｉｄｅｏｓｃｅｎｅｓ，ｍｏｓｔｏｆｔｈｅｍｕｓｅｔｈｅｐｉｘｅｌｓｏｆｅａｃｈ

ｖｉｄｅｏｓｅｑｕｅｎｃｅｄｉｒｅｃｔｌｙ，ｉｇｎｏｒｉｎｇｔｈｏｓｅｉｍａｇｅｐａｔｃｈｅｓ’ｉｎｎｅｒ

ｄｅｅｐｆｅａｔｕｒｅｓ．Ａｎｄｗｅｔｈｉｎｋｔｈｅｓｅｔｒａｃｋｅｒｓａｒｅｐｒｏｍｉｓｉｎｇｆｏｒ

ｂｅｔｔｅｒｔｒａｃｋｉｎｇａｃｃｕｒａｃｙｗｈｅｎｔｈｅｙｕｓｅｔｈｅｄｅｅｐｆｅａｔｕｒｅ．Ｏｕｒ

ａｐｐｒｏａｃｈｄｅｓｉｇｎｓａｎｏｖｅｌｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒｏｎｎｅｔｗｏｒｋ

ｗｈｉｃｈｈａｓｔｗｏｓｙｍｍｅｔｒｉｃａｌｐａｔｈｓｓｈａｒｅｄｗｅｉｇｈｔｓ．Ｔｈｉｓｗｉｌｌ

ｅｎｈａｎｃｅｔｈｅａｐｐｅａｒａｎｃｅｆｅａｔｕｒｅｏｆｔａｒｇｅｔｓ，ｔｈｅｎａｃｈｉｅｖｅｓ

ｂｅｔｔｅｒｒｅｓｕｌｔｓ．

Ｔｈｉｓｒｅｓｅａｒｃｈｇｒｏｕｐｈａｓｓｏｍｅａｃｈｉｅｖｅｍｅｎｔａｂｏｕｔｄｅｅｐ

ｌｅａｒｎｉｎｇａｎｄｃｏｍｐｕｔｅｒｖｉｓｉｏｎｉｎｔｈｅｐａｓｔｆｅｗｙｅａｒｓ．Ｚｈａｎｇ

Ｔｉａｎｚｈｕｅｌａｌ．ｐｕｂｌｉｓｈｅｄｐａｐｅｒｓｏｎＣＶＰＲｉｎ２０１３ａｎｄ２０１４，

ｗｈｉｃｈｆｏｃｕｓｏｎｒｏｂｕｓｔｖｉｓｕａｌｔｒａｃｋｉｎｇ．ＹａｎｇＸｉａｏｓｈａｎｅｔａｌ．

ｄｅｖｏｔｅｔｏｉｍａｇｅｃｌａｓｓｉｆｉｃａｔｉｏｎｕｓｉｎｇｄｅｅｐｌｅａｒｎｉｎｇ，ａｎｄｐｕｂｌｉｓｈｅｄ

ｐａｐｅｒｓｏｎＭｕｌｔｉｍｅｄｉａＳｙｓｔ，２０１５ａｎｄＩＣＩＭＣＳ，２０１３．

ＴｈｉｓｗｏｒｋｉｓｓｕｐｐｏｒｔｅｄｉｎｐａｒｔｂｙｔｈｅＮａｔｉｏｎａｌＢａｓｉｃ

ＲｅｓｅａｒｃｈＰｒｏｇｒａｍ（９７３Ｐｒｏｇｒａｍ）ｏｆＣｈｉｎａ（Ｎｏ．２０１２ＣＢ３１６３０４）

ａｎｄｔｈｅＮａｔｉｏｎａｌＮａｔｕｒａｌＳｃｉｅｎｃｅＦｏｕｎｄａｔｉｏｎｏｆＣｈｉｎａ（Ｋｅｙ

Ｐｒｏｇｒａｍ，６１４３２０１９）．

４３４１ 计　　算　　机　　学　　报 ２０１６年