60
南京理工大学 硕士学位论文 复杂条件下人头检测与计数技术研究与实现 姓名:朱效正 申请学位级别:硕士 专业:计算机应用技术 指导教师:任明武 20090601

+ )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

  • Upload
    others

  • View
    0

  • Download
    0

Embed Size (px)

Citation preview

Page 1: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

南京理工大学

硕士学位论文

复杂条件下人头检测与计数技术研究与实现

姓名:朱效正

申请学位级别:硕士

专业:计算机应用技术

指导教师:任明武

20090601

Page 2: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

硕士论文 复杂条件下人头检测与计数技术研究与实现

摘 要

复杂条件下的人头检测与计数技术研究是基于目前视频图像大量监控数据的自动

化分析理解及提取问题。实际的监控环境比较复杂,监控摄像头角度倾斜或俯视下的拍

摄情况下,很难在视频中获取完整的人脸信息来完成人头检测。针对这些情况,本文运

用活动边缘和Camshiit方法对俯视人头和侧面人头的进行检测与计数。

本文针对俯视人头和侧面人头,分别实现了基于活动边缘和Hough变换的俯视人头

检测方法和基于Camshifl算法的侧面人头跟踪方法,通过设置虚拟线的方法,计算人头

的个数。本文的主要研究内容如下:

一,本文分析了几种边缘检测算子和活动边缘检测的方法,提出了基于间隔十帧差

分结合当前帧边缘的活动边缘检测方法,有效提取出当前帧中的活动目标边缘。

二,本文分析了俯视人头边缘图像的特点及Hough变换检测圆的方法,实现了利用

随机Hough变换快速检测人头边缘。

三,本文分析了侧面人头图像的特点及MeanShiit,Camshifl的算法原理,提出了一

种基于Camshifl算法的自动侧面人脸检测跟踪方法。

四,本文分析了最大近邻匹配算法,提出了一种基于运动信息的匹配方法建立目标

链,通过在图像中特定位置设置虚拟线,判断目标链与虚拟线的关系,实现人头目标计

数。

实验结果表明,利用本文上述方法,对复杂条件下非正面人头目标的准确检测和计

数,取得较好的效果。

关键字:边缘检测霍夫变换MeanShiit Camshift人头计数

Page 3: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

Abstract

The 11ead detection and counting technical studies under complex the conditions are

based on the current automated analysis of surveillance data and effective data extraction

problem.Actually more complex environmental monitoring,surveillance cameras tilt or look

down under the circumstances,it is difficult to obtain in the integrity of the video Face

detection information to complete the detection.According to this,this paper uses the

methods of activities edge and the methods of Camshift to complete the head and head

position and count.

In this paper,the activities edge and the Hough transform use to detecte the looking

down head,Camshift tracking method Bse to detecte the side of head,and set a virtual line

method to calculate the number of heads.The main research content of this article are as

follows:

First,this article analyzes several active edge detection methods,based on 1 0 adjacent

frame edge differential combined with the activities of the current edge detection methods,

effective extracte the target edge of the current frame.

Second.this article analyzes the characteristics of image of the looking down head and

Hough transform circle detection methods,realizate of the use of rapid detection of the edge

of the head埘tll random Hough transform.

Third,this article analyzes the characteristics of the image of the side ofthe head and the

MeanShifi,Camshifl algorithm,give an automatic side face detection tracking method based

on Camshift.

Fourth,this article analyzes the largest neighbor matching algorithm,propose an method

based on the movement information to establish the goal of chain,set up a virtual line in

specific locations of the image,determine the relationship between the virtual line and the

target chain to achieve the target head count.

In this paper.the above.mentioned methods achieve the look down head and the side

head position and count,experimental results show that the methods obtain good results,it

achieves the goal of accurate detection of head and counting under complex conditions,has

some practical value.

Keywords:Hough Transform Edge Detection Camshifl MeanShifl

HeadCountll

Page 4: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

声 明尸 明

本学位论文是我在导师的指导下取得的研究成果,尽我所知,在

本学位论文中,除了加以标注和致谢的部分外,不包含其他人已经发

表或公布过的研究成果,也不包含我为获得任何教育机构的学位或学

历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均

已在论文中作了明确的说明。

研究生签名: 沙P月蛎

学位论文使用授权声明

南京理工大学有权保存本学位论文的电子和纸质文档,可以借阅

或上网公布本学位论文的部分或全部内容,可以向有关部门或机构送

交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对

于保密论文,按保密的有关规定和程序处理。

研究生签名:牲 印砒盔

Page 5: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

硕士论文 复杂条件下人头检测与计数技术研究与实现

1绪论

1.1人头检测与计数的背景与意义

目前,人的视觉分析已成为计算机视觉领域方面重要的研究热点,其主要是利用计

算机视觉技术检测、跟踪、识别视频或序列图像中的人并对其行为进行理解与描述。它

在安全监控、视频会议、医疗诊断及图像存储等方面具有广泛的应用前景和潜在的经济

价值。

计算机视觉的主要研究内容,已不仅仅局限于静态图像,序列图像包含更多更全面

的信息,序列图像是指用一个传感器采集的一组图像,它们与时间相对应的先后顺序,

同时相邻两帧获取的时间问隔一般是一定的。序列图像中蕴含着物体的运动信息,通过

序列图像算法可以从连续的若干幅图像中可以得出物体的运动状况,因此序列图像经常

被用于运动目标的处理,对运动目标进行检测和跟踪,并根据一定的规则对运动目标的

行为做出解释,并反馈处理结果便于研究人员调查研究。

复杂背景下的人头检测与计数是一个非常复杂的工程课题,它是基于序列图像对运

动的人物目标进行检测跟踪处理,在电影院,商场,车站等有很多商业和公共地点,需

要对监控范围内的目标,这里主要研究人,进行自动检测和跟踪计数。人的头部是人物

目标上信息量最大的部位,因此对人的自动检测,就转化为对人头的自动检测与跟踪,

由于摄像机位置的原因,这些地点的人头目标大多是多角度的,不同于传统的正面人脸

检测,而且目标与目标之间可能存在遮挡,经典的人脸检测算法,如adadoost算法,在

这里就无法得到很好的效果,即使是改进的adaboost也只能适应小角度的旋转,无法满

足实际的需要,这就需要鲁棒性更好的方法。

本课题有着广泛的应用前景,包括在零售点估计队列长度,监测出入口,公共汽车

或火车站的自动人员计数系统,在许多商业和公共地点,如电影院,商场,车站等有很

多人员流动信息需要采集。然后,这些信息可以用来决定租赁的价值, 决定广告的效

果,并促进相关类型商品的销售。此外,在公共场所,这些信息可以用于安全和高效地

安排附属设施。出于所有这些原因,研究人员一直关注与学习的自动人员计数的方法。

1.2人头检测与计数的现状和难题

1.2.1人头检测的现状和难题

各种技术已应用于建设快速和可靠人探测器的自动监视系统【1,4,51中。

首先,背景差分方法【6'7】,检测指定区域人群目标占整个检测区域的大小。边缘检测

是一种替代方法,来衡量所有被人物目标所占区域的量。特征提取方法【8,9,10,ll】也被应用,

估计人群密度使用灰度依赖矩阵(GLDM)方法进行纹理分析,用神经网络关联自组织

Page 6: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

l绪论 硕士论文

映像模式,从而完成人群密度估计。

分类和预测方法,在人群计数中也有应用。由混合全局学习(HGL)t1。21算法进行人群

分类,主要最小二乘方法结合不同的全局优化方法,如随机搜索(RS),模拟退火(SA),

以及遗传算法(GA)。NakajimiaEl31等人使用支持向量机研究这一问题。铡la【141使用一个基于分级树代表一定形状的行人。Griebelt巧】等人使用动态点分布模型。一部分探测

器使用基于学习的方法。一种学习的方法,结合对人体的某一部分的一套弱分类器,然

后探测器结合概率模型,检测人物目标。一种基于人头轮廓的学习方法【l 61,首先Haar

小波变换(HwT)是用来提取精选的头像轮廓,然后在支持向量机(SⅧ)是用来区分在

目标图像中头部轮廓是否存在。

这些办法需要相当数量的训练数据学习参数的基本模式。虽然这些分类在某些特定

的情况下是强有力的,他们是不适合多角度的人物目标的识别。

三维模板匹配方法在检测人头方面也有尝试,Zhao和Nevatiatl‘7】通过摄像机标定结

合三维方法,可以使用头探测器找出可能的头部位置。他们的研究结果清楚地表明,地

面和相机参数对找到人头的位置很有帮助,头部探测器是基于边缘信息。人头检测不足

以对人员进入或离开计数。为了实现计数这一目标,有必要提取方向。有文献【l副提出了

设定一个虚拟的大门的方法。

也有人提出一个目标跟踪【191的方法,结合了两种不同的输出模块:一个沿对象的边

界梯度强度和一个与颜色直方图相匹配的对象。

通过检测人脸来定位人头,基于神经网络的人脸检测,或者其他经典快速人脸检测,

如adaboost,可以是一种选择。然而,并不是所有的人将直接面对相机,背面,俯视,

右侧或左侧的人在人群也将是需要观察的形象。在这种情况下,轮廓人头在人群计数中

是一个比人脸检测更好的选择。

此外,有许多种的颜色和纹理的人群是不可预测的,复杂的。一个良好的人头计数

系统应努力克服上述问题和挑战。

1.2.2传统计数方法的现状和难题

在早年,用来建造自动人员计数系统是一些机械装置,传感器,如压力传感器,红

外传感器等。

1.2.2.1红外光束检测

红外光束检测装置早期一般用于产品出厂计数,如罐头的生产线上,在与罐头前进

方向垂直的位置两侧,分别安装发射器与接收器,通过计算光线中断,计算罐头的个数,

这种技术也被运用到人员计数系统中,一般安装在入口两侧半人高的位置,运用同上方

法完成人员的计数,这种检测装置对于人流量较少,单个人而且依次通过时检测准确度

很高,但是在有多人同时通过时出现遮挡或覆盖的情况下,得到结果的准确度就受到很

2

Page 7: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

硕士论文 复杂条件下人头检测与计数技术研究与实现

大的影响。

1.2.2.2机械传动式自动检测

机械传动装置也同样运用于人员计数系统中,如压力板式,三辊闸等,三辊闸一般

常见于地铁进出口,压力板式自动人员系统一般应用在公交系统中,乘客上下车时触发

压力传感器就会被自动记录下来。与光束检测类似,当人流量较大时,可能同时有两个

或更多人在压力板上,难以计算出实际的人员流量。同时由于使用机械传感器件,机械

传感部件,容易损坏,所以在频繁使用的场所使用时,存在着计数不可靠的问题。

1.2.2.3光幕传感器自动人员计数

光幕的一边等距离安装有多个红外发射管,另一边相应的有同样数量的红外接受

管,光幕的中间是检测的区域,当光幕中间没有人员流动时,接收到与发射数量相同的

红外线,有人员流动时,发射和接受的红外线数量有一定差异,而且还可以看出目标的

大小,多目标时,未接受到的部分,也是间断的,与上面两种计数方式相比,可以比较

全面的检测和计数。

上述几种计数系统可以完成一定的计数任务,但是,也出现了一些实际问题。机械

装置的性能退化,漏检是严重的问题。这一事件发生最频繁的时候是有许多人一次通过

给定的传感器。这无法满足公共地点,如电影院,商场,车站等地点的应用要求,因为

这些地点每天的人流量较大,而且同时有超过一个人通过的现象很多。

1.3本文工作概述

目前人头检测和计数研究分两种,基于静态图像和基于序列图像两个方向。在视频

监控中,大部分都是在基于序列图像的人头计数研究。也是本论文的主要研究内容,本

文主要介绍复杂场景上人头的检测与计数。

人头的状态较多,故本文分两种状态研究人头检测和计数,分别是俯视入头和侧面

人头,针对两种状态人头的特点,分别采用合适的方法,用基于活动边缘和Hough变换

的方法检测俯视人头,用改进的CamShiR方法检测侧面人头。

检测活动边缘的方法较多,本文根据实际情况提出一种快速的活动边缘检测方法,

通过连通域计算方法降噪,减少不必要的信息,有利于下一步检测,得到干净的活动边

缘后,通过Hough变换的方面,检N-值图像中类圆目标,而Hough变换要耗费大量

的计算,无法进行实时,高效的检测,所以本文利用一种改进的Hough方法,加快人头

目标的检测。

侧面人头的检测,采用一种高效快速的跟踪方法,通过利用侧面人头的颜色直方图

反向投影到当前图像中,在图像中搜索跟踪人头部位,该方法具有一定鲁棒性,可抗遮

挡。

仅仅对人头的检测跟踪,不足以得到计数的结果,还要获取方向,得到轨迹,本文

3

Page 8: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

1绪论 硕士论文

设定一个虚拟的大门,即两条虚拟线,当目标通过大门,则计算一人次进或者出,由此

来完成计数的步骤。

1.4本论文的组织

第二章基于活动边缘的俯视人头检测

综述各种边缘检测技术和活动边缘检测技术,分析评价各种边缘检测方法优劣,详

细介绍了沈俊边缘检测方法,及它的优点,介绍本文对人头边缘图像的去噪处理,基于

几种常见的活动边缘检测,本文运用一个快速有效的活动边缘检测方法,较好地提取出

图像中运动目标——俯视人头的边缘。

第三章基于随机霍夫变换的俯视人头检测技术

本章分析了俯视人头图像的特点,结合人头边缘特点,利用类圆检测方法检测人头,

介绍了Hough变换的原理,应用范围,Hough变换检测几何图形的方法,本文运用了一

种改进的Hough变换方法一随机Hough变换方法快速检测运动目标的头部轮廓。第四章基于CamShifi算法的侧面人头检测与跟踪

本章分析了侧面人头图像的特点,介绍了彩色空间,及颜色直方图的定义,详细分

析了基于meanshift,及Camshifi算法的跟踪技术,并通过实验对比了两种方法的跟踪效

果,运用了一种基于侧面人头颜色信息的自动Camshift方法来完成自动侧面人头的检测

和跟踪。

第五章基于目标链和虚拟线的人头目标计数

本章介绍目标链的概念,以及最大近邻匹配算法,本文提出了利用运动信息建立目

标链的方法,记录位置信息,把同一目标的位置信息组成目标链,在图像中指定位置设

置虚拟线,判定目标链与虚拟线的关系,实现人头计数。

4

Page 9: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

硕士论文 复杂条件下人头检测与计数技术研究与实现

2基于活动边缘的俯视人头边缘检测

2.1人头边缘检测

2.1.1边缘检测分析

边缘是指存在于目标与背景或者其他目标之间图像局部强度变化最大的点。图像分

割、纹理特征和形状特征等图像分析都是以图像边缘为基础研究发展的。边缘处理是很

多图像处理应用的必要组成部分,大量的学者在边缘领域做了很多研究,因此对图像边

缘的研究以及知识较为丰富和全面,图像边缘有许多专业名词,如边缘点,是指亮度明

显变化位置上的图像点。边缘段,即为边缘点坐标及其方位。边缘检测器,是指从图像

中提取边缘的算法。轮廓,是指边缘集合或者一条表示边缘集合的拟合曲线。边缘连接,

描述从无序边缘表形成有序边缘表的过程。边缘跟踪,是指一个确定轮廓的图像搜索过

程。

边缘检测就是通过一定的数学方法,将某些周围像素的灰度值有阶跃变化或屋顶状

变化的像素提取出来,并在图像中标注出这些像素具有显著特征的点,即边缘。

在图像中,灰度的变化可以反映为导数,因此,根据边缘的形状,可以通过求导的

方法来寻求边缘。边缘的参数包括:边缘强度和边缘方向。

图2.2.1.1灰度图像

5

Page 10: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

2基于活动边缘的俯视人头边缘检测 硕士论文

80

8l

82

83

84

85

86

燃缫瓣缫麟淄

L

80

霪1

82

83

84

85

86

黼戮缫燃戮獭

图2.1.1.2窗口中象素的灰度值 图2.1.1.3窗El中象素的梯度值

通过上面三张图片可以看出求导和简单边缘检测的关系。

根据图像灰度值的显著变化,即图像强度的不连续,图像边缘又可分为:

(1)阶跃变化,即图像灰度值在不连续处的两边的像素灰度值从一个值突然变大,

或者图像变小很多。

(2)屋顶状变化,即图像灰度值突然从一个值变化到另一个值,然后又回到原来的

值。

一阶导数

二阶导数

g(i)

L ●

-

l

l

川 .

。IV7

l

I

八l八 。

g(i)

八/:\ 极值点

/i\ .

州 。

图2.1.1.4两种边缘的导数分析图

由图2.1.1.4可得,屋顶状边缘,一阶导数过零点,二阶导数最小值,阶跃边缘,一

阶导数最大值,二阶导数过零点。

在实际应用中,只要采样分辨率达到一定的要求,上述两种边缘都可以看成是阶跃

边缘,所以一般只考虑检测阶跃边缘。

6

a撕翱鞫,獬翻捌翻¨硐喾¨弼盆¨捌自貉籀籀籀瀚缓缮獬滋麟獭瓣戮麓戳骥麟滋囊瓣瓣瓣瓣瓣瀛霾缀戮瓣鬻鬟骥骥瓣戮鬟缓戮滋豢缵瓣夔纛囊缫麟缫缀戮凝戮黼瓣瓣糕瓣鬓麟戮戮鬻戮戮麟

Page 11: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

硕士论文 复杂条件下人头检测与计数技术研究与实现

边缘是指图象中灰度发生急剧变化的区域。图象灰度的变化情况可以用灰度分布的

梯度来反映,给定连续图象f取,y),其方向导数在边缘法线方向上取得局部最大值。 因

此,边缘的检测转化为求f驭,y)在(x,y)处的方向导数问题。f【x,y)沿任意方向r的方向导

数为:

要:要·妻+要·妻:六·c。sp+乃“n0 (2.1.1.1)务 缸勿加办“ 吖。 、⋯⋯7

式2.I.1.1中,0为X轴到方向r的转角。敦和鸟为f取,y)的偏导数。

对于平面的每一个点p(x,y)都可定出一个向量,该向量称为(X,y)处的梯度。

向量为: 罢·f+篓·,

梯度为:

可以证明,

的模。

grad f(x,y):善.f+善·,蹴 oy

当方向r与梯度方向一致时,方向导数达到最大值,该最大值即为梯度

梯度的模为: lgrad f(x,y)l=

x轴到梯度的转角的正切为:

tase=等锄

誓取最大值的条件是嘉=0讲 ob

即:

{I.sinO—lp·cos0=0

得到:

口=tan-1(工/正)或乡=tan一1(工/正)+刀

grad。,,=忘f:七{:上面介绍了图像中边缘类型及其导数的关系。下面,本文介绍几种常用的边缘检测

算法。

I.梯度算子(Gradient)

定义梯度为:

G(i,/)=4Axf(i,/)2+缈(f,/)2 (2.1.1.2)

7

Page 12: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

2基于活动边缘的俯视人头边缘检测 硕士论文

若G(i,/)>threshoM,则(f,/)点为边缘点。即通过上式,大于某个阈值,则该点为

边缘点,该算法的时间复杂度较高,边缘检测的速度较慢,无法在一些实时系统中应用。

2.罗伯特算子(Roberts)

运算过程:

尺O,j)=max《f(i,_『)一f(i+l,/+1)l,I厂(f+1,/)一厂O—l,/+1)|}(2.1.1.31)系数模板:

O 1

-1 O

3.索伯算子(Sobel)

计算过程为:

q=【厂G+l,Y—1)+2·厂G+1,y)+厂G+1,J,+1)】一【厂G一1,Y一1)+2幸i(x一1,y)+f(x-1,y+1)】

(2.1.1.4)

G,=【厂G一1,y+1)+2·厂G,J,+1)+厂G+1,J,+1)】一【厂G一1,Y一1)+2·厂G,Y—1)+厂G+1,y一1)】

(2.1.1.5)

梯度幅度值:

G(x,y)=IG,I+lGyl

当GG,y)大于阈值时,则G,y)为边缘点。

8

加权模板系数为:

G_ q

.1 D 1 .1 .2 .1

.2 D 2 0 D n

.1 D l 1 2 l

缺点:得到双线宽的边缘,因为该算子涉及到3*3的邻域。

优点: (1)加权

(2)实质上是平滑去噪,后求差分。在边缘检测可以说是通用模式,即:在

Page 13: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

硕士论文 复杂条件下^头检树与计数技术研究与彝现

用Gradient或Robert等其他算子求边缘象素前,最好先对图象进行平滑,因为噪声的灰

度值一样是变化很大。

4.Prewitt边缘检测算子

在一个较大区域中,用两点的偏导数值来求梯度幅度值,受噪声干扰很大。若对两

个点的各自一定领域内的灰度值求和,并根据两个灰度值和的差来计算x,y的偏导数,

则会在很大程度上降低噪声干扰。源于这种思想,Prewitt于1970年提出了提取边缘的

Prewitt算子,其系数加权模板如下

GJ q

.I 口 1 .1 .1 —1

.1 0 l 0 0 0

.1 0 l 1 l l

运算过程如F:

e;(_1卜,e一1,Y一1)+o·,ky一1)+1+,O+l,y一1)+(-1)·,0—1,Y)+o*f(x,y)+1+,O+k力+(-1).,G一1,y+1)+o+,by+1)+1·f(x+l,,+1)=【,e+l,Y一1)十,G+1,y)+,扛+l,y+lⅪ一【,0—1,Y一1)+,b一1,力+,b一1,,+lⅪ

(2.11.6)

G。=(_l卜,G一1,y一1)+(_1)·,O,Y—1)十(-1)+,O+l,,一1)+o·,G—l,y)+o+,(以n+o+,臼+I,y)+1·m—l,y+1)+1+,G,Y+O+l+,0+Ly+1)=【,G+1,y+I)+炖y+1)+,0+l,y+lⅪ一【,G一1,Y—1)+/by一1)+,h+l,Y—lⅪ

(2.1.1 7)

卷积算子为:

GG,y)=协J+陀l当G瞳力大于阈值时,则0,y)为边缘点。

、~一 ~~~、。’

~、

削211 5原图像 图211.6Roberts算子边缘

Page 14: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

2蔫f镕动边缘的俯视人头垃缘榆测 硕士论文

图21.1.7Prewitt算于边缘 图2.1.1.8 Sobel算于边缘

上面4幅图片为俯视人头图片及其Prewitt,Sobel及Roberts检铡效果图。梯度边缘

检测方法利用梯度幅值在边缘处达到极值检测边缘。该梯度边缘方法,定位精度高,可

得到边缘方向,但对图像中的噪声较为敏感,效果易受影响。Roberts算子检测水平和

垂直边缘的效果好于斜向边缘,与梯度边缘类似,它的定位精度高,同时对噪声敏感。

Sobel算子根据像素点上下左右邻点灰度加权差,在边缘处达到极值这一现象检测边缘。

该方法可以检测到精确的边缘方向信息,但是边缘定位精度则有所欠缺。Prewitt算子利

用像素点上下、左右邻点灰度差,在边缘处达到极值检测边缘。该算子对噪声具有平滑

作用,边缘定位精度相对不足。

2.1.2基于二阶微分算子的边缘检测分析

前面讲过,对阶跃边缘边缘而言,边缘点处的二阶导数过0点,或二阶导数在边缘

点处出现零交叉,即边缘点两旁的二阶导数异号。因此下面本文简要介绍基于该原理的

边缘点检测,即拉普拉斯算子。

对数字图像的每个象素取,y),取它的二阶导数为关于X轴方向和Y轴方向的二阶导数之和,得到:

s“,)=f(i+t,』)+,(i一1,小,O,,+1)+,(f,J一1)一4,O,J) (2.12.1)

拉普拉斯两种加权模板分别为

圈髑

Page 15: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

硕十论文 复杂条件下^头检测与计数技术研究与实现

一l纛___:..羔攀掌笺粪|.“’r: 静?o{

图2.1.2 I拉普拉斯边缘图像

由于拉普拉斯算子是二阶差分运算,故在灰度阶跃边缘的两侧均有响应。其值一边

为正,一边为负,而对斜坡形边缘响应为零,并且在此零值点的两侧也有一正一负两个

峰值。不论是阶跃边缘还是斜坡边缘。这一正一负两峰值的大小及走向,反映了边缘的强

弱及走向。

拉普拉斯算子的边缘检测方法检测到边缘,与其他一阶算子相比精度较高.本文采

用了介绍另外一种优秀的二阶微分边缘检测方法,沈俊算子边缘检测方法。

沈俊算子检测边缘时,首先对图像滤波,然后再求导数。在阶跃边缘和可加白噪声

的模型下,沈俊依据信噪比最大准则,证明了边缘检测中的最佳滤波器是对称的指数函

数。下面便是给出的最佳滤波器的形式:

FCx,"=口×c2”⋯ (2.1.2 2)

其中,cl=ao/(2一ao),G=1一ao,do E(oj)。

在沈俊边缘检测函数中。有参数嘞,当嘞的数值越接近于o,则Y(x,力越宽,因

而抗干扰能力增强,但边缘信息会减少,边缘定位精度也减弱;随着%的增大,抗干扰

能力减小,但边缘细节会增多,边缘定位的精度也响应提高。

沈俊算子检测边缘的步骤为:

1,对图像分别按行和按列各进行两次正反向的递归滤波。将图像先按行进行正向

滤波,再在前面的基础上,反向滤波,然后在对得到的结果按列进行正向滤波,接着进

行反向滤波。

2,有上一步可到了两次正反向递归滤波的结果,接着将滤波结果与原图像作差运

算,得到拉普拉斯图像。

3,对拉普拉斯图像按照函数的参数进行二值化,二值化的结果为正值都为1,而其

它像素都为0。

4,得到二值化的拉普拉斯图像后,接着在该图像中求出零交叉点,零交叉点即以

该点为中心的一个窗口,至少一个邻域的值为0,且该点本身为1。

Page 16: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

2基于活动边缘的俯视人头边缘检测 硕士论文

边缘检测在图象分割、模式识别、机器视觉等中都有重要作用,人们已研究出很多

种边缘检测算法,而沈俊边缘检测是边缘检测效果很好的算法之一,本文在后续的步骤

中运用沈俊算子检测图像中的边缘。

2.1.3人头边缘的噪声去除

人头边缘图像中的背景边缘,长度较短,数量较多,其对后续的检测过程,没有实

际的意义,而且这些复杂的细小边缘,容易增加检测的运算量,甚至有可能造成误检测。

本文利用连通域计算的方法,减少这些细小,凌乱的边缘,提高下一步检测人头边缘的

准确性和速度。

二值图像描述连通域的2种最主要方法有游程码和链码。游程码分为白长和黑长,

黑长记录连续的黑色像素点的数目,白长记录连续的白色象素点的数目,黑长和白长交

叉出现,常用在二值图像的压缩中。链码方法基于边界点间的相互连通性。连通性按四

邻接或八邻接定义。四邻接是指仅当两个点上下或左右相邻时才是连通的,如图2.1.3.1

所示。八邻接是指除了上下左右外,还可以有四个斜向的邻接,如图2.1.3.2所示。四连

通链码只需要四个符号就可以表示,通常用O.3,八连通链码需要0.7八个方向符号。

所谓轮廓跟踪就是从一个起始点开始,按照四连通或八连通关系逐点跟踪下个边界点,

同时输出移动的方向,即链码;直到得到整条轮廓线。链码提供了一种非常有效的目标

描述形式,它适合于目标特征计算,比如角点、面积、周长、矩和提取线段等。实际上

链码已经成了模式识别和图象处理的一个基本工具。

图2.1.3.1四邻域链码 图2.1.3.2八邻域链码

作为图像处理的重要工具,链码跟踪算法在很多方面广泛地使用。链码跟踪算法的

一般步骤如下:

1.发现新的轮廓线,发现一条新的轮廓线需要扫描整个图像。通过分析相邻的2

个像素的颜色值的变化可以发现新的轮廓线,如果颜色值从“O”变到“1",一个边界

点就被发现了,即一条轮廓线就被发现了。这里的困难之处是如何保证该轮廓线是新的

轮廓线,即不是已经跟踪的轮廓线,以避免重复跟踪。该问题一般都是通过颜色值标记

来解决的,改变已经跟踪过的边界点的颜色,边界点每被跟踪过一次,它的颜色值就加12

Page 17: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

顶±论文 复杂条件下人头檀蔫与计数技术研究与90乳

1,这样在跟踪过的轮廓线上就不再存在颜色值从“0”变到“l”的情况,从而避免了

重复跟踪。然而这种标记法与不丢失内轮廓产生了冲突,因为被跟踪过的边界点的颜色

值被改成了”2”,”3”或”4”,但当内外轮廓线共点时,得到内轮廓就成了困难,为此,

增加了发现新轮廓线的模式,然而这些增加的模式又带来了产生重复跟踪的错误。

2.轮廓线跟踪,一旦找到一条新的轮廓,跟踪过程便开始了。跟踪过程按照预先设

定的检验顺序,一个个地检验并得到边界点,直至形成一条闭合轮廓。

3.结束跟踪,现有算法都采用了相同的跟踪结束条件,即跟踪过程一旦到达跟踪起

点便结束跟踪。

通过上述步骤,由链码跟踪二值图像中的像素为255的点,即白色目标,得到图像

的外轮廓和内轮廓。按常规约定,内外轮廓均为8连通,外轮廓为逆时针,内轮廓为顺

时针。

利用链长度和面积的计算,可阻进行滤波。先求得各个轮廓的周长和面积,再根据

需要设置长度和面积阈值去除不需要的轮廓,然后把剩下的轮廓对应的区域用链码填充

的方法写入空白图像,得到感兴趣的区域。

本文根据链码方法减少图像中的不必要的边缘点,一下是实验图像数据。

图2l 3l原始图像

图01 3.2原图像的边缘图像 图21 3.3击噪后的边缘图像

上面三幅图片说明了通过链码方法筛选人头边边缘的过程,图2.1’3、l为俯视人头

图像,图2 1.3.2为沈俊算子求取的边缘图像,图2 1 3 3为通过链码长度筛选后的俯视

j3

Page 18: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

2基于活动边缘的俯视人头边缘检测 硕士论文

人头边缘,可以看到去除了许多短小,凌乱的边缘,俯视人头的边缘更明显了。

2.2活动边缘检测

2.2.1基于背景差分技术的活动边缘检测

基于背景差分技术检测活动边缘的方法较多,主要过程就是通过当前帧图像与一个

背景图像做差运算,然后通过二值化方法就得到了只包含运动区域及少量噪声的二值图

像,然后对二值图像求取边缘,这样就得到了活动边缘,背景差分的重点主要在背景方

面,可以通过选定一幅初始的图片作为背景图片,设固定的背景图像B,假设摄像机是

静止的,而且光照不变,即背景变化很小,所以可以通过当前图像和背景图像的差分可

以得到运动变化的部分。把当前图像序列设为{屯,:,j,⋯),通过当前图像与背景图像的

差分可以得到运动序列口(f,.,):

口(f,-,)爿I,(f,/)一B I (2.2.1.1)

其中,t表示不同的时刻,取值1,2,3⋯,(f,/)表示图像中对应像素的位置。因为运

动目标的灰度分布不均匀,背景在不同位置的灰度也可能不相同,因此公式在差分后取

绝对值以既保全运动信息又易于显示。这里的图像差运算只涉及对应像素强度的差分运

算,这种运算简单,计算量小,处理速度快,适合于实时的处理。

通过当前图像与固定背景图像之间的差分运算,可以得到当前图像中的运动目标。

一般情况下所得的结果比较理想,差分后只有运动目标。但如果图像中光照变化较大时,

差分后的结果就不仅仅是运动目标了,由于光照的影响图像中其他非运动部分的像素强

度也发生了较大的变化,这些强度变化像素区域也会反应在差分图像中。因此在背景差

分中,背景更新成为新的研究热点,如平均更新法,加权更新法,分组更新法,基于多

高斯分布背景模型的背景差分法⋯⋯等,其中基于多高斯模型方法,通过多高斯分布背

景模型生成了一组自适应的背景图像序列{E,B:,马⋯)。这样,当前图像与背景图像的

差分可以得到运动序列口(f,,):

Df(f,/)爿‘(f,/)一E I (2.2.1.2)

更新的背景在一定程度上,减小了光照变化带来的影响,较好的分割出图像中运动

目标,然后检测出运动目标的边缘。

2.2.2基于帧间差分的活动边缘检测

除了上一小节,给出的基于背景差分检测运动边缘的方法,还可以通过帧间差分方

法检测运动边缘,相邻两帧图像由于时间间隔短,光照的变化小,使得它们的差图像受

光线影响小,检测有效而稳定。相邻图像间的差分运算可定义如下:

采集到的图像序列为{厶,L,,,⋯),则当前图像与相邻帧图像做差分得到4N(f,j『)

为:

14

Page 19: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

硕士论文 复杂条件下人头检测与计数技术研究与实现

Dr,t-I(f,J)=lt(i,J)一‘一l(f,J) (2.2.2.1)

其中,t表示对应当前时刻,取值1,2,3⋯,11(i,j『)是当前帧图像,‘一。(f,/)是前一帧

图像,(f,Jf)表示图像中对应像素点的位置,皿川(‘-Jf)可以根据实际情况决定是取绝对

值。对相邻图像的差分运算示意图如下:

(a)前一帧图像厶一l O,y) Co)当前图像‘O,y) (c)图(b)和(a)差分结果

图2.2.2.1相邻图像间差分示意图

简化说明过程,设图像序列中全部是简单二值图像,图像背景灰度值为0,目标的

灰度值为I。目标以一定速度运动,在t.1时刻目标的位置如图2.2.2.1中a图所示;在t

时刻目标位置如图2.2.2,l中b图所示,然后用t时刻的图像与t-l时刻的图像进行差分,

得到的差分结果如图2.2.2.1中c图所示。由于目标的运动,它共分四个不同的区域:

在图2.2.2.1中c图中,可到看到差分图像分为4个区域,其中“O’’和“2"区域的

灰度值都是0,前者因为是背景,后者是运动目标在两幅图像中,重合的部分,所以在

差分图像中,就没有体现出来,而差分图像得到的主要信息集中与“1”“3’’中,两者

都是运动目标的一部分,其中“1”为只出现在前一帧图像中的运动目标的部分,而“3"

则为运动目标只在当前图像出现的部分,所以可得相邻图像做差分运算可得到两幅图像

中的运动部分。

上面介绍的是基于相邻两帧图像的差分,基于相邻两帧图像的差分虽然可以检测出

运动目标的边缘,但是它包含了两幅图像中的运动目标边缘,无法直接给我当前帧中的

运动边缘,基于此问题,C.Vieren[20】等提出了一种通过连续三帧图像获取当前帧运动目

标边缘的方法。该方法需要连续三帧图像:前一帧图像P,当前处理的图像C和后一帧

图像N。它首先逐点计算当前处理的图像和前后两帧图像的差分,得到相对变化的区域,

差分定义如下:

D(P,C)(x,y)=l P(x,少)一C(x,y)f ,,,",、

Page 20: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

2基于活动边缘的俯视人头边缘检测 硕士论文

D(C,Ⅳ)(x,y)---,I C(x,y)一N(x,y)I 门,),)乱、⋯⋯o,

再计算两幅差分图像的边缘GlD(只c)I和GID(c,u)l,通过这两幅差分边缘图像得到运动目标的边缘。GlD(P,c)I包含了当前处理图像和前一帧图像中运动目标的边缘,而

GID(c,Ⅳ)l包含了当前处理图像和下一帧图像中运动目标的边缘(如图2.2.3.1所示)。也

就是说,当前处理图像中运动目标的边缘同时在两个边缘图像中,但是另外两帧图像中

运动边缘只差分边缘图像中的一幅中。因此将两幅差分边缘图像相“与"时,得到的结

果图像中,只包含当前图像中运动目标的边缘,前一帧以及后一帧图像中的运动目标边

缘在“与"运算中消失,最后得到了当前图像中运动边缘M(c)。相邻三帧图像差分求

取运动边缘的过程如下:

前一帧图像(聊 ◆

差分图像 差分边缘

‘D①C)——◆

G(D0a,C)) ————’当前帧1一<差夕>。

●一 一

。√相与■, 、 运动边

l当前帧图像(c) ,、 , 缘M(C)

善⋯p>1鬻卜 差分边缘 争

G(D(C’l奶)

2.2.3.1相邻三帧图像差分运动边缘检测算法流程

以上算法通过最近三帧差分,对差分图像做二值化,得N-值图像,用边缘检测方

法得到差分图像的边缘,对两次得到的轮廓做与运算,就得到了当前帧中的运动目标的

轮廓,可以说是一个较好的方法,但是在面对序列图像中的一些在一段时间内,运动目

标呈暂时静止或是一段时问内发生较小位移的时候,检测效果就受到影响。

2.2.3本文使用方法

本文针对上面提到的情况,运用了如下的方法:不做相邻帧之间的差分,而是对相

差几帧(本文为十帧)的两幅图像做差分,这样可以在一定程度上,在相邻帧问运动目

标运动速度较小的情况下,检测到运动区域,不至于差图像没有有用信息,然后对得到

的差分图像,二值和链码轮廓操作,得到的是当前帧与相隔十帧图像中两个运动轮廓,

然后再对当前图像做沈俊边缘操作,再将沈俊边缘图像与差分边缘图像相“与",得到

了当前运动目标轮廓。

1.间隔十帧图像差分

间隔十帧图像差分与相邻帧图像差分相比,增大了时间间隔,让运动目标有了更大

的运动位移,便于检测运动目标,同时近似认为光照的变化小或不变。间隔十帧做差分

运算过程如下:

假设图像序列为(,。,I:,13⋯.),则当前图像和十帧前图像之间的差分图像

D玩,t-10 b,少),表达式如下:16

Page 21: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

硕士论文 复杂条件下人头检测与计数技术研究与实现

D斩,“。G,J,)=kG,y)-I,圳G,Y)I (2.2.3.1)

其中,t表示不同的时刻,D圻卜。。G,少)是当前图像和lo帧前图像的差分图像,LG,Y)是当前帧图像,‘枷G,y)是10帧前图像。间隔十帧图像做差分运算过程表示如下:

(a)10帧前图像‘.10b,Y) (b)当前图像LG,Y) (c)是两者的差分D圻 b,)

图 .. 间隔十帧图像差分示意图,t-lO Y2.23 2

图像中的目标即为灰色的矩形区域,设其灰度值为I,图像中的白色区域为图像背

景,其灰度值为0。目标由下向上运动,在十帧前,目标的位置如图2.2.3.2中a图所示;

在当前时刻,目标位置如图2.2.3.2中b图所示。然后用当前帧的图像与十帧前的图像进

行差分,得到的差如图2.2.3.2中C图所示。由于目标的运动,它共分三个不同的区域:

在10帧前中是背景,在当前帧也是背景的区域,如图2.2.3-2中C图的“0’’区域,

该区域的灰度值没有任何变化,故其差分结果为0。图2.2.3.2中a图的“1”区域,在

十帧前是背景区域,到当前帧时为运动区域,灰度值由0变为I,所以其差分结果为I。

与此相反,图2.2.3.2中C图的“3”区域,由运动目标变为背景区域,灰度值由I变为

0,该区域得到的差分结果为一I。这样差分图像有三类区域,其中不为零的“1",“3’’

区域体现了图像的运动区域。虽然由相邻帧做差分运算改变为间隔十帧图像做差分,可

以检测出物体的运动边缘,但是也只是在一定程度上,有所改进,如果物体运动速度非

常小,仍然有可能检测不到,当目标运动速度较小时,仍然会出现如图2.2.2.1(c)中的“2’’

区域,通过对差图像中这些区域的处理和分析可以得出目标的轮廓和运动信息。

2,差分图像二值化及边缘检测

在图像差分运算中,理想情况下,如果做差分运算的两幅图像相同,它们的差图像

中就是一幅纯黑图像,即像素值全为0。但实际情况下,由于电子仪器等原因产生的噪

声等因素,即使使用同一台固定位置的摄像机在较短的时间内,拍摄同一静态场景所得

的两幅图像也不是完全相同的。直接将两幅图像做差,差分图像中出现一个个没有规律

的点,一般认为这些点是由高斯噪声引起的。根据概率论中的“3盯"法则,认为差分

图像像素符合一个高斯分布,99%以上的点都落在(∥一30-,/z+3仃)的范围内,另外在

这个范围外的1%的点认为是可以去除的噪声。因此可把(∥一30",∥+3仃)作为双阈值,

在两者之间的是背景,其它为目标。公式如下:17

Page 22: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

2摹于活动边缘的俯视^头边缘椅测 碗±论文

olf(x,y)E(Ⅳ一3盯,∥+3盯)otberwise

其中,D矿G,y)和k分别是间隔十帧差分图像和均值三倍方差检测得到的二值图像。由于场景中由于目标运动占了图像的一部分区域,相应差图像中的背景部分就减少,

达不到理论上的值,控制双闽值的范围,比如用(一口,卢+仃)作为双闽值来分割,尽可

能把运动区域提取出来。

幽2.2 3 5间隔十帧筹分边缘图象 刚2.2 3 6当前帧沈俊边缘图象

Page 23: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

硕士论文 复杂条件下人头检测与计数拉术研究与实现

图2.2 3 7膨胀后的差分边缘蹦象 图2.2.3,8“与”运算后图象

前面的步骤给出了差分图像的边缘,它包含着两幅图像中的运动目标的轮廓,而本

文需要的只是当前图像中的运动轮廓,这样就需要去除,10帧前图像中的运动轮廓,现

在使用与运算的方法,所谓与运算,就是得到两幅图中相同位置上相同的部分,将差分

轮廓与当前图像的沈俊边缘结果图像相与,但是得到的结果,并不理想,大部分轮廓都

丢掉了,后来发现差分图像的边缘发生了偏移,故对其做膨胀如图2,2.3 7.在做与运算,

这样得到的结果就比较理想,如图2.2.3 8。

然后在进行链码方法取边缘,膨胀,与运算等步骤即可得到运动边缘图像。

本文运动边缘检测的算法流程围如下所示:

图2.3 5本文运动边缘检测算法流程圈

图2.3 5中可得,本文在输入图像时,对当前帧图像做沈俊边缘检测得到当前帧边

缘图像-用当前帧图像与十帧前图像做差分运算(图像输入的初始十帧没有这部分运算,

也不检测边缘),对差分得到的图像做基于三倍均值方差的二值化运算.然后运算连通

域计算技术,即链码方法,检测二值图像的轮廓,得到长度超过一定阈值的轮廓信息,19

Page 24: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

2基于活动边缘的俯视人头边缘检涮 顿±论文

主要是差分运算两帧中的运动目标的轮廓,由于差分运算得到的边缘,与原图像初始边

缘位置相比,有很小的位移,所以对该轮廓做膨胀处理,用当前帧检测得到的既包含运

动目标边缘也包含背景边缘的图像与包含两帧运动目标边缘的差分边缘,做与运算,得

到只包含当前帧运动边缘的图像。

2.3俯视人头边缘数据分析

图2.3.5差分边缘膨胀图像 图23.6俯视人头目标边缘图像

上图为通过本文方法得出的俯视人头边缘图像,图2.3.I中为采集的原始俯视人头

图像中的一帧,图2.3.2为对原始图像做沈俊边缘算子得lⅡ的边缘图像,图2.3 3显示的

Page 25: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

硕士论文 复杂条件下人头检测与计数技术研究与实现

是将原始图像与十帧前图像做差分运算并二值化后的差分二值图像,图2.3.4为对图

2.3.3得到的结果,通过连通域计算求轮廓,并通过了轮廓长度,过滤掉一部分无用边缘。

图2.3.5为图2.3.4做膨胀之后的结果,将图2.3.5与图2.3.2两幅二值图像做与运算,即

图像中相同位置点像素都为255,则结果图像该位置也为255,否则该位置像素值为0。

由上面一组图可得,通过本文方法去除了图像中的大多数背景边缘噪声,得到了较为干

净的活动人头边缘图像,有利于提高下一步检测的速度和准确性。

21

Page 26: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

3基于随机霍夫变换的俯视^头检测技术 硕±论文

3基于随机霍夫变换的俯视人头检测技术

3.1俯视人头图像特点分析

在监控系统中,当摄像头安装商场,地铁的出入口时,由于摄像头的位置较高,一

般都是向下方拍摄监控区域,这样获得的监控图像,大多是俯视人头。这是俯视人头图

像的主要来源。

俯视人头图像中.也因为拍摄角度的原因,图像中的人物目标很少有相互遮挡的情

况,运动人物目标的信息由人头和衣着构成,主要咀人头为主,人头上的头发颜色比较

单~,基本为黑色,人头部位的像素值与背景及人体其他部位相比较小,因此在背景比

较理想的情况下,可以通过二值化的方法,分割出人头信息,但是在背景中有比较暗,

即像素值低的块状区域时,这种方法的效果就受到较大影响,除像素值较低外,人头的

外轮廓.也是很明显的特征,俯视人头的外轮廓,基本是一个圆形,或者与圆很相似,

本章利用类圆检测方法检测俯视人头目标。

图311俯视人头图像 脚3I 2俯视人头边缘图像

● ■1

图3.1 3俯视人头二值图像

上面三幅图像说明了俯视人头的特点,主要是圆形边缘和像素值较低

Page 27: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

硕士论文 复杂条件下人头检涮与计教技术研究与宴现

3.2Hough变换

3.2.1霍夫变换原理

1962年。Paul Hough根据数学对偶性原理提出了检测图像直线的方法【2lJ,1981年

Dana H.Ballard发表了一篇题为“Ocncrulizing the Hou曲transform to detect arbitrary

shapes”的文章,霍夫变换被广泛的应用到机器视觉中,此后其被不断地研究和发展,

主要应用于模式识别领域中对二值图像进行几何图像的检测。

虽初的Hough变换是设计用来检测直线与曲线的,起初的方法要求知道物体边界线

的解析方程,但不需要有关区域位置的先验知识。这种方法的一个突出优先是分割结果

的鲁棒性,即分割对数据的不完全或噪声不是非常敏感。Hough变换方法的基本思想可

以从检测图像中的直线这个问题看到。设图像中有直线Y=积+6.直线上有一点

A0⋯Y),通过点A的所有直线由Yt=乜+g表示,k和g是某些值。这意味着统一方程可以解释为参数空间k和口的方程,因此通过点A的所有直线可以表示为方程

q=一x,k+“。类似地通过点X(x;,Y。)的直线可以表示为q=叫,k+咒。在参数空间k和q

中,原图像中同一条直线上的每个点映射到参数空间k和4中的直线都经过同一点。由

该点的参数(t,q).可得原直线的参数。

图3.21 1输入初始图像 图3.21 2霍走变换后的结果

在实际应用中,Y=搿+b形式的直线方程没有办法表示x=c形式的直线。所以实

际检测中,是采用参数方程p=x cosO+,.sth0。这样,图像平面上的一个点就对应到

参数(以口)平面上的一条曲线上,其它的还是一样。

图像中检测可能的直线像素,一般对图像做边缘检测后得N-值边缘图像,然后对

其中的边缘点,一般为白色像素,通过Hough变换,转化到其他空间,从而检测一般图

像中的直线信息。在真实的情况下,这些直线的数目是无限的,然而,根据实际情况,

Page 28: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

3基于随机霍夫变换的俯视人头检测技术 硕士论文

只考虑有限数目的直线方向。直线方向定义参数汐设置180级以使其离散化。类似地,

参数P也被采样为有限数目的值。参数空间不再是连续的,而是被表示为矩形的单元。

这个单元的阵列被称为累计数组爿,它的元素是累计单元A(p,秒)。通过每个目标像素,

确定其参数P和p,对应一条曲线,对于每条这样的曲线,曲线参数p和目的值用来增

加累计单元A(p,秒)的值。显然,如果公式P=x·cos0+Y.sin0所标示的直线出现在图

像中,累计单元A(p,p)的值就会被增加很多次,次数等于直线p=X-cosO+Y·sin0上

的点作为目标像素被检测到的数目。图像中非直线部分的噪声点的累计次数较低,故累

积次数最高的(p,口),即为直线p=x.cos8+Y·sin0的参数。

霍夫变换不仅仅检测直线和圆,如还可以检测出椭圆,正方形,长方形,圆弧等等。

这些方法大都类似,关键就是需要熟悉这些几何形状的数学性质。霍夫变换的应用是很

广泛的,比如检测玻璃瓶瓶口是否出现瑕疵,变形等,从正上方对玻璃瓶采集图像,边缘

检测后,可以通过霍夫变换来对这个瓶口进行快速定位,再配合其它手段进行处理。霍

夫变换由于不受图像旋转的影响,所以可以用来进行快速定位和识别。

3.2.2霍夫变换应用

1.生物医学及工业自动化

Hough变换已被成功应用于基于人工智能的医学专家诊断系统,例如,体检时拍摄

得到X射线人体照片和CT图像的处理和判读,从超声波诊断中提取三维动脉特征。微

生物研究中,光学显微镜和电子显微镜中观察到的细胞核自动分析系统,等等。此外,

Hough变换在工业自动化方面也有很多应用,如,被用于产品部件的缺陷诊断、生产过

程的自动监控等。

2.军事技术

军事应用中,目标自动跟踪识别,也利用Hough变换检测跟踪一定特殊目标,并绘

制其运动轨迹,如,在大型的空中预警机,图像监控卫星等。也可以应用Hough变换对

各种战斗机的外形特征进行提取和识别,便于快速的敌我辨别;应用Hough变换解决多

运动目标的跟踪难题。

3.办公自动化

Hough变换同样在办公应用系统中也得到了很好的应用。如采用Hough变换进行英

文字符特征提取并自动识别,其无论是印刷体还是手写体的识别率均达到较高的水平,

并已成功应用于邮政系统中的信件自动分拣及文件处理等工作中。

由以上内容可见,Hough变换有着广泛的关注程度以及良好的应用前景。在计算机

视觉和自动目标识别系统中,Hough变换是一个用于边缘线条特征提取的强有力工具。

Page 29: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

硕士论文 复杂条件下人头检测与计数技术研究与实现

3.3 Hough变换检测圆形目标

如果图像由已知形状和大小的物体组成,如何在图像中找到该物体,如在一张电路

板上定位一个圆形的走线,或者在卫星图像,飞机航拍图像中,找出油田中的圆形储油

罐,有很多方法检测,比如用一个合适形状和大小的模板在图像中移动,寻找图像和掩

模之间的相关性。但是由于形状旋转,缩放,拍摄角度等问题,选定的掩模与待处理图

像中的目标相差较大,而Hough变换可成为代替掩模方法的有效的检测圆形目标的方

法。

下面介绍Hough变换检测圆的例子,在均匀亮背景的图像中,检测一个半径已知的

黑色圆圈,该方法从搜索一个黑色像素开始,一旦找到这样的一个像素,就可以确定一

条与其关联的可能圆心点的轨迹。这样的可能圆心点的轨迹构成半径为r的圆,如果原

始图像中的所有黑色像素关联的轨迹都被构建出来,就可以确定图像空间中每个像素作

为圆心轨迹元素出现的频率。需要寻找的真正圆心就是具有最高出现频率的像素点。这

样就在图像中找到了圆心目标的圆心,同时Hough变换同样具有一定的抗噪声干扰性

能,同时圆形目标信息不全的情况下同样可以检测出圆。

(a)

图3.3.1圆形检测的粒子:(a)亮背景下黑圆圈(半径为r)的原始图像(b)每个黑像素定

义了一个以它为中心半径为r的可能圆心点的轨迹(c)确定图像像素作为圆心轨迹元素出现的频率,

25

Page 30: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

3基于随机霍夫变换的俯视人头检测技术 硕士论文

具有最高出现频率的像素表示圆心(d)在不完全的圆信息和有重叠结构出现时,Hough变换也可以

正确检测出图像目标中的圆。

由上述内容可知,如何在已知圆半径的情况下对圆的检测,但是在很多情况下,无

法事先知道圆形目标的具体大小。下面本文介绍半径未知情况下基本的圆检测Hough

变换。假设在二值图像中检测一个圆形目标。令{G,,Y,Ⅺ=1,2—3埘}为图像中目标圆周上的点的集合,而G。,Y,)为集合中的一点,它在参数坐标系Q,b,,.)中方程为:

(厶一x)2+(易一y)2=r2 (3.3.1)

该方程为三维锥面,对于图像中任意确定的一点投影到参数空间就是一个三维的锥

面。对于圆周上的任何点集合融,,Y,)},在参数空间都有相同数量的三维锥面。若集合中的点在同一个圆周上,则这些圆锥将相交于参数空间上某一点(口。,b。,r0),这点恰好对应于图像平面的圆心坐标及圆的半径。在实际的图像运算中,一般表示为:

恢一一)2+(60—Yi)2-r2[≤善 (3.3.2)

在实际处理中,考虑到图像边缘定位不一定精确,图像中像素的精度有限等原因,

其中f是设置的一个阈值,即小于它即可认定在同一个圆中。一般情况下圆变换的参数

空间为三维,在三维积累空间上进行证据累加的时间空间消耗是非常大的,传统的

Hough变换很难达到实用的要求。

3.4一种基于随机Hough变换俯视人头检测方法

3.4.1 Hough变换的改进

Hough变换是一种非常有效的从图像提取特定几何图形(如直线,矩形,圆,椭圆

及其他二次曲线等)及其特征的方法。它是通过数据的积累来提取特征,其主要特点是

对局部信息缺损不敏感和对随机噪声具有鲁棒性。基本的Hough变换在由于计算量非常

庞大,检测性能的速度无法达到一定的要求。针对传统Hough变换运算量大,检测速度

慢的问题,国内外学者提出了很多改进算法。Xul221等人提出了随机Hough变换,与传

统Hough变换将每个像素点投影到N维空间中不同,该算法随机选取N个像素点投影

到参数空间中,该算法需要的存储空间较小,速度较传统Hough变换有很大提高。也有

学者提出了扩展Hough变换算法,算法通过第三参数来扩展参数空间,并采用贝叶斯框

架处理扩展空间,提高了算法的准确性。部分学者提出了一种自适应Hough变换算法,

该算法能有效地减少参数空间累积可投票参数组合的数量,从而提高运算速度。其中随

机Hough变换相比于传统的Hough变换,降低了内存需要,使其参数空间无限大、参

数精度任意高,同时也对噪声敏感,处理复杂图像时引入大量的无效计算,因为随机

Hough变换在速度上的优势,以及本文通过了较好的方法得到比较纯净的活动边缘,有

Page 31: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

硕士论文 复杂条件下人头检测与计数技术研究与实现

效减少了不必要的无效计算,故本文利用随机Hough变换的方法检测俯视人头图像中的

类圆边缘。

3.4.2随机Hough变换的原理及算法过程

随机Hough变换就是指随机的在图像上采样几个点来确定一个圆。一般在图像空间

随机选取不共线的三个点映射成参数空间的一个点,是多到一的映射,从而避免了传统

Hough变换--N多映射的庞大计算量。为了降低内存需求,采用动态链表结构只对多到

一映射所得到的参数分配单元进行累积,不过由于噪声和复杂背景的干扰,应用随机

Hough变换检测圆时会产生随机采样的大量无效累积。因此,研究人员提出了多种改进

方法,即首先规定一个条件,当随机采样到的点组满足此条件时,相应的累加器进行增

值,否则进行下一个随机点组的选取。下面介绍一种随机Hough变化检测圆的原理。

C

图3.4.2.1圆的检测

如图3.4.2.1所示,随机取3个点,利用A,B,C点的坐标值求出AB和BC两线

段的中点坐标值G。,Y。),G:,Y:)即

Xl=G口+%)/2

Yl=◇口+乩)/2

x2=(x。+x6)/2

Y2=(y。+y。)/2

求出通过这两点的法线方程

G—x。)(%一Xa)+◇一Y。×乡。一y口)=0 (3.4.2.1)

(X--X:№。一Xb)+◇一y:炒。一Yb)=0 (3.4.2.2)

解此方程组可得出两直线的交点,在与图像映像的二维累加器中对与该交点对应的

单元进行增值操作。在对各直线均完成此类操作后,统计累加器中各存储单元的累加值。

最大者即为圆心坐标G。,Y。)。求得了圆心,再通过圆心和圆上的各点求取,圆的半径信息,各点到圆心坐标距离

的均值为r,即

27

Page 32: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

3基于随机霍夫变换的俯视人头检测技术 硕士论文

,.:匿k一‰)2+◇,一j,。)2l坨)/甩 (3.4.2.3)

用于圆检测的随机Hough变换算法的具体步骤如下:

(1)构造边缘点集D,初始化参数单元集P=NULL,循环次数K=0;

(2)从D中随机选取三个点;

(3)计算这三点所确定的特征参数P;

(4)在P中找出一个p。,满足怕一P。4≤艿,若找到则转(6),否则转(5);(5)将P插入尸,令其对应计数值为l,转(7);

(6)将P。所对应的计数值加l,若小于指定的阈值Ⅳf,转(7);否则,转(8);

(7)七=k+1,若k>k,结束;否则,转(2);(8)p。为侯选圆的参数,若该参数对应圆上的边缘点数M加>M曲,如转(9);

(9)P。的真实圆参数,将落在参数P。对应特征上的点,从D中去掉,判断己检测到

圆的数目是否已达到规定的数目,若是则结束;否则重置尸=NULL,K=0,转(2)。

其中七一为规定的检测一个圆过程中所允许采样的最大循环次数。M曲是圆所必需的最小点数,一般设为2,r2,,其中五为一个固定系数。尸为参数空间的参数单元集,是

一个动态链表结构。M。为图像空间中落到候选圆上的点数。

3.4.3基于随机Hough变换的俯视人头检测

由于本文通过使用随机Hough变换检测类圆的方法,来检测人头,但是,由上面的

结果,可是看到检测到的人头边缘不是全部连续的理想轮廓,而是中间有间断的,所以

这就需要做一定的预处理操作,以便于后续的类圆检测,这里利用形态学的方法,使得

间断的人头边缘尽可能连续。

本文对二值边缘图像做形态学运算,白色为目标,黑色为背景,基本的形态学变换

是膨胀和腐蚀,由这两个变换可以定义更多的形态学运算,如开运算,闭运算和形状分

解等等,这里采用Minkowski形式体系表示这些运算。

形态学变换膨胀(dilation)o采用向量加法对两个集合进行合并。膨胀X o B是所有

可能向量加之和的集合,向量加法的两个操作数分别来自于丑和X,并且取到任意可能

的组合。

Xo B=lp∈占2:P=x+b,x∈膻b∈B} (3.4.3.1)

膨胀是一种各向同性的扩张,这种操作有时还被称作填充或生长。膨胀是一种递增

运算,它可以用来填补物体中小的空洞和狭窄的缝隙。

腐蚀是对集合元素采用向量减法,将两个集合合并,腐蚀是膨胀运算的对偶运算。

腐蚀和膨胀都不是可逆运算。采用各向同性结构元素的腐蚀运算,也被称为收缩或缩小。

基本的形态学变换可以用来在图像中快速地寻找物体轮廓。具体实现方法是计算原始图

28

Page 33: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

硕士论文 复杂条件下人头檀测与计数技术研究与窦现

像和腐蚀后的图像的差。腐蚀还用来简化物体的结构,那些只有一个像素宽的物体或物

体的部分将被去掉。这样就把较复杂的物体分解为几个简单的部分。

先腐蚀再膨胀是一个重要的形态学变换,成为开运算。.先膨胀后腐蚀成为闭运算。

结构元素各向同性的开运算用于消除图像中小于结构元素的细节部分,物体的局部形状

保持不变。闭运算用来连接邻近的物体.填补小空洞,填平缝隙,使得物体边缘更为平

滑。这里的“邻近”,“小”和“窄”都是相对结构元素的尺寸和形状而言。

通过形态学方法对人头边缘做预处理,预处理结果如下:

幽3.4 3.1佣视人头边缘图像 图3.4 3 2闭运算后的边缘图像

圈3.4 3 2为对俯视人头边缘图像做形态学闭运算后的图像,闭运算将原本有部分没有连接到一起的边缘,连接起来,这样更有利于人头类圆边缘的检测。

3.5俯视人头检测结果

图3.5I第51帧图像活动边缘 图3.5 2第52帧活动边缘

Page 34: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

3基f随机霍夫变换的俯视^头检测技术 硕士论女

图3.5 3第51帧Hough圆检测 图3.5A第52桢Hough圆检测

圈3.5 5第51帧人头检测结果 图3.5 6第52帧人头检测结果

本文先通过间隔十帧图像做差分运算结合当前帧图像的沈俊边缘,提取当前帧图像

的活动边缘,在活动边缘中,通过改进的Hough边缘检测类圆的人头边缘,从而检测到

人头目标。图3.5 3为运用随机Hough变换方法检测到的俯视人目标边缘中,检涮到的

类圆的人头边缘,并用圆形标出人头区域,用3.5.5为根据图3.5.3检测到的类圆区域的

大小和位置在原图像中标注出圆形,用白色圆圈标出人头目标区域,即人头所在位置。

图3.5.4,图3.5.6。也是与另外一帧的类圆边缘检测和定位结果,以及在原图中显示检

测到的人头位置。

Page 35: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

硕±论文 复杂条件下人头检耐与计雏拄术研究与实现

4基于CamShift技术的侧面人头检测跟踪方法研究

4.1侧面人头图像特点分析

在监控系统中,人物目标除了上一章介绍的俯视人头图像外,还有很多的侧面人头

图像,当摄像头,用来监控一栋建筑物,或者小区围栏附近的道路时,摄像头采集到的

图像往往是人头的侧面,这就是侧面人头的主要来源。

人头的侧面图像,不同于俯视人头图像,它的外轮廓,比较复杂,而且随着人头目

标的偏移或是小角度转动时,就会有很大的变化,有可能转变换正面人脸,本章节不研

究正面人脸的检测和跟踪,虽然侧面人头图像,没有拥有俯视人头图像一样稳定,相似

的类圆外轮廓,但是它的色彩信息,较为稳定,而且该色彩信息区别于背景和人体的其

他部位,可作为侧面人头检测跟踪的图像特征。

下面是侧面人头的图像数据,以及对其色彩信息的分析:

图4il侧面人头数据

图41,2侧面人头颜色直方图 图4l 3表搬的颜色直方图

Page 36: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

4基于c.mlshiR技术的侧面人头检测跟踪方法研究 硕±论文

国4.I.4 红色背景直方囤 图4 1 5桌子背景颜色直方图

颜色直方图.主要用来说明某幅图像,或者图像中某块区域的颜色信息,不同的色

彩,对应不同的颜色直方图,直方图的具体定义在下--4'节中给出,一幅侧面人头图像,

如图4 1 1,中不同区域的色彩信息,通过颜色直方图的形式表示出来,赊侧面人头区域

外,还选择了衣服,背景中的挂历,桌子等区域(如图4 1 2-图4 1 5),通过上面五幅

图像,可以看出侧面人头数据的图像特征主要的色彩方面.而且其色彩信息区别于衣服

及图像中的背景,因此本章内容,主要研究基于色彩信息的侧面人头检测跟踪技术研究

与实现。

4.2基本概念

4.2.1色彩空间

颜色在计算机中的表示,根据颜色理论的不同,在计算机中也分别具有不同的表达

式,这样就形成了各种不同的颜色空间。常见的颜色空间有RGB,HSL,Yuv等。不

同的产生背景和应用领域使得每一种颜色空间都有其各自的特点和优势。在电视工业中

常用颜色空间有Y1Q,YCbCr以及YES;面向色调的颜色空问有HIS,HSV,TSL以及

MPEG7中采用HMMD[”l。另外还有一些针对特定图像应用通过数学方法,由ROB导

出的颜色空间,比如用在图像中检测肤色区域时运用到的颜色空间Yuvp4】和LUX口q,

具有亮度适应能力的H-SV-V颜色空问c27l等。下面对几种主要的颜色空间作简单介绍。

(1)红、绿、蓝三基色模型

RGB格式是最常见的色系坐标系,电视机和计算机上的颜色显示系统绝大多数是

运用该格式的。其由红、绿、蓝三个分量组成,三维空间中的三个轴分别与红、绿、蓝

三基色相对应,立方体中的原点即为黑色,而与原点对应的立方体对角线顶点表示白色.

而其他颜色则在三维空间中由红、绿、蓝三基色组成的彩色立方体中,如图4.2.1.1所示。

对角线从(O,0,0)到(1,1,1玳表的是灰度,没有彩色信息,只有亮度的差别。

Page 37: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

硕士论文 复杂条件下人头检测与计数技术研究与实现

监fBlug'

蔫(B

青(Craa) 白(white)

黄(Yellow)

图4.2.1.1 RGB颜色模型

(2)色度、饱和度、亮度模型

色度、饱和度、亮度模型是Munseu提出的颜色系统模型,由色调、饱和度、亮度

三要素构成,也被称作为HSV(Hue,Saturation,Value)模型或HSI(Huc,Saturation,

Intensity)模型。色调是指人眼感受到的颜色,饱和度指的是颜色被白光冲淡的程度。亮

度代表了人眼感受到的光源的强度。它是一种专门针对人的视觉特性的颜色空间,能较

好反映人对颜色的感知和鉴别。这也是其与线性颜色空间,RGB颜色空间,较大的区

别。

8

图4.2.1.2 HSL颜色模型

HSL颜色空间采用的是圆柱坐标并且所有的颜色定义在六棱锥中,如图4.2.1.2所

示。色调(H)的取值范围是0到360‘,饱和度代表颜色的浓度和纯度,它的取值范围是

从0到1;纯度是指添加了多少白色到颜色中,当S=I时得到最纯的颜色,亮度的取值

也是从0到l,取0值时得到黑色。

(3)YUV模型

ⅥW是模拟彩色电视制式采用的颜色空间,其中Y表示亮度,UV用来表示色差,

33

Page 38: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

4基于camshiR技术的侧面人头检测跟踪方法研究 硕士论文

U和V是构成彩色的两个分量。YUV格式根据数据存放方式的不同,通常有两大类:

打包格式和平面格式。ⅥJY2,Y211是打包格式,IF09到WU9都是平面格式。根据实际的运用确定颜色空间,然后就需要对采集得到的颜色空间和选定的颜色空

间进行颜色转换,是根据颜色在不同颜色空间之间的一一对应的映射关系,将一种设备

上颜色空间中的颜色转化到另一个己知条件下的颜色空间中去。

本实验的设备获得的数据是基于RGB颜色模型的图像。而RGB颜色模型是一种非

线性颜色模型,不利于均值漂移及类似算法的计算。因此需要转化为线性颜色模型。通

常采用的线性颜色模型为HSL模型。故本文将RGB转化到该空间再通过颜色信息运算。

4.2.2颜色直方图与直方图反向投影

在目标识别中,可用颜色直方图表示一幅彩色图像。直方图统计每种像素的数目,

每访问一个像素,就在直方图的相应的像素值对应的值加一,从而生成直方图。颜色直

方图对于图像做平移、旋转等变换具有不变的性质。

计算颜色直方图是为了利用其与待检测图像运算获得颜色概率分布图象,将待检测

图像通过颜色直方图转换到颜色概率分布图像的过程就称为直方图反向投影。许多连续

帧的目标直方图的反向投影产生一个概率图像,其每个像素值表示输入像素属于原始颜

色直方图的概率。

r^、

给定一个m级直方图,这里定义图像像素位置扛,)咄棚和直方图{g} ,同时定义

一个函数c:R2专{1,...,m},未加权的直方图可以如下计算:

;。:圭万kk一")】i=1

卜;爵搦n⋯,即直方图箱格的值从[。,max(;)]量化至I⋯⋯-.r14一--围[。,255]内。

Page 39: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

硕士论文 复杂条件下人头检测与计数技术研究与实现

虑H分量的取值范围的问题,H分量的取值范围是【0,360),这个取值范围的值不能用

一个字节来表示,为了能用一个字节表示,需要将H值做适当的量化处理,在这里将H

分量的范围量化到【0,255]。

(3)利用上一步获得的颜色直方图与待检测图像,获得颜色概率分布图象,所得到的

图像中每个像素值表示输入像素属于颜色直方图的概率。

4.3基于meanshift算法的目标跟踪技术研究

4.3.1 mean shift基本原理

给定d维空间畏d中的n个样本点薯,i-l,...,n,在x点的Mean Shift向量的基本形式

定义为:

%(x)兰i1∑(薯--X) (4.3.1.1)I’xlE‰

其中,瓯是一个半径为h的高维球区域,满足以下关系的Y点的集合,

瓯(x)基Y:(J,-x)7’(y—x)≤乃2j (4.3.1.2)

k表示在这13个样本点为中,有k个点落入瓯区域中。

可以看到(薯--X)是样本点xt相对于点x的偏移向量,式(4.3.1.1)定义的Mean Shift向

量心(x)就是对落入区域最中的k个样本点相对于点x的偏移向量求和然后再平均。从

直观上看,如果样本点‘从一个概率密度函数厂(x)中采样得到,由于非零的概率密度梯度指向概率密度增加最大的方向,因此从平均上来说,瓯区域内的样本点更多的落在沿

着概率密度梯度的方向。因此,对应的,Mean Shift向量%O)应该指向概率密度梯度的方向。

图4.3.1.1 Mean Shift示意图

如图4.3.1.1所示,大圆圈所圈定的范围就是瓯,小圆圈代表落入&区域内的样本35

Page 40: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

4基于camshifl技术的侧面人头检测跟踪方法研究 硕士论文

缸,:一KfxJ-x、 ㈤2·,

p(x)dx=1

核函数K(x)的剖面函数七(x),使得K(z)=后(恻12) (4.3.2.2)

七(x)的负导函数g(x),即g(x)=一七’(x),其对应的核函数G(x)=g(忙112) (4.3.2.3)

饥加哌加竺型』兰噬兰 眦卸夥‘石’=耵‘x’=——————j≯i雹主宴;:产‘43·2·4’由上面的定义,go)=-k’(x),G@)=g(1|xl|2),上式可以重写为

虮小竺篙骣业 眦国

上式第一个中括号内的那一部分是以G(x)为核函数对概率密度函数八x)的估计,

这里记做五(功,而式(4.3.2.1)定义的夕(z)这里重新记做五(x),因此(4.3.2.3)式可以重新写为:

盯(x)=晚(x)=吾五(x)%(x) (4.3.2.6)

、I,

x

一,L-

w一,坦¨芏M,,●●●\=>一外贬..-l^

Page 41: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

硕士论文 复杂条件下人头检测与计数技术研究与实现

由式(4.3.2.4)可以得出,

岫)孝1 2鬻 蚴.7)

式(4.3.2.7)表明,用核函数G在x点’’,.一z.、.,I』的MeaIl Shift向量Mh G)正比于归一化的用

核函数K估计的概率密度的函数五G)的梯度,归一化因子为用核函数G估计的x点的

概率密度。因此Mean Shift向量M。G)总是指向概率密度增加最大的方向。

4.3.3基于meanshift算法的物体跟踪

用一个物体的灰度或色彩分布来描述这个物体,假设物体中心位于%,则该物体可

以表示为

f

免:c窆刮汹 L

]万[6(xj)一“] (4.3.3.,)

)

候选的位于Y的物体可以描述为

胁G绷izl II孚陆II㈨一铂A(y)=G∑七f 0王子0 I万I 6(#)一甜lI ,, J

一 一

因此物体跟踪可以简化为寻找最优的Y,使得A(y)与免最相似。

A(y)与免的最相似性用Bhattacharrya系数p(y)来度量分布,即

p(y)兰PIP(y),g】:羔厩式(4.3.3.3)在A(允)点泰勒展开可得,

p【,(y),g】≈三喜√丽+三善见(y)把式(4.3.3.2)带入式,整理可得,

(4.3.3.2)

(4.3.3.3)

(4.3.3.4)

桃物】≈三喜瓜+92窆i=1 w后(|I学112) ㈣渤其中,

驴势6(柚叫】插tYo (4.3.3.6)”=l V j~ ,

对式(4.3.3.5)右边N92N,可以利用Mean Shift算法进行最优化。

根据前一小节介绍的meanshift算法,做跟踪侧面人头的实验,本实验平台为2.6GHz

Page 42: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

4基于一hift拄术的侧面^头检测跟踪方法研究 硕±论文

的AMD闪龙2600处理器.内存512M。跟踪处理视频的分别率为640·480,每秒13

帧,下图为运用标准meanshifl方法,跟踪侧面人头的效果图。

fc】 ¨】

田43 3 2基于标准MeanShift的物体跟踪结果

本实验中,初始选定的待跟踪目标的区域大小63*64,共处理了147帧图像,跟踪

的结果显示,标准meanshitt方法可以实现侧面人头目标的跟踪,但不能达到实时显示

的效果,部分画面滞后。另外,虽然meanshifl算法,可阻较好的实现目标跟踪功能,

但是仅仅运用meanshifl算法,只能实现半自动的目标跟踪,因为该算法的初始目标需

要手动选择,即没有目标检测的功能,只具有跟踪功能。

翟虿盘罩一案迭

Page 43: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

硕士论文 复杂条件下人头检测与计数技术研究与实现

4.4一种基于改进均值漂移算法的自动侧面人头跟踪方法

4.4.1 CamShift目标跟踪方法

均值漂移跟踪算法,作为一种优秀的匹配搜索跟踪算法,以其计算量小,对目标变

形、旋转变化适应性强等特点得到普遍的重视和广泛的研究,均值漂移算法,一般以颜

色直方图为目标表示模型,通过迭代求解加权图的“质心’’来跟踪目标。标准MeanshiR

跟踪算法在计算直方图时用满足一定条件的核函数为像素加权,通过最大化目标模型和

候选目标模型之间的Bhattacharyya系数而得到了求取目标形心位置的迭代公式。Bradski

在MeanShiff算法的基础上于1998年提出了CamShifl【42l算法即连续自适应数学期望移

动算法,Camshifl在计算直方图时为每个像素赋予等权值,并用直方图反向投影来计算

加权图,这种加权图义称为概率图。标准Meanshift迭代的目的仍然是获取加权图的“质

心",不过标准Meanshifl的加权图不同于概率图,计算上比概率图复杂。

CamShifl算法利用的是跟踪模式的概率分布,可以有效地解决目标变形和遮挡的问

题,且运算效率较高,可以分为三个部分:色彩投影图、MeanShiR、CamShifl。下面介

绍CamShift跟踪算法的流程:

MeanShifi Algorithm

Camshifl跟踪算法中的Meanshifl方法主要是用在单帧图像上,就是计算寻找某一

区域的中心,直到中心移动小于指定值或达到最大迭代次数为止。

(1)首先在一张图像中选择一块区域。

(2)计算此区域的平均位置。

(3)集中各个搜寻的区域。

(4)执行(3)直到搜寻的区域收敛。

Camshifl AlgorithmCamshifi是在Meanshift的基础上拓展的搜索跟踪算法,Meanshift主要是用在单张

图片上,但是单独一张图像分析对追踪而言没有实际意义,CamshiR就是利用MeanShiR

的方法,对图像序列进行分析。

(1)首先在图像序列中选择一块区域。

(2)计算此区域的颜色二维概率分布。

(3)用MeanShift算法来收敛待追踪的区域。

(4)集中收敛的区域,并用方框或椭圆标注。

(5)每个帧图像重复(3)(4)步骤。

传统Camshifl算法流程图如下

39

Page 44: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

4基于eamshiit技术的侧面人头检测跟踪方法研究 硕士论文

图4.2.2.1传统CamShifi跟踪算法流程图

由图4.2.2.1可得,传统Camshifi方法同标准meanshift跟踪方法都需要在跟踪目标之前,手动初始化,即手动选择待跟踪目标,无法实现目标的自动跟踪,这大大限制了Camshift算法的应用范围。本文针对这种情况,因为只考虑跟踪侧面人头目标,所以通过预先采集的侧面人头图像,然后计算这些侧面人头目标的颜色直方图,保存该颜色直方图数据,以这些颜色直方图数据作为侧面人头的特征数据。在检测跟踪时自动加载这些数据。

4.4.2本文使用算法及实现步骤

上一小节描述了CamShift算法的基本步骤,可知它可以实现快速的目标跟踪任务,

但是由于其在执行前,首先要手动选中目标区域,显然这无法满足自动跟踪计数的要求,

因此本文提出一种改进的CamShifi自动跟踪方法。

本文使用CamShitt算法做侧面人头跟踪,主要是依据侧面人头的颜色信息来达到

跟踪运动人头目标的目的。Camshifi算法中需要在跟踪开始时,在视频中手动选择待跟

踪目标,以此来计算待跟踪目标的颜色直方图,本文先利用一张已拍摄人头照片,计算

40

Page 45: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

硕±论立 复杂条件下人头检籍与计数技术研究与宴现

出人头目标的颜色直方图。避免了每次运行时,手动设置检测目标,完善了侧面人头检

测的自动化程度。

首先,本文通过侧面人头图像.预先生成待跟踪目标的颜色直方图,计算侧面人头

目标颜色直方图的步骤如下:

1,计算被跟踪目标的色彩直方图。

在各种色彩空间中,只有HS[空间(或与HSI类似的色彩空间)中的H分量可以表示

颜色信息。所以在具体的计算过程中,首先将其它的色彩空间的值转化到HSI空问,然

后会其中的H分量做一维直方图计算。

削4.42.1撷先拍摄的一幅侧面人头照片

下面首先处理待跟踪的侧面人头目标图像,如图4.4 2.1,由于该图片是rgb图片,

不利于提取彩色信息,故将其由rgb空间转化为llis空间,然后提取其中的h分量,即

彩色信息分量。

计算H分量的直方图,即一维直方图:在颜色空间转化中,需要考虑H分量的取

值范围的问题,H分量的取值范围是[0,360),这个取值范围的值不能用一个字节来表示,

为了能用一个字节表示,需要将H值做适当的量化处理,在这里本文将H分量的范围量

化N[0。128]。2,获得颜色直方图图片

Page 46: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

4基十c帅shi[1拉$∞侧m人头椅Ⅻ口踪方往日『究 颂十论立

图44 2 2颜色直方幽

通过侧面人头照片计算出的人头目标颜色直方图,人头目标彩色颜色直方图分为

128级,级数越高越精确,本文考虑到精度和速度的统一,设置颜色直方图为128纽,

本文采集多幅侧面人头图像数据,经过比较,侧面人头图像的颜色直方图分布较为相似,

故侧面人头的色彩直方图具有一定的普遍性,故可以预先用一张离线的侧面人头图像,

计算侧面人头颜色直方图,用来做检测跟踪的依据。

3,反向投影及目标跟踪

获得目标颜色直方图之后,通过颜色直方图反向投影,根据获得的色彩直方图将原

始图像转化成色彩概率分布图像.这个过程就被称作”Back Projection”。对所有输入的单

通道图像在同一位置上的像素数组.该函数根据相应的像素数组(rgb),将其对应的直

方块的值放黄到输出图像中。统计学术语描述就是,输出图像像素点的值是观测数组在

某个分布(直方图)下的概率。然后可傲闽值操作,减少后期聚类处理的计算量。

图4.4 2 3豫踪图像 闰44 2 4跟踪图像的反向投影

反向投影获得概率图像,是为了检测运用Mean Shift算法检测目标,就是在二维概

率分布图像中,如何计算某个区域的重,6、(Mass Center)的问题,接下来,Mean Shift算

法的具体步骤,MeanShift算法可以分为以下4步:

(1)选择窗的大小和初始位置。

(2)计算此时窗口内的质心。

(3)调整窗口的中心到质心。42

Page 47: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

顼士论文 复杂条件下^头检测与计数技术研究与实现

(4)重复2和3,直到窗口中心”会聚”,即每次窗口移动的距离小于一定的闺值。

同一帧图像的原图像,反向投影图像,反向投影meanshift结果图像如下:

图4.4 2 5目标图像 图4.4 2 6目标图像的反向投影图

愿———霭

?:二≤≥弋图4.425MeaashiR算祛检测到的目标区域

在单帧图像中检测到了人头目标,接着要在视频序列中跟踪该目标,在了解了

MeanShiit算法以后,将MeanShift算法扩展到连续图像序列,一般都是指视频图像序列,

这样就形成了CamShift算法。CamShitt算法的全称是”Continuously Apaptive

Mean-SHIFT”,它的基本思想是视频图像的所有帧作MeanSbift运算。并将上一帧的结

果(即搜索窗的中心和大小)作为下一帧MeanShift算法的搜索宙的初始值,如此迭代

下去,就可阻实现对目标的跟踪。整个算法的具体步骤分5步:

(1)将整个图像设为搜寻区域。

(2)初始化搜索窗的大小和位置。

(3)计算搜索窗口内的彩色概率分布,此区域的大小比搜索窗口要稍微大一点。

(4)运用均值漂移算法迭代运算,获得搜索窗口新的位置和太小。

(5)在下一帧视频图像中,用(3)获得的值初始化搜索窗口的位置和大小。跳转到3

继续运行。

本文算法流程图如下:

Page 48: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

4捧于calllshift技术的侧血^头检测跟踪方法研究 硕i论i

脚4 4 3 5本文的CamShift跟踪算法流程蚓

4.4.3侧面人头检测结果

下面为运行本文的自动CamShift算法得到的人头跟踪图片,连续四帧图像跟踪结果

图图像.本算法可以有效检测并跟踪到人的头部。

o上图4.4 3 I第45帧国像 幽4 4 3 2第46帧图像

Page 49: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

顿士论女 复杂条件下^头检测与计数技术研究与实现

Z』图4 4 3 3第47帧图像 图4.4 3 4第48帧图像

本文通过计算预先采集到的侧面人头数据的颜色直方图,代替传统Carashiit算法的

手动选择待跟踪目标的步骤,提高检测跟踪的自动化程度。通过颜色直方图反向投影到

当前帧图像,得到概率图像,在概率图像中通过Meamshiit算法,检测目标质心,完成

收敛后,记录目标位置,转入下一帧检测跟踪。

本文的Camshift算法的实验平台为,2 6GHz的AMD闪龙2600CPU,内存512M。

处理的视频分别率为640*480,每秒20帧,运用本文的camshin算法可以自动检测侧面

人头目标,而且该方法,较标准mtamhifl[方法在速度上有一定提升,检测跟踪结果可

以实时显示,视频没有出现停滞现象。

Page 50: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

5基于目标链和虚拟线的人头日标计数 硕士论文

5基于目标链和虚拟线的人头目标计数

5.1俯视人头运动轨迹的建立

5.1.1目标链

在运动目标的检测跟踪过程中,需要建立与运动目标相对应的目标链,目标链一般

是由运动目标一些特性组成的,因此特性选择的好坏对目标链的建立,运动目标的准确

跟踪至关重要。目标链通常包括的特性有目标区域的形状参数,位置参数,灰度参数等,

这些参数有助于在检测到的多个区域中准确找出与前一帧图像中的同一个目标的区域,

同时对类似目标之厨的区分提供重要的依据,目标链既可提供目标的过去的运动历史,

也可根据历史信息及运动的连续性预测可能的位置,从而,在此所获信息的基础上,掌

握目标运动的情况,有利于下一步实现目标的计数。

在本文中,目标链有目标的质心横坐标,纵坐标,运动速度大小和方向,目标链的

建立和更新通过链表操作实现,用链表中存放图像中运动目标的特性。在检测过程中,

当有新目标出现时.为其新分配一个链表节点,当前目标在其下一帧中找到匹配目标时,

当目标参数发生改变时,更新该目标相应参数,当日标消失时.删除该链表节点。如此

这样循环,记录目标的运动轨迹。

本文检测列的俯视人头目标位置如下所示:

图5111目标在各帧中位置点 图51I 2目标运动轨迹

在图5.11.1中,由下向上标出了目标在检测图像各帧中的位置点,该日标的运动速

度较小,基本沿同一方向运动。这种最简单的情况下,不需要任何匹配算法,即可得到

运动目标的目标链,因为每一帧中,只有一个目标,与其对应的下一帧中也有且仅有一

个目标(即同一日标h该目标的运动轨迹如图i1.1.2。从图5.1.1.2中可以得到目标的运

动历史位置,通过运算也可以得到目标在各个时刻的运动方向及运动速度的快慢,并可

以同过以上信息,预测该目标下一帧可能出现的位置。

Page 51: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

碰±论文 复杂条件下人头检测与计数拄术研究与宴现

5.1.2最近邻匹配算祛

目前匹配算法中,最常用的是最近邻目标匹配方法D8】,采用的代价函数表达式为:

m,)=“眩一zJ+∽一九r (5.12.1)

悦,yI)表示第t帧目标i的质心坐标,院∥F+.)表示第t+l帧目标j的质心坐标。下面介绍晟近邻目标匹配方法匹配过程。

设一图像序列,=“,L-L,.)且第n帧图像L检测到m个目标‰,s:∥J.,,目标

sjJ.(1≤fg埘)的质心的坐标为【聊一五,los—y.J·若在1帧检测到k个目标记为T2亿,正”五),T中记录了该目标的运动轨迹I=bJ,‰JⅣx1≤,≤t)

匹配算法如下:

(1)简单运动位置预测t目标I=b”,jm.J¨J0』∽一而,pos一¨)表示目标可最后一次被检测到的质心位置,目标连续未检铡到的帧数记为c,根据

目标已经记录的运动轨迹,统计出该目标的运动速度V=b;,~),预测目标在当前帧的位置%如一x,pre一∞为

pre—z2 p05一xi+vr‘c,pre—y2tms—y}4"JP‘C

(2)度量丑.和s,欧式距离,得出测度值d。

(3)对目标链中所有的目标I【,=1⋯2叶t)计算出目标测度值D=“,d:,..巩)。若

矾=min(D),且巩c捕,则认为刁和su为最近邻,根据运动的连续性,‰为目标‘在

n帧出现的位置,把s¨加入‘,‘=b¨,s/一.JⅢ%J,否则‰为一个新目标。

在最近邻匹配算法中,根据目标的位置点,按时间先后顺序,前~帧在下一帧中寻

找最近邻的目标,然后匹配成功,由于图5.1.1 1所示的实验为单个目标,即日标在下一

帧中只有一个目标与之相关联,所以无法体现最大近邻算法的作用。

—一—一国圈图5.1 21多目标各帧位置点 图5.1 22多目标的运动轨迹

但是在多目标时,晟近邻算法匹配可以有效的匹配目标前后帧之间的对应关系。图

Page 52: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

5基于目标链和虚拟线的人头目标计数 硕士论文

5.1.2.1为多目标检测实验,运用本文基于运动边缘及随机Hough变换检测到的各帧目标

位置,检测过程中,两个目标是近似平行的向前运动。图5.1.2.1中,显示多目标在各帧

中的位置信息,在该检测过程中,每帧图像中都包含两个目标,前一帧中的目标需要与

下一帧中的两个目标通过最大近邻匹配方法,检测得到与该目标距离最近的一个目标,

则认为它是与其对应的下一帧中的位置。

图5.1.2.2为通过最近邻匹配算法得到的运动目标的运动轨迹,图像中,两个运动目

标同向平行相右运动,最近邻匹配算法较好的匹配了同一目标前后两帧的对应关系,生

成目标的运动轨迹。在多目标运动匹配时,随着目标运动状态的多变,最近邻匹配算法

面对一些较为复杂的情况时,以多目标质心的距离这一单信息作为匹配的标准,而目标

本身的特征,如其运动速度,灰度均值等,没有考虑。也会出现一定的误匹配,即将前

一帧的目标匹配到当前帧与其欧式距离最近的其他目标上,尤其是在目标的运动出现交

叉的时候。

5.1.3一种基于目标运动速度匹配的人头目标链建立技术

基于最近邻目标匹配跟踪算法在视频图像序列中可能有出现新目标没有识别被匹

配为已经消失的旧目标的情况。因此要对已有目标与新帧中被检测到的潜在目标进行匹

配从而实现对目标轨迹的跟踪记录。本文综合考虑了两帧间同一目标质心的欧式距离、

运动速度和方向信息,给出了一种新的匹配算法。

建立目标的目标链即运动轨迹是目标跟踪计数的核心部分。每接收到一帧,则计算

各个目标链i同帧中所有目标的代价函数量。(k∈刀,n为帧中的目标数),把同目标链

i的代价函数值最大的目标加入目标链i。本文利用运动方向的光滑性度量来做为代价

函数量j:

%一(踹卜叫翻】 @"m

其中,设目标链i中最后两帧加入的目标同当前帧中的目标k构成序列

正=∽,t-1巳,£川),序列两点间的差分向量定义为¨,,=只川一气则方向的光滑性通过向量的点积来度量,速度大小的光滑性通过向量的几何平均值与平均幅度之比来度量,

当前帧目标和前一帧的目标建立了关联关系,即对同一个目标生成了一条目标链,

这条目标链上按时间顺序。记录了当前该目标以前所在的位置,这样这条目标链就记录

了该目标的运动轨迹,当目标离开监控区域时,根据一定的条件,判定监控区域人头数

量,即计数增加l,该目标链结束,删除。当有新的目标进入监控区域时,为其分配一

条目标链,直至!}该目标消失。

Page 53: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

颈±论文 复杂条件下人头检目与*教技术研兜与实现

在多目标运动产生交叉时,匹配的过程就较为复杂。本文同样采集了目标运动产生

交叉时的图像序列,运用活动边缘以及随机Hough变换得到的运动目标各帧位置如图

51 31所示。

曩曩囤5 1.3 1多目标在各帧位置点 图5 I 3.2最大近邻算法匹配结果

图5.1,3.3基于速度信息的匹配结果

图5 1.3 1中,圆形代表目标1,方形代表目标2,两个目标在行进中交叉,然后分

开。如图5.1.3.2所示,运用最大近邻算法匹配,可以看到目标的第四位置与第五位置匹

配的出现了错误,因为第五位置的圆形目标距离第四位置的方形目标,在欧式距离上很

近,所以最近邻匹配算法将这两个位置匹配到同一目标,而圆形区域第四位置与第五位

置匹配也匹配到同一位置上。

图s.1 3 3中,可以看到运用基于运动速度信息匹配方法,较好的解决了最近邻匹配

方法在运动目标交叉情况下运动目标误匹配的问题。得到了正确的运动轨迹。

5.2人头日标计数

通过第二,三,四章的内容,本文可以检测到俯视人头,并且跟踪到侧面人头,但

是这仍然无法完成人头计数的工作,本文运用基于运动速度匹配的方法,对俯视人头检

测得到的单帧结果进行关联,建立目标链,这样把同一个目标关联起来,然后通过设置

虚拟线的方法,通过判定目标链与虚拟线的关系,对人头目标进行计数。

Page 54: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

5基于日标链和虚扭线的^头目标计数 顶±论文

本文考虑到最近邻算法的不足,提出了利用运动信息建立目标链的方法,这种方法

不仅考虑到上下两帧之间,目标的位移量,就是最大近邻算法匹配的依据,同时该方法

也考虑到了运动方向的平滑性,这在视频监控目标运动方向不变区域的时候,格外的重

要,可以减少误匹配,增加系统的精确度。

图5.2 1俯视人头虚拟线图 图5.2 2侧面人头虚拟线圈

在图像中设置虚拟线,如图5.2 l,图5.2 2,设置两条虚拟线,两条线之间为重点计

数区域,当目标进去该区域时,就开始不断判定该目标的目标链与虚拟线的关系,设置

两条虚拟线,可以判定目标的出还是^,比如俯视人头,当目标链穿过上一条虚拟线,

则本文可以判定目标进入运动场,穿过下一条虚拟线,则为出运动场,回理,我也可以

在侧面人头跟踪中计数,直接通过跟踪的目标轨迹结果和虚拟线.判定运动人头的方向,

对侧面人头进行计数。

Page 55: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

硕士论文 复杂条件下人头检测与计数技术研究与实现

6总结与展望

图像是对客观存在的一种相似性生动模仿,是用各种观测系统以不同形式和手段观

测客观世界而获得的,可以直接或间接作用于人眼而产生视知觉的实体。图像处理是人

类视觉延伸的重要手段,可以使人们看到任意波长上所测得的图像。图像检测作为图像

分析技术的一个研究内容,它也是伴随着数字图像处理的发展而发展的。图像检测是图

像分析研究内容的一部分。图像分析是一种从一幅图像中通过自动的或半自动的方法提

取图像信息的方法。

本文主要是研究复杂条件下的人头检测和计数技术。本文的主要工作为:首先介绍了

人头目标检测与计数的背景,然后分析了人头目标检测与计数的常用方法。同时说明了

现状及存在的问题,也简要的描述了本课题研究的意义。

本文分两种状态研究人头检测和计数,分别是俯视人头和侧面人头,针对两种状态

人头的特点,分别采用适合该状态人头的有效检测方法,用基于活动边缘和改进Hough

变换的方法检测俯视人头,用改进的Can]shift方法检测侧面人头。

本文介绍了几种活动边缘检测方法,并根据实际情况提出一种快速的活动边缘检测

方法,通过连通域计算方法降噪,减少不必要的信息,有利于下一步检测,得到干净的

活动边缘后,通过Hough变换的方法,检N---值图像中类圆目标,而Hough变换要耗

费大量的计算,无法进行实时,高效的检测,所以本文利用一种改进的Hough方法,加

快人头目标的检测。

本文在侧面人头的检测中,通过利用一种基于CamShift算法的自动快速跟踪方法,

利用预先计算的颜色直方图,在反向投影图像中搜索跟踪人头部位,该方法具有一定鲁

棒性,可抗遮挡。

本文在计数过程中,介绍了最小近邻匹配方法,提出了一种基于运动目标速度的匹

配方法,得到同一目标的轨迹,然后设定一个虚拟的大门(一条虚拟线),通过判定轨

迹和大门的关系,则计算一人次进或者出,由此来完成计数的步骤。

本课题的工作主要对人头的检测和计数。虽然解决了一些实际问题,然而,还有很

多工作需进一步研究,Hough算法进一步改进,更进一步的减少计算量,降低资源需求,

提高检测速度,可靠性依然是本文下一步的工作重点。对多目标同时跟踪时,各目标之

间的干扰,本文利用CamShift方法检测侧面人头,但当图像背景中出现相似色彩时,

容易出现误检。

51

Page 56: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

致谢 硕士论文

致 谢

我在这里首先要感谢的是我的导师任明武老师。我的论文是在导师的辛勤指导下完

成的。他渊博的学识、严谨的科学态度、敬业的工作精神,都给我留下了很深的印象,

对我的学习和生活都有非常深刻的影响。同时,他还为我提供了最好的工作和科研环境,

并对我在生活和学习中遇到的困难给予了无微不至的关心和帮助使得我能够毫无后顾

之忧,顺利的完成论文。在此,我再一次向他表示由衷的谢意!

我也很怀念与教研室的其他同学朝夕相处的日子,从他们身上也学了很多,获益不

少。同时,在我的学习过程中也给予了帮助,在此要特别感谢师兄杨万扣、王欢和刘冲,

袁建华,刘志华,乐华南,以及徐秀云等。

此外还要感谢我的室友李霄文,施淼淼,喻强同学等,他们在我遇到难题的时候给

予了我真诚的帮助,使我的读研生活丰富多彩。在此祝愿他们工作顺利,心想事成!

最后,我要感谢我的父母,是他qj--十几年的含辛茹苦,才成就了现在的我。他们

给予我无尽的关爱和支持,在此对他们表示我最衷心的感谢,并祝他们生活愉快、身体

健康!

同时衷心感谢评阅论文和参加答辩的各位专家,教授1

52

Page 57: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

硕士论文 复杂条件下人头检测与计数技术研究与实现

【2】

【3】3

【4】

【5】

【6】6

【7】

【8】

【9】9

【10】

【11】

【12】

参考文献

Davies A C,Yin J H,Velastin S A.Crowd monitoring using image processing[J].

Electron。Commun,Eng.J,1 995,v01.7:37-47

徐一华,朱玉文,贾云得.一种人头部实时跟踪方法川.中国图象图形学报,

2002,(01):l 1-15

高成英,刘宁,罗笑南.基于序列图像的实时人流检测与识别算法研究【J】.计算机

研究与发展,2005,(03):431-438

Regazzoni C S,Tesei A.Distributed data fusion for real-time crowding estimation[J].

Signal Process,1 996,v01.53:4’硒3Regazzoni C S,Tesei A,Murino V A real-time vision system for crowding

monitoring[C].in Proc.Int.Conf.IECON.1993,v01.3,Tokyo,Japan,PP.1860-1 864

Velastin S A,Ym J H,Davies A C,Vicencio-Silva M A,Allsop R E,and Penn A.

Analysis of crowd movements and densities inbuilt-up environments using image

processing[C].in Proc.IEE Colloquiumlmage Processing for Transport Applications

1993

Velastin S A,Y'm J H,Davies A C,Vicencio-Silva M A,Allsop R E,and Penn A.

Automated measurement of crowd density and motion using image processing[C].in

Proc.7th Int.Conf.Road Tra伍c Monitoring and Control,London,U.K.,1 994:

127-132

Marana A N,Costa L F,Lotufo R A,and Velastin S A.On the efficacy of texture

analysis for crowd monitoring[C].in Proc.Computer Graphics,Image Processing,and

Vision,Rio de Janeiro,Brazil,1998:354--361

Marana AN,Costa L F,Lotufo R A,and Velastin S A.Estimating crowd density with

Minkowski fractal dimension[C].in Proc.IEEE Int.Conf.Acoust.,Speech,Signal

Processing,v01.6,Phoenix,AZ,1 999:352 1-3524

Marana A N,Velastin S A,Costa L F,and Lotufo R A.Estimation of crowd density

using image processing[C].in Proc.IEE Colloquium Image Processing for Security

Applications,1997

Marana AN,Velastin S A,Costa L F,and Lotufo RA.Automatic estimation of crowd

density using texture[J],Safety Sci.,1998,v01.28:165-175

Ch0 S Y Chow T W S,and Leung C T.A neural—based crowd estimation by hybrid

global learning algorithm[C].IEEE Trans.Syst.,Man,Cybern.B,1 999,v01.29.

53

Page 58: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

参考文献 硕士论文

535-541

【13】 Nakajima C,Pontil M,Heisele B,and Poggio T.People recognition in image

sequences by supervised learning[J].In MITAI Memo,2000

【14】

【15】

【16】

【17】

【1 8】

[19]

【20】

[2l】

【221

【23]

【241

[25】

【26]

54

Gavrila D.Pedestrian detection from a moving vehicle[C].In Proe.6th European

Conf.Computer Vision,Dublin,Ireland,2000,volume 2:37-49

Giebel J,GavrilaD M,and Schn"’orr C.A bayesian framework for multi-cue 3d object

tracking[C].In Proc.8th European Conf.Computer Vision,Prague,Czech Republic,

2004:24 1-252

Sheng Fuu Lin,Jaw Yeh Chen,and Hung Xin Chao.Estimation of Number of People

in Crowded Scenes Using Perspective Transformation[J].IEEE Trans.Syst.,Man,

Cybern,200 1 V01.3 1,No 6:645—654

Zhao T,Nevatia R R.Bayesian human segmentation in crowded situations川.In IEEE

Computer Vision and Pattem Recognition,Madison,Wisconsin,2003,volume 2:

459.466

Liu X,Tu P H,Rittscher J,Perera A,KrahnstoeverN.Detecting and counting people

in surveillance applications[C].IEEE Conference on Advanced Video and Signal

Based Surveillance,2005:306-3 1 1

Mittal A,Davis L S.M2tracker:A multi-view approach to segmenting and tracking

people in a cluttered scene using region-based stereo[C].In Proe.7thEuropean Conf.

Computer Vision,Kopenhagen,Danmark,2002,pages l 8-33

Vieren C,Cabestaing F,Postaire J.Catching Moving Objects淅m Snakes for Motion

Tracking[J].Pattern Recognition Letters,1995,16:679--685

Hough P V C.Method and means for recognizing complex pattems[P】.United States

Patent,1962,(12):18

Xu L,Oja E,Kultanen P.A new curve detection method:Randomized Hough

Transform(RHT)【J】.Patt.Recogn.Lett,1990,V01.11,N05:331—338

Manjunath B,Ohm J,Vasudevan V Yamada A.Color and texture descriptors[J].IEEE

Transactions on Circuits and Systems for Video Technology,200 1,l 1(6):703-7 1 5

姚鸿勋,刘明宝,高文.基于彩色图像的色系坐标变换的面部定位与跟踪法[J].

计算机学报,2000,23(2):1 58-165

Lievin M,Luthon E Nonlinear color space and spatiotemporal mrf for hierarchical

segmentation of face features in video[J].IEEE Transactions on Image Processing,

2004,1 3(1):63--65

Gevers T’Semeulders A.Color-based obj ect recognition[J].Pattern Recognition,1999,

Page 59: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

硕士论文 复杂条件下人头检测与计数技术研究与实现

【37】

【38】

【39】

【401

【4l】

【42】

32(3):453--464

游亚平,李明,袁保宗.可变光照下的人脸检测叨.信号处理,2004,20(2):

101~107

朱胜利,朱善安,李旭超.快速运动目标的Mean shift跟踪算法[J】.光电工程,

2006,(05):66-70

李培华.一种改进的Mean Shift跟踪算法[J】.自动化学报,2007,(04):347-354

彭宁嵩,杨杰,刘志,张风超.Mean-Shift跟踪算法中核函数窗宽的自动选取叽.

软件学报,2005,(09):1542-1550

常发亮,马丽,乔谊正.遮挡情况下基于特征相关匹配的目标跟踪算法唧.中国

图象图形学报,2006,(06):877-881

谢树煜,陈倩,朱虹.实时视频对象识别与计数系统的模型和算法设计川.清华

大学学报(自然科学版),2001,(07):61-64

Cheng Y.Mean Shift Mode Seeking and Clustering[J].IEEETrans on Pattern

Analysis and Machine Intelligence,1995,17(8):790—799

吴晓娟,翟海亭,王磊,徐力群.一种改进的CAMSHIFT手势跟踪算法【J】.山东

大学学报(工学版),2004,(06):120-124

张宏志,张金换,岳卉,黄世霖.基于CamShift的目标跟踪算法【J】.计算机工程

与设计,2006,(11)2012-2014

Collins R T.Mean·shift blob tracking through scale space[C].Proceedings of the

2003 IEEE Computer Society Conference on Computer Visionand PaRem

Recognition(CVPR’03).Madison,Wisconsin,USA:2003,(2):234—240

徐战武,朱淼良.基于颜色的皮肤检测综述叨.中国图象图形学报,

2007,(03):377-381

张嫣,姚耀文,唐华松.运动图像序列中多目标跟踪的研究与实现【J】.计算机应

用研究,2002(0 1):74--76

李曦,曹广益,付哓薇,朱新坚.基于实时图像序列的行人跟踪计数方法【J】.计

算机仿真,2005,22(2):79-85

朱晓宏,丁卫东,孙泰屹.公交客流信息采集技术研究川.城市车辆,2005

(1):55-56

Comaniciu D,Ramesh V,Meer P.Real—Time Tracking of Non-Rigid Objects Using

Mean Shift[C].Proc of the IEEE Conf onComputer Vision and Paaem Recognition,

2000:142.149

Bradski G R.Computer vision face tracking for use in a perceptual user interface[J].

Intel Technology Journal,1 998,2:2 1 4—2 1 9

55

明叫

U

q

口p

p

p

p

p

p

p

Page 60: + )Ú ¹ û : .) ¿ :!A [ á 5Êß # âAu D T -è0Jâ r) § áÖ !7 +AË ...read.pudn.com/downloads473/ebook/1981509/head detection.pdf · Abstract The 11ead detection and counting

参考文献 硕士论文

【43】

【44】

【45】

【46】

【47】

【48】

【49】

王亮,胡卫明,谭铁牛.人运动的视觉分析综述[J】.计算机学报,2002,(03):

225-236

夏德深,傅德胜.现代图像处理技术与应用【M】.东南大学出版社,1997

屈建中,张军,鲁墨武.长途客车客流量监测装置[J】.测控技术,1994,(03)

周德龙,潘泉,张洪才,戴冠中.最大熵阈值处理算法[J】.软件学报,2001,(09)

艾海舟,武勃等.图像处理、分析与机器视觉(第二版)【M】.北京:人民邮电出

版社,2003

徐建华.图像处理与分析.科学出版社[M】,1992

杨静宇,曹雨龙.计算机图像处理及常用算法手册[M】.南京大学出版社,1996