（信号与信息处理专业论文）视频监控系统中运动目标检测与跟踪的研究.pdf

摘要 随着计算机视觉技术，通信技术的迅速发展，监控技术正经历着前所未有 的改变，智能交通系统( i t s ) i e 是在这样的发展环境下被世界所提出并给予极大 的关注。智能交通系统集人工智能技术、自动控制技术、计算机技术、信息与 通信技等多种前沿技术一起旨在形成了一个全新的强大的实时、准确、高效的 综合交通运输管理系统。运动目标的检测与跟踪作为智能交通系统的核心和关 键，本文就此课题做了以下几方面的研究。 首先深入研究了运动目标检测与跟踪的发展背景和发展趋势，并对目前国 内外典型的运动目标检测与跟踪算法进行了研究与分析。然后针对交通领域中 静止背景下的车辆检测与跟踪设计了一整套流程，对相关算法进行了深入研究 并在w i n d o w s 环境下利用v c + + 软件开平台和o p c n c v 开源软件开发包进行了 编程实现。 在预处理模块中，研究了视频图像格式转换，平滑滤波处理，减少了随机 噪声，环境噪声的干扰。重点研究了基于颜色直方图的自适应o t s u 最大类间 方差阈值法，使提取的前景运动目标有较好二值化效果，进一步去除了噪声。 在目标检测模块中研究了背景差分，帧间差分等几种常用检测算法并比较其 优缺点。深入研究了混合高斯背景建模算法，并构建了一个与统计平均背景建 模法相结合的自适应混合高斯背景建模运动目标检测模块，成功提取出前景运 动目标。 在运动目标跟踪模块中，重点深入研究了基于区域特征和k a l m a n 滤波相结 合的目标跟踪算法。首先对前景运动目标二值图像进行有效区域分割，然后设 置面积阈值和长宽阈值进一步滤除虚假前景目标。对保留的前景目标求取最小 外接矩，形心，面积等特征并利用k a l m a n 滤波器建立预估计模型，使特征和搜 索框达到最优值。最后利用连续帧中目标运动特点研究了相关的特征匹配算法。 整体跟踪系统能对平直车道，转弯车道，车辆大小形变，车辆颜色与背景 环境相似等环境下对车辆进行跟踪，取得了较好的效果。 关键词：目标检测，目标跟踪，混合高斯建模，形心，k a l m a n 滤波 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fc o m p u t e rv i s i o na n dc o m m u n i c a t i o nt e c h n o l o g y , m o n i t o r i n gt e c h n o l o g yh a su n d e r g o n et r e m e n d o u sc h a n g e s i ns u c had e v e l o p m e n t e n v i r o n m e n t , i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m sf i r s ) i sp r o p o s e da n dg i v e ng r e a t c o n c e r nb yt h ew o r l d i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m sf i r s ) ，w h i c hi sc o m b i n e d 、析ma r t i f i c i a li n t e l l i g e n c e , a u t o m a t i o nt e c h n o l o g y , c o m p u t e rt e c h n o l o g y , i n f o r m a t i o n c o m m u n i c a t i o n st e c h n o l o g ya n ds o m eo t h e rc u t t i n g - e d g et e c h n o l o g y , i sa i mt of o r ma n e wp o w e r f u lr e a l - t i m e ，a c c u r a t ea n de f f i c i e n ti n t e g r a t e d t r a n s p o r tm a n a g e m e n t s y s t e m a sm o v i n gt a r g e t d e t e c t i o na n dt r a c k i n gi st h ec o r eo f i n t e l l i g e n t t r a n s p o r t a t i o ns y s t e m s , t h i sp a p e rh a sd o n es o m er e s e a r c ho nt h i sp r o b l e m t h em a i n c o n t r i b u t i o na n dw o r ka r ed e s c r i b e da sf o l l o w s ： f i r s t , s t u d yt h ed e v e l o p m e n tb a c k g r o u n da n dt r e n d so ft h em o v i n gt a r g e t d e t e c t i o na n dt r a c k i n gf i e l da n dt h e nt h ec u r r e n td o m e s t i ca n di n t e r n a t i o n a lt y p i c a l a l g o r i t h mh a sb e e ns t u d i e da n da n a l y z e d d e s i g nas e to fp r o c e s s e sa b o u tv e h i c l e d e t e c t i o na n dt r a c k i n gi ns t a t i cb a c k g r o u n da n dt h er e l e v a n ta l g o r i t h m sh a sb e e n d e e p l yr e s e a r c h e d t h e nr e a l i z et h er e l e v a n ta l g o r i t h m su s i n gv c + + s o t 撕a r eo p e n p l a t f o r ma n do p e n c vs o f t w a r ed e v e l o p m e n tk i ti nt h ew i n d o w se n v i r o n m e n t i nt h ep r e p r o c e s s i n gm o d u l e , u s et h ev i d e of o r m a tc o n v e r t e ra n ds m o o t h i n g f i l t e rp r o c e s s i n gw h i c hc o u l dr e d u c et h er a n d o mn o i s e ，e n v i r o n m e n t a ln o i s e f o c u s i n g 0 1 1t h ea d a p t i v eo t s ut h r e s h o l dm e t h o dw h i c hi sb a s e do i lc o l o rh i s t o g r a m ，s ot h a tg e t ab e t t e rb i n a r yi m a g ew h i c hc o n t a i n sl e s sn o i s eo ft h e m o v i n go b j e c t sf r o m s e g m e n t a t i o ni m a g e i nt h et a r g e td e t e c t i o nm o d u l e , f i r s ts t u d yc o m m o n l yu s e dd e t e c t i o na l g o r i t h m s s u c ha sb a c k g r o u n ds u b t r a c t i o n , f r a m ed i f f e r e n c e , o p t i c a lf l o w , a n dc o m p a r et l l e i r a d v a n t a g e sa n dd i s a d v a n t a g e s t h e nd od e e p l yr e s e a r c ho ng a u s s i a nm i x t u r e b a c k g r o u n dm o d e l i n ga l g o r i t h m sa n db u i l ta na d a p t i v eg a u s s i a nm i x t u r eb a c k g r o u n d m o d e l i n gc o m b i n e ds t a t i s t i c a la v e r a g eb a c k g r o u n dm o d e l i n g t h et a r g e td e t e c t i o n m o d u l ec o u l de x t r a c tt h em o v i n gt a r g e t ss u c c e s s f u l l y i nt h et a r g e tt r a c k i n gm o d u l e ，i n - d e p t hs t u d yat r a c k i n ga l g o r i t h mb a s e do nr e g i o n f e a t u r e sa n dk a l m a nf i l t e r f i r s t ，r e s e a r c ha ne f f e c t i v er e g i o ns e g m e n t a t i o na l g o r i t h m i i f o rt h eb i n a r yi m a g e so ft h em o v i n gt a r g e t ，a n dt h e ns e ta r e a , l e n g t ha n dw i d t h t h r e s h o l d st of u r t h e rf i l t e ro u tf a l s et a r g e t s s e c o n de x t r a c tt h em i n i n l u l ne n c l o s i n g r e c t a n g | e , c e n t r o i d ，a r o aa n do t h e rf e a t u r e sa n dt h e ne s t i m a t et h e s eu s ek a l m a nf i l t e r , 5 0t h a tt h ef e a t u r e sa n ds e a r c hb o xc o u l db eo p t i m u mv a l u e f i n a l l y , g i v eam a t c h i n g a l g o r i t h mu s i n gt h em o t i o nc h a r a c t e r i s t i e si nc o n s e c u t i v ef r a m e s t h eo v e r a l lt r a c k i n gs y s t e mc o u l dc o n t i n u o u s l yt r a c kv e h i c l e su n d e rt h e s e c o n d i t i o n s ：s t r a i g h tl a n e s ，t u r n i n gl a n e s ，t h es i z ed e f o r m a t i o no fv e h i c l e ，t h ec o l o ro f v e h i c l es i m i l a rt ot h ee n v i r o n m e n ta n dt h ee x p e r i m e n ta c h i e v e sg o o dr e s u l t s k e y w o r d ：t a r g e td e t e c t i o n , t a r g e tt r a c k i n g , m i x t u r eo fg a u s s i a n s ，c e n t r o i d , k a l m a nf i l t e r i i i 独创性声明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作及 取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得 武汉理工大学或其他教育机构的学位或证书而使用过的材料。与我一 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说 明并表示了谢意。 签名：金乞主孟：日期：丕型旦：丛：丝 学位论文使用授权书 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即 学校有权保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权武汉理工大学可以将本学位论文的 全部内容编入有关数据库进行检索，可以采用影印、缩印或其他复制 手段保存或汇编本学位论文。同时授权经武汉理工大学认可的国家有 关机构或论文数据库使用或收录本学位论文，并向社会公众提供信息 服务。 ( 保密的论文在解密后应遵守此规定) 研究生( 签名) ：坌塾遗：导师( 签名) ：型坠日期：乏翌壁：之廖 武汉理工大学硕士学位论文 第1 章绪论 1 1 课题研究背景及意义 随着我国经济的飞速发展，车辆作为一种便利的交通工具其数量飞速增长。 近十年来，私有车辆也越来越多，在不久的未来随着人们生活水平的提高，私 有车辆具有普及趋势。然而与此同时大量的交通事故如：堵车，追尾等问题却 不断发生，给人们的生活带来很大影响的同时对城市的发展以及经济增长也带 来了一系列的问题。为及时解决现有交通问题同时兼顾长远的利益，我国大力 开展公路交通基础设施的建设，近年来取得了显著的成绩。然而好的交通状态 不应只局限于基础设施的建设，运用科学的方法先进的技术来管理规范交通系 统使有限的交通网充分发挥其作用就显得尤为重要。 智能交通系统( i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m ，i t s ) ，是指将先进的信息技 术、数据通讯传输技术、电子传感技术、电子控制技术及计算机处理技术等有 效的集成、运用于整个地面交通管理系统而建立的一种在大范围内、全方位发 挥作用的，实时、准确、高效的综合交通运输管理系统【l 】。智能交通系统的概念 于1 9 9 1 年由美国智能交通协会提出，并在世界各国大力推广。近十几年来随着 计算机技术、通信技术的迅猛发展，世界各国投入大量人力，物力，财力对智 能交通系统的研究使其得到很好的发展。 监控系统是智能交通系统中的重要组成部分为后续其他智能分析提供了基 础资料。在今天信息社会，随着网络和多媒体技术的快速发展，监控产品也正 经历着从模拟化向数字化、网络化的革命。利用数字图像处理技术进行动态监 测和现场监控已成为现实。数字图像处理相对于原有的模拟图像处理具有精度 高，通用性好，灵活性高等优点。视频是在时间轴上按序排列的连续图像序列。 视频信号含有的多样，直观，形象的信息符合人们的视觉特性，为了便于现场 的观察同时使检测具有可靠性，现在建立的监控系统已经开始使用基于视频信 号的智能监控。 视频监控主要特征是采用计算机视觉的方法，通过对摄像机采集的图像序 列进行图像分析并对图像中的感兴趣的目标进行检测和提取，识别，跟踪并在 此基础上是使用人工智能和认知理论研究，对图像内容加以理解和行为解释， 武汉理工大学硕士学位论文 从而指导和规划现实行动1 2 j 。 将智能监控运用于交通系统有着十分重要的意义，它可以对高速公路及特 定的交通路口实时交通流量进行统计；对超速、超载等交通违法行为以及路况 信息进行监测和取证；对特定车辆进行实时快速跟踪和识别等等。由于智能监 控强大的自动分析和提取功能它可以对驾驶员以及行人产生强大的威慑力，这 样不仅可以减少交通事故的发生使交通更加畅通无阻而且可以为后面的交通事 故提供强有力的证据提高相关部门处理事务的准确性和效率。智能监控技术除 了可以用于交通场景还可以用于其他需要实行自动监控的场合。 因此作为智能交通系统的关键一步，本课题所研究的基于视频监控所得的 数字图像实现运动目标检测与跟踪有着重要的研究价值和意义。 1 2 课题国内外研究现状及发展趋势 视频中运动目标检测与跟踪是视频监控系统中一个重要的研究内容。运动目 标检测与跟踪的算法依照目标与摄像机之间的关系可以分为静态背景下运动目 标检测和动态背景下运动目标检测。静态背景下运动检测就是摄像机在整个监 视过程中不发生移动，只有被监视目标在摄像机视场内运动，这个过程只有目 标相对于摄像机的运动。目前大多数的运动目标检测即是基于静态背景下的研 究。动态背景下运动检测就是摄像机在整个监视过程中发生了移动( 如平动、旋 转或多自由度运动) ，被监视目标在摄像机视场内也发生了运动，这个过程就产 生了与摄像机之间复杂的相对运动【3 】。对动态背景下运动目标检测的研究起步比 静态背景下的目标检测要晚很多，目前已经有了一些成就。然而由于检测过程 中环境的多变给研究带来了很复杂的因素，其有待各国学者深一步的研究。 运动目标检测即为从视频序列图像中将变化区域从背景图像中提取出来【4 】。 由于背景图像的动态变化，如天气、光照、阴影及混乱干扰等的影响，使得运 动目标检测成为一项相当困难的工作。目前，运动目标检测方法主要可分为帧 间差法、背景差分法，块匹配法、光流法和运动能量法等，其中运用较为多的 研究为帧差法、背景差分法和光流法1 5 】。 运动目标跟踪，即通过目标的有效表达，在视频图像序列中寻找与目标模板 最相似候选目标区位置的过程，简单说，就是在序列图像中为目标定位【6 】。运动 目标的跟踪分单目标跟踪和多目标跟踪，实现目标跟踪的关键在于完整地分割 目标、合理地提取特征和准确地识别目标，同时要考虑算法实现的时间，保证 2 武汉理工大学硕士学位论文 实时性。目前视频运动目标跟踪的方法有多种，但总的来说可以归结为4 类： 基于模型的跟踪、基于区域的跟踪、基于轮廓的跟踪和基于运动目标运动、颜 色、纹理等特征的跟踪【6 j 。目标跟踪问题可以看作是一个状态估计问题，由于滤 波器能够根据目标的运动特性预测目标可能出现的位置，有些学者提出将滤波 方法引入到跟踪算法中可以显著提高跟踪的鲁棒性，如最d * - - 乘法，k a l m a n 滤 波，粒子滤波等【7 】。 目前，国外在视频监控领域的研究已经达到了较高的水平。二十世纪末， 美国国防局资助几家著名研究机构合作，联合研制了为用于未来城市和战场监 控并能进行视频行为理解的视频监视与监控系统v s a m 。 英国的爱丁堡( u n i v e r s i t yo f e d i n b u r g h ) 大学负责的b e h a v e 通过研究新颖的 图像分析手段对视频序列中异常、危险行为进行预先检测和筛选。英国的雷丁 大学( u n i v e r s i t yo fr e a d i n g ) 开展了对车辆和行人的跟踪及其交互作用识别的 相关研究。世界相关大型软件，通信公司( 如m m ，m i c r o s o f t 公司) 也逐步展开 了基于视觉理论的监控产品。 目前在视觉监控领域，我国和世界一流的研究水平相比还有一定差距，为 推动我国在此领域的研究和发展，促进我国科研人员在此领域的交流与合作， 在中国科学院自动化研究所、国家8 6 3 计划计算机软硬件技术主题、国家自然 科学基金委员会和中国自动化学会的支持下已经成功召开了两届全国智能视觉 监控学术会议。一些高校和研究机构也陆续开展了人脸检测与跟踪、交通场景 跟踪等方面的深入研究并取得了一定的成果。 现实环境中的许多情况都会影响视频运动目标的检测与跟踪，如天气、光 照、阴影及复杂背景的干扰、目标外观的变化、相互遮挡的发生等这些都给运 动目标的检测与跟踪带来了困难。因此要设计出一个稳定可靠同时具有实时性 的运动目标检测与跟踪系统需要研究实际监控的具体环境，分析检测和跟踪的 对象的特性采用适当的方法来达到预期的效果 1 3 本文主要研究内容 本文深入研究了运动目标检测与跟踪的发展背景和发展趋势，并对目前国 内外典型的运动目标检测与跟踪算法进行了研究与分析。然后针对交通领域中 静止背景下的车辆检测与跟踪设计了一整套流程并编程实现。 重点研究内容及所做的主要工作有： 武汉理- t 大学硕士学位论文 ( 1 ) 研究视频运动目标检测与跟踪的相关技术并且设计交通领域中静止背 景下的车辆检测与跟踪整体框架和流程。 ( 2 ) 研究视频图像序列的特点和视频图像颜色空间转换、噪声处理，图像分 割等图像预处理技术。研究基于颜色直方图的几种自适应阈值选取方法，重点 研究o t s u 最大类间方差法为后期的检测与跟踪模块做准备。 ( 3 ) 研究背景差分，帧间差分，光流法等各种传统目标检测算法的优缺点， 重点研究混合高斯背景建模并设计目标检测模块使建立的背景模型能自适应环 境的变化正确的提取出前景运动目标 ( 4 ) 研究常用运动目标跟踪算法，重点研究基于区域特征与k a l m a n 滤波相 结合目标跟踪算法并设计目标跟踪模块使跟踪具有准确性和鲁棒性。 ( 5 ) 采用m i e r o s o f tv i s u a l c + + 6 0 作为开发语言和o p e n c v 开源软件开发包 在w i n d o w s 2 0 0 0 平台上开发运动目标自动检测与跟踪系统 1 4 论文组织结构 第l 章绪论。综述本文所涉及领域关键技术的国内外现状，以及现有的开 发成果；概述了论文的基本内容以及本人所作的工作。 第2 章系统设计及视频预处理。从所采集的交通视频实际环境出发，详细 介绍了设计运动目标检测与跟踪系统前期所研究的主要内容包括总体框架设计 和视频图像预处理。 第3 章运动目标检测模块的设计与实现。对自适应混合高斯背景建模算法 进行了详细的研究并依据算法进行了整体流程的设计和编程实现，对实验结果 进行了详细分析 第4 章目标跟踪模块的设计与实现。对基于区域特征和k a l m a n 滤波预估计 相结合的算法进行了详细的研究并依据算法进行了整体流程的设计和编程实 现，对实验结果进行了详细分析 第5 章对整个系统的研究与设计进行总结，分析课题中有待完善的地方和 进一步的研究工作。 4 武汉理工大学硕士学位论文 第2 章系统设计及视频预处理 运动目标检测与跟踪的实现涉及大量的图像处理、计算机视觉方面的内容。 要想使检测与跟踪能达到稳定准确的效果，其前期的设计显得尤为重要。本章 从所研究的实际环境出发对检测与跟踪系统的整体流程的设计和视频预处理内 容作了详细介绍。 2 1 检测与跟踪整体流程的设计 视频图像的特征是在时间序列上图像的按序排列，使得连续图像帧在时间和 空间上具有很大的相关信息。视频运动目标的检测与跟踪这一过程的实现实质 就是利用这些相关信息进行一系列的图像处理算法的实现。目前对于运动目标 的跟踪大致分三种解决思路。 第一种思路是把检测和跟踪分为两个独立的阶段，先在视频图像中利用像素 信息进行检测算法，检测出前景运动目标区域，然后提取运动目标纹理，颜色， 大小等特征信息，利用此信息建立特征匹配法则，如果匹配则实现跟踪。该种 方法是信号处理中传统的思维方式，因此为目前运用较多的一种解决思路，而 且由于可以利用现有的计算机视觉技术，依照该解决思路设计的跟踪结果较为 可靠。 第二种是先跟踪后检测，这种技术来源于时空三维匹配滤波的构想，它的实 质是通过把握目标时间运动的规律实现信号能量在时间和空间上的累加，从而 改善信噪以引。该种思路可以解决弱小目标在低信噪比的环境下的跟踪，但是该 方法的实现是能预先知道运动目标可能的运动轨迹，然后通过在积累过程中逐 渐排除不可能的轨迹实现跟踪。对于不可能知道运动轨迹的运动目标该方法的 实现是相当的困难。随着相关技术的发展，该解决思路当前越来越受到研究学 者的重视。 第三种思路是介于上述两者之间的解决方案，它使检测和跟踪相结合起来。 由于检测和跟踪是对同一运动目标，因此可以从分利用目标的运动特性，用跟 踪到的目标信息反馈到检测使检测信息得到增强，从而进一步实现准确跟踪。 本文最终目的是实现对某交通路段运动车辆的检测与跟踪。由于交通路段 5 武汉理工大学硕七学位论文 的重要性，为使最后的检测与跟踪效果能都达到稳定的效果，本文选择第一种 先检测后跟踪的解决思路。 由于本文实验素材来自现实繁杂交通路段的实时采集，外界因素的干扰如 天气、微风、手的抖动使得采集的视频图像中含有噪声，这对后期的运动目标 检测与跟踪都会产生影响，因此本文设置一个预处理模块来解决该问题。经过 预处理后的视频图像就可以用于目标检测，为使检测的能达到好的效果本文设 置一个检测后处理模块，该模块主要是利用图像处理技术去除检测后图像中细 小孔洞，噪声的干扰使图像变得平滑帮助更好的区分前景运动目标和背景图像， 以使检测出来的图像经过特征提取后能达到好的跟踪效果。具体的整体流程见 图2 - 1 所示。 运动目标检测模块 视频图像采集 视频预 运动目标检测后期运动目标 处理模块 检测视频处理跟踪模块 图2 1 运动目标检测与跟踪整体流程图 2 2 视频图像预处理 在运动目标检测与跟踪系统中，对序列图像处理的一个要求就是在时间上 要满足实时性和检测的准确性。由于采集的视频时所使用的采集仪器和现实环 境的干扰，使得视频图像包含大量的冗余信息。因此在对图像进行特征提取之 前，需要对图像进行一些预处理工作。这样可以使视频图像中有利于特征提取 的信息得以保留和增强并且去除一些冗余的信息。预处理阶段就是要将数据获 取阶段所引入的噪声进行滤除，并对数据获取阶段所造成的信号退化进行复原。 对图像信息主要的运算有滤波、增强、复原、提取边缘、图像分割等预处理， 以便提高图像质量，并为下一步特征提取提供必要的基础。 2 1 1 颜色空间转换 本文所研究的视频是对某交通路段实时采集而来，其格式为r g b 彩色图 像。r g b ( r e d ，g r e e n ，b l u e ) 是最常用的颜色空间，广泛应用在彩色摄像机、扫 描仪和数码照相机等领域。它通过红、绿、蓝三原色的相加来产生其他的颜色。 6 武汉理t 大学硕十学位论文 1 9 3 1 年，国际照明委员会( c i e ) 规定用波长为7 0 0 a m 、5 4 61a m 、4 3 58n m 的单 色光分别作为红( 胄) 、绿( g ) 、蓝( 占) 三原色嗍。红绿蓝三原色按照比例混合可以 得到各种颜色，其配色方程为式( 2 - 1 ) ： c = a r + b g + 胡m t c 0( 2 - i ) 其中，c 为任意一种颜色，r a ，b ，c 则是三原色的权值，因此 应的颜色空问在视觉上是非均匀的 不完全直观的颜色空间。 g 、口分别代表红、绿、蓝三种颜色，而 r g b 颜色空间是一种加色混色系统，其对 同时它还是一个与设备相关的、颜色描述 一般情况下r g b 彩色图像每个像素用三个字节表示，每个字节对应着 、 g 、b 分量的亮度( 红、绿、蓝) 。为加快处理速度且提高图像对噪声的敏感度 可以将r g b 图像装换为灰度图像。灰度图是指只含亮度信息，不含彩色信息的 图像，就像平时看到的黑白照片：亮度由暗变到明，变化是连续的。灰度图像 是红色、绿色、蓝色三个通道的缩览躅。灰度图表现为一个通道，用不同 的灰度色阶束表示“红，绿，蓝”在图像中的比重是当前彩色图像像素的 亮度。通常划分成o r 2 5 5 共2 5 6 个级别，其中0 犀暗是全黑，2 5 5 最亮是全白。 从而在灰度图中一个像素用一个字节就可以表示该点的扶度值这样经过颜色 空间转换后节省了存储空间也节省了运算时间。 本文中将r g b 彩色图像转化为荻度图像，其转化公式如2 2 所示： g r a y ( i ，) = 0 1 卜r q ，) + 05 9g ( l j ) + 03b ( 1 ) ( 2 - 2 ) 其中，g r a y o ，j ) 为转换后的荻度图像在( j ，力点处的灰度值。 实验结果如图2 - 2 所示。 嘲嘲 诗迅。、a 也。 ( 曲原图c o ) 灰度图 图2 - 2r g b 彩色图转化为扶度图 武汉理工大学硕士学位论文 2 2 2 图像滤波处理 从摄像头采集的图像由于外界环境的干扰往往会带有一些干扰噪声这时 在进行运动目标检测之前首先要对图像进行平滑滤波处理毗提高图像质量。噪 声并不限于人眼所能看到的失真和变形，有些噪声只有在图像处理时才可阻发 现。图像的常见噪声主要有加性噪声、乘性噪声和量化噪声等。平滑滤波处理 的作用主要是去除图像中的噪声。如何既平滑去除噪声又尽量保持图像细节是 选择合适平滑滤波器的关键。依据噪声的特征，一般消除噪声的方法为空间域 法和频域法两大类【l “。频域法是将图像变换到某个变化域中，修改变换后的系 数，然后再进行反变换得到处理后的图像，蜘如小波变化域。这种方法可以得 | 很好的去噪效果，但是计算复杂度高，消耗的时间长。由于运动目标检测这 样的实时要求较高，本文选取空域法。空域法的原理一般是利用像素灰度值与 模板进行卷积运算来实现滤波效果，其中常用有均值滤波和中值滤波。 ( 1 1 均值滤渡 均值滤波是典型的线性滤波算法，其基本原理是用均值代替原图像中 的各个像素值。即对待处理的当前像素点，选择一个模板，该模板由其近 邻的若干像素组成，求模板中所有像素的均值，再把该均值赋予当前像素 点。作为处理后图像在该点上的扶度值。这是一种简单易实现的方法。在 实验中一般选取奇数正方形n x n 模板( n = 3 ，5 ，) 。如果依据实际情况所选模 板中各像素对当前点的影响程度不同，可以使模板中各点带有不同系数，这叫 加权均值滤波。如图2 - 3 为选取5 s 的均值滤波后的结果。 嘲嘲 爰赢越一a _ a ( a ) 加高斯、椒盐噪声后的图( ”经均值滤波后的图 围2 3 均值滤波 由图2 - 3 可知均值滤波使得图像中的椒盐类噪声强度明显得到减小，图像整 体清晰但是由于均值滤波是让某点出现的强噪声均衡到整幅图上，因此图像边 武汉理丁大学硕士学位论文 缘信息变得比较模糊。视频运动目标检测时往往需要很清晰的边缘信息，本文 不选取此方法。 ( 2 ) 中值撼被 中值滤波是基于排序统计理论的一种能有效抑制噪声的一种非线性滤 波算法。中值滤波的基本原理是序列中一点的值用该点的一个临域中各点 值的中值代替，从而消除孤立的噪声点。中值滤波应用到二维图像中方法 是选取某种结构的二维滑动模板，将板内像素按照图像像素值的大小进行 捧序，生成单调上升( 或下降) 的二维数据序列。如果模版中像素总数为 奇数时，用序列中间位置的那个像素值取代当前点的像素值：如果模版中像素 总数为偶数时，用中间位置的两个像素值的平均值取代当前点的像素值【l “。中 值滤波中模板的形状和大小对滤波效果有很大的影响。模板可以是不同的形 状，如线状，圆形，十字形，圆环形等。模板大小也可虬依据图像的特征 来选取3 * 3 ，5 * 5 等大小。模板尺寸选取过大去噪声效果更加明显，但是计 算复杂，所涉及的像素多而容易把细节忽略。实际情况中应该依据具体需 要选取模板形状和大小。一般对于有缓变的较长轮廓线物体的图像，采用方形 模板为宜。如果图像中点、线、尖角细节较多，不宜采用中值滤波。中值滤波 能很好的抑制脉冲干扰和椒盐噪声，在图像处理中，常用于用来保护边缘 信息，是经典的平滑噪声的方法。如图2 - 4 为选取5 * 5 的中值滤波后的结果。 嘲嘲 溻裔遗4 盛a 。 ( a ) 加高斯、椒盐噪声后的图( b ) 经中值滤波后的图 图2 4 中值滤波 由图2 4 ( b ) 可知中值滤波使得图像清晰而且边缘信息很好的保留了下来。在 实验中监测路段获取车辆检测视频时发现容易受到脉冲和随机噪声的影响，而 且保持边缘信息清晰在车辆检测中有着根重要的作用，因此本文选取中值滤波 方法进行滤波处理。 武汉理工大学硕士学位论文 2 3 图像二值化 经过噪声处理后的视频序列可以用于运动目标检测。要检测运动目标首先 应利用图像分割技术分割出前景运动目标和背景。所谓图像分割即为将图像划 分为若干个有意义的区域的技术。图像分割算法一般是基于图像亮度值的不连 续性和相似性这两个基本特征来进行划分。边缘检测就是基于图像亮度不连续 性变化的应用。基于相似性的图像分割是依据事先制定的准则将图像分割为相 似区域。区域阂值门限处理就是依据该性质。 本文选择基于阈值的图像二值化分割方法来辅助分割前景运动目标和背 景。虽然本文中使用图像二值化技术是在检测算法后，但是由于其属于常用预 处理技术，因此本文也在此介绍本文所选用的二值化技术为后文做准备。 图像二值化处理即设定某一阈值r ，应用该阈值可以将图像数据分成两部 分：大于z 的像素群和小于r 的像素群。设输入图像为f ( x ，y ) ，输出图像为 f ( 而y ) ，则如式( 2 - 3 ) 所示： f ( 圳= 器凳籍 ( 2 - 3 ) “y ) = i = 一，：一”：二二 ( 2 - 3 ) 二值化的目的就是运用阈值r 将图像分成对象和背景两个领域。在实际处理 时，为了显示需要一般用2 5 5 表示背景，用0 表示对象物。由于实际得到的图 像目标和背景之间不一定单纯的分布在两个范围内，此时就需要两个或两个以 上的阂值来提取目标。比如选择一个区间( 互，互) 作为阂值。 基于阈值图像二值化方法中最关键的是阈值的确定。阈值选择的恰当与否 决定了是否能正确的提取出运动目标。如果选择过大或者过小都有可能出现将 前景运动目标判为背景或背景判为前景运动目标。 阈值的选取可以选择固定值，但由于本文所研究的环境为交通路段其环境 及检测的车辆会发生很大的改变，因此该方法不适合。本文选择一种自适应阈 值的选取方法使得阈值能随环境的不同而不同从而达到好的分割效果。 目前应用较多的自适应阈值选取方法有双峰法，迭代法，简单统计法【1 2 1 。 这几种方法都利用到了图像灰度直方图。图像灰度直方图反映了图像灰度的统 计特性，表达了图像中取不同灰度值的面积或像素在整幅图中所占的比例。直 方图的横坐标是灰度级，一般用厂表示，纵坐标是具有该灰度级的像素个数或出 现这个灰度级的概率p ( 圪) ，计算如式( 2 4 ) 所示： l o 武汉理i ：大学硕士学位论文 p ( ) = ， ( 2 _ 4 ) 其中 ，为一幅图像中像素的总数吃为第女个灰度级，p ( ) 表示该扶度级 出现的概率。因为p ( ) 给出了对出现概率的估计，所以直方图提供了原图荻 度值分布的情况，其提供了图像信息的许多特征。如果直方图密集的分布在很 窄的区域之内，说明图像的对比度低；若直方图有两个峰值，则说明图像中可 能存在两种不同亮度的区域。如图2 - 5 ( a ) 为视频中截取的某一帧，由人眼观察车 和所在的背景图像获度值明显不同，由图( b ) 可看出其直方图中有两个峰值。 ( a l 原圈( b ) 直打幽 圈2 - 5 直方图 双峰法是一种依据直方图的典型全局阈值法。物体的灰度分布较有规律， 物体和背景在灰度直方图上个形成一个波峰，即区域和波峰一一对应。两个波 峰之间有明显的波谷，则可以将波谷所对应的扶度值作为图像扶度闻值，可将 两个区域分离。该方法实现起来较为简单，但这种方法有局限性，针对前景与 背景有明显分离的图像可以实现较快的阈值分割，对前景和背景颜色相似的时 候效果就不理想。 迭代法是基于逼近的思想，首先求出图像灰度的最大值和最小值的平均值 并把它作为初始的阐值，然后依据该阈值把图像分成两部分依照求初始阐值 的方法在两部分图像中求得两个阈值并阻此两阈值的均值作为新的阈值。如果 新的阈值与初始阈值逼近则获得阈值，否则再以此新的阈值按上述方法进行迭 代直到逼近为止。该方法能区分出图像的前景和背景的主要区域所在但在 图像的细微处没有很好的区分度而且计算量较大。 因为数字化的图像中，无用的背景数据和目标数据常混在一起，而且有各 种不同噪声影响所咀较好的思路是根据图像的统计性质，叩从概率的角度来 选择台适的阈值。 武汉理工大学硕士学位论文 ( c ) 均值自适应阚值( o 最大类间方差阈值 图2 - 6 图像二值化 本文选择o t s u 大津法进行阚值的选取。o t s u 算法也称最大类间方差法 是图像分割里基于点豹全局闭值选取方法中的较为优秀一种。该方法基于图像 直方图认为图像由前景和背景这两大类组成。其算法步骤为： ( 1 ) 求取两类灰度平均值：记t 为前景与背景的分割闽值，前景点数占图像 比例为，平均灰度为u o ；背景点数占图像比例为q ，平均扶度为“，。圈像 的总平均扶度为：“= “。+ q “。山于+ q = 1 且“可以通过求图像扶度均 值而得到，因此两类狄度均值可以计算出来。 ( 2 ) 遍图像历狄度值求取最佳阈值：从最小扶度值到最大狄度值遍历f 当t 武汉理工大学硕十学位论文 使得值g = r o o ( u o 一“) 2 + 锡( 一“) 2 最大时t 即为分割的最佳阈值。 由算法可以看出最大类间方差法利用各区域的平均灰度与图像的平均灰度 的差的平方和最大来设定的阈值。灰度方差反映了物体灰度值分布的波动性， 方差越大，说明构成图像的灰度值差别越大。而在目标或背景内部像素间灰度 值高度相关，在目标和背景交界处两边的像素在灰度上差别很大。如果出现把 目标像素错误的划分为背景这一类或背景像素错误的划分为目标这一类都会导 致两部分的方差变小，因此当两类之间灰度方差值最大的时候误差概率最小。 该阈值的选取是一种自动自适应的选取方法，在一定条件下不受图像对比度和 亮度变化的影响，而且计算较为简单，算法也比较稳定。最大类间方差法处理 出的图像边缘比较清晰，重复性边缘定位基本可以控在一个像素范围内【1 4 】。 二值化实验结果如图2 6 所示。图2 - 6 ( a ) 为从视频中提取的某一帧图像有 背景和前景运动目标，图( b ) 为运用本文所研究的检测算法后提取出来的背景图 像，从图可以看出含有明显的噪声。图( c ) 为( b ) 图的灰度直方图，从图可以看 出经过检测后的图像经过灰度滤除基本上是前景目标的灰度分布，含有大量的 有用信息。图( d ) 使用固定阈值很明显将部分前景目标判为了背景，使得检测出 的目标不完全；图( e ) 是使用均值自适应阈值法，由于经过检测后的图像大部分 为背景，而经过全局灰度均值处理使得求取的阈值较小，这样许多背景图像被 判为前景目标；图( f ) 是使用最大类间方差阈值法，从图可以看出二值化效果很 好，这为后面的检测运算提供了很好的基础。 2 4 本章小结 本章从所采集的视频实际环境出发，详细介绍了设计运动目标检测与跟踪系 统前期所研究的主要内容。首先设计系统整体处理流程，确定了以后研究的重 点。然后重点介绍了流程图中预处理模块的内容。先将采集的视频图像经过灰 度格式转化使其为后期的运算减少运算量，然后进行中值平滑滤波处理。同时 研究了辅助检测模块的二值化图像分割技术，在比较自适应均值，双峰法，迭 代法后为系统选择了最为合适的o t s u 最大类间方差阈值方法。利用v c + + 软件 开发平台对研究的算法进行了编程仿真实验，并对结果进行了分析。 武汉理工大学硕士学位论文 第3 章运动目标检测模块的设计与实现 经过预处理模块后就进入运动目标检测模块。在本系统中运动目标检测模 块显得尤为重要，其检测的结果直接影响着后期运动目标跟踪的准确性。本章 即对运动目标检测模块中的算法进行了深入的研究。 3 1 概述 运动目标检测是计算机视觉领域的一个重要研究方向，随着图像处理技术， 多媒体技术的快速发展，人们对运动目标检测也提出了更高要求。在视频序列 中运动目标检测的目的是从视频图像中将运动目标区域从背景图像中抽取出 来。它是目标识别与跟踪、运动图像编码、基于内容的检索、安全监控等视频 分析、处理应用的基础步骤，因此运动目标检测具有重要意义。然而，由于实 际情况中背景图像的动态变化，如天气、光照、影子及混乱干扰，目标色与背 景色接近、运动目标运动缓慢等使得运动目标的正确检测变得尤为复杂。 目前在静止背景下常用的运动目标检测方法主要有：帧差法、背景差分法， 块匹配法、光流法和运动能量法等。也有一些人将优秀的算法如小波变换或者 遗传算法等应用到序列图像的运动目标检测中，但是由于受到计算机运算速度 和算法复杂度的限制，使得在检测与跟踪运动目标的实时性和鲁棒性方面不是 太理想，若没有特定四维硬件支持，一般很难满足实时处理的要求。在实时系 统中人们一般会使用计算简单的算法来获得期望的目标检测以便为使后继的跟 踪具有时效性。 3 2 运动目标检测方法 3 2 1 帧间差分法 帧间差分法是利用图像序列中相邻帧图像之间的差来提取出图像的运动区 域。首先将几帧图像在同一坐标系下，然后将同一背景不同时刻得两幅图像进 行差分运算，在差分图像中灰度不发生变化的背景部分被减掉，由于运动目标 1 4 武汉理工大学硕士学位论文 在相邻两帧中的位置不同，且与背景灰度有所差异。所以两帧相减后就使得运 动目标凸显出来，可以大致确定运动目标在图像中的位置。 帧问差分可以这样描述，设 k ，) 为第k 帧，五一，( ，y ) 为第k - l 帧， q ( z ，y ) 为两帧之差，即： q ( 薯y ) = a c x ，y ) 一正。( j ，y ) ( 3 - 1 ) 选取而为阈值，对差分图像进行