（信号与信息处理专业论文）基于背景差分的光照鲁棒性运动目标检测与跟踪技术研究.pdf

西南交通大学硕士研究生学位论文 、 第1 页 摘要 视觉运动目标检测与跟踪算法的研究是计算机视觉和模式识别领域的一个新兴的 热点，应用于智能视频监控系统和辅助驾驶系统等。其中，智能视频监控系统是为了 使用计算机来代替人的行为，使该系统具有收集真实而有意义的信息的能力，然后做 出适当的决定，从而保证公共的安全。智能视频监控关键技术在于视觉运动目标的检 测与跟踪技术，而影响检测效果的因素有很多，其中光照的因素是主要的因素之一。 研究对光照变化鲁棒的视觉运动目标的检测与跟踪技术对于智能视频监控系统达到其 优越的性能有着很重要的意义。 国内外很多著名的科研机构及研究人员已经开始对智能视频监控系统进行深入的 研究和开发，如美国卡内基梅隆大学，中科院自动化所等，分别开发了智能视频监控 平台。进一步提高视觉运动目标检测与跟踪算法的鲁棒性和实时性，对达到系统可靠 和智能的目的非常关键，当中研究涉及了许多的难题。 本文针对智能视频监控系统的运动目标检测和跟踪算法进行了深入细致的研究， 首先对常用方法：光流法、背景差分法、帧间差分法进行了分析讨论，并且重点以背 景差分法为基础来研究新的背景建模和背景更新的方法。室内外的不同场景有不同的 光照条件，针对不同条件来研究相应鲁棒的算法，给出相应的能够适应复杂状况下的 解决方案，包括白天室外、夜晚室外、室内灯光突变的场景，同时去除了阴影对检测 的影响。针对室内灯光突变的场景，现有的背景差分法及改进算法很难很快的适应光 照的突变，以至于大面积的背景像素会误检测为前景像素。本文以目标处于运动状态 为前提，以分类分块思想为基础，提出了一种光照鲁棒性的运动目标检测快速算法。 通过实验，该方法速度快，检测精度高，能很快的适应光照突变，及时的更新背景图 像，同时满足实时性和精确性的要求。对基于纹理特征l b p 及其多种变形的目标检测 算法在白天和夜间场景的性能进行了对比分析，分别选择出白天和夜间场景下性能最 佳的算子。针对白天场景，对c s l b p 算法进行了改进，提出了m c s l b p 算法。为了提 高算法的速度，提出结合帧差法k a l m a n 预测的目标区域m c s l b p 检测方法。针对夜间 光照不足，图像对比不明的情况，本文分析了非线性反色调映射的图像增强算法，同 时选用c l b p 算子进行夜间目标检测，并在试验仿真中对两种算法作对比分析。最后， 结合本文研究的多种鲁棒算法，提出了光照鲁棒性视觉运动目标检测与跟踪系统方案。 关键词运动目标检测；卡尔曼滤波跟踪：背景差分法；分类分块；l b p ；m c s l b p ； c l b p 西南交通大学硕士研究生学位论文 第l f 页 a b s t r a c t m o v i n go b j e c td e t e c t i o na n d 仃a c k i n gb a s e d0 nv i d e oi s 姐e m e 培i n ga r e ao f 。r e s e a r c h f o c u si nc o n l p u t e rv i s i o na n dp a t t e mr e c o g n i t i o n i tc a nb eu s e d i ni n t e l l i g e n tv i d e o s u r v e i l l a n c ea n dd r i v e ra s s i s t a n c es y s t e m t h ei n t e l l i g e n tv i d e os u r v e i l l a n c es y s t e mu s e c a m e r aw o r kt or 印i a c et h eh u m a ne y e s i th a st h ec 印a b i l 时o fc o l l e c t i n g r e a la n d m e a n i l l g 如1i n f o 皿a t i o na n dm a k i n g 叩p r o p r i a t ed e c i s i o n si no r d e rt om e e tn e e d so fp u b l i c s a f e 戗t h ek e yt e c l l l l o l o g yi n 血e l l i g e n tv i d e o 鲫n ，e i l l a n c ei sm o v i n gt a 玛e td e t e c t l o na i l d 仃a c k i n gt e c l l n o l o 酣t t l e r ea r eal o to ff a c 铆r h i c hh a v ei m p a c to n 也er e s u h o n e0 ft h e m a i nf a c t o r si si l l 啪i n a t i o n t h er e s e a r c ho fv i d e o - b a s e dm o v i n gt a 略e td e t e c t l o na n d 白r a c k i n gt e c h n o l o g yw i t l li l l u m i n a t i o nr o b u s t l l e s sf o rt h es u p e r i o r i 够o fi n t e l l i g e n tv i d e o s u r v e i l l a n c es y s t e mi sv e 巧s i 卿f i c a n t m a n yf a i n o u sd o m e s t i ca n df o r e i 印r e s e a r c hi n s t i t u t i o n sa n dr e s e a r c h e r sh a v eb e g u n t o r e s e a r c hi n d 印t ha n dd e v e l o p e di n t e l l i g e n tv i d e os u e i l l a i l c es y s t e m ，s u c ha st h eu s c a m e g i em e l f o nu n i v e r s i 饥c h i n e s ea c a d e m yo fs c i e n c e si n s t i m t eo fa 1 n o m 撕o n ；h a v e r e a l i z e dt h ei n t e l l i g e n tv i d e os u n ，e i l l 柚c ep l a t f o 衄1 no r d e rt oi m p r 0 v es y s t e mr e l l a b l l l 够 a n d缸e 1 1 i g e n c e ，w e m s t 觚h e ri m p r o v e i t sr o b u s m e s s ，a c c 啪c y ， a n du n i v e r s a l a p p l i c a b i l i 饥w h i c hi n v o l v eal o to fp r o b l e m s i nm i sp a p e r ，m o v i n go b j e c td e t e c t i o na l g o r i t h i ni si n - d 印t ha n dm e t i c u l o u sr e s e a r c h e d f i r s t l y ， t l l ec o m m o n l yu s e dm e t h o d s ： 0 p t i c a l f l o wm e t h o d ， b a c k 伊o u n ds u b 仃a c t i o n ， i m e r - f r 锄ed i 虢r e n c em e t h o dw e r ed i s c u s s e d ，吐l e nf o c u so nt h eb a s i so ft h eb a c k g r o u i i d d i 舒e r e n c em e m o dt 0s t u d yn e wb a c k g r o u n dm o d e l i n ga n db a c k g r o u n du p d a t e sm e t h o d a c c o r d m gt om ed i 仃e r e n ti n d o o ra n do u t d o o rs c e n e s ，i l l u m i l l a t i o nr o b u s 恤e s sa 1 9 0 n t b j 瑚a r e s m d i e d s o l u t i o n sa r eg i v e nt oa d a p tt 0c o m p l e xc o n d i t i o n s ，i n c l u d i n gm eo u t d o o ri nd a ya n d n i2 m ，i n d o o r1 i 曲t i n gm 眦a t i o ns c e n e s ，也e ns h a d o wi s 蝌e s s e dt oa v o i d 也ei n c e i f e r e n c e o ft 1 1 es h a d o wo ft h ed e t e c t i o n 协r 苫e t m u t a t i o nf o ri n d o o rl i 曲t i n gs c e n e s ，m ee x i s t i n g b a c k g r o u n ds u b n a c t i o na n di m p r o v e da l g o d m m i sd i f f i c u ht oq u i c k l ya d a p tt ol i g h tm u t a t i o n ， s ot h a tl a r g ea r e a s0 fb a c k g r o u n dp i x e l sw i l lb em i s t a _ k e n l yd e t e c t e da sf o r e 铲o u n dp i x e l s t h em o v i n g 啤e ti sa sap r e c o n d i t i o 玛af a s td e t e c t i o na 培o r i t h mi sp r o p o s e dt oa d 印tt h e l i g h 如gi 珊t a t i o nb a s e dm ei d e ao f b l o c ka i l dc l a s s i f i c 砸o nt h r o u 曲t h ee x p e r i m e n t ，t h e m e t h o di sf a s t e r ，m o r ea c c 毗l t ei l e t e c t i o nr a t e ，c a nq u i c k l ya d 印tt 0l i 曲tm u t a t i o n 锄du p d a t e t h eb a c k g r o u n di m a g ei nat i m e l ym 锄e r ，w h i l em e e t i n gt h er e q u i r e m e n t so fr e a l t i m ea n d a c c u r a c v t h ed e t e c t i o nm e t h o d sb a s el b pa n di t sm o d i f i c a t i o nd e s c r i p t o r sa r ed i s c u s s e di n d 乏l ya i l dn i g ms c e n ei nt h ep a p e ra n dt h eb e s tl b pd e s c r i p t o ri s c h o s e n i nt h ed a ys c e n e ，a n e wd e s c r i p t o ri sp r o p o s e d ，n a m e dm c s l b p i no r d e rt 0i n c r e a s er a t e ，an e wo b j e c ta r e a d e t e c t i o nm e t h o db a s e do nm c s l b pw i t t lk a l m a nf i l t e r0 r 丘a m ed i 岱：r e n c ei sp r o p o s e d i n s u 瓶c i e n tf o rn i 曲tm u m i n a t i o n ，l o wc o n 竹a s ti m a g ea tm g h t ，t l l el m a g ee n h a n c e m e n t a l g o r i t b j ni sa n a l y z e di n 也ep a p e ra n d 觞p r e p r o c e s s i n g “g 嘶m mf - 0 rt a 略e t d e t e c t l o n a l g o r i t h i n t h ec l b pd e s c r i p t o ri sa l s ou s e d _ i nm eo b j e c td e t e c t i o n a tn i 咖1 1 1 e n 铆o 西南交通大学硕士研究生学位论文第1 ii 页 m e t h o d sa r ec o n l p a r c da n da n a l y z e dt h r o u g ht h ee x p 硪m e n t a tl a s t ，ac o n l p l e t e ds 0 1 “o n a b o u tm o v i n gt a 唱e td e t e c t i o na n d 仃a c k n gb a s e do nv i d e oi sp r o p o s e d k e yw o r d sm o t i o nt a r g e td e t e c t i o n ；l 【a l m a nf i l t e r 倾c l 【i n g ；b a c k g r o u l l ds u b 打a c t i o n ；b l o c k a n dc l a s s i 母；l b p ；m c s l b p ；c l b p 西南交通大学硕士研究生学位论文第1 页 第1 章绪论 1 1 课题的研究背景及意义 人类从外界获取的所有感官信息中大约有8 0 都来源于视觉【l 】。随着电子计算机、 网络通信技术的发展，视频、图像以它最能直观有效地描述信息的特点，广泛深入到 人们生活的各个方面。我们对生存环境越来越关注，同时应对突发灾难的预防意识大 大提升，视频监控已经不仅仅限制于国家关键要害部门发展而扩展到了金融机构、交 通设施、社区住宅、公共娱乐场所等各个领域。研究报告表明：中国最有希望形成继 美国之后的全球第二大安防市场【2 j 。 近几十年来，传统的视频监控系统已经普遍应用于各个领域，虽然能完成对场景 的实时监视、但是它却只是相当于一个电子眼，要求监控人员时刻的注意屏幕，然后 通过人的理解判断才能得到相应的结论。而人的精力和注意力都是有限的，当持续监 视屏幕一定时间以上，人的能力将不能满足监控的需求。不仅如此，如果视频画面复 杂，变化快，人眼往往不能及时的做出反应，同时也直接决定了后续的行为理解和判 断，从而影响决策，造成很多很严重损失。随着现代社会对监控的需求越来越大，要 求的水平也越来越高，早已经超于人力所及的范围。为了让视频监控系统具有主动监 测和主动预警的功能，就需要视频监控系统能够智能的对大量的信息进行分析、理解， 并做出适当的决策，智能视频监控系统应运而生。 智能视频监控关键技术对视频序列的处理主要可分为两个阶段：第一个阶段主要 包括，运动目标检测，目标分类，目标跟踪等，第二阶段处理包括行为理解与分析， 做出决策等。第一阶段的处理是整个视频监控技术的基础，检测和跟踪的准确性直接 决定了后续的行人理解和分析。而针对目前的智能视频监控系统而言，主要的也是应 用最广泛的监控对象为行人和车辆。因此，准确、实时地对视频中的行人及车辆进行 检测，有着非常重要的意义。 对于监控视频中的行人及车辆检测，现存的理论与技术依然面临很多的挑战。环 境的变化很大程度上影响了检测的效果，要求检测算法实时的能适应环境的变化，环 境自身变化( 如晃动的树枝、车辆的移入移出、浮动的水波、天空的云流动等等) ，场 景的光照变化( 如太阳光渐变，灯光突变，夜晚灯光微弱) ，天气变化( 如雾、雪、雨) 等等。同时还有运动物体自身的密集程度和附着物的影响，如何在各种复杂的场景下 准确地，实时的检测出监控对象，一直是智能视频监控领域的两大难题。 基于这两大难题，本文的主要任务是研究探索对光照变化鲁棒的运动目标检测算 法，在光照变化的情况下，提高检测的准确性，并充分考虑算法的实时性，探索能应 用于实际系统的快速算法。 ” 西南交通大学硕士研究生学位论文第2 页 1 2 国内外研究现状 近年来，因为智能视频监控融合了多学科技术，面临了挑战性的困难，以及广阔 的应用前景，使之成为在全球范围内各研究机构、公司企业投入的热点。 从学术研究发展来看，智能视频监控的研究成果已经成为众多国际期刊、会议的 重要部分。其中著名的有i e e e 模式分析和机器智能期刊( i e e e1 r a n s a c t i o no np a t t 锄 a n a l y s i sa n dm a c h i n ei n t e l l i g e n c e ，p a m i ) ，国际计算机视觉期刊( i n t 锄a t i o n a lj o 啪a lo f c 6 m p u t e r s i o n ，i j c v ) ，计算机视觉与图像理解( c o m p u t e rv i s i o na n dh n a g e u n d e r s t a 皿d i n g ，c v i u ) ，学术会议包括i e e e 计算机视觉和模式识别国际会议( i e e e h l t e m a t i o n a lc o n f e r e n c eo nc o m p u t e r s i o na n dp a t t e mr e c o g n i t i o n ，c v l ) r ) ，计算机视 觉国际会议( i n t e m a t i o n a lc 0 n f e r e n c eo nc o m p u t e r s i o n 锄dp a t t e mr e c o 皿i t i o n ， i c c v ) ，图像处理国际会议( i e e ei n t e m a t i o n a lc o n f e r e n c eo ni m a g ep r o c e s s i n g ，i c i p ) 磕 可。 国内外研究机构也开始了运动目标检测技术方面的研究，目前比较有代表性的是： 美国国防高级研究项目署( d a ) a ) 于1 9 9 7 年设立了卡内基梅隆大学与其他高校和研究 机构合作研发的智能视频监控重大项目v s a m ( d e os u r v e i l l a n c ea n dm o n i t o 血g ) 【3 】，该 项目的监控场景主要为战场及城区，针对此特定场景进行智能视频处理技术的研发。 2 0 0 4 年由欧盟出资启动的，法国i n r 认等研究机构与英国雷丁大学( u n i v e r s 匆o f r e a 西n g ) 合作，共同开发了机场智能监控项目a v i t r a c 【4 】，该项目针对停机坪场景进 行目标三维跟踪，同时对出现的异常行为进行判别与报警，达到为机场提供智能化安 全保障的目的。中科院自动化所模式识别小组在英国雷丁大学v i e w s 的车辆交通监控 原型系统的研究基础上，自主研发一个智能交通监控系统( v s t a rv i s u a ls u n ，e i l l a n c e s t a r ) ，该系统能够实时地跟踪车辆，可以适应光照的变化、消除斑马线的干扰，而且 基本能解决边界的遮挡问题。清华大学的刘晓东博士等人【5 】针对户外复杂背景下的行人 检测与识别困难的这个难点，开发了运动目标检测和分类的智能化监控系统，但是该 算法过于复杂，不太适用于实时监控系统。暨南大学光电工程研究所的杨金玲等【6 】实现 了一种以达芬奇技术为支持，基于双核t m s 3 2 0 d m 6 4 4 6 的运动目标跟踪智能监控系统 方案，该方案作为单片系统，设计简单，具有良好的扩展性和灵活性，运行算法具有 可重构性。上海交通大学邓志辉等1 7 】设计了一种综合运动检测和视觉跟踪的智能监控系 统，能自动完成轨迹的初始化和终止，对数目可变的目标进行自动跟踪。 1 3 视觉运动目标检测算法研究概况 1 3 1 研究综述 很多世纪以来，人类生命和财产安全是人们关心的主要内容，在现代文明中，因 为可以从视频序列提取大量的有用信息，盗窃，事故，恐怖主义袭击的威胁才得到遏 西南交通大学硕士研究生学位论文第3 页 制，所以视频序列已经成为有效的预防阻止这些安全问题的工具，而对于动态场景的 视频监控，尤其是对人和交通工具，已经成为最热门的研究主题。几乎所有的智能监 控系统都是从运动目标检测开始。运动目标检测的目的是将目标物体区域从整幅图像 中分割出来。运动目标检测的处理过程通常包括了环境建模，运动分割和目标识别等。 本文主要从目标检测的几种基本方法来讨论。 背景差分法在视频监控中是最受欢迎的算法。主动构建和更新背景模型是非常必 要的。背景模型可以分为图像平面的2 d 模型和真实世界坐标的3 一d 模型。由于2 一d 模型的简单性质，有着更多的应用。对于静止摄像机来说，自动的构建和更新动态场 景的背景图像是最关键的问题。光照的变化，阴影和摇动的树枝等都会给背景建模带 来困难。针对这些难点，根据背景模型的不同，有不同的方法来更新背景模型，解决 这些问题，包括图像序列的时间平均【8 9 ，自适应高斯估计【1 0 】，基于像素过程的参数估 计【n 。1 2 】等。& d d e r 等【】用卡尔曼滤波器为每一个像素建模，来补偿光照的变化。受到 基本的背景差分法的启发，一些统计的背景差分法被提出来用于检测目标。这些统计 的方法使用单个像素或者一组像素的特征来构建先进的背景模型，在处理过程中，统 计的背景模型可以动态更新。s t a u 虢r 等【1 2 m 】提出了一种构建和更新背景图像的理论框 架，它把每个像素值建模成混合高斯模型，通过与各个模型匹配来检测前景目标和更 新背景图像以适应光照的变化。但是这种方法不能区分阴影和前景，而且初始化速度 很慢。t 0 v a m a 【1 5 】提出了w a l l f o l w e r 算法，此算法背景的维持和更新在三个水平上进行， 像素级，区域级和图像帧级。h 撕t a o g l u 【1 6 】等建立了一个用三个数值来代表像素的统计 模型：灰度的最小值，最大值和一段训练时间连续帧间灰度差的最大值，这些值会周 期性的更新。m c k e n n a 掣1 。7 】联合使用了颜色和梯度信息来建立自适应背景模型，消除 阴影以及减少不可靠的颜色信息的影响。l u c i am a d d a l e m 等【1 8 】提出了通过人工神经网 络实现自组织背景建模的新方法，该方法可以处理场景的动态变化，渐变的光线，消 除阴影，获得鲁棒的检测效果。a i fi l y 嬲等【l9 】提出了改进的基于码本模型的背景建模 方法，该方法无论在普通或者困难条件下都能显示出具有意义的进步。0 m a r h 锄d o u n 【2 0 】等提出了一种基于背景减除法的新方法，该方法使用关键点构建背景模型， 再利用a d a b o o s t 分类器对前景点进行分类来检测行人。m a r k oh e i k b l a 等【2 l 】提出了用 l b p 纹理描述算子对运动目标来做检测，在背景差分法框架上进行背景建模和背景更 新，取得了很好的检测效果，但是实时性不是很好。 帧差法利用图像序列中两帧或者三帧的像素差异来提取运动区域。时间差分对动 态场景的变化是比较适用的，但是一般很难把相关的所有像素都提取出来，在运动区 域会留下一些空洞。l i p t o n 等( 2 2 】用帧差法来检测运动目标，通过阈值将此刻的图像帧 与先前的图像帧之差分割出来，提取出前景。再通过连通域分析，将零落的小点与运 动区域聚合起来。之后有很多帧差法的改进算法，三帧差分或者间隔五帧差分，减少 空洞十分有效。 基于光流法的目标检测是利用一段时间内运动目标的光流矢量特征来检测运动区 西南交通大学硕士研究生学位论文第4 页 域。例如m e v e 一2 3 。2 4 1 计算位移矢量场来初始化基于轮廓的跟踪算法。算法被称作主动 射线，用来提取有铰链的运动目标，检测的结果用来做步态的分析。基于光流的方法 可以用来检测移动摄像机情况下的运动目标。但是，大多数光流法的计算复杂度很高， 对噪声很敏感，应用于实时的检测系统必须要有专门的硬件支持。在b 卸n 的工作中 有更多光流法的详细讨论【2 5 j 。 在现实的视频监控场景中，不太可能使用单个摄像机同时监控所有的区域或者在 长时间内实时地跟踪运动目标。目标也有可能被建筑物或者树遮挡，有效的解决这个 问题的就是使用多摄像机联合工作，从不同视频角度来对目标进行检测和跟踪。 1 3 2 现存的难点问题 尽管在智能视频监控中研究者取得了很大的进步，但是要实现真实场景中端到端 的智能视频监控系统仍然面临了以下很大的挑战。 1 鲁棒性：真实场景中存在了很多突然或者逐渐的改变，在这样的真实场景中 对目标进行检测和跟踪主要面临的挑战是要去适应场景自然的动态变化，比 如光照，物体的运动，能见度，天气变化等。文献【2 6 】当中指出，要获得鲁棒 的算法在这些方面尤其困难。( 1 ) 由于天气变化或灯光变化而造成的光线变化。 例如，在室内场景，由于门窗的关闭，室外场景，天空中云层的流动等。( 2 ) 在多目标出现局部或者全部的重叠。( 3 ) 铰链式的或者非刚性物体的出现。( 4 ) 阴影，鬼影，反射，杂乱的影响。( 5 ) 视频噪声，如高斯白噪声的影响。 2 实时性：一种有用的智能视频监控算法必须是实时的【2 6 1 ，要求算法有较低的 复杂度设计的同时具有精确性和鲁棒性，是智能视频监控系统一项非常困难 的任务。 1 4 本论文工作和章节安排 本文主要研究智能视频监控场景下的对光照鲁棒的视觉运动目标检测与跟踪算 法，分析了基本的帧差法，背景差分法，光流法，并以背景差分法为基础进行深入的 研究。针对混合高斯模型速度慢的特点，采用了分类分块的思想，为了适应光照的突 变和物体的移入移出，提出了一种光照鲁棒性运动目标检测快速算法。由于描述纹理 特征的l b p 算子对光照不敏感，本文还着重讨论了基于纹理特征的l b p 算子及多种改 进算子在不同的场景下的检测性能。通过实验对比，分别选择适用不同场景的纹理描 述算子。针对白天场景，将中心对称c s l b p 算子进行改进，提出了新的m c s l b p 算 子。为了提高运算速率，本文又提出了结合帧差法或卡尔曼滤波器预测的目标区域 m c s l b p 算子检测方法，大大缩小m c s l b p 建模范围。针对夜间场景，经过对比分 析，选择基于c l b p 算子的运动目标检测方法，得到很好效果。最后提出了视觉目标 检测与跟踪总体方案。 本文章节主要安排如下： 西南交通大学硕士研究生学位论文第5 页 第l 章：讨论了智能视频监控系统研究背景意义以及国内外研究现状，概述了该 系统下视觉运动目标检测与跟踪算法，其中重点介绍了基于背景差分，处理光照变化 的运动目标检测方法。提出了几大难点，说明了本文在此基础上开展的研究工作。 第2 章：介绍了与视觉运动目标检测算法相关的图像处理基础知识以及运动目标 检测三大基本算法。 第3 章：引入分类分块思想，解决光照缓慢变化问题，在此基础上，提出了光照 鲁棒性的运动目标检测快速算法，解决光照突变和物体移入移出的问题。 第4 章：由于描述纹理特征的l b p 算子具有灰度平移不变性，对光照不敏感的优 点，本章研究基于l b p 的运动目标检测算法来解决光照条件弱或对比度低的问题。对 比分析了l b p 算子以及多种改进算子的检测性能，选择其中最有效的算子来进行目标 的检测。针对白天光照情况下，对c s l b p 算子进行改进，提出新的m c s l b p 算子， 并结合帧差法或卡尔曼滤波器预测，提出目标区域m c s l b p 算子建模方法。针对夜 间情况，选择使用c l b p 算子来检测运动目标，并与非线性反色调映射图像增强方法 作对比分析。采用了局部三值模式( l o c a lt e m a r yp a t t e r n s ，l t p ) 算子进行阴影的去 除。 第5 章：使用卡尔曼滤波器对运动目标进行跟踪，并提出视觉目标检测与跟踪系 统总体方案。 本文最后总结了本文研究的不足，提出了未来继续研究的方向。 西南交通大学硕士研究生学位论文第6 页 第2 章运动目标检测相关理论基础及基本算法 目前针对运动目标检测可以根据摄像机的运动情况分为两大类：一类是摄像机运 动的情况下，动态背景的运动目标检测，主要应用在计算机辅助驾驶系统等，另一类 是摄像机静止的情况下的静态背景中的运动目标检测。由于视频监控一般是采用一个 或者多个固定的摄像机对视野范围内的监控，背景场景在一定程度上处于静止状态， 因此本文主要研究第二类的情况。 2 1 运动目标检测常见方法 2 1 1 光流法 光流( o p t i c a ln o w ) 的概念是由g i b s o n 于1 9 5 0 年首先提出来的。所谓光流是指图像 中模式运动的速度。1 9 8 1 年，h o m 等人以相邻图像间的时间间隔和图像灰度变化都很 小为前提，推导出了灰度图像光流场计算的基本公式，这是经典的光流方法【2 7 】。其研 究的对象是二维运动( 或称投影运动) ，对应着前后帧图像相应位置灰度的改变，因此“光 流矢量”被定义为图像平面特定坐标点上的灰度瞬时变化率。空间中的运动特征可以用 运动场来描述，而图像中的运动物体就表示为图像序列中的相对位置的灰度分布不同。 把空间中的运动场转化到图像即为光流场。光流场是一个二维矢量场，它代表了各像 素点的瞬时运动速度矢量。光流场的方程推导如下： h o m 对光流的计算基于以下两个假设：1 在时间间隔内，在t 时刻图像中的任何 一点的亮度是恒定的；2 光流在整幅图像中是平滑的，即任一点都不是独立的。 设胞肜砂表示在t 时刻图像中坐标为 y ) 处的灰度值，将运动图像用时间和位置来 表示，那函数的泰勒公式可以展开为： 厂( x + 威，少+ 砂，f + 衍) = y ，f ) + 工出+ 砂+ z 衍+ d ( a 2 ) f 2 1 ) 其中，六，无，z 分别为舷只砂的偏导数。假设像素在时间间隔斫内移动的距离 分别为出，咖，魂忽略高阶项则有： 出| d l 七 ，a ) ) | 函 t = q ? 1 蕊 设c 为估计的速度： c = 做衍，砂以) = ( “，v ) ( 2 3 ) 其中，z ，= 出肋，v = 砂肋表示x 和少方向上的光流。对任一点撇力可将表示为： 夥圪+ z = 0 ( 2 4 ) 而耵= 六+ 工是点撇j 力的梯度，v ) 是点x 的光流。式( 2 4 ) 被称为光流约束 方程。根据假设2 引入全局平滑量来约束速度场： e 2 ( x ，j ，) = ( z 甜+ 乃，+ z ) 2 + 五( “，2 + 2 + 圪2 + 巧2 ) r 2 5 、 西南交通大学硕士研究生学位论文第7 页 其中，( 六材+ 乃v + z ) 2 表示光流误差；( “：+ 杉+ 曙+ 哆) 表示光流的平滑度；五是 权重值，五的取值随图像噪声的增大而增大。 估计的速度为： u = 面一，x p | d ，p = j 曩七 口。6 、 1 ，= 矿一乃尸d ，d = 旯2 + 六2 + 2 r 2 7 、 光流法在摄像机运动的情况下也可以检测出运动目标，而且不需要预先知道场景 的信息。但是由上面公式可以知道，光流法需要迭代很多次才可以收敛，所以难以满 足实时性的要求。在没有特定的硬件条件的支持下，是很难达到实时检测的目的。所 以在当前的智能视频监控系统的很少采用此方法。 2 1 2 帧间差分法 对于固定的摄像机视频监控系统，场景的变化比较微弱，而帧间差分法简单，对 场景比较稳定，目标的运动速度较快情况下的检测有比较好的鲁棒性。而且该方法计 算简单，实时性很强，直接利用图像序列前后帧相减来检测出运动目标。帧间差分法 的计算公式如下： b ( x ，y ) = i 五( x ，y ) 一以一，( x ，y ) l f 2 8 ) r c 工，y j i = ：箩：爰 二：；三； 。2 9 、 丁为阈值，两幅图像之间发生变化的位置为l ，没有发生变化的位置为o 。阈值的 设置也直接决定了检测的精确度，固定的阈值往往不能适应环境的变化，所以很多研 究者提出了自适应阈值的方法来应对环境的改变。但是此类方法也有很多的缺点。如 果仅利用帧差信息，前后帧运动重叠的区域会有空洞产生，而且又很容易产生“鬼影”， 检测的效果往往不是很精确。阈值的选择也会有很大的影响，阈值过大，会形成空洞， 而阈值过小，则会产生噪声。 2 1 3 背景差分法 背景差分法是目前最为流行的运动目标检测方法，它适用于摄像机静止的智能视 频监控系统，利用当前帧图像与背景模型图像作差，并通过阈值来分割前景的检测技 术。可以假设背景模型服从高斯分布，背景的噪声为高斯白噪声。背景差分法般分 为几个步骤，首先是背景建模，其次是前景检测，最后是背景模型更新。最简单的背 景建模方法是提取不含前景的视频前几帧图像，对这几帧图像采用均值滤波或者中值 滤波的方法来建立初始背景模型。但是在实际情况中，不含前景的视频图像是很难得 到的，所以也有很多研究者开展研究在含有前景的视频图像如何提取出完整的背景， 比如 2 8 1 文中提出了一种新的自适应背景初始化方法，能在含有前景的视频图像序列中 准确的提取出背景模型。在建立好背景模型之后，会使用当前帧中的背景信息去更新 西南交通大学硕士研究生学位论文第8 页 模型，使它能够适应缓慢的环境变化( 如光照变化) 等，在简单的场景有很好的适用 性。但是它不能处理突然的光照变化( 如闪电或者室内开关灯) 的情况，也不能去除 物体的阴影，为后续的处理带来了不便。而目前大多数的视频监控系统都是基于背景 差分法来开发的，所以研究中都致力于研究鲁棒的，能适应坏境变化的背景模型。此 法的优点是可以由含有运动目标的视频帧得到干净的背景，通过实时背景更新技术， 可以消除渐变的场景影响。 背景差分法的公式表达为： b ( 切= l 五( 一盹) i ( 2 1 0 1 鸠。，2 三茇 乏；三； 。2 。、 b ( 七+ 1 ) = ( 1 一口) b ( 尼) + 口( 七)( 2 - 1 2 ) 其中，删表示当前帧图像，b ( 抖1 ) 表示下一时刻的背景图像。a 是背景更新速率， 一般取较小的值。如果a 比较小，背景适应环境的变化就比较缓慢，若a 取较大的值， 背景适应环境的能力就比较强，但是很容易受到噪声的影响。 2 2 形态学处理 形态学一般是指生物学中研究动植物结构的分支科学，后来被人们用形态学处理 来对图像进行分析。数学形态学的基本思想是用一定形态结构的元素来度量和提取图 像中的对应形状2 9 1 。通过差分或者帧差的方法分割出的二值化图像会产生一些空洞或 者噪声，这种情况就可以使用形态学工具来消除噪声点和填补小的空洞。形态学处理 主要包括膨胀，腐蚀和开闭运算。 ， 2 2 1 膨胀 膨胀( d i l a t i o n ) 是指两个集合采用向量相加的方式来操作。两个操作数分别在集合a 和集合b 里面，以任意的方式组合。 彳0 b p 占2 ：p = 工+ 6 ，工彳绷如b ) ( 2 1 3 ) 其中，彳为二值化的图像，b 为膨胀的结构元素。那么膨胀运算结果图如图2 1 ： 一 彳b 膨胀结果 图2 1 膨胀示意图 西南交通大学硕士研究生学位论文第9 页 膨胀运算的结果是对检测目标的面积上增加了一定数量的像素，使得物体尺寸变 大，能够较为有效的填补目标面积上的空洞和缝隙。 2 2 2 腐蚀 腐蚀是膨胀的对偶运算，对两个集合向量采用减法运算。下式称为彳用b 来腐蚀， 腐蚀的结果是b 完全包括在彳中时b 的原点位置的集合。 4 = p 占2 ：p + 6 彳，对于每一个6 b ( 2 1 4 ) 一 一 一 彳召 腐蚀结果 图2 2 腐蚀示意图 腐蚀在形态学中的作用是去除小于结构元素的物体去除，消除物体的边界点。根 据选取的结构元素的大小来消除不用大小的物体。因此腐蚀最简单的作用就是消除二 值化图像中相关的细节，也可以消除较小的噪声。 2 2 3 开运算和闭运算 开运算和闭运算也是一对对偶运算，正如我们所见，膨胀扩大图像而腐蚀缩小图 像，开运算和闭运算都可以使物体的轮廓变得很光滑，但作用不同的是开运算主要作 用是去除狭窄的一些联系，同时消除细小的外部突出部分，而闭运算通常的作用是填 补狭窄的间隙和小孔洞，将轮廓线中的细小断裂部分连接起来。 先腐蚀后膨胀称为开运算( o p e n i n g ) ： 么。召= ( 彳。曰) o 占 ( 2 1 5 ) 先膨胀后腐蚀称为闭运算( c l o s i n g ) ： 彳b = ( 彳。曰) o b ( 2 1 6 ) 开操作满足下列的性质： 1 彳o b 是么的子集合( 子图) 。 2 若c 是d 的子集，则b o c 是do b 的子集。 3 ( 彳。曰) o 曰= 彳。召。 同样，闭操作也满足下列性质： 1 4 是彳曰的子集( 子图) 。 2 若c 是d 的子集，则c b 是d b 的子集。 3 ( 彳b ) 口= 彳b 。 西南交通大学硕士研究生学位论文第1 0 页 2 3 直方图统计 直方图是多种空间域处理技术的基础，在视觉目标检测中得到了很好的运用，如文 献【3 0 1 。直方图是关于图像的一阶统计特征，而灰度直方图则是统计一幅图像中各灰度 级出现的频数或者频率。灰度级为 o ，l 1 范围内数字图像的直方图是离散函数h ( 哟= 墩， 其中是第尼级灰度，仇是图像灰度级为的像素个数。如果像素的总数用玎来表示的 话，可以得到归一化的直方图。归一化的直方图可以表示为p ( 吆) = 刀，其中 脖o ，1 ，l 一1 。 前面提到的用阈值进行图像二值化的分割，而阈值的选择就可以用直方图来得到。 假设一幅图像的背景为浅色，而运动目标是深色，在灰度直方图中就可以表示为两个 峰值，如图2 3 所示，左峰表示的是运动目标的灰度值的频数，最多的地方呈现出一 个峰值，右峰表示的是大量的背景像素灰度值为浅色，数目累加一起就形成一个较高 的峰值，左峰与右峰之间会出现一个峰谷，而峰谷所对应的像素值就可以作为分割运 动目标的阈值。 图2 3 直方图统计图 当然，除了使用灰度值统计直方图之外，还可以使用其他特征来进行直方图的统 计，比如l b p 纹理特征等，本文采用了统计l b p 纹理直方图的方法对背景图像和含前 景的当前帧分别进行建模，通过建立的直方图模型进行直方图匹配，从来检测得到运 动的目标。 2 4 本章小结 本章主要介绍了视觉运动目标检测算法的三大基本算法原理，帧差分，背景差分 法，光流法，讨论了它们各自的特点。介绍了直方图原理，以及检测的后续处理需要 用到的形态学知识。本文后续主要研究基于背景差分法的检测算法。 西南交通大学硕士研究生学位论文第11 页 第3 章光照鲁棒性的运动目标检测快速算法 与光流法和帧差法相比而言，背景差分法的检测效果比较精确，在智能视频监控 系统中最常采用的一种方法，也是本文主要研究的一种方法。但是背景差分法会遇到 各种各样的场景，能得到适应场景检测需求的背景差分法也是研究的一大难点。主要 的问题来自于以下几个方面： 1 场景光线的变化，包括光线的渐变和突变，投影到背景的阴影，有可能是背景自 己的阴影，也可能是前景的阴影。 2 场景状态的改变，比如摄像机的抖动，摇摆的树枝，浮动的波纹等。 3 背景中运动物体的变化，可能是人或者车辆从运动状态转为静止状态，也有可能 从静止的背景中又运动起来，成为新的运动目标，简单归结为物体融入背景和移出背 景。 4 天气状态的影响，比如大雾天气，下雨和下雪天，或者夜间光照不明的情况下， 给检测也增添了很多的难度。 本章主要解决光照变化的问题，研究对光照渐变和突变都鲁棒的运动目标检测快 速算法。 3 1 背景模型初始化方法 1 统计平均值法 背景模型初始化方法中最为简单的是直接提取视频序列中不含前景的前几帧图像 来建立背景模型，统计一段时间内视频序列的平均值3 1 1 作为背景模型的初始值，这是 一种很简单有效的方法，但是在实际情况中，很难时刻找到不含前景的背景图像。 1 鼠= 专( 五+ 五一。+ + 六一+ 。) ( 3 1 ) 其中为序列的数目，五为k 时刻帧的像素值，b 表示背景图像。一般越大， 就越有利用构建一个较为接近真实的背景估计。图3 1 为- 2 0 为时，获得的初始