运动目标检测与跟踪研究

1、硕 士士 学学 位位 论论 文文论文题目目 运运动目标标检测与与跟踪的的研究与与实现 作者姓名名 郑志志洵指导教师师 杨杨建刚教教授 学科(专专业) 计算机机应用技技术 所在学院院 计计算机学学院 提交日期期 220066年5月月15日日 摘 要要在道路交交通管理理中，为为了获得得车辆的的运动数数据，早早期经常常采用的的是感应应线圈等等硬件测测量的方方法。而而如果采采用摄像像头拍摄摄的道路路视频，再用计计算机软软件处理理的方法法，则可可以极大大的增加加方便性性和灵活活性。本本文运动动目标检检测与跟跟踪研究究如何让让计算机机从视频频图像序序列中获获得物体体运动数数据。运动目标标检测与与跟踪分分为

2、背景景提取、运动点点团提取取、运动动点团位位置提取取、运动动物体跟跟踪这几几个步骤骤，本文文对每一一个步骤骤的各种种算法做做了实验验分析比比较研究究，并提提出了改改进算法法。在背背景提取取步骤提提出了改改进的基基于均值的背背景提取取算法以以及减少少图像像像素的兴兴趣区提提取算法法。在运运动点团团提取的的阴影处处理步骤骤提出了了改进的的基于RRGB空空间的阴阴影处理理算法。在运动动点团位位置提取取步骤提提出了改改进的线线段编码码算法。在运动动物体跟跟踪步骤骤提出了了基于预预测的运运动跟踪踪算法。实验与与分析说说明本文文提出的的算法优优于原算算法。本文还通通过实验验分析比比较了基基于灰度度图像序序

3、列的运动动目标检检测与跟跟踪、基基于边缘缘图像序序列的运运动目标标检测与与跟踪，它们都都没有基基于彩色色图像序序列的运运动目标标检测与与跟踪效效果好。最后，本本文得到到了一整整套运动动目标检检测与跟跟踪的方方法，它它们的健健壮性和和实时性性都符合合实际运运用的要要求。关键词：背景提取取、阴影影处理、运动目目标检测测、运动动跟踪、彩色图图像、灰灰度图像像、彩色色边缘检检测AbsttracctIn aa trrafffic conntrool ssysttem, inn orrderr too acchieeve thee daata of movvingg veehiccless, hhardd

4、warre iis iinsttallled to dirrecttly meaasurre tthemm inn thhe eearlly ddayss. IIf wwe uuse commputter sofftwaare to callcullatee thhe ddataa frrom traaffiic vvideeo, we cann gaain morre cconvveniiencce aand fleexibbiliity. Thiss thhesiis iis ffocuusedd onn thhe rreseearcch oof tthe metthodds oof aa

5、chiieviing thee daata of movvingg veehiccless frrom traaffiic vvideeo bby ccompputeer.Moviing objjectt deetecctioon aand traackiing cann bee diividded intto tthesse sstepps: bacckgrrounnd eextrracttionn, mmoviing bloob eextrracttionn, mmoviing bloobs pposiitioon aachiieviing andd moovinng oobjeect t

6、raackiing. Thhis theesiss shhowss ouur eexpeerimmentts aand anaalyssis on manny aalgooritthmss inn eaach of thee sttepss. IIt aalsoo shhowss thhe iimprroveemennt oof tthe alggoriithmms mmadee byy uss. TThe expperiimennts andd annalyysiss deemonnstrratee thhat thee immproovedd allgorrithhms aree beet

7、teer tthenn thhe oorigginaal ooness.Expeerimmentts aand anaalyssis alsso ddemoonsttratte tthatt moovinng oobjeect dettecttionn annd ttracckinng bbaseed oon ccoloor iimagges is bettterr thhan bassed on thee grray imaagess orr eddge imaagess.In tthe endd wee obbtaiin aa whholee meethood oof mmoviing o

8、bjjectt deetecctioon aand traackiing. Thhe rrobuustnnesss annd rreall-tiime prooperrty of thee meethood ccan reaach thee accquiiremmentt off thhe rreall apppliicattionn. Keywwordds:Backkgrooundd Exxtraactiion, Shhadoow EElimminaatioon, Movvingg Obbjecct DDeteectiion, Moovinng OObjeect Traackiing, Co

9、olorr Immagee, GGrayy Immagee, CColoor EEdgee Deetecctorr目 录录TOC o 1-4 u摘要 PAGEREF _Toc136414473 h IAbsttracct PAGEREF _Toc136414474 h II目录 PAGEREF _Toc136414475 h IIII第一章引引言 PAGEREF _Toc136414476 h 1第二章运运动目标标检测和和跟踪的的流程 PAGEREF _Toc136414477 h 22第三章背背景提取取 PAGEREF _Toc136414478 h 73.1 彩色图图像的背背景提取取 PA

10、GEREF _Toc136414479 h 73.1.1 基基于均值值的彩色色图像背背景提取取 PAGEREF _Toc136414480 h 83.1.2 改改进的基基于均值值的彩色色图像背背景提取取 PAGEREF _Toc136414481 h 93.1.3 基基于中值值滤波的的彩色背背景图像像提取 PAGEREF _Toc136414482 h 1113.1.4 基基于共同同区域的的彩色图图像背景景提取 PAGEREF _Toc136414483 h 1133.1.5 彩彩色图像像背景提提取的实实验分析析 PAGEREF _Toc136414484 h 163.2 灰度图图像的背背景提

11、取取 PAGEREF _Toc136414485 h 243.2.1 彩彩色图像像转换成成灰度图图像 PAGEREF _Toc136414486 h 2443.2.2 灰灰度图像像的背景景提取 PAGEREF _Toc136414487 h 2253.3 边缘图图像的背背景提取取 PAGEREF _Toc136414488 h 263.3.1 彩彩色图像像的边缘缘提取 PAGEREF _Toc136414489 h 2273.3.2 边边缘图像像的背景景提取 PAGEREF _Toc136414490 h 228第四章运运动点团团提取和和背景更更新 PAGEREF _Toc136414491

12、h 3114.1 彩色图图像的运运动点团团提取 PAGEREF _Toc136414492 h 3314.1.1 基基于马氏氏距离的的运动点点团提取取 PAGEREF _Toc136414493 h 324.1.2 基基于欧氏氏距离的的运动点点团提取取 PAGEREF _Toc136414494 h 354.2 阴影处处理 PAGEREF _Toc136414495 h 3884.2.1 基基于RGGB空间间的阴影影处理 PAGEREF _Toc136414496 h 3394.2.2 改改进的基基于RGGB空间间的阴影影处理 PAGEREF _Toc136414497 h 4404.2.3

13、基基于HSSI空间间的阴影影处理 PAGEREF _Toc136414498 h 4424.3 灰度图图像的运运动点团团提取 PAGEREF _Toc136414499 h 4444.4 边缘图图像的运运动点团团提取 PAGEREF _Toc136414500 h 4474.5 基于帧帧间差的的运动点点团提取取及其与与背景差差法比较较 PAGEREF _Toc136414501 h 494.6 背景更更新 PAGEREF _Toc136414502 h 500第五章兴兴趣区提提取 PAGEREF _Toc136414503 h 5115.1 兴趣区区的提取取和实验验 PAGEREF _Toc1

14、36414504 h 515.2 道路繁繁忙度获获取 PAGEREF _Toc136414505 h 533第六章运运动点团团的位置置提取 PAGEREF _Toc136414506 h 5546.1 数学形形态学处处理 PAGEREF _Toc136414507 h 5446.2 轮廓追追踪 PAGEREF _Toc136414508 h 5666.3 线段编编码 PAGEREF _Toc136414509 h 5776.4 改进的的线段编编码 PAGEREF _Toc136414510 h 5886.5 运动点点团层运运动跟踪踪PAGEREF _Toc136414511 h 59第七章运运

15、动跟踪踪 PAGEREF _Toc136414512 h 627.1 卡尔曼曼滤波 PAGEREF _Toc136414513 h 6627.2 基于预预测的运运动跟踪踪 PAGEREF _Toc136414514 h 647.3 运动跟跟踪算法法的计算算复杂性性分析与与改进 PAGEREF _Toc136414515 h 6687.4 基于边边缘图像像的运动动跟踪结结果 PAGEREF _Toc136414516 h 6997.5 基于预预测的运运动跟踪踪算法在在不同采采样率下下的健壮壮性 PAGEREF _Toc136414517 h 7007.6 运动跟跟踪的最最终结果果 PAGEREF

16、 _Toc136414518 h 74第八章总总结与展展望 PAGEREF _Toc136414519 h 755参考文献献 PAGEREF _Toc136414520 h 76致谢 PAGEREF _Toc136414521 h 788第一章 引言在道路交交通控制制管理领领域，管管理部门门需要掌掌握道路路上车辆辆的速度度、车辆辆的数量量等等数数据以控控制红绿绿灯平衡衡道路车车流量、对超速速和闯红红灯的车车辆进行行处罚。早期，人们一一般采用用感应线线圈的方方式获得得车辆的的速度、车辆的的数量等等数据。这种方方法，需需要在检检测路段段埋入感感应线圈圈，这需需要对道道路施工工，会影影响交通通，严重

17、重影响道道路寿命命，并且且感应线线圈设备备容易被被重型车车辆压坏坏，维护护起来又又要对道道路施工工，非常常麻烦1。随着计算算机技术术的发展展，道路路交通数数据获取取不再需需要复杂杂的线圈圈设备了了。只需需在检测测路段固固定摄像像头，摄摄像头拍拍摄的道道路数字字化视频频压缩后后通过传传输线路路（如光光纤）传传输到监监控中心心，监控控中心的的计算机机采用数数字图像像处理的的方法将将道路交交通的数数据计算算出来2。与早期期的方法法相比，这种方方法利用用了软件件算法通通过计算算机的强强大计算算能力得得到我们们需要的的数据，而不是是复杂的的硬件设设备（如如感应线线圈）对对数据直直接测量量。这极极大的增增

18、加了方方便性和和灵活性性。如何何让计算算机从视视频图像像序列中中获得道道路交通通数据，例如车车辆的速速度等，近年来来很多人人对此展展开了研研究。从视频图图像序列列中获得得运动物物体的数数据的方方法除了了能运用用在道路路交通外外，也能能运用于于各种监监控领域域，例如如小区防防盗、银银行监控控等等，用以检检测和跟跟踪进入入场景的的人或物物体，应应用范围围非常广广泛。本文就是是研究如如何让计计算机从从视频图图像序列列中获得得物体运运动数据据视频频图像序序列中运运动物体体的检测测和跟踪踪。研究究以道路路交通作作为实验验场景，单摄像像头且摄摄像头固固定的情情况。输输入是RGGB色彩彩空间的的视频图图像序

19、列列，目标标是实现现对视频频图像序序列中运运动物体体的跟踪踪，获得得其在图图像坐标标下的速速度。而而多摄像像头的情情况和摄摄像头跟跟随物体体运动的的情况，比单摄摄像头且且摄像头头固定的的情况复复杂，例例如多摄摄像头的的多个二二维图像像序列中中如何重重构三维维场景等等。单摄摄像头且且摄像头头固定的的情况是是最基本本的情况况，因此本本文集中中精力研研究单摄摄像头且且摄像头头固定情情况下的的运动目目标检测测和跟踪踪。第二章运运动目标标检测和和跟踪的的流程在道路视视频图像像序列中中获得车车辆的速速度，可可以使用用简单的的方法，就是在在图像中中的道路路位置设设置虚拟拟检测线线，模拟拟感应线线圈，根根据虚

20、拟拟检测线线上的像像素颜色色的变化化得到经经过虚拟拟检测线线的车辆辆的速度度，同时时也可以以对经过虚拟拟检测线线的车辆辆计数3。这种方方法有很很大的局局限性。首先，它需要要人工标标定虚拟拟检测线线，摄像像头一旦旦换位置，就需要要重新设设定一次次虚拟检检测线，很不方方便；其其次，它它只能检检测通过过虚拟检检测线的的车辆，而对图图像其他他区域的的车辆一一无所知知，图像像的大量量信息丢丢失掉了了。因此此，本文文不采取取虚拟检检测线的的方法，而以运运动物体体（车辆辆）为目目标，跟跟踪每个个运动物物体在视视频图像像序列中中的位置置，进而而得到每每个物体体的运动动速度和和运动物物体总数数。运动目标标检测与

21、与跟踪的的流程有有三个层层次，如如图一4。每个个层次再再细分，可以得得到图二二的几个个步骤。图像像素层运动点团层运动物体层图一 运运动目标标检测与与跟踪的的层次 视频图像序列 边缘检测 背景提取 运动点团提取 运动点团位置提取 数学形态学处理 物体运动跟踪 兴趣区获取 灰度转换 道路繁忙度 车型车牌识别 道路事件检测 摄像头标定物体真实速度获取 背景更新 图二 运运动目标标检测和和跟踪的的步骤系统的输输入是彩彩色视频频图像序序列。检检测运动动物体需需要无运运动物体体的背景景图像，而视频频图像序序列中的的每帧图图像一般般都有运运动物体体，因此此需要提提取背景景。背景景图像提提取出来来后，将将每一

22、帧帧图像与与背景图图像作差差，然后后二值化化，得到到前景像像素构成成的运动动点团图图像，这这就是背背景差法法。背景提取取有很多多种算法法，第三三章将详详述与比比较各种种背景提提取算法法，并提提出一种种改进的的算法，实验证证明改进进的算法法有更好好的效果果。除了了直接将将视频图图像序列列做处理理外，还还可以先先将视频频图像序序列转换换成灰度度图像序序列，然然后在灰灰度图像像序列上上做运动动目标检检测和跟跟踪；或或者，因因为前景景、背景景分离的的最重要要的信息息是边缘缘信息，可先将视视频图像像序列转转换成边边缘图像像序列，然后在在边缘图图像序列列上做运动目目标检测测和跟踪踪5。第第三章也也讲述了了

23、彩色图图像转变变成灰度度图像的的方法以以及提取取彩色图图像的边边缘图像像的方法法。第四章讲讲述并比比较了每每一帧图图像与背背景图像像作差的不不同方法法。由于于阴影的的存在，背景差差法会把把阴影作作为运动动物体的的一部分分，而阴阴影会把把不同的的运动物物体连成成一片，影响之之后的处处理，因因此需要要对阴影影做特别别处理。第四章章讲述和和比较了了阴影处处理的不不同方法法，并提提出一种种改进的的算法，实验分分析其优优于其他他算法。第四章章也指出出了基于于灰度图图像的运运动点团团提取无无法解决决阴影的的问题，因此基基于灰度度图像的的运动目目标检测测与跟踪踪方法没没有基于于彩色图图像的方方法好。提取运运

24、动前景景像素除除了上面面所述背背景差法法外，还还可以采采用相邻邻两帧图图像作差差的帧间差差法66，第四四章接着着讲述帧帧间差法法，并将将其与背背景差法法比较。图像会会随时间间而变化化，得到到前景和和背景像像素后，就可以以对背景景图像做做更新，第四章章最后讲述述背景更更新的策策略。并不是图图像的每每一个像像素都会会出现运运动物体体，关注注区是图图像中可可能会出出现运动动物体的的部分。在背景景提取的的时候可可以同时时获取关关注区，之后的的处理就就集中在在关注区区中，这这是减少少图像像像素数，减少处处理时间间的好方方法。第第五章讲讲述了关关注区的的提取方方法和利利用关注注区数据据计算道道路繁忙忙度的

25、方方法。前面讲述述的处理理方法都都是基于于图像像像素的，属于图图一中的图图像像素素层，这这一层处处理的结结果是运运动点团团二值图图像，11代表运运动前景景像素，0代表表背景像像素。接接下来到到了运动动点团层层处理。第六章章讲述运运动点团团层的处处理。首先是对对运动点点团二值值图像做做数学形形态学处处理，去去除微小小的噪声声物体。然后提提取运动动点团的的位置和和大小。提取运运动点团团的位置置和大小小有多种种算法，第六章章比较了了不同的的算法，并且提提出了改改进算法法，改进进算法更更适合运运动目标标检测和和跟踪。第六章章还讲述述了运动动点团层层的运动动跟踪，并指出出了其存存在的几几个问题题，为解解

26、决这些些问题，必须在在运动点点团层上上增加运运动物体体层（见见图一），从而而引出了了第七章章。另外外，在运运动跟踪踪时，我我们是先先确定一一帧图像像中所有有运动点点团的位位置，然然后和前前一帧图图像中的的运动点点团位置置关系判判断是否否为同一一运动物物体。还有一一种运动动跟踪的的方法7：在在当前运运动点团团邻域搜搜索匹配配下一帧帧中的运运动点团团，这种种方法不不需要提提取运动动点团的的位置和和大小，可以称称之为基基于像素素的运动动跟踪，然而图图像的像像素数量量是很大大的，这这种像素素点搜索索匹配的方方法所需需的时间间远远多多于我们们的方法法，因此此我们没没有采用用这种像像素点搜搜索匹配配的方法

27、法。第七章讲讲述运动动物体层层的运动动跟踪。首先，介绍了了卡尔曼曼滤波器器，其可可以用于于运动跟跟踪44，但但其存在在一些问问题，由由卡尔曼曼滤波器器启发，本文提提出了一一种基于于预测的的运动跟跟踪方法法，其实实质是一一种简化化的卡尔尔曼滤波波器，很很好的解解决了卡卡尔曼滤滤波器存存在的问问题。我我们做了了很多实实验验证证了此算算法的健健壮性。这一章章还比较较了基于于边缘图图像的运运动跟踪踪与基于于原始的的彩色图图像的运运动跟踪踪的效果果，指出出了基于于边缘图图像的运运动跟踪踪差于基基于原始始彩色图图像的运运动跟踪踪的原因因。图二中虚虚线框的的步骤，是物体体运动跟跟踪之后后可以继继续进行行的后

28、续续步骤，本文把把精力集集中放在在运动目目标检测测和跟踪踪的研究究上，没没有对这这些后续续步骤做做更多研研究，在在这里做做简单说说明：运动物物体真实实速度获获取的目目的是把运动跟跟踪得到到的物体体在图像像二维坐坐标下的的速度转转换成真真实空间间三维坐坐标下的的速度，其涉及及到摄像像头标定定；车型车车牌识别别、道路路事件检检测是将将运动跟跟踪得到到的车辆辆和道路路数据作作进一步步的处理理，以得得到诸如如车型、车牌、车辆是是否闯红红灯、车车辆是否否超速等等等，其其涉及到到很多研研究方向向，如模模式识别别等。我们研究究运动目目标检测测和跟踪使使用道路路交通作作为实验验场景。我们对对多组实实验数据据进

29、行实实验，每每组实验验数据是是一段彩彩色的视视频图像像序列，所有实验验视频数数据的分分辨率都都归一到到72003522像素。下下文所说说的“实验数数据一”是交通通管理部部门摄制制的155秒道路路视频，图三是其中中的一帧帧；“实验数数据二”是我们们用数码码相机到到天桥上上摄制的的23秒秒道路视视频，图图四是其中中的一帧帧。图三 实实验数据据一的一一帧图像像图四 实实验数据据二的一一帧图像像第三章 背景提提取背景提取取是在视视频图像像序列中中提取出出背景。背景就就是场景景中静止止不动的的景物。因为摄摄像机不不动，因因此图像像中的每每个像素素点都有有一个对对应的背背景值，在一段段时间内内这个值值比较

30、固固定。背背景提取取的目标标就是根根据视频频图像序序列，找找出图像像中每一一点的背背景值。这是下下一步运运动点团团提取的的基础。在运动动点团提提取中，背景提提取这一一步提取取出来的的背景图图像将作作为参考考图像，每一帧帧图像都都要与背背景图像像作差，把把背景去去除，以以得到运运动点团团前景。因此，这一步步提取出出的背景景图像的的好坏将将直接影影响到之之后每一一帧的运运动点团团提取的的质量。背景会会随着时时间的变变化而发发生变化化，例如如光照变变化导致致背景亮亮度、色色度变化化；运动动物体停停止运动动成为背背景的一一部分；又如背背景的一一部分运运动起来来成为运运动前景景等。因此此背景需需要不断断

31、更新，而背景景的更新新一般需需要运动动前景的的信息，所以背背景的更更新将在在第四章讲述。本章讲述述背景初初始化的的方法，即在没有有运动前前景的任任何信息息的情况况下提取取背景图图像，输输入是视视频图像像序列，每帧图图像都包包括运动动物体和和静止景景物，输输出是只只含静止止景物的的背景图图像。第第3.11节讲述述原始彩色色图像的的背景提提取，处处理对象象是彩色色图像序列列；第3.2节讲讲述灰度度图像的的背景提提取先把彩彩色图像像序列转转换成灰灰度图像像序列，再对灰灰度图像像序列提提取背景景；第33.3节讲述边缘缘图像的的背景提提取先对彩色色图像提提取边缘缘，再对对边缘图图像序列列提取背背景，这这

32、是考虑虑到为将将运动前前景和静静止背景景分离，边缘信信息起到到的重要要作用。3.1 彩色图图像的背背景提取取原始彩色色图像的的背景提提取，基基本思想想是，图图像中的的某个像像素按时时间抽样样，其作作为背景景像素的的时间比比作为运运动前景景的时间间长，即即其作为为背景的的概率比比作为前前景的概概率大，而且背背景和前前景在颜颜色上和和亮度上上都有很很大不同同。这是是因为，对于固固定场景景，运动动物体在在运动，其转瞬瞬即逝，大多数数时间我我们看到到的都是是静止背背景，因因此图像像上某个个像素点点作为前前景的时时间相对对作为背背景的时时间短得得多；而而且，运运动物体体和静止止背景在在色彩上上有明显显区

33、别，人能轻轻易分辨辨出前景景物体，即使在在一张静静止图像像上。不不论何种种方法，都是基基于这个个思想。下面分分别讲述述不同方方法。各各个方法法的实验验对比分分析在第第3.11.5节节。3.1.1 基基于均值值的彩色色图像背背景提取取这是背景景提取的的最简单单的方法法。因为为视频中的的某个像像素对时时间采样样，背景景出现的的次数比比前景多多，因此此，将一一定的时时间段中中的视频频序列采采样，比比如2.5帧/秒，对每一一个像素素，将这这一段时时间中的的所有图图像帧取取平均，那么这这个平均均值会接接近背景景，背景景出现的的次数比比前景越越多，则则这个平平均值就就越接近近背景。前面已已经说过过，运动动

34、前景是是转瞬即即逝的。就以这这个平均值作作为这个个像素的的背景值。同时，求取平平均值还还可以在在一定程程度上抑抑制噪声声。具体体算法如如下：1)在某某时间段段采样得得到N个个图像帧帧Fi, ii=1,2N；2)对每每一个像像素点(x,yy)，背背景设图像的的总像素素数为MM，对每每一个像像素都要要遍历NN个图像像帧，因因此这个个算法的的时间复复杂度是是O(MMN)。实验数据据一2.5帧/秒采样样10秒秒得到的的背景如如图五，实验数数据二22.5帧帧/秒采采样100秒得到到的背景景如图六六。从图图中我们们可以看看到前景景的痕迹迹，特别别在车辆辆较密的的车道。此方法法和其他他方法的的实验对对比分析

35、析见第33.1.5节。图五 实实验数据据一基于于均值的的背景图图像图六 实实验数据据二基于于均值的的背景图图像3.1.2 改改进的基基于均值值的彩色色图像背背景提取取在第3.1.11节我们们只是简简单的使使用了平平均值求求取背景景。在求求平均值之之前，如如果能去去除不大大可能是是背景的的像素，那么求求出来的的平均值值会更加加接近背背景。然然而，这这个时候候前景还还没不知知道，用用什么方方法可以以简单有有效的得得到不大大可能是是背景的的像素呢呢？根据据背景出出现的次次数比前前景多，且前景景颜色和和背景不不同，可可以知道道，对于于某个像像素点，其对时时间的采采样点在在彩色RRGB空空间中会会以背景

36、点点为中心点点聚集在在一起，而前景点点会离中中心点比比较远。可以认认为，像像素颜色色矢量的的一个分分量离中中心点的的距离超超过这个个分量的的标准差差的点不不大可能能是背景景，即使使是背景景，也叠叠加了比比较大的的噪声。标准差差计算公公式为，c=rr,g,b表示示矢量的的红、绿绿、蓝三三种颜色色分量，X0是样本本的平均均值。因因此，可可以对基基于均值值的彩色色图像背背景提取取算法做做改进：在求平平均值之之后求标标准差，然后把把与均值值大于标标准差的的采样点点去除，最后再再求余下下的点的的平均值值，把此此值作为为背景值值。改进进的算法法如下：1)在某某时间段段采样得得到N个个图像帧帧Fi, ii=

37、1,2N；2)对每每一个像像素点(x,yy)：a)求中中心点；b)求标标准差，c=rr,g,b；c)求集集合中所所有元素素的平均均值，这这个值就就是所求求背景BB(x,y)。设图像的的总像素素数为MM，则对对每一个个像素都都要遍历历3次NN个图像像帧求中心心点一次次，求标标准差一一次，最最后再求求均值一一次，因因此这个个算法的的时间复复杂度是是O(33MN)=O(MN)，比原原来的单单纯求平平均值的的算法费费时。实验数据据一2.5帧/秒采样样10秒秒得到的的背景如如图七；实验数数据二22.5帧帧/秒采采样100秒得到到的背景景如图八八。可以以看到，此方法法得到的的背景图图像比单单纯求平平均值的

38、的算法好好，单纯纯求平均均值的方方法得到到的背景景图像留留有不少少运动前前景的痕痕迹，而而此改进进算法得得到的背背景图像像中运动动前景痕痕迹就少少多了。此方法法和其他他方法的的实验对对比分析析见第33.1.5节。图七 实实验数据据一改进进的基于于均值的的背景图图像图八 实实验数据据二改进进的基于于均值的的背景图图像3.1.3 基基于中值值滤波的的彩色背背景图像像提取中值滤波波器能有有效的去去除图像像的噪声声。它的的一般算算法为8：遍历图像像的每一一个像素素，将它它和与它相邻邻的八个个像素的的灰度排排序，取取排在中中间的像像素的灰灰度值作作为输出图图像的这这个像素素的灰度度。因为噪声声点的灰灰度

39、与非非噪声点点差别大大，而且且图像有有空间局局部性，也就是是说，对对于没有有被噪声声污染的的图像，里面的的每一个个像素和和它相邻邻的像素素的灰度度差别不不大。我我们将这这个像素素和它相相邻的像像素排序序，噪声声点将被被排到两两边，排排在中间间的像素素就是没没被噪声声污染的的像素，把它作作为滤波波结果。这就是是中值滤滤波器能能有效去去除图像像噪声的的原因。上面说的的是灰度度图像的的中值滤滤波，如如何将其其扩展到到彩色图图像呢？彩色图图像一般般使用RRGB空空间表示示，每个个像素点点是一三三维矢量量，各个个分量分分别代表表红、绿绿、蓝三三个颜色色的灰度度。可以以分别将将这三种种颜色的的灰度图图做中

40、值滤滤波，然然后合成成。然而而这种方方法将导导致滤波波后一个个像素的的三个分分量来自自不同的的像素点点，合成成后的颜颜色不可可避免的的被扭曲。可以采采取另外外一种方方法。考考虑到噪噪声点的的颜色与与非噪声声点差别别大，在在滤波时时的排序序中排到到两边，可以将将彩色图图像转换换成灰度度图像，在转换换后的灰灰度图像像中噪声声点和非非噪声点点也会有有较大的的差别，排序后后，取排排在中间间的像素素对应的的原始彩彩色图像像的像素素矢量作作为滤波结结果。这这样滤波波结果的的每一个个像素都都是原始始彩色图图像中真真实存在在的像素素，避免免了同一一个像素素的三个个颜色分分量来源源于不同同的像素素导致的的颜色扭

41、扭曲。彩彩色图像像转换成成灰度图图像的方方法详见见第3.2.11节。将将中值滤滤波扩展展到彩色色图像的的算法如如下：将彩色图图像转换换成灰度度图像，遍历灰灰度图像像的每一一个像素素，将它它和与它相邻邻的八个个像素的的灰度排排序，取取排在中中间的像像素对应应的原始始彩色图图像的像像素矢量量作为输出图图像的这这个像素素。中值滤波波是对单单幅图像像在空间间采样点点上的滤滤波，不不能直接接用于背背景提取取。对于于背景提提取，我我们需要要将此算算法扩展展。视频频中的某某个像素素对时间间采样，背景出出现的次次数比前前景多，可以认认为前景景是“噪声”，这样样我们就就可以对对一个像像素在时时间上采采样得到到的

42、样本本进行滤滤波对它们排排序，噪噪声将排排在两边边，即前前景排在在两边，排在中中部的是是背景，取排在在中间的的像素作作为背景景结果9。我们处处理的是是彩色图图像序列列，因此此如前所所述，将将彩色图图像转换换成灰度度图像，然后在在滤波的的排序后后，选择择排在中中间的像像素对应应的原始始彩色图图像的像像素矢量量作为滤滤波结果果。具体体算法如如下：1)在某某时间段段采样得得到N个个图像帧帧Fi, ii=1,2N；2)对每每一个像像素点(x,yy):a)将彩彩色像素素矢量FFi(x,y)转转换成灰灰度Gii(x,y)，i=11,2N;b)将集集合GGi(x,y)|i=11,2N中中的元素素排序；c)设

43、排排在中间间的是GGk(x,y)，则像素素矢量FFk(x,y)作作为滤波波结果。对n个元元素排序序的时间间复杂度度是O(nloogn)或者OO(n22)，取取决于算算法，其其不是线线性的，随着nn的增大大迅速增增大。设设图像的的像素数数是M，对每个个像素都都要对采采样的NN个样本本进行排排序，因因此此算算法的时时间复杂杂度是OO(MNNloggN)或或者O(MN22)，是是比较耗耗时的算算法。实验数据据一2.5帧/秒采样样10秒秒得到的的背景如如图九，实验数数据二22.5帧帧/秒采采样100秒得到到的背景景如图十十。此方方法和其其他方法法的实验验对比分分析见第第3.11.5节节。图九 实实验数

44、据据一基于于中值滤滤波的背背景图像像图十 实实验数据据一基于于中值滤滤波的背背景图像像3.1.4 基基于共同同区域的的彩色图图像背景景提取在一个像像素的所所有随时时间采样样的样本本中，在在求均值值之前，如果能能去除不不大可能能是背景景的样本本，那么么求出来来的平均均值会更更加接近近背景。关键问问题是在在不知道道前景的的情况下下，如何何决定哪哪些样本本不大可可能是背背景。第第3.11.2节节讲了一一种基于于标准差差的方法法：认为为离中心心点距离大大于标准准差的点点不大可可能是背背景点。有没有有不用计计算标准准差的方方法呢？考虑前前后相隔隔一定时时间的两两图像帧帧，因为为前景在在运动，其转瞬瞬即逝

45、，因此同同一个像像素在有有一定时时间间隔隔的两帧帧中如果果差别不不大，则则它很大大可能是是背景前景景在这段段时间中中必然运运动变化化了；如如果这个个像素在在这两图图像帧中中差别很很大，则则至少有有一帧中中的这个个像素不不是背景景。称在在有一定定时间间间隔的两两图像帧帧中差别别不大的的像素点点的集合合为共同同区域，认为共共同区域域就是背背景区域域。在一一定的时时间段中中，采样样得到若若干有一一定时间间间隔的的图像对对，每个个图像对对找共同同区域，然后对对共同区区域求平平均值得得到最后后的背景景图像10。这时时还要考考虑某些些像素不不在任何何背景区区域中的的情况如果果前景运运动变化化过于频频繁，某

46、某像素在在任何图图像对中中都有很很大差别别，这种种情况将将出现。这时，这个像像素的背背景值采采用所有有采样图图像帧求求均值的的方法得得到。像素在图图像对中中的差别别用像素素矢量（彩色图图像，像像素是RRGB空空间的矢矢量）的的欧氏距距离来量量度，如如果其大大于一阈阈值，则则认为差差别大，否则认认为差别别小。这这个阈值值可以和和第四章章运动点点团前景景提取的的二值化化阈值相相同，因因为它们们的内涵涵都是前前景和背背景差别别的量度度。这个阈阈值如何何确定将将在第四四章详细细讲述。另外，考虑阈阈值的极极端情况况，如果果这个阈阈值很小小，任何何像素在在图像对对中的差差别都大大于这个个阈值，则找不不到任

47、何何共同区区域，这这时每一一个像素素的背景景都是单单纯用所所有采样样图像帧帧的平均均值得到到；如果果这个阈阈值很大大，任何何像素在在图像对对中的差差别都小小于这个个阈值，则每个个图像对对中的所所有像素素都是共共同区域域，这时时每一个个像素的的背景也也是由所所有采样样图像帧帧的均值值得到。在这两两种极端端情况下下，这个个方法都都蜕变成成第3.1.11节的基基于均值值的图像像背景提提取算法法，所以以基于均均值的图图像背景景提取算算法是基基于共同同区域的的图像背背景提取取算法的的特殊情情况。详详细算法法如下：1)在某某时间段段采样得得到N个个图像帧帧Fi, ii=1,2N；2)对每每一个像像素点(x

48、,yy):a)集合合A=；b)对每每一个图图像对FFi(x,y)和和Fi+N/22(x,y)，i=11,2N/22 如果果，则将将Fi(x,y)和和Fi+N/22(x,y)加加入集合合A，其其中Taa是阈值值；c)计算算集合AA中所有有元素的的均值作作为像素素点(xx,y)的背景景值。设图像的的总像素素数为MM，则对对每一个个像素都都要遍历历2次NN个图像像帧产生集集合A的的点一次次，求平平均值一一次，因因此这个个算法的的时间复复杂度是是O(22MN)=O(MN)。实验数据据一2.5帧/秒采样样10秒秒得到的的背景如如图十一一；实验验数据二二2.55帧/秒秒采样110秒得得到的背背景如图图十二

49、。从图中中可以看看到，提提取出的的背景并并不平滑滑，这是是因为每每个像素素计算均均值的集集合的大大小不一一样所致致。此算算法每个个像素计计算均值值的集合合（即上上述集合合A）的的大小的的变化范范围要比比改进的的基于均均值的方方法大得得多，这这导致了了其提取取出的背背景图像像在这几几种方法法中最不不平滑。此方法法和其他他方法的的实验对对比分析析见第33.1.5节。图十一 实验数数据一基基于共同同区域的的背景图图像图十二 实验数数据二基基于共同同区域的的背景图图像3.1.5 彩彩色图像像背景提提取的实实验分析析实验采用用10秒秒道路交交通视频频数据，在上面面做均匀采采样，例例如采样样率是11帧/秒

50、秒（1ff/s），就是是每秒取取1帧，总共在在10秒秒中均匀匀取100帧；采采样率55帧/秒秒（5ff/s），就是是每秒取取5帧，总共在在10秒秒中均匀匀取500帧。实实验在赛赛扬1.0G CPUU、3884兆内内存的计计算机上上进行。表表一是前前述四种种方法在在不同采采样率下下处理完完毕实际际所需的的时间，只包括括处理时时间，不不包括图图像序列列读取和和背景图图像输出出的时间间。不同同采样率率意味着着处理的的总图像像数不同同，采样样率与时间（这里110秒）之积就是是总图像像数。采采样率越越高，处处理的时时间越长长，见表表一。采样率(f/ss)122.556.25512.5525基于均值值(s

51、)0.755 0.933 1.100 1.722 2.166 3.822 7.133 改进的基基于均值值(s)1.566 2.977 3.500 6.444 8.288 17.772 34.337 基于中值值滤波(s)0.577 1.100 1.288 3.288 4.699 14.990 47.885 基于共同同区域(s)0.577 0.844 0.977 1.533 1.699 3.255 6.033 表一 不不同方法法提取背背景实际际所需处处理时间间我们可以以由表一一作出不不同算法法处理时时间与采样样率的关关系图。基于均均值的背背景提取取方法的的时间与与采样率率关系图图见图十十三；改改进

52、的基基于均值值的背景景提取方方法的时时间与采采样率关关系图见见图十四四；基于于中值滤滤波的背背景提取取方法的的时间与与采样率率关系图图见图十十五；基于于共同区区域的背背景提取取方法的的时间与与采样率率关系图图见图十十六。图十三 基于均均值的彩彩色图像像背景提提取时间间与采样样率关系系图图十四 改进的的基于均均值的彩彩色图像像背景提提取时间间与采样样率关系系图图十五 基于中中值滤波波的彩色色图像背背景提取取时间与与采样率率关系图图图十六 基于共共同区域域的彩色色图像背背景提取取时间与与采样率率关系图图从表一和和图十三三至图十十六可以看看到，背背景提取取所需时时间随采采样率的的增加而而增加；除了基

53、基于中值值滤波的的背景提提取方法法外，其其他方法法处理时时间随采采样率增增加线性性增加；而基于于中值滤滤波的背背景提取取方法，处理时时间随采采样率增增加显著著增长；基于均均值的背背景提取取方法和和基于共共同区域域的背景景提取方方法所需需时间差差别不大大；改进进的基于于均值的的背景提提取方法法比基于于均值和和基于共共同区域域的方法法需要时时间多。这个和和前面每每种方法法的时间间复杂度度分析是是一致的的。为了比较较不同算算法求得得的背景景图像的的效果，需要获获得标准准背景作作为比较较标准。标准背背景采用用同一场场景尽可可能多的的图像帧使用第第3.11.2节节的改进进的基于于均值的的背景提提取算法法

54、取得。这是因因为此算算法根据据标准差差先将不不大可能能是背景景的像素素去除了了，比单单纯用平平均值准准确，同同时在一一定程度度上抑制制了噪声声，并且且由于使用用了尽可可能多的的图像，比只使使用100秒的图图像有更更多信息息。实验验数据一一所有3376帧帧图像得得到的标标准图像像见图十十七；实验验数据二二所有5576帧帧图像得得到的标标准图像像见图十十八。图十七 实验数数据一的的标准背背景图像像图十八 实验数数据二的的标准背背景图像像确定了标标准图像像后，考考虑比较较标准。越接近近标准图图像的背背景图像像越好。如何比比较两幅幅图像是是否接近近？我们们使用峰峰值信噪噪比PSSNR来来衡量图图像的接

55、接近程度度。峰值值信噪比比的计算算公式如如下：其中，对对数中分分子的2255表表示像素素灰度最最大的差差值，在在2566级灰度度中，这这个最大大差值是是2555（2555-00=2555）；对数中中分母的的M是图图像的像像素总数数，F11(i)、F22(i)表示两两幅图像像中的某某个像素素，整个个分母表表示两幅幅图像的的所有对对应像素素的差的的平方的的平均值值，如果果是彩色色图像，“对应像像素的差差的平方方”用对应应像素矢矢量的分分量的差差的平方方和除以以3计算算。可以看到到，当两两幅图像像越接近近，对数数中的分分母就越越小，峰峰值信噪噪比就越越大；当当两幅图图像差别别越大，对数中中的分母母就

56、越大大，峰值值信噪比比就越小小。极端端情况，当两幅幅图像一一样时，峰值信信噪比为为无穷大大；两幅幅图像差差别最大大时，峰峰值信噪噪比为00。我们们就以峰值信信噪比衡衡量两幅幅图像的的相近程程度，峰峰值信噪噪比越大大，图像像越接近近。实验数据据一不同同方法在在不同采采样率下下得到的的背景的的图像与与标准背背景图像像比较的的PSNNR见表表二。采样率(f/ss)122.556.25512.5525基于均值值34.883 37.005 37.225 37.442 37.440 37.665 37.662 改进的基基于均值值36.226 40.665 40.775 40.882 40.882 41.4

57、41 41.336 基于中值值滤波35.119 37.553 37.771 37.880 37.661 37.883 37.776 基于共同同区域34.558 38.110 38.333 39.005 39.114 39.995 40.001 表二 实实验数据据一不同同方法得得到的背背景与标标准背景景图像比比较的PPSNRR比较同一一采样率率下不同同方法的的PSNNR不能能说明问问题，因因为同一一采样率率下不同同方法需需要的实实际处理理时间不不相同。在处理理时间一一定的情情况下，PSNNR越大大的方法法越好。因此，结合表表二和表表一，得得到不同同方法的的PSNNR随处处理时间间变化关关系图。实

58、验数数据一不不同方法法的PSSNR随随处理时时间变化化关系图图如图十十九。图十九 实验数数据一不不同提取取背景的的算法PPSNRR与处理理时间关关系图将图十九九中横坐坐标00，100区间间部分作作局部放放大，得得到图二二十。图二十 实验数数据一不不同提取取背景的的算法PPSNRR与处理理时间关关系图（局部）实验数据据二不同同方法在在不同采采样率下下得到的的背景的的图像与与标准背背景图像像比较的的PSNNR见表表三。采样率(f/ss)122.556.25512.5525基于均值值24.005 24.663 24.776 24.888 24.888 24.995 24.994 改进的基基于均值值2

59、7.777 29.113 29.443 29.883 29.886 29.997 30.001 基于中值值滤波26.339 28.228 28.772 29.223 29.224 29.440 29.447 基于共同同区域25.110 26.225 26.449 27.007 27.114 28.002 28.116 表三 实实验数据据二不同方方法得到到的背景景与标准准背景图图像比较较的PSSNR实验数据据二不同同方法的的PSNNR随处处理时间间变化关关系图，如图二二十一。图二十一一 实验验数据二二不同提提取背景景的算法法PSNNR与处处理时间间关系图图将图二十十一中横横坐标0，110区区间部

60、分分作局部部放大，得到图图二十二二。图二十二二 实验验数据二二不同提提取背景景的算法法PSNNR与处处理时间间关系图图（局部部）从图二十十和图二二十二这这两组实实验数据据的结果果中，我们们可以得得到以下下结论：1、并不不是采样样率越高高（处理理时间越越长），PSNNR就越越高。不不同的方方法在44秒之后后，尽管管采样率率不同，但PSSNR值值都基本本不变了了。这是是因为不不同的图图像帧区区别只在在于运动动前景不不同，背背景是相相同的，因此不不同图像像帧之间间存在着着信息冗冗余，增增加采样样率，只只会增加加处理时时间，不不会增加加PSNNR，也也即不会会提高背背景提取取的质量量。也就就是说，在背