毕业设计（论文）正文初稿：智能小车视频信号分解与处理

摘要随着社会的不断进步以及城市化建设的逐步普及，越来越多的家庭开始拥有汽车，汽车的数量也越来越多，在带给我们便利和迅捷的同时，也让我们不得不面对日益提升的交通密度、日益严重的交通堵塞和交通安全等难题，对我们的交通运输管理提出了巨大的挑战。为了解决这些难题，为了大范围、全方位、系统、实时、准确、高效地进行交通运输管理，于是产生了智能交通系统（ITS）这一新的研究和应用领域。而智能交通系统必须面对的首要问题就是对交通信息的采集和处理，也就是对汽车进行检测和跟踪。在众多的车辆检测和跟踪方法中，视频检测和跟踪以其高效、低廉、维护简单等优点，具有更好和更为广泛的应用前景，因此对智能小车视频信号的分解与处理的研究将有巨大的价值和意义。本论文旨在研究智能小车视频信号的分解与处理，主要涉及到背景图像的获取、目标的检测和分割、目标的实时跟踪以及轨迹的绘制等方法的研究。在背景图像的获取研究方面，介绍了三种当前使用得比较多的获取方法，并对其中的优缺点进行了比较和阐述，并在此基础上，选择出最适合的方法。在目标的检测和分割研究方面，通过背景建模，利用相邻序列图像估计视频中不变的或有规律变化的背景，将输入图像和背景图像进行比较，从中分割出前景运动目标。并对目前常见的运动目标的检测方法进行了介绍和优缺点的比较和阐述。在目标的实时跟踪以及轨迹绘制研究方面，由于车辆运动中外环境会不断变化，车辆的轮廓也会出现不规则变化，考虑到车辆是长方形的，可以采用中心点的思想，对车辆边缘轮廓上的所有点进行统计，求出这些点的中心点，用其中心点及其周围四个点来表示运动物体，根据中心点位置移动绘制车辆轨迹。关键词：智能交通系统背景图像目标检测和分割实时跟踪轨迹绘制

AbstractWiththedevelopmentofsocietyandthepopularizationofurbanization,moreandmorefamilieshaveownedthecar,andthenumberofcarisincreasing,atthesametimewhenitbringsusconvenienceandhighspeedlife,therearealsocomessometoughproblemsthatwehavetofaceto,suchastheincreasingofthetrafficdensity,thesevereoftrafficjamandsecurityoftraffic,it’sabigchallengeforthemanagementoftraffictransport.Inordertosettlesuchtoughproblemsdown,andforextensiveness,omnibearing,system,realtime,accurate,efficientmanagementoftraffictransport,therecameupwithanewresearchandapplyfieldnamedIntelligentTransportSystem(ITS).InITS,thefirstissuewehavetofaceisthecollectionanddisposaloftrafficinformation,thedetectionandtrackingofcar.Amongthiskindsofdetectionandtrackingofcarmethods,duetotheadvantagesofit’sefficient,lowpriceandmaintaineasydetectionandtrackingonvideohasabetterandwiderapplyfuture,whichmeanstheresearchofintelligentcarvideosignalisvaluableandmeaningful.Thispaperaimstodoaresearchofintelligentcarvideosignal,majorinvolvedintheimageacquisition,detectionanddivisionoftarget,realtimefollowingoftargetandpathdrawing.Intheimageacquisition,Iintroducedthreemethodswhichusedwidely,comparedit’sadvantageswithdisadvantages,andfindoutthebestmethod.Inthedetectionanddivisionoftarget,iusethesequentialserialimagetoestimatethebackgroundonvideowhichisconstantorchangesorderly,comparedtheinputimagewiththebackgroundtogetthedivisionofforegroundmovingtargetthroughbuildingthemodelofbackground.Andintroducedsomemethodswhichiscommonandusefrequently,comparedit’sadvantageswithdisadvantagestoo.Intherealtimefollowingoftargetandpathtracking,theouterenvironmentwouldchangefrequently,andtheoutlineofcarwouldchangeirregularly,becausethecarisarectangle,wecanusethethoughtofmiddlepointandcountallthepointontheoutline,workthemiddlepointout,andexpressthemovingcarwiththismiddlepointandtheotherfourpointfromoutline,drawingthemovingtrackwiththismiddlepoint.Keywords:ITS,BackgroundImage,Targetdetectionanddivision,Realtimefollowing,Drawpath目录TOC\o"1-3"\h\u3995摘要 122577Abstract 29621绪论 346111.1本课题研究意义 344971.1.1智能交通的背景、现状和意义 3154631.1.2车辆检测和跟踪技术的发展趋势 415521.2本论文的目的、内容及作者的主要贡献 5139581.3本章小结 6309772关键技术 73642.1常用目标检测算法 7220892.1.1帧差法 7133862.1.2背景差分法 8203962.1.3运动场估计法 9153032.2常用目标跟踪算法 11249282.2.1基于模型的跟踪 1112192.2.2基于动态轮廓跟踪 11103082.2.3基于区域跟踪 11302602.2.4基于特征的跟踪 12324442.3其他技术 12315032.3.1灰度图像处理 12157452.3.2高斯平滑 1293082.3.3二值化处理 13102172.3.4开闭和运算 13278652.4本章小结 1319053系统需求分析 14130273.1系统功能需求分析 14226703.2系统处理流程分析 15252133.7本章小结 16151204系统设计 18226954.1系统架构 18109114.1.1总体结构 1847164.1.2系统流程 19266484.2文件打开模块的设计 2033994.3背景提取模块的设计 207234.4智能小车检测与跟踪模块的设计 23112194.5绘制轨迹模块的设计 26105224.6本章小结 26186595系统实现 27249215.1环境配置 27134315.2文件打开模块的实现 3266065.3背景提取模块的实现 32289635.4智能小车检测与跟踪模块的实现 32109515.5轨迹绘制模块的实现 33322275.6本章小结 3319606应用示例 3460116.1示例概述 34320836.2示例实现过程 34301506.3本章小结 3842677结束语 39278217.1本文工作总结 39261817.2进一步的研究课题及展望 4021911参考文献 421绪论1.1本课题研究意义1.1.1智能交通的背景、现状和意义随着社会的不断进步以及城市化建设的逐步普及，整个社会对交通运输的需求日益增加，越来越多的家庭开始拥有汽车，汽车的数量也越来越多，城市公路交通系统的压力不断的增大。大量的公路交通问题显现出来，如堵车，交通事故等频频发生。为了解决这些棘手的难题，同时大范围、全方位、系统、实时、准确、高效地进行交通运输管理，提高现有道路的利用率、提高道路交通的安全程度，于是将先进的信息技术、数据通讯传输技术、电子传感技术、控制技术以及计算机技术等有效地集成起来，产生了智能交通系统（ITS）这一新的研究和应用领域。西方国家在这方面的发展是相当早的，在20世纪80年代末，就已经制定并实施了开发计划。欧洲的研究是由官方与民间并行进行的，于1994年完成了旨在完善道路设施提高服务水平的DRIVE计划，主要研究需求管理。交通和履行信息系统、城市综合交通管理、城市间综合交通管理、辅助驾驶等内容。而美国，于1991年，国会就通过了“综合地面运输效率方案”，旨在利用高新科技技术和合理的交通分配方案来提高整个交通网络的效率，并拨款6.6亿美元，用来进行相关的研究工作。联邦政府和地方政府还共同提供经费，在全美建立了3个智能交通系统研究中心。2001年，美国召开了智能交通系统全国高层讨论会，制定了二十一世纪前十年智能交通系统的发展的总体规划。日本新加坡等国家也分别制定了相应的计划。日本2001年财政年度预算中用于智能交通计划的资金为883亿日元。目前有五个机构致力于并负责智能交通系统相关的活动，并联合其他组织和机构，例如ISO/TC204等等一起来促进智能交通系统的发展。新加坡于1995年，就已经组织完成了高速公路检查与提示系统、绿波系统、公路交界电子眼系统、交通扫描系统和道路信息管理系统。我国政府非常的重视智能交通系统的发展，在1996年就已经组织和开始了这一领域的国际交流与合作，支持这一领域在我国的研究和发展。1999年，科技部联合建设部、交通部、公安部等十多个相关部委，组织成立了全国智能交通系统协调小组，为推动交通系统的智能化发展提供给了组织机制保障。2000年，制定完成了中国智能交通系统体系框架的研究和标准规范，建立了与国际接轨的智能交通系统标准体系，为我国的智能交通系统的发展提供了纲领性的指导文件，并且确定了系统构成、功能模块、通信协议和接口。2005年，于上海召开第一届“中国智能交通年会”，为智能交通技术的开发研究、系统集成、产品开发、示范应用以及产业化提供了可靠的支持。然而我国在智能交通系统方面的开发和应用尚处于起步阶段，进行了一些有成效的基础性工作。在系统的实际开发和应用方面，已经有了一些成功的成果，并在局部地区形成了智能交通系统的雏形，或实现了智能交通系统的部分功能。其中最主要的是电子收费系统，在全国，已经有很多的省份或城市开始采用或试行这种先进的管理方式。此外，在引进国外先进技术和产品的同时，也开始与国外的厂商建立合资企业，生产智能交通系统的产品。近年来，我国在公路交通基础设施建设方面取得了令人瞩目的成就，并且保持着高速的发展速度。随着我国经济水平的持续快速提高，我国的汽车数量不断地在增大，伴随着城市化进程的不断加快，交通对城市经济的发展的重要性更加显露出来，也让我们不得不面对各种新的挑战。例如：（1）城市公路交通不断增大的压力。根据行业年度报告，2004年年底，我国已经达到了2742万辆的汽车保有量，增长率达到了12.4%。现有城市公路交通设施已经无法满足车辆数量增长的需求。（2）消耗巨大的能源问题。现目前，我国公路交通运输的主要动力能源仍然依靠的是石油和天然气。石油和天然气资源是不可再生的，而且我国的石油天然气资源又比较有限，再加上石油和天然气是重要的战略物质，所以，我们必须重视这个问题，降低国民经济对此的依赖。（3）交通事故频发、拥堵严重、市民缺乏安全感。据统计，2005年，我国交通事故共发生45万余起，共造成9万8千余人死亡，47万人受伤，直接经济损失就达到了18.1亿元。（4）环境污染问题。汽车尾气污染已经是一个众所周知的问题，近年来城市热岛效应频频发生，大气污染，空气质量差等更严重的影响着老百姓的身体健康，也制约了城市的发展。而智能交通技术的出现，给我们带来了希望。首先，提高了公路交通的利用效率，提高了公路交通的安全性。据专家估计，采用智能交通系统后，每年可减少30%~70%的交通事故死亡人数和8%的交通灾难，减少交通的拥堵现象，提高公路交通利用率。其次，降低了能源消耗。同时，也减少了对环境的污染问题。再者，提高了公路交通网络的使用频率，提高了运输效率，达到了效益最大化，对经济的高速发展也产生了积极的影响。最后，还可以带来新的市场，提供大量的就业岗位，促进就业。因此，对智能交通系统技术的研究是大势所趋，对我们的经济发展有着巨大的作用，深远的意义。1.1.2车辆检测和跟踪技术的发展趋势 早期的交通状况监测是采用人工的方式，需要雇佣大量的工作人员在城市的各个干道上进行统计，耗时耗力，统计数据单一。 第二代交通监测系统采用地感线圈作为感应器进行自动检测，以减少人力的投入。这种方式一般采用埋在路下的电感环来监测车辆是否通过来触发监视仪自动拍摄。缺点是易损坏、不易维修，安装位置规定，检测密度低，且检测参数少，不能识别车辆种类与有关信息。这种检测设备在安装与维修时需要关闭道路或者至少关闭相应车道，使用寿命有限，再次安装又需要重新翻开路面进行安装或维修，对公路保养和维护很不利。 第三代交通监测使用的检测器采用了视频检测、图像识别技术，这类检测器通常安装在路边或架空安装，不会对交通造成明显干扰，也不会因重铺路面、埋设下水道或天然气管道而受到影响。 视频车辆检测器，视频交通检测系统通常由电子摄像机、图像采集卡和计算机等部分组成。摄像机对道路的一定区域范围摄像，图像经传输线路送入数字图像采集卡图像信号进行模数转换、格式转换等，再由计算机处理数字图像，实时识别车辆的存在，判别车型，由此进一步推导其他交通控制参数。计算机还可以根据需要给监控系统的主控机提供信号，控制中心可根据这些信号确定控制方式，向执行机构发出控制命令。由于图像处理方法是在摄像机摄取的图像的基础上实现识别和监测，因此不仅具有多点布设、无线检测的能力，而且还能获得车流密度、排队规模以及常规检测器很难测到的停车次数和车辆尺寸等重要交通参数。另外监视系统装卸方便、不须破坏路面、不影响交通，在喝多场合可以代替先验的环形圈监测系统。视频车辆监测系统在现代交通控制系统中占有很重要的地位，是未来智能运输系统发展的基础。但目前的问题是图像处理的实时性差，而且车辆的检测精度受整个系统软硬件的限制。尽管如此，随着图像信号处理技术的进步和微电子技术的发展，视频车辆监测技术将得到不断地提高和更加广泛地应用。 所以它已经引起世界各国智能交通系统研究的高度重视，有着良好的应用前景。视频车辆检查系统在现代交通监控系统中占有很重要的地位，是未来智能交通系统发展的基础。 基于视频技术的车辆检测技术的发展。在基于图像处理的车辆检查系统中，采用计算机视觉和图像处理技术可以获得车辆的外形三维数据及车辆的轴数、轮距和车辆组成等交通参数，这是以前传统的车辆检测器不能做到的。该研究方向重点是提高图像识别的实时性和准确性。基于图像处理的高速公路事故测报系统目前正处于研究开发阶段，它利用计算机视觉、神经、网络、模糊逻辑等技术和先进的计算方法进行事件检测、车辆识别和公路监控，可以获得车辆数量、车速、道路的空间占有率及车辆的前进程度等重要交通参数，从而可以预测和发现事故。交通视频车辆检测技术的运用，以及光纤通信技术、计算机信息处理系统和人工智能技术的应用，必将是交通控制系统向大范围、全方位、智能化和实时控制方向发展。 基于视频图像处理的交通监测技术室今年来逐步发展起来的一种新型车辆检测方法，利用摄像机拍摄道路图像，采用图像处理技术自动检测车辆，只是计算机视觉技术在智能交通中的一个典型应用，可用于事故检测、路口交通监控系统、停车场调度监控系统、辅助驾驶系统以及自动导航系统等，具有无线、可一次检测多个参数和监测范围大的特点，使用灵活。具有以下特点：（1）检测效率高。计算机视觉方法同以往的人工检测方法相比大大提高了检测效率，同时节省了大量的人力、物力；而且视频监控方法可以同时检测多种违章行为。（2）范围大。视频检测技术可以对交叉口和路段同时进行监测，而电磁感应法只能对交叉口或者路段进行检测。（3）施工方便、周期短。视频监控技术部需要在路面或者地下进行改造，对公路不会造成损坏，施工周期明显低于电磁感应监测法。（4）视频信号能通过同轴电缆、光纤、双绞线、无线射频或者微波等多种方式进行传输。（5）能提供现场录像，供专家事后分析。1.2本论文的目的、内容及作者的主要贡献，本文绪论部分。主要阐述来了课题的研究意义，以及车辆检测和跟踪技术的发展趋势，还介绍了论文的结构安排。，详细介绍了目前常用的目标检测算法和目标跟踪算法，还对系统中涉及到了一些关键技术进行了简单介绍，根据各自的优缺点选取最适合的方法进行实现。，系统需求分析。本章通过对图像处理系统的功能分析，提出了智能小车视频信号分解与处理系统的主要功能需求，分别是文件打开、背景提取、小车检测、小车跟踪、绘制轨迹。通过对这些功能的描述使得智能小车视频信号的分解与处理系统功能更加明确，结构更加清晰。，系统设计。本章主要介绍了智能小车视频信号分解与处理系统的设计，首先是对系统架构的设计，其中包括总体结构和系统流程的设计，然后是分别对文件打开模块、背景提取模块、车辆跟踪与检测模块、轨迹绘制模块做了详细的设计。通过本章内容不仅可以了解智能小车视频信号分解与处理系统的系统架构而且可以知道此系统的详细功能。，系统实现。本章主要介绍了智能小车视频信号分解与处理系统的具体实现过程，介绍了系统的开发环境的环境配置，也介绍了各个功能模块的实现，例如变量定义模块、文件打开模块、背景提取模块、车辆跟踪与检测模块、轨迹绘制模块的实现。通过本章可以对智能小车视频信号分解与处理系统的整个实现过程有个详细的了解。，应用示例。本章主要是对智能小车视频信号分解与处理系统应用的章节，在本章会举一个例子来应用智能小车视频信号分解与处理系统，通过此示例能了解智能小车视频信号分解与处理系统的核心技术，核心功能，同时能体会到智能小车视频信号分解与处理系统在处理过程中的效率，也能在此基础上进行扩展。，结束语。对论文进行总结，并指出进一步的研究课题和未来展望。1.3本章小结本章首先阐述了本课题的研究意义，说明了智能小车视频信号分解与处理的目的和意义。然后介绍了运动车辆检测与跟踪技术的发展趋势，让我们队现目前的这方面的研究有所了解，还对基于视频图像处理的特点进行了叙述，明确了进行此项研究的意义。最后对本论文的目的内容及组织结构进行了概要的介绍。

2关键技术2.1常用目标检测算法日常生活中，如活动的人、动物和行驶的汽车等都是常见的运动目标，利用图像捕获并跟踪感兴趣的运动目标在许多领域都有着广泛的应用。在现实生活中，大量有意义的视觉信息包含在运动之中，运动目标检测与跟踪技术的应用场合十分广泛，比如交通流量的监测、重要场所的安保、航空和军用飞行器的制导、汽车的自动驾驶或辅助驾驶等。目前，视频信号的智能化处理需求日益增加，正确地从视频流中提取出运动目标是许多智能视频监视系统，如：撕票监视、交通自动监控、人脸检测与跟踪等的基础部分。运动目标检测和识别是计算机视觉中的一个基础的、关键的任务，被看做是视觉系统的一个重要功能。运动目标检测的目的是将序列图像中的运动目标从背景图像中检测并分割出来。关于运动目标检测的研究大致分为两类：一类是摄像头随着运动目标移动，始终保持目标在图像的中心附近，如在导航系统和辅助驾驶系统中，摄像头被安装在它的主体（如车、飞机等）上面，摄像头随着运动目标移动；二是摄像头相对处于静止状态，只对视场内的目标进行检测、定位，如监视某一路口车流量等的固定摄像头。目前大多数目标跟踪算法研究都是第二种情况。光照的变化、背景混乱运动的干扰、运动目标的影子、摄像机的抖动，以及运动目标的自遮挡和互遮挡现象都给运动目标的正确检测带来了极大的挑战。同时由于运动目标的正确检测与分割效果极大地影响运动目标的跟踪和分类，因此运动目标检测成为计算机视觉研究中一项重要课题。目前常见的运动目标的检测方法主要有帧差分法、背景差分法和运动场估计法。2.1.1帧差法帧差法是最为常用的运动目标检测和分割方法之一，基本原理就是在图像序列相邻两帧或三帧间采用基于像素的时间差分通过闭值化来提取出图像中的运动区域。首先，将相邻帧图像对应像素值相减得到差分图像，然后对差分图像二值化，在环境亮度变化不大的情况下，如果对应像素值变化小于事先确定的阂值时，可以认为此处为背景像素:如果图像区域的像素值变化很大，可以认为这是由于图像中运动物体引起的，将这些区域标记为前景像素，利用标记的像素区域可以确定运动目标在图像中的位置。由于相邻两帧间的时间间隔非常短，用前一帧图像作为当前帧的背景模型具有较好的实时性，其背景不积累，且更新速度快、算法简单、计算量小。算法的不足在于对环境噪声较为敏感，闽值的选择相当关键，选择过低不足以抑制图像中的噪声，过高则忽略了图像中有用的变化。对于比较大的、颜色一致的运动目标，有可能在目标内部产生空洞，无法完整地提取运动目标。其原理如下：2.1.2背景差分法背景差分法是运动目标检测最常用的方法之一，是采用图像序列中的当前帧（输入图像）和背景参考模型（背景图像）进行比较，从中分割出前景目标来检测运动物体的一种方法。在背景差分法中，最为重要的就是背景图像的获得，背景图像的准确度将直接影响检测的效果。由于图像很容易受到外界因素的干扰，例如：光照、摄像机抖动等，使得背景的提取变得比较困难。其原理如下：与帧差方法相比，背景差分法有不受车速快慢的限制、可以检测出短时间内静止的车辆、简化算法降低计算量和满足视频检测的实时性要求等优点。但是在实际应用中，背景的获取比较困难。现目前比较常用的背景建模方法主要有以下3种：均值法背景建模均值法背景建模就是在视频图像中，选取其中的连续N帧，计算出这连续N帧图像的像素灰度值的平均值，并以此平均值作为背景图像的像素灰度值。中值法背景建模中值法背景建模也是在视频图像中，选取其中的连续N帧，并按照图像像素灰度值进行从小到大的排序，选取中间值作为背景图像中对应像素点的灰度值。建立自适应模型主要有卡尔曼滤波、单高斯分布模型、多高斯分布模型等。2.1.3运动场估计法运动场估计法是指通过视频序列的时空相关性来分析估计运动场，建立相邻帧间的对应关系，进而利用目标与北京表现运动模式的不同进行运动目标的检测与分割。主要是光流法，Gibson是于1950年提出光流的概念的。光流是指图像中观测到的物体表面上的亮度模式的运动，是图像中各个像素点运动的速度分布。基于光流法的运动目标检测跟踪是指根据运动目标随时间变化的光流特性，把检测区域的图像变为速度的矢量场，每一个向量表示了景物中一个点在图像中位置的瞬时变化。由此可见，光流场中不仅包含了运动目标的运动信息，而且还含有与景物有关的三维结构信息。所以，通过研究光流矢量场就可以判断序列图像中有无运动目标。而且，还可以利用得到的光流场中运动目标的其它信息，如颜色、灰度、边缘等空域特征，来提高对运动目标分割精度。该方法的优点是在摄像机运动的情况下也能够完成对独立目标的检测。然而，该方法抗噪性能差，并且计算复杂。光流法按概念大致上可以分为以下几类：微分法，也称为时空梯度法，它是利用时变图像灰度(或其滤波形式)的时空微分(即时空梯度函数)来计算每一图像像素点的速度矢量，应用时一般先假设：运动物体为刚体或准刚体；图像中的亮度变化很小或恒定不变。显然，在实际应用中，这两方面很难保证，因此易造成较大的误差。区域匹配法。所谓的区域匹配是指在图像序列的顺序图像对之间实施的一种对应，它将光流定义为使得不同时刻图像区域之间产生最佳拟合的位移，通过对图像序列中的相邻两帧图像之间的子块区域的匹配程度进行相似检测来获得最佳匹配，进而进行运动估计。另外，还有基于能量的方法，基于相位的方法等。2.2常用目标跟踪算法运动目标跟踪就是在视频图像序列中实时地发现并标记运动目标，在帧与帧之间建立车辆运动的某些特征，如位置、速度、形状和方向等之间的联系，不断跟踪目标，并计算出运动目标的轨迹。目前运动目标跟踪的方法有很多，针对视频图像中运动目标的跟踪方法主要有以下几种：2.2.1基于模型的跟踪基于模型的目标跟踪算法主要就是利用线图法、二维轮廓、立体模型来表达运动目标。基于立体模型的跟踪方法被应用于估计运动目标的运动，从二维图像中推断出运动目标的立体形状。基于立体模型的跟踪方法的显著优点是即使在复杂驾驶操作、明显交谈阻塞的情况下利用模型知识也能跟踪到结果；最大的缺点是由于计算工作量大，实时性较差。虽然模型法能够获得对图像内容的理解，但建立摄像机模型时需要测量详细的摄像机与交通场景之间的空间几何特征，这使得这种方法在实际应用中存在很大的局限性。同时模型法的稳健性也不够高，当摄像机由于外力原因产生微小角度变化时就可能造成检测失败，且对遮挡情况下的车辆也会发生误检。2.2.2基于动态轮廓跟踪基于动态轮廓跟踪的思想就是利用封闭的曲线轮廓来表达目标，并可以自动连续的进行轮廓更新。相对基于区域的跟踪方法，轮廓表达有计算复杂度小的优点，如果开始阶段能够合理地分开每个运动目标并实现轮廓初始化，即使在有部分遮挡存在的情况下也能连续地进行跟踪，然而轮廓的初始化比较困难。2.2.3基于区域跟踪基于基于区域跟踪的思想是把每个物体与某个运动区域相联系，然后对该区域进行跟踪。区域跟踪实现较为简单，在许多系统中得到了广泛的应用。用基于区域跟踪的方法来跟踪车辆，对于城市交通中存在的遮挡问题不太敏感，而且用这种方法跟踪可以改善图像的分割。基于区域的车辆跟踪方法由于在跟踪目标之前能完成最后的图像分割，因此在他们的形状突然发生改变或者消失时都能正确分割图像。但是某些体积较大的车辆会产生较大的影子，遮挡一些体积较小的车辆，这对车辆跟踪很不利。2.2.4基于特征的跟踪基于特征的跟踪，由于运动目标的个体特征有很多，不管是刚体运动目标，还是非刚体运动目标，在序列图像中相邻的两帧图像，由于图像序列间的采样时间间隔很小，可以认为这些个体特征在运动形式上具有平滑性，因此可以用直线、曲线、参照点等个体特征来跟踪运动目标。但是提取运动目标的主要特征有时很困难。2.3其他技术2.3.1灰度图像处理图像的灰度处理就是将彩色图像转化成为灰度图像的过程。在彩色图像中，R、G、B三个分量决定了每个像素的颜色，而每一个分量可以有255个值，一个像素点的颜色的变化范围就可以达到1600多万（255*255*255）；而灰度图像R=G=B，一个像素点的变化范围就只有255，因此将大大的减少后续图像的计算量，但是却会让图像失真。图像的灰度处理一般可用两种方法来实现。一种方法是通过求出每个像素点R、G、B三个分量的平均值，然后将这个平均值赋值赋值为这三个分量。另一种方法是根据YUV的颜色空间中，Y的分量的无力意义是点的亮度，由该值反映亮度等级，根据RGB和YUV颜色空间的变化关系可建立亮度Y与R、G、B三个颜色分量的对应：Y=0.3R+0.59G+0.11B，以这个亮度值表达图像的灰度值。2.3.2高斯平滑高斯滤波(Gaussfilter)实质上是一种信号的滤波器，其用途为信号的平滑处理，数字图像用于后期应用，其噪声是最大的问题，因为误差会累计传递等原因，大多图像处理教材会在很早的时候介绍Gauss滤波器，用于得到信噪比SNR较高的图像（反应真实信号）。高斯平滑滤波器对于抑制服从正态分布的噪声非常有效。在图像处理中，高斯滤波一般有两种实现方式，一是用离散化窗口滑窗卷积，另一种通过傅里叶变换。最常见的就是第一种滑窗实现，只有当离散化的窗口非常大，用滑窗计算量非常大（即使用可分离滤波器的实现）的情况下，可能会考虑基于傅里叶变化的实现方法。2.3.3二值化处理图像的二值化，就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果。一幅图像包括目标物体、背景还有噪声，要想从多值的数字图像中直接提取出目标物体，最常用的方法就是设定一个阈值T，用T将图像的数据分成两部分：大于T的像素群和小于T的像素群。这是研究灰度变换的最特殊的方法，称为图像的二值化（BINARIZATION）。二值化是图像处理的基本操作，任何图像处理基本离不开二值化的操作。其应用非常广泛。根据阈值选取的不同，二值化的算法分为固定阈值和自适应阈值。比较常用的二值化方法则有：双峰法、P参数法、迭代法和OTSU法等。2.3.4开闭和运算开闭和运算就是利用腐蚀和膨胀运算去除杂点。腐蚀运算可以消除边界点，使边界内部收缩，腐蚀一般用来消除细小并且没有意义的目标。在OpenCV中可调用cvErode函数来对图像进行腐蚀运算。而膨胀运算和腐蚀运算相反，则是合并接触的背景点，使边界向外扩张，填补目标区域当中出现的漏洞。在OpenCV中则通过调用cvDilate函数来实现。2.4本章小结本章对智能小车视频信号分解与处理系统中用到的关键技术，视频图像中运动目标的检测与跟踪技术做了详细叙述，并对系统中出现的一些算法做了简单的叙述，介绍了各自的优缺点以及使用范围。

3系统需求分析在软件工程中，需求分析指的是在建立一个新的或改变一个现存的电脑系统时描写新系统的目的、范围、定义和功能时所要做的所有的工作。需求分析是软件工程中的一个关键过程。在这个过程中，系统分析员和软件工程师确定顾客的需要。只有在确定了这些需要后，他们才能够分析和寻求新系统的解决方法。需求分析阶段的任务是确定软件系统功能。在软件工程的历史中，很长时间里人们一直认为需求分析是整个软件工程中最简单的一个步骤。但在近十年内，越来越多的人认识到，需求分析是整个过程中最关键的一个部分。假如在需求分析时分析者们未能正确地认识到顾客的需要的话，那么最后的软件实际上不可能达到顾客的需要，或者软件项目无法在规定的时间里完工。需求分析是一项重要的工作，也是最困难的工作。本章通过对图像处理系统的功能分析，提出了智能小车视频信号分解与处理系统的主要功能需求，分别是文件打开、背景提取、小车检测、小车跟踪、绘制轨迹。通过对这些功能的描述使得智能小车视频信号的分解与处理系统功能更加明确，结构更加清晰。3.1系统功能需求分析智能小车视频信号分解与处理系统是基于windows的应用程序，主要处理的是AVI格式的视频文件，并对视频文件中的运动目标进行实时跟踪。主要功能如下：读入AVI格式的视频文件，并得到每帧图像。对视频前几帧进行处理，获取背景图像。通过背景差分法得到前景目标图像。对前景图像进行处理，检测和分割出目标图像。对目标图像进行实时跟踪，并绘制出轨迹。3.2系统处理流程分析本系统是一个应用程序，主要实现上述对视频文件的中运动目标的分解与处理，达到检测与跟踪的效果。从载入一个视频文件到最后得到视频文件中运动小车的轨迹，整个系统的处理流程是比较连贯的，因此流程也比较清晰。在载入一个视频文件后，处理的并不是视频文件，而是帧图像，因此必须获取视频文件中的帧图像，并对帧图像的有效性要进行判断。如果是有效的就可以提起视频图像背景了，这时有多种方法可以采用，本文采用的是累加连续图像序列求帧图像平均值的方法。接着就可以利用背景差分法将当前帧和背景图像帧做绝对值差求出前景目标小车了。为了更好的获取前景目标小车，还必须进行开闭和运算，腐蚀和膨胀运算分割出前景目标小车。最后采用基于动态轮廓的思想，通过计算中心点和小车四周的点的判断对小车进行实时跟踪，并扫描跟踪中心点数组，绘制出小车运动轨迹。3.7本章小结本章主要描述了智能小车视频信号分解与处理系统的需求分析，通过对文件打开、背景提取、小车检测、小车跟踪、绘制轨迹的分析使得智能小车视频信号分解与处理系统的功能明确。通过这章的内容可以了解到智能小车视频信号分解与处理系统的基本功能和所需要实现的目标。

4系统设计本章主要介绍了智能小车视频信号分解与处理系统的设计，首先是对系统架构的设计，其中包括总体结构和系统流程的设计，然后是分别对文件打开模块、背景提取模块、车辆跟踪与检测模块、轨迹绘制模块做了详细的设计。通过本章内容不仅可以了解智能小车视频信号分解与处理系统的系统架构而且可以知道此系统的详细功能。4.1系统架构本节主要是对智能小车视频信号分解与处理系统在系统架构上的说明，系统架构包括总体结构和系统流程两部分，总体结构是对系统各个模块功能的说明，系统流程是对系统整个工作步骤的说明，通过这两部分的说明将体现出系统的整个架构和流程。4.1.1总体结构本小节主要是对智能小车视频信号分解与处理系统的总体结构做详细的描述，总体结构是指系统中实现功能的分层架构，此系统一共包括5个模块，如图4-1所示。图4-1智能小车视频信号分解与处理系统总体结构从上图4-1可以看出，智能小车视频信号分解与处理系统的总体主要由5部分组成，分别是背景建模、智能小车检查、智能小车分割、智能小车跟踪、绘制轨迹。从图中可以看出此系统的重难点主要就在于这5个模块。4.1.2系统流程本节主要是介绍了智能小车视频信号分解与处理系统系统流程，所谓系统流程就是智能小车视频信号分解与处理系统从开始载入一个视频文件，到最后视频播放完毕绘制出轨迹的整个过程。具体的流程如下图4-4所示：虽然系统载入的是视频文件，但实质上处理的是视频中的帧图像，因此首先，读入一帧，并判断其有效性，若是有效的，继续进行处理，利用背景差分法获取前景目标，并用开闭和运算腐蚀和膨胀进一步分割出前景图像，然后提前中心点，并用此中心点绘制图像。4.2文件打开模块的设计文件打开模块主要就是打开一个视频文件，然后从文件读出帧文件，因为接下来需要处理的都是帧图像，所以文件打开模块就显得非常重要。具体流程如下：4.3背景提取模块的设计背景建模主要目的就是为了获取背景图像。现目前，主要有这三种方法：通过求多幅图像的像素点均值得到、求多幅图像的像素点中值、建立自适应模型。本课题选用的是通过多幅图像的像素点均值得到的背景模型，可以用如下公式表示：其中，表示时刻的背景图像帧，表示时刻的输入图像帧，表示帧的总数。为了使后续图像的计算量小一点，还调用了灰度转化函数，进行了图像的灰度处理。图像的灰度处理就是将彩色图像转化成为灰度图像的过程。在彩色图像中，R、G、B三个分量决定了每个像素的颜色，而每一个分量可以有255个值，一个像素点的颜色的变化范围就可以达到1600多万（255*255*255）；而灰度图像R=G=B，一个像素点的变化范围就只有255，因此将大大的减少后续图像的计算量，但是却会让图像失真。由于原始图像在获取和传输的过程中会受到各种噪声的干扰，使图像的质量下降，不利于分析图像，于是使用高斯平滑对图像进行降噪。图像平滑处理有很多种方法，领域平均（CV_BLUR）、中值滤波（CV_MEDIAN）、高斯滤波（CV_GAUSSIAN）等。高斯滤波是跟根据高斯函数的形状来选择权值的线性平滑滤波器，对出去服从正态分布的噪声很有效果，对图像处理来说，常用的是二维零均值离散高斯函数，表达式如下：由于目前的还是帧图像，要进行图像的累加，必须进行格式转换。接着，就可以求这多幅像素点的均值得到背景图像了。背景获取流程如下：为了更好的获得背景，只读取视频的前140帧图像，然后按顺序获取一帧图像，然后判断此帧图像是否有效，若是有效帧，进行帧数统计，接着判断是否是第一帧，若是第一帧，就要先申请内存，进行图像的初始化，若不是，就对图像进行灰度处理，简单化计算量，并用高斯平滑去噪，然后格式转换为数组，进行图像的累加预算，最后通过此连续图像的累加值求平均值的方法，获的背景图像。4.4智能小车检测与跟踪模块的设计智能小车检测的目标是把图像序列当中的运动目标——智能小车从背景图像中检测出来。现目前，主要分为摄像头随目标移动，摄像头相对处于静止状态两类。前者，需要始终保持目标在图像的中心附近，而后者，只能对视场内的目标进行检测和定位。本课题选用的是第二种情况摄像头相对处于静止状态下的背景差分法。背景差分法是运动目标检测最常用的方法之一，利用背景建模得到的背景图像和输入图像进行比较，然后得到前景运动目标。为了接下来分割的进一步处理，还需对得到的前景运动目标图像进行二值化处理。二值化处理也就是让图像出现黑白效果，把图像的像素点的灰度值设置为0或者255。图像的二值化处理能够使图像变得简单，减小图像的数据量，凸显出目标的轮廓，将大大的有利于图像的进一步处理，有助于接下来的图像的分割。智能小车检测流程如下：首先，从视频结构顺序获得一帧图像，判断是否有效，是有效帧，对帧图像进行灰度处理，转换为灰度图像，减少图像的计算量，接着进行平滑处理，利用高斯平滑降噪，利用背景差分法，对当前帧图像和上一步背景建模过程获得背景图像做绝对值差，得到前景目标图像，然后对当前获得前景目标图像进行二值化处理，黑白化灰度图像，凸显出目标轮廓。智能小车目标分割是图像处理到图像分析的关键步骤，一般要进行腐蚀和膨胀运算去除杂点。因为腐蚀可以消除边界点，使边界内部收缩，腐蚀一般用来消除细小并且没有意义的目标。在OpenCV中可调用cvErode函数来对图像进行腐蚀运算。而膨胀和腐蚀相反，则是合并接触的背景点，使边界向外扩张，填补目标区域当中出现的漏洞。在OpenCV中则通过调用cvDilate函数来实现。具体流程如下：利用小车检测模块获得的小车前景目标图像，对前景目标图像做腐蚀和膨胀运算，去除杂点，分割出小车，达到智能小车分割的目的。智能小车的跟踪就是在视频图像序列中实时地发现运动小车并将其标记出来。现目前，针对视频图像运动目标跟踪有很多种方法，例如：基于模型的跟踪、基于区域的跟踪、基于特征的跟踪、基于动态轮廓的跟踪等。本课题选用的是基于动态轮廓的跟踪方法。基于动态轮廓的跟踪方法就是利用封闭的曲线轮廓来表达运动目标，而且此轮廓能够自动连续实时的更新。此方法的优点就是完成轮廓初始化后，可以在部分遮挡的情况下继续进行跟踪，而缺点则是轮廓的初始化比较困难。具体流程如下：首先，对目标图像进行边缘检测，发现输入图像的边缘并在输出图像中识别这些边缘。因为是用小车的中心点坐标来表示小车的，所以计算出小车的中心点。然后对中心点图像进行清零，初始化为黑色。判断是否有五个点，因为采用的中心点思想，需对车辆边缘轮廓所以点进行统计，并求出中心点，考虑到汽车是长方形的，因此只需用五个点就可以表示小车了。因此用判断是否有五个点来证明是否有运动小车，对小车进行跟踪。然后再将这五个点设置为白色，进行标记即可。4.5绘制轨迹模块的设计绘制轨迹是系统的最终目标。由于在跟踪过程中已经取得中心点，并保存进了一个专门的数组，因此只需对此数组进行扫描，读出里面的数值，按照此数值绘制曲线就好了。需要注意的是需将轨迹背景图像和视频图像的大小设置一致，保证物体实际运动路线和轨迹的对比效果。具体流程如下：首先，申请内存，创建一个和背景图像大小一致的的图像，清零初始化图像。然后扫描存储小车运动轨迹的数组，按照里面的数值绘制小车运动轨迹曲线。4.6本章小结本章主要详细介绍了智能小车视频信号分解与处理系统的设计，首先介绍了系统的系统架构其中包括总体架构和主要流程，这是密不可分的两个架构，这两个架构只有在同时存在的情形下才能够构成整个框架的架构。然后分别对每个模块做了详细的设计如文件打开模块、背景提取模块、智能小车检测与跟踪模块、绘制轨迹模块。5系统实现本章主要介绍了智能小车视频信号分解与处理系统的具体实现过程，介绍了系统的开发环境的环境配置，也介绍了各个功能模块的实现，例如变量定义模块、文件打开模块、背景提取模块、车辆跟踪与检测模块、轨迹绘制模块的实现。通过本章可以对智能小车视频信号分解与处理系统的整个实现过程有个详细的了解。5.1环境配置本节主要介绍要使用智能小车视频信号分解与处理系统所必需的环境配置，只有在正确的环境的支持下才能够运行系统。在运行框架之前所必需的环境有VisualStudio、OpenCV、CMake等，系统环境配置的步骤如下：步骤一：编译OpenCV。用CMake导出VC++项目文件运行cmake-gui，设置whereisthesourcecode路径为OpenCV安装路径，并在安装路径的build文件夹下新建一个my文件夹，设置wheretobuildthebinaries路径为此文件夹路径。然后点击Configure，在弹出的对话框中选择VisualStudio92008。可根据操作系统修改选项，修改后再次选择“Congfigure”，完成后选择“Generate”。编译OpenCVDebug和Release版本库完成上一步骤后，系统会在my文件夹下生成OpenCV.sln的解决方案文件，启动VisualStudio2008开发环境，打开OpenCV.sln，在Debug下，右键解决方案“OpenCV”，运行"重新生成解决方案"；如编译无误，再选择此项目，运行“生成解决方案”。在Release下，同上操作。当全部都运行完毕后，针对此系统的OpenCV库就生成了。步骤二：配置VisualStudio2008。配置include路径，何处去找OpenCV头文件。选择菜单“工具”→“选项”→“项目和解决方案”→“VC++目录”→“包含文件”，输入：D:\ProgramFiles\OpenCV2.3.1\opencv\build\include；D:\ProgramFiles\OpenCV2.3.1\opencv\build\include\opencv；D:\ProgramFiles\OpenCV2.3.1\opencv\build\include\opencv2配置lib路径，何处去找OpenCV的库文件。选择菜单“工具”→“选项”→“项目和解决方案”→“VC++目录”→“库文件”，输入：32位的操作系统D:\ProgramFiles\OpenCV2.3.1\opencv\build\x86\vc9\lib64位的操作系统D:\ProgramFiles\OpenCV2.3.1\opencv\build\x64\vc9\lib步骤三：设置环境变量。将OpenCV的dll文件所在的目录加入Path环境变量32位操作系统：D:\ProgramFiles\OpenCV2.3.1\opencv\build\x86\vc9\bin64位操作系统：D:\ProgramFiles\OpenCV2.3.1\opencv\build\x64\vc9\bin步骤四：OpenCV编程。新建一个项目，右键项目，选择属性→链接器→输入→附加依赖项，分别在Debug和Release项目，配置增加：D:\ProgramFile\opencv2.3.1\opencv\build\x86\vc9\lib下的所有lib文件（可根据实际需要删减）。以上是对数字图像处理系统环境配置的核心步骤说明，通过这些配置后可以开发数字图像处理系统，这只是一个基本环境配置的要求。通过这些配置可以了解到智能小车视频信号分解与处理系统运行环境的基本要求。5.2文件打开模块的实现本节主要介绍了文件打开模块的实现过程，实现的功能为打开一个视频文件。实现代码如下：CFileDialogdlg1(TRUE,lpszFilter,NULL,OFN_HIDEREADONLY|OFN_OVERWRITEPROMPT,lpszFilter,NULL);5.3背景提取模块的实现本节介绍了背景提取模块的实现，采用了求连续序列图像的平均值的方法。首先需要对读入的当前帧图像进行灰度图像处理简化计算量，在OpenCV中可以通过调用cvCvtColor()函数实现，并使用高斯平滑进行降噪处理，通过调用cvSmooth()函数。其次，因为要进行图像的累加运算，必须先对图像进行格式转换，在OpenCV里可以通过调用cvCvtScale()函数实现，然后就可以进行累加和求均值的运算了，这里都是通过调用OpenCV中cvAcc()和cvConvertScale()函数实现。5.4智能小车检测与跟踪模块的实现智能小车检测与跟踪模块是智能小车视频信号分解与处理系统的核心功能。这一模块实现了对小车的检测、分割、跟踪功能。下面介绍各功能并实现过程。首先需要对读入的当前帧图像进行灰度图像处理简化计算量，在OpenCV中可以通过调用cvCvtColor()函数实现，并使用高斯平滑进行降噪处理，通过调用cvSmooth()函数。检测功能主要利用了背景差分法，调用OpenCV中的cvAbsDiff()函数将背景帧和当前帧做绝对值差，求得了前景图像。为了凸显出前景目标图像的轮廓，还需对前景图像进行二值化处理，黑白化帧图像。通过调用cvThreshold()函数实现。 分割功能一般需要去除图像杂点。因为腐蚀可以消除边界点，使边界内部收缩，腐蚀一般用来消除细小并且没有意义的目标。在OpenCV中可调用cvErode()函数来对图像进行腐蚀运算。而膨胀和腐蚀相反，则是合并接触的背景点，使边界向外扩张，填补目标区域当中出现的漏洞。在OpenCV中则通过调用cvDilate()函数来实现。跟踪功能选用的是基于动态轮廓的跟踪方法，达到实时跟踪运动目标的功能。首先，对目标图像进行边缘检测，可通过调用cvCanny()函数实现，发现输入图像的边缘并在输出图像中识别这些边缘。因为是用小车的中心点坐标来表示小车的，所以计算出小车的中心点，可通过一个for循环实现。然后对中心点图像进行清零，初始化为黑色，调用cvZero()函数就可以了。判断是否有五个点，因为采用的中心点思想，需对车辆边缘轮廓所以点进行统计，并求出中心点，考虑到汽车是长方形的，因此只需用五个点就可以表示小车了。因此用判断是否有五个点来证明是否有运动小车，对小车进行跟踪。然后再将这五个点设置为白色，进行标记即可。5.5轨迹绘制模块的实现绘制轨迹模块实现了对小车的运动轨迹的绘制功能。绘制轨迹是系统的最终目标。由于在跟踪过程中已经取得中心点，并保存进了一个专门的数组，因此只需对此数组进行扫描for(inti=0;i<count_center_point-1;i++)，读出里面的数值cvLine(TrackImg,cen_point[i],cen_point[i+1],color);，按照此数值绘制曲线就好了。需要注意的是需将轨迹背景图像和视频图像的大小设置一致，保证物体实际运动路线和轨迹的对比效果。5.6本章小结本章主要是对智能小车视频信号处理与分解系统的基本环境的配置和一些核心的模块做了详细说明，通过这些说明可以看出智能小车视频信号处理与分解系统中的核心功能和代码生成的特色，在开发数字图像处理系统的时候，这些基本的功能将有助于提高开发效率，为其他功能的完善节省时间。当然，本章只介绍了系统实现的核心功能，其他的功能在这里就不作叙述了。

6应用示例本章主要是对智能小车视频信号分解与处理系统应用的章节，在本章会举一个例子来应用智能小车视频信号分解与处理系统，通过此示例能了解智能小车视频信号分解与处理系统的核心技术，核心功能，同时能体会到智能小车视频信号分解与处理系统在处理过程中的效率，也能在此基础上进行扩展。6.1示例概述本节主要是对本章中示例的描述，本示例主要是对一个摄取的运动汽车视频的应用。基本功能要求有：打开一个视频，载入视频，获取帧图像能够从视频中提取背景图像能够检测和跟踪运动目标，小车。能够绘制出小车运动的轨迹对以上这些功能需求在智能小车视频信号分解与处理系统中都能轻而易举的实现，其实现过程在下一节中将详细介绍。6.2示例实现过程使用系统本节针对小车视频在智能小车视频信号分解与处理系统中的处理过程做详细的描述，每个步骤都有详细的说明，下面将分步骤来描述整个实现过程。步骤一：读入一个视频点击“文件”菜单，选择打开，弹出一个基于windows的对话框，选中需要进行处理的视频，单击打开按钮，读入视频文件，如图6-1所示。如果不是AVI格式的视频，则会显示打开失败，如图6-2所示。图6-1图6-2从中可以看出，在录制视频后，需对视频的格式进行转换，只有转换成AVI格式才能读入视频，否则就会打开失败，不能载入视频。步骤二：对载入的视频进行背景提取，获取背景帧图像。单击“背景提取”菜单，会弹出一个新的和视频图像大小一样的新框，等待几秒，获取背景，如图6-3所示。不能重复提取背景，如果提取过背景，会弹出“背景已经提取”的对话框，如图6-4所示。图6-3图6-4步骤三：检测视频中出现的运动目标，并对其进行实时跟踪。单击“检测跟踪”菜单，此时会弹出一个新框，读入视频时打开的视频开始播放，随着小车出现，开始检测和跟踪小车，小车用一个小白点表示，如图6-5所示。如果已经进行过检测与跟踪，会弹出“车辆跟踪已经结束”的对话框，如图6-6所示。图6-5图6-6步骤四：绘制出小车运动轨迹。单击“绘制轨迹”菜单，此时不会弹出一个新框，直接在检测跟踪模块弹出的新框的基础上进行轨迹曲线的绘制。如图6-7所示。图6-7此时。整个视频图像处理结束。以上是一个完整的示例由智能小车视频信号分解与处理系统处理的过程，通过这些过程就可以完成对小车视频信号的分解与处理，并绘制出其轨迹。6.3本章小结本章通过一个小车视频的示例讲述了如何应用智能小车视频信号分析与处理系统，按步骤详细说明了各个环节的操作流程，并且有详细的图解，通过本章的学习可以熟练的使用智能小车视频信号分解与处理系统中的核心功能和一些扩展功能。重庆理工大学毕业论文