（计算机应用技术专业论文）交通信息采集系统中的车辆目标检测与识别.pdf

摘要实时交通流数据的采集，包括车流量统计、车道平均车速、车型识别分类等，在智能交通监控系统中起着重要的作用。交通流检测器有电磁感应线圈、超声波检测器、微波监测器和红外光标等多种方式，而基于图像处理的视频检测方式近年来发展很快，因为它具有大区域检测、设置灵活等优越性，已经成为智能交通系统的一个研究热点。本文以交通信息采集系统中运动车辆的检测与识别为应用背景，主要做了以下几方面的工作：1 在对运动目标检测中背景更新、噪声的消除等一些难点问题进行了深入的分析研究的基础上，给出了一个稳定的运动车辆检测算法。2 在对各种目标识别算法分析比较的基础上，给出了一套可行的车辆识别解决方案。3 在以上研究工作的基础上完成了视频交通信息采集系统的初步开发。本文的运动车辆检测方法作为视觉监控领域的一种普遍方法，具有一定的理论意义和实用价值，可以推广到视觉监控的其它应用中，具有广阔的应用前景。关键词智能交通系统，运动目标检测，目标识别，背景相减a b s t r a c tt h ec o l l e c t i o no fr e a l t i m et r a f i l ed a t a ，s u c ha st r a 髓cl o a d ，a v e r a g et r a v e ls p e e da n dv e h i c l ec l a s s i f i c a t i o n ，p l a y sac r i t i c a lr o l ei nt h ei n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m 。t e c h n o l o g i c a li n n o v a t i o n sh a v eg i v e nr i s et od i f f e r e n tt y p e so ft r a f f i cd e t e c t o r s c o n v e n t i o n a ld e t e c t o r s ，f o re x a m p l e ，i n d u c t i v el o o p ，d e t e c t o r su s i n gu l t r a s o n i c ，m i c r o w a v e ，o ri n f r a r e d ，h a v eb e e np u ti n t ou s ef o rs e v e r a ld e c a d e s m e a n w h i l e ，ap r o m i s i n ga p p r o a c h ，v i d e o - b a s e dm e a s u r e m e n ts y s t e m ，h a sd e v e l o p e dq u i c k l y s i n c ei th a sm a n ya d v a n t a g e s ，f o ri n s t a n c e ，w i d e r - a r e ad e t e c t i o na n ds u p e r i o rf l e x i b i l i t y , m a n yr e s e a r c h e sh a v eb e e nd o n ei nt h i sa r e a u p o nt h eb a c k g r o u n do fd e t e c t i n ga n dr e c o g n i t i o nm o v i n gv e h i c l e si na ni n t e l l i g e n tv i d e o b a s e dr o a dt r a f f i cs u r v e i l l a n c es y s t e m ，w ef o c u so u rr e s e a r c ho ns o m ei s s u e sa sf 0 1 l o w s ：1 i nt h i st h e s i s ，w ef o c u so u rr e s e a r c ho ns o m eh a r di s s u e si nd e t e c t i n gm o v i n go b j e c t s ，s u c ha su p d a t i n gb a c k g r o u n di m a g e ，e l i m i n a t et h ed i s t u r b a n c e so fm o v i n gc a s ts h a d o w , a n dl i g h tc h a n g e ，a n dp r o p o s ear o b u s ta l g o r i t h mo f d e t e c t i n gm o v i n gv e h i c l e so nr o a d 2 i nt h i sp a p e r , w ep r e s e n t e daf e a s i b l ep r o j e c tf o rv e h i c l er e c o g n i t i o nb a s e do na n a l y s i so fm a n yo b j e c tr e c o g n i t i o na l g o r i t h m 3 t h ea b o v er e s e a r c hw o r k sw e r ea p p l yt oa ni n t e l l i g e n tt r a f f i cd a t ac o l l e c t i o ns y s t e m t h ep r o p o s e da l g o r i t h mo fd e t e c t i n gm o v i n gv e h i c l e si nt h i st h e s i s ，w h i c hh a si m p o r t a n tt h e o r e t i cm e a n i n ga n da p p l i c a t i o nv a l u e ，i sau n i v e r s a lm e t h o di nt h er e s e a r c ha r e ao fv i d e os u r v e i l l a n c e i tc a nb ee a s i l yg e n e r a l i z e dt ot h ea p p l i c a t i o n sw i t hd i f f e r e n ts i t u a t i o n s ，a n dw i l lh a v eaw i d ea p p l i c a t i o np r o s p e c ta sw e l l k e y w o r d si n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m ，m o v i n go b j e c td e t e c t i o n ，o b j e c tr e c o g n i t i o n ，b a c k g r o u n ds u b t r a c t i o ni i图表索弓图1 1a u t o s e o p es o l op r oi i 车辆监测系统图1 2 研究方案图2 1 运动目标检测与分割的总体流程图图2 - 2 基于统计分析的背景估计图2 ，3 背景更新流程图图2 - 4 城市交通视频及其运动检测结果图3 1 目标识别的一般流程图图3 2 外轮廓的角度一距离曲线图3 3 统计模式识别框图图3 - 4 两类模式判别类域的界面图3 5 三类模式判别类域的界面图3 - 6 小车样本图3 7 大车样本图3 _ 8 两小车粘连的样本图4 - 1 交通视频的特征图4 - 2 车辆目标的分割图4 3 包络线上点的近似最大距离的一半图5 - 1 系统界面图5 - 2 实验平台车流量统计的一般过程图5 - 3 实验素材及监测区域设置表3 - 1 小车样本的特征数据表3 2 大车样本的特征数据表3 ，3 两小车粘连的样本特征数据表5 - 1 素材中前8 0 0 帧的车流量统计结果v_一他博加丝巧撕勰如”弘”拍加甜钙舛私们原创性声明本人声明，所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我共同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。作者签名：i 衾l 叁圣日期：! 塑王年舅堑日关于学位论文使用授权说明本人了解中南大学有关保留、使用学位论文的规定，即：学校有权保留学位论文，允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容，可以采用复印、缩印或其它手段保存学位论文；学校可根据国家或湖南省有关部门规定送交学位论文。作者签名：缝导师签名二薹羔叁日期：堕年上月堑日中南大学硕七学位论文第一章绪论第一章绪论1 1 选题意义和应用背景分析随着我国经济建设的蓬勃发展，城市的人口和机动车拥有量也在急剧增长，交通流量日益加大，交通拥挤堵塞现象日趋严重，交通事故时有发生，交通问题已经成为城市管理工作中的重大社会问题，阻碍和制约着城市经济建设的发展，它不仅影响对外开放的形象，而且也直接影响着市民的正常生活。如何科学有效地解决好城市交通问题已经引起政府领导社会各界人士及广大市民的高度关注。因此，深入研究解决城市交通问题，对于加速城市的经济建设，强化社会治安管理工作以及方便广大市民的日常生活有着极为重要的现实意义。为了能够科学合理的解决城市交通问题，改善城市居民的出行条件和城市的发展环境，对城市现有道路交通流量和道路交通状况进行调查分析，准确掌握交通信息就有着十分重要的现实意义。首先，它为制定城市交通规划提供必要的交通数据。其次，交通设施的修建和改建离不开交通数据和道路交通状况信息。再次，城市智能交通控制离不开交通数据和道路交通状况的需求。智能交通控制如果脱离了交通数据和道路交通状况的实际，则交通控制效果就会大大降低。第四，交通数据和道路交通状况信息是做出科学的交通管理决策的依据。第五，交通数掘和道路交通状况信息能够用于推算通行能力，预估交通事故率，进行交通环境影响评价。预估收费道路的收入和效益以及工程的可行性研究。此外，通过对交通数据和交通状况信息的分析，可以广泛开展城市交通的理论研究，进行各种工程措施、管理措施实施情况的前后对比，判断改善交通措施的效果等。总之，交通流数据和交通状况信息对城市交通管理和城市道路交通建设都十分重要。所以，智能交通系统中运动目标的检测及其交通数掘统计方法的研究有着深刻的意义和广阔的应用前景。1 1 1 交通信息管理与现代社会交通问题不仅在发展中国家，就是在西方发达国家也是让人困扰的问题。众所周知，解决交通问题的直接办法是提高路网的通行能力，但无论是哪个国家的大城市，可供修建道路的空问有限。建设资金筹措困难。同时，由于交通系统足一个相当复杂的大系统，单独从车辆方面考虑或者单独从道路方面考虑，都很难从根本上解决问题。8 0 年代以来，世界各发达国家虽然已经基本建成了四通八中南大学硕七学位论文第一誊绪论达的现代化国家道路网，但随着社会经济的发展，路网通行能力已满足不了交通量增长的需求，交通拥挤和阻摩现象日益严踅，交通污染、能源浪费与交通舅故越柬越引起社会的酱遍关注。经过长期和广泛的研究，返些国家已从主要依靠修建更多的道路、扩大路网规模束解决日益增长的交通需求，逐步转移到从系统的观念出发，把车辆和道路综合起来考虑，用高科技束改造现有的道路运输系统及其管理系统，从而大幅度地提高路网的通行能力和服务质最。日本、美国和西欧等发达的国家为了解决共同面f | 缶的交通问题，竞相投入大量的资金和人力，开始大规模地进行道路交通运输智能化的研究。本世纪6 0 年代，荚国就开始了有关智能化交通方面的研究，之后，欧洲、日本等也相继加入了这一行列。经过4 0 年的发展，荚国、欧洲、日本成为世界智能化交通研究的三大基地。目前，另外一些国家和地区的研究也有相当大的规模，如澳大利亚、韩国、新加坡、香港等。可以说。全球正在形成一个新的智能化交通产业，难以记数的大小项目正在开展，发展舰模和速度惊人，以“保障安全、提高效益、改善环境、节约能源”为目标的智能化交通系统概念正逐步在全球形成。2 0 世纪9 0 年代以来，中国经济进入高速发展的时期，交通需求越束越高，车辆和道路的矛盾越束越大，我国加紧了道路基础设施的建设，特别是高速公路和高等级公路得到高速发展。但是，政府和专家们所设计的道路的发展速度远远赶不上乍辆的发展速度，发达困家在交通上遇到的问题，在中国柬得比预期的要早，甚至更严重。因此，单纯的进行道路基础设施的建设_ 已经不口t 能解决交通问题，智能化交通系统在我国的提出和实施势在必行。智能交通系统( i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m s ) 简称i t s ，它实际上包括了智能交通和智能运输两方面的内容，i t s 足将先进的信息技术( 包括数据通信、计算机等) 、传感器技术，自动控制理论、运筹学、人工智能等有效地综合运用于交通的运输、服务控制和车辆制造等方面，加强车辆、道路、使用者三者之问的联系，从【面形成的一种实时、准确、高效的综合运输系统，最终使交通运输服务和管理智能化，使路网上的交通流运行处于最佳状态，改善交通拥挤和阻摩，最大限度地提高路网的通行能力，提高整个公路运输的机动性、安全性和，i 三产效率。1 1 2 智能交通系统的组成一个完整的智能交通系统足一个复杂的综合性的系统，从系统组成的角度叮分成以下一些子系统【1 j ：1 ) 先进的交通信息服务系统( a t i s ) ；2 ) 先进的交通管理系统( a t m s ) ；3 ) 先进的公共交通系统( a p t s ) ：中南大学硕士学位论文第一章绪论4 ) 先进的车辆控制系统( a v c s ) ；5 ) 货运管理系统；6 ) 电子收费系统( e t c ) ：7 ) 紧急救援系统( e m s ) 。而从信息流的角度，智能交通系统可分成信息采集、信息管理与信息发布三部分。1 ) 信息采集：实时采集交通系统中的各种信息，包括道路中的车流状况、交通事故、交通违章、道路施工等信息，并将这些信息进行初步的统计后进行存储。2 ) 信息管理：完成对原始数据的加工和分析，提炼出对交通管理有指导意义的知识，同时合理的( 采用集中或分布方式) 存储系统中的各种信息资源，并保证系统中信息的规范化。3 ) 信息发布：将经过整理的实时信息及分析后的预测信息通过各种方式( 无线通信、有线广播、电子显示屏、i n t e r n e t 网以及车载器等) 向出行者及驾驶员发布。在这三部分中，交通信息采集部分作为一个庞大的城市智能交通控制系统输入部分，担负着提供准确可靠的信息以使整个系统得以顺利运行的重要责任，是系统中最基础的部分。在实际的城市交通管理系统中，一个好的交通监测和信息采集系统，可以对任一时段内道路交通动态信息进行实时地翔实准确的报道，提供多种实用的交通数据( 如：车流量、车辆速度、车道占用率等) ，进而为交通管理提供决策依据。同时它还能够监测车辆的违章和交通事故的发生，并做出客观的记录和迅速地进行反馈，便于高效率地处理故障，疏通交通。1 1 3 交通流数据检测的几种方法1 ) 地埋感应线圈检测地埋线圈车辆检测是最为传统的检测方法，一直沿用至今。其性能稳定，抗干扰能力强。可检测经过指定点的车辆，计算交通流参数，通过合理分布的线圈传感器组，可在路口采集检测范围内的车辆感应信号序列，经过数字化、智能化信号处理和信号识别，提取出相关的交通流数据。地埋式感应线圈车辆检测器的主要功能有：测定指定车道的交通流数据( 车流量、占有率) 、检测指定路段的交通流状况、与其它类型监测器和监控设备相配合，以多传感器融合的方式，完成特定事件的检测和处理( 如：逆向行驶、超速行驶、压黄线等违章检测) 。感应采集器由电容和地感线圈并联组成，采用无源振荡模式工作。单片机开始产生一中南大孕硕十学 1 7 论文第一誊绪论个激励脉冲使之振荡，产生某一中心频率为，的磁场，当车辆通过时，可根据电感晕的变化束检测有无车辆，统计乍流鼍及车速等。其缺点足安装过程肘i ，靠性和寿命影响很大，修理或安装需要中断交通，影响路面寿命，易被重璎车辆、路面修理等损坏、施工复杂，维护设施需要大鐾费用。2 1 超声波探测器超声波枪测具有体积小，易f 安装等特点，它由超声波探头、通讯电路、控制部分组成，通过向探测区域不断地发送超声波并接收返回的超声波，根掘接收与返回的时问差来确定有无车辆通过等数据，从而实现对交通数据的检测。其特点足性能随环境温度和气流影响而降低。3 1 ，基于视频图像处理的方法随着图像处理等技术的发展，视频处理技术正逐步应用丁二交通信息采集系统中。视频监测器具有成本低、检测范围广、检测信息量大、无需破坏地面、设备简单成本低等优点。通过对视频图像的处理分析，可以有效提取交通信息。视频交通流量检测系统足一个集图像处理系统和信息管理系统为一体的综合系统，代表着交通检测的方向【2 1 ，本文将对此进行详细阐述。1 1 4 基于视频图像处理的交通信息采集系统的特点与功能基于视频的道路交通监测系统具有不破坏路面，检测范围大，安装使用灵活，维护费用低的特点，具有广阔的应用前景。基于视频的交通监测和信息采集系统可以为智能交通系统提供如下的功能与数据；1 1 实时检测并跟踪所监视区域内出现的所有车辆，并记录其位置、行驶速度以及尺、r 等信息；2 ) 实时自动地统计并记采当j j i 道路上车流的统计参数，例如乍流量、_ 平均车速、道路占有率、等待时h j 等，并对堵车等特殊的车流状况进行判断并及时反馈：3 1 实时监测在系统所监视区域内的车辆有无违章行为( 包括乱停、越线、超速等等) 和事故发生等，若有，则报警并记录现场情况，为交通部门事后处理提供确凿证据；4 】自动识别出所感兴趣的车辆的车牌号码和车辆类型。在上述功能中车辆的检测以及交通流参数的采集足最基础的部分，其它的各个功能都是建立在车辆枪测以及交通流参数采集的算法基础上的。4中南大学硕士学位论文第一牵绪论1 1 5 国内外研究现状1 ) 国外研究现状发达国家在交通管理方面，早已经开始了从道路交通状况监控技术到各种交通模型，基础交通理论的研究。在道路交通监控技术方面，有些研究成果已经在交通管理中实际应用。如美国i s s 公司生产的a u t o s c o p es o l op r o i i 车辆监测系统、英国p e e k 公司生产的v i d e o t r a k 9 0 5 型、v i d e o t r a k - - 9 1 0 型视频车辆跟踪和探测系统都以实用化并且性能优异。通过这类设备可以得到多种交通流量参数和监测出多种交通状况。图1 - 1a u t o s c o p es o l op r oi i 车辆监测系统除a u t o s c o p e 、v i d e o t r a k 系列外，在i t s 领域还有很多关于视频图像处理的研究【3 h 5 1 。过去十多年来，以美国、英国为代表的发达国家开展了大量的i t s 先导项目研究，在i t s 发展领域取得了很多成效1 6 1 。这些成效包括：( 1 ) 为出行者提供各种信息以便更合理地计划出行日程；( 2 ) 更好更有效地利用现有的地面交通设施：( 3 ) 大幅度地减少各种交通伤亡事故；( 4 ) 增强对交通事故的应变能力，提供更快，更有效的急救服务和事故现场清理，保障正常交通的迅速恢复；( 5 ) 通过缓解交通拥堵，减少交通事故，实现收费自动化和检查自动化，来保持道路设施的通畅。尽管如此，i t s 的潜在效益尚且只是线路端倪而已。未来的i t s 将实现各种方式的地面交通以及与之相关的空中和海洋交通运输的一体化：i t s 将促进整个交通运输系统朝着具有良好的使用性能和优质的服务性能的方向改进；i t s 将以前所未有的水平来增强客货运输的机动性，同时在节约时问、金钱和拯救生命财产方面发挥巨大的作用。发达国家已经清醒地认识到i t s 的这种巨大的潜在效益和潜在市场并投入了大量的人力物力和财力来保证他们在i t s 研究与实用化方面的领先优势。中南人学硕士学位论文第一錾绪论2 1 国内研究现状在国内，过去由了二受到经济条件和基本国情的限制，人口流动，物资调动还不是很多，交通资源相对于交通需求还是比较充裕的，这就使得交通管理方面的研究没有巨大的 场需求以及现实的经济效益，因此也造成没有多少人力物力和财力投入到这方面的研究上来，导致我国交通管理方面的研究基础比较薄弱，研究成果及实际应用也远远落后于国外。近年来，随着经济、社会的发展，交通问题逐渐显现出来，交通管理研究成为必须要面对的问题。目前，在交通信息的获取方面，由f 困外的交通监测设备价格昂贵，每套设备的价格都在f 几力荚元，而且，有些设备的助能并不适合国内的实际交通情况。在这种背景下，以图像处理技术和模式识别技术为主的交通视频监测技术的研究和应用正在兴起，已有一些产品投入市场 7 1 1 8 1 。但足，这些产品大郡足处于实验阶段或模仿国外产品，功能单一，没有成系统，有一定的局限性。而在交通模型和基础交通理论研究方面，也有一些高校、研究所投入进来，并提出了一些有价值的交通模型和理论成果【9 l 【”l 。同时，国内的i t s 研究也逐渐启动，已经有多个城市把实施i t s 纳入市政工程，包括北京、上海、深圳等。目前，利用电视视频技术、数字图像处理技术、模式识别技术及通信技术等多项技术为一体的计算机视觉技术对交通监测和控制足一个具有广阔应用前景的前沿研究方向。它的目标就是用计算机视觉技术，通过分析摄像机拍摄的交通图像序列束对车辆、行人等的运动进行检测、定位、识别和跟踪，并肘车辆、行人等运动目杯的交通行为进行分析和判断，从【面既完成各种交通信息的采集，又进行与交通管理有关的各种日常管理和控制，形成一个全方位立体化的数字交通监控网。这项技术的研究和应用，将会极大改变目前交通管理的以人管理为主的被动局面，真正实现交通管理智能化。因此，进行视频交通监测的设计和研究具有很大的实际意义。同时，分析得到交通信息，建立准确的交通模型足一个对城市建设和长远发展具有指导意义的系统研究问题。如何建立正确的交通模型，利用交通模型优化交通网络足当日口交通管理研究的蘑要内容。1 2 运动车辆检测与识别的重点与难点1 2 1 运动目标检测与分割方面一般束说在视频交通信息采集系统中，运动车辆的正确检测与分割的蘑点与难点主要集中在以下几点：1 ) 车辆之间的遮挡问题6中南大学硕士学位论文第一荜绪论交通拥挤时，各车辆互相遮抟现象严重，窜道行驶现象频繁，给车辆的检测与分割带来了很大的困难。2 ) 自适应性问题环境光线总会发生变化，背景更新不能跟上环境变化就会导致运动目标检测的“飘逸”。各种噪声的影响会导致检测结果中出现大面积噪声，影响目标的分割。阴影以及夜晚车灯的影响，对车辆的检测是一个很严重的问题，尤其足雨天的夜晚，车灯的照射下路面反光影响很大。3 ) 复杂背景的影响交通监测系统虽然信号采集是固定在同一个地方进行，多数时候可以假设背景是静止的，但是不能排除背景本身的突变，比如：闪电、暴雨等。还有，在阴雨天，场景中除了运动的交通目标之外还有密密麻麻的运动的雨滴，在这样的复杂背景下，如何有效地检测与分割我们感兴趣的目标是一个很困难的问题，也是一个成熟的交通监测系统必须面对的问题。4 ) 目标的精确分割问题目标的精确分割足交通信息有效采集的基础和前提，然而运动检测的误差或错误几乎会毫无保留地传递给目标的分割，所以，目标的精确分割受到各方面因素的影响和制约。5 ) 如何精确的计算目标的运动参数及空问几何参数有效的交通信息采集就是要能够得到目标的运动参数及空间几何参数，这些参数的计算依据目标检测与分割的结果。针对车辆来说，一方面有三维运动仿射变化的影响，导致空间几何参数的变化；另一方面，视频研究的对象是三维物体在二维像平面上的投影，由三维n - 维的变换丢失了大量的信息；还有，车辆的互相遮挡问题等等。6 ) 算法对噪声干扰的鲁棒性个有效的算法必须要有相当的鲁棒性和精度，这就要求其必须对环境的缓慢变化( 如光线的变化) 不敏感：要能适应场景中个别物体运动的干扰( 如马路边树木的摇晃) ；检测和分割的结果应满足后续处理( 如识别分类) 的精度要求。7 1 处理的实时性要求对视频图像的处理，数据量非常大，对于一个计算机视觉领域的实时系统来说，除了要求硬件配置要较高之外，对算法也有着很高的要求。一个笨拙的算法即使其逻辑上足合理的也难以满足系统实时性要求。1 2 2 运动目标识别方面在交通视频中，运动车辆的识别分类问题主要集中在以下几点：中南大学硕士学位论文第一章绪论1 1 目标二维运动的影响运动车辆由于仿射变化的影响，难以得到稳定j r 靠的特征用于识别分类。2 ) 特征选取及降维犬黾的特征之间往往有着一定的相关性，为消除信息冗余，提高算法速度，必须选择合适的方法来选出相瓦独立的特征或相关性小的特征进行识别分类3 ) 分类器选择各种各样的线性分类器、非线性分类器，如何选择最适合系统要求的分炎器足必须面对的问题。1 3 研究方案及技术路线本文将从现场采集的交通流数掘着手分析研究出一种实用的基f 视频图像的动态车辆检测与识别方法，同时开发出一套实用的视频交通流分析软件，研究工作的整体思路如图卜2 所示。算法研究的目的足为了开发出实用的交通流分析工具，从一般的图像分析方法中探索出适合于视频交通信息采集的方法，同时要求算法的实时性、准确性都比较高。具体技术路线如下：1 ) 分析已有的运动目标检测方法，着眼点包括：图像差分技术光流检测技术等，在此基础上，针对交通视频的特点，采用基f 统计分析的方法柬预估背景，在枪测过程中对背景进行自适应性更新以保证系统能够处理环境光线缓变的影响。对背景相减结果做数学形念学滤波之后进行种子点伪随机增长达到对目标合理分割的目的。2 ) 综合分析考虑已有运动目标检测方法的基础上，采用基f 统计模式识别的方法束进行车辆目标的识别分类。具体b r 以考虑的特征有：面积、周长、复杂度、车辆的速度等等。3 ) 交通视频的处理数据量巨大，为了满足系统实时性的要求，必须想办法减少处理的数据量。根据国外一些系统的经验，我们通过在交通视频中设置一些监测区域，只对监测区域内的数掘进行处理柬达到减少处理信息的目的，进而研究出一种适合于交通信息采集的视频处理方法。4 ) 利用以上所研究的车辆目标检测方法，搭建一个灵活实用的基丁= 视频的交通信息分析平台，实现交通流星统计、车型分类、速度测量等功能。中南大学硕七学位论文第一章绪论1 4 论文的主要工作图1 2 研究方案本文从智能交通监控系统中车辆目标的检测、识别与跟踪中的重点、难点问题的研究出发，对于车辆目标的检测中背景更新、阴影或光线变化带来的噪声的消除等一系列难点问题进行了深入的分析研究，从图像背景差分出发，利用基于统计分析的背景模型方法及数学形态学滤波的原理给出了一套车辆检测的解决方案。针对运动的车辆目标，三维运动给识别带来了一些困难。不同的时间车辆的颜色信息和形状特征均会有较大的差异，所以，只采用单一的特征很难对车辆进行识别分类，本荜首先分析目标识别的一般方法及思路。对现有的算法进行简单的综述和讨论，然后针对车辆目标的特点，给出了基于统计特征分析的车辆识别解决方案。并在此基础上搭建了视频交通信息采集系统的实验平台。9中南大学硕士学位论文第一章绪论1 5 论文的组织结构论文第一搴介绍了课题的背景及常见的交通数据枪测方法，对课题研究的意义进行阐述，对几种常见的交通数据检测方法进行分析比较。第二章对运动目标的一些检测方法优缺点进行比较，提出了基f 统计背景模型的乍辆检测方法，并对背景模型的更新策略以及车辆目标提取过程中的滤波降噪算法进行详细的论述，给出实验结果；第三程研究目标识别方法，首先对几种目标识别方法的优缺点进行分析比较，然后针对车辆目标的特点，给出了基于统计特征分析的乍辆目标识别分类解决方案。第四誊在第二、三章车辆检测的基础上，根据视频图像的基本枪测原理，设定监测区域，选择恰当的视频信号对交通数掘进行分析计算。给出交通数据。如车流量、车速、车型等的检测算法。第五蕈基于视频的交通监测实验平台研究，主委对所搭建的实验，严台进行分析，给出实验结果并对其进行讨论。最后对全文工作进行一个简单的总结与展望，提出还存在的问题。l o中南大学硕十学位论文第二章车辆目标的枪测与分割第二章车辆目标的检测与分割运动目标的检测与分割足计算机视觉、视频信息处理等应用领域的重要研究内容。目静，视频信号的智能化处理要求日益增加，正确地从视频流中提取运动目标足许多智能视频监视系统，如视频监视【1 2 1 、交通自动监控【”1 、人体检测与跟踪【1 4 l 【1 5 l 等的基础部分。在智能交通监控系统中，车辆运动目标的正确检测与分割是所有后续处理的前提和基础。交通参数( 车流量、车速等) 采集，车型识别分类以及车辆目标的跟踪等都直接依赖于车辆目标的检测识别结果。本章重点论述车辆目标的检测与分割方法。首先对前人所做的工作及一般性的理论做个简短的综述，在此基础上，针对交通视频自身的特点，提出了基于统计背景模型的运动目标检测方法，并根据具体情况对背景模型进行实时更新，以适应光线变化或场景本身的变化。背景差分操作后，针对运动目标在差分图像中产生空洞的特点，提出了种子点伪随机增长算法。最后用数学形态学运算对目标的分割结果进行后处理，消除噪声和背景扰动带来的影响。实验结果表明该方法能有效检测出和提取出运动目标并且具有较强的鲁棒性。2 1 运动目标检测与分割概述运动目标检测与分割足指检测并提取视频系列中与背景存在相对表观运动的前景目标，并根掘灰度、边缘、纹理等二维图像特征将运动前景进一步分割为若干独立目标。换言之，运动目标检测主要是基于运动的时间域分析，而分割则足在检测结果基础上的空间域分析。图2 i 给出了一般性地运动目标检测与分割的总体流程。已有的运动目标检测方法大体上可分为：基于光流场分析的方法1 1 州和基于图像差分【 l 的方法两类。本章论文中首先对这两类方法进行讨论和比较，接合国内外繁多的视觉监视系统的经验，本文选用了图像差分的方法来进行车辆目标的检测，然后针对交通视频自身的特点，在图像差分中提出了基于统计分析的背景估计方法，并根掘具体情况对背景模型进行实时更新，以适应光线变化或场景本身的变化。背景差分操作后，针对运动目标在差分图像中产生空洞的特点，提出了种子点伪随机增长算法。最后用数学形态学运掣”l 对目标的分割结果进行后处理，消除噪声和背景扰动带来的影响。实验结果表明该方法能有效检测和提取出中南大学硕十学位论文第二章乍辆目杯的检测与分割运动目标片且具有较强的鲁棒性。图2 1 运动目标检孤j 与分割的总体流程图2 2 基于光流场分析的运动目标检测与分割运动的本质是物体在空问位霞关系的变化，表现在图像上足图像象索强度的变化。这样，对丁二运动目标的检测最直接的想法就是分析图像序列中各点的运动场，即找出由空间运动而引起的像平面上对应点的运动。然而，在图像中可测的仅仅是图像灰度的变化，由图像灰度的变化所反映的运动称为表观运动( a p p a r e n tm o t i o n ) ，对表观运动的记泉称为光流。光流场并不一定能反映物体的真实运动，但足在我们所处理的情况中，为简便起见，可以忽略表观运动和物体真实运动之f h j 的差异【l9 1 ，用光流场来代替运动场，分析图像中的运动目标及其运动参数，进而利用目标与背景表观运动模式不同进行目标的检测与分割。1 2中南大学硕士学位论文第一二章节辆目标的检测i 分割据人的视觉感知原理，客观物体在空间上一般足相对连续的，因此，我们可以假设运动图像函数秘，弘f ) 足关于变量薯y 和，的连续函数，物体成像点0 ，y ) 在时刻t 的强度值为l ( x ，弘f ) 。如果用u ( x ，y ) 和v k y ) 表示图像在该点的水平和垂直速度分量，则在时刻r + 出图像点从o ，力移动到啾y + d y ) 时强度值为兵x + d x , y + d y , f + d r ) ，其中d x = - u c l t , d y = v d t 分别为水平，垂直方向上的位移。据霍恩舒恩克( h o r n - s c h u n k ) 提出的运动物体2 d 时空模型，图像象素强度守恒，对于同一目标点来说，可以认为：y ( x ，弘t ) = 以什出，y + a y , t + d t ) ，沿运动轨迹上亮度保持不变，有：砸，弘t ) d t = o( 2 - 1 )其中_ ，辑，弘r ) 是关于墨儿r 的连续函数。对2 - 1 式展开得到：望生+ 望生+ 望：0( 2 - 2 )a xd la yd l0 |上式就是基本的光流约束方程，它反映了运动图像时间梯度与空间梯度之间的时空微分关系。记e = 善；e = 瓦o f ；髟= 等；u = 鲁；v = 詈；取厶，正表示图像亮度在空间，时问上的偏导数。有：e ，+ e ，v + e = 0( 2 - 3 )该方程是建立在图像象素强度守恒的假设基础上的。不适合用于由f 其它物体的遮掩引起的强度变化等情况。只有( 2 3 ) 式一个方程，如何求解两个未知量甜和v 呢? 需要引入新的约束条件。在实际情况下，观察物体的速度矢量是局部平滑的，z f 和v 随象素点o ，y ) 的改变而缓慢变化，在局部区域变化应该足够小。特别地，在目标点作无变形的刚体运动时，相邻点具有相同的速度，此时在局部区域速度的空间变化率为零。令u 。和v 。分别表示“和v 在领域中的平均值，有：a 2 - ( 珈“。g ) 2 + ( v 也，g ) 2 = 0( 2 - 4 )掘两个约束条件。对全部像点0 ，j ，) ，定义如下误差函数：c ( u ，v ) = ( e 。“+ ，v + e ) 2 + 2 z a 2( 2 - 5 )其中五是拉格朗日乘子。函数c ( u ，v ) 的最小值在驻点处取得，所以，当e ( u ，v ) 取得最小值时，有：三二：0( 2 - 6 )a u鼍三= 0( 2 7 )d v中南大学硕七学位论文第二荜午辆目标的柃测与分割由式( 2 - 6 ) ( 2 7 ) 展开可得：( e ：+ 五2 l l + e 。e y v + g ，e 一五2 “。= o( e ；+ 五2 卜+ e 。e y u + f ，巨一五2 v 。= 0由式( 2 - 8 ) ( 2 9 ) 可得。一坐篙型忙一地群一般常用如下松弛迭代求解1 , r ：( 2 - 8 )( 2 - 9 )( 2 一1 0 )( n + 1 ) 刊”一堡! 兰：掣型：! 墅2名2 + e ，+ ：( 2 - 1 1 )v ( n + d ：，一生堕：! 型：型五+ e ：+ e ：其中u = 0 ，v 们= 0用，酝，弘，) 表示图像在点( x ，弘r ) 的强度，那么岛，历，e 可分别如下近似计算：e ：l 4 ( ，1 & + l ，弘，) 髓l ，y 十l ，f ) t “x + l ，弘，+ 1 ) t “x + ，y + l ，f + 1 )- f ( x , y , f ) - f x ，) 斗l ，t ) - f ( x , y , t + 1 ) 讹旷1 ，f + 1 ) )e , q 4 泓，旷l ，) 可i ，旷i ，) 讹旷l ，f + 1 ) 可* l ，矿l ，f + 1 )- f ( x , y , r ) 7 b + l ，弘f ) - f ( x ，弘t + 1 ) 了b + l ，弘f + 1 ) )e = l 4 舛暑弘t + i ) b + l ，弘f + 1 ) b ，旷l ，+ 1 ) + h + l ，旷l ，+ i )- f ( x ，弘f ) - = “z + l ，弘d r c 旷l ，f ) 归l ，矿l ，f ) )对全部( 工，y ) 值，当迭代结果满足给定的估计容错q 和岛时迭代结束。即：l u 【n 一u i n - | ) 占i；l v ”一v ( n - i ) f 2在运动( 光流) 场确定之后，去除随机噪声及一些过小的运动，认为在枪测时段内运动向量始终在一定范围内保持一致的那屿区域属于一个物体，从而可以确定出各运动目标( 车辆) 在各个时刻的运动参数( 速度，方向等) 。基于光流场分析进行运动检测与分割的方法，可以很精确的提供完整的运动信息，b r 以用束区分前景和背景，对f 非刚体运动，光流甚至能区分同一目杯的不同部分，对动态背景具有很好的适应性，但足这种方法时间复杂度高，没有特殊硬件的支持无法进行实时的计算，并且该方法受噪卢的影响比较大，因此它多适用于图像噪声比较小，目标运动速度不大的情况。1 4中南大学硕士学位论文第_ 二蕈车辆目标的检测与分割2 3 基于图像差分的运动检测方法差分图像检测运动目标比较简单，易于实时实现，因而成为目日f 应用最广泛、最成功的运动目标检测方法，被国内外大部分机器视觉监视系统所采用，繁多的这些系纠2 ”l 1 其最根本的差别就在于所选择的背景模型及其更新策略不同。差分图像法主要有两类。2 3 1 帧问差分帧间差分【2 4 l 主要有两种，一种是两帧差分法，其基本思想是用图像序列中的连续两帧进行差分，然后二值化该灰度图像来提取运动信息。此类相继图像差分法的优点是它只对运动的物体敏感，实际上它只是检测出相对运动的物体，而且因为两帧图像的时间间隔较短，差分图像受光线变化的影响小。但是，这种方法也有诸多缺点【2 5 1 ，首先两帧间物体重叠部分不能检测出来，即只检测出物体的一部分：其次，检测出的物体在两帧中的位置信息不够准确。还有，当物体运动比较慢且颜色信息相对一致时，容易在检测结果中出现空洞。另一种是三帧差分法，其基本思想是利用三帧图像计算出两个差图像，再令差图像对应象素相乘，从灰度差图像中提取出运动信息。该方法需要连续的三帧图像，并要计算梯度图像，算法的计算量较大【2 6 1 并且有一帧的延迟时间。2 3 2 背景差分背景差分方法是常用的运动目标检测方法，国内外很多学者在这方面做了大量的研究【2 7 l 一【2 9 1 。其基本思想是利用序列图像中的每一帧与背景帧相减，若象素差值大于某一阈值，则判定此象素为出现在运动目标上的，且相减的阀值操作后得到的结果直接给出了目标的位置、大小、形状等信息。这样就达到了达到检测运动目标的目的。此类减背景方法的优点是位置精确、速度快，但通常会遇到如下一些问题：1 ) 背景获取：背景图像的获取最简单的办法是在场景没有运动目标的情况下进行，但足在实际应用中无法满足这种要求，如：对公路和城市交通的监控等，所以需要一种方法能够在场景存在运动目标的情况下获得真实的背景图像。2 ) 背景的扰动：背景中往往含有轻微扰动对象，如：树枝、树叶的摇动等，扰动部分不应该被看作是前景运动目标。3 ) 外界光照条件的变化：一天中不同时问段光线、天气等的变化对检测结果的影响。4 ) 背景中固定对象的移动：背景里的固定对象可能移动，如：场景中的一中南大学硕士学伊论文第一二章乍辆目标的检测与分割辆车开走等，对象移走后的区域在一段较短的时j 口j 内町能被误认为足运动目标，但不应该永远被看着足运动目标。5 ) 前景运动目标长久停留在背景中：胁景运动目标可能长久停留在背景中，如：城市交通中的红灯时间，智能小区的车库监控中车辆入库等，当原柬的运动目标转为静止之后的一段较短时间内可能被误认为还是运动目标，但不应该再永远被看着足运动目标。6 ) 背景更新：背景中固定对象的移动、前景运动目标成为背景中的长久停留物或外界光照条件的变化等因素都会使背景图像发生变化，需要引入恰当的背景更新机制才能达到合理检测的目的。7 ) 阴影的影响：通常前景目标的阴影也会被检测为运动目标的一部分，这样将影响对运动目标的迸一步处理和分析。以往常见的方法或者不能解决以上所有问题，或者足通过构造复杂的模型束解决，计算量大，对系统要求比较高，有时可能无法满足实时处理的要求。本拳从上面的基本问题出发，以背景差分方法为基础，提出了一种有效的运动目标枪测方法。背景提取阶段，可以允许在存在运动目标的情况下，首先采用统计的方法得到背景模型，然后进行减背景操作来检测运动目标，并对背景模型实时地进行更新，以适应光线的变化和场景本身的变化，对检测结果使用形态学操作和连通域面积限制大小的方法进行后处理以达到消除噪声和背景扰动带来的影响。通过城市交通视频的实验结果证明，该方法能很好地检测出运动车辆目标。2 4 背景图像的生成与更新2 4 1 背景模型，更新策略及其运动检测的基本原理设s ( x ，y ，f ) 表示连续图像序列的象素值分前i ，b q ，y ，景。最简单常见的背景模型足通过计算多帧图像平均值得到：8 ( x ，y ，f ) = 了1 l ( x 。y ，f ) ，i - 背景更新按加权迭代方式进行：f ) 表示时刻t 的背f 2 - 1 2 )b 。y ，) = ( 1 c 0 占q ，y ，t - 1 ) + a ( x ，y ，f )( 2 - 1 3 )其中t 2 是控制背景更新速度的系数。该方法最大优点足简单，但足仞始背景比较模糊，运动检测结果有大量的噪声点，背景更新速度不好控制。设，d 0 ，y ，t ) 表示在时n t 的运动目标，则有：f lj ，d 2 ti dg 以，) = ( 2 1 4 )l o 矿d t6中南大学硕士学位论文第二章乍辆目标的检测与分割其中d = i ，y ，f ) 一b ( x , y ，f ) | 丁为设定的闽值。当z d ，y ，f ) 值为1 时，表示t 时刻位嚣0 ，力处足运动目标，为0 表示背景。2 4 2 基于统计分析的背景模型减背景方法中，背景模型提取的准确与否，直接关系到最终检测结果的准确性。国外的研究文献中提出多种背景模型提取方法，如：w 4 的方法，它足在没有前景目标的情况下，对场景进行一段时日】的观测，记录每个象素点的最大灰度值，最小灰度值，以及相邻两帧间灰度的最大差异值，用这3 个值表示背景模型。也有用前一些帧的图像象素灰度的平均值做背景模型的。这些方法都要求在背景模型构造阶段没有运动目标出现，否则构造出的背景模糊，造成运动检测结果中出现大量的噪声点，严重时导致漏检。显然，这类方法在某些场合无法满足，如：城市交通的监控，不可能中断交通来提取背景模型。在做实验的过程中，我们提出了一种简单、有效的背景提取方法，可以在场景中存在运动目标的情况下提取出背景图像。该方法这样的假设，运动目标在场景区域中运动，不会长时间停留