（交通信息工程及控制专业论文）基于图像分析的车型识别技术研究.pdf

m l l | l | 1 1 l | 1 1 1 1 1 1 | l | l i | 1 1 l i 圳 y 17 6 2 2 0 5 r e s e a r c ho n h i c l er e c o g n i t i o n b a s e do ni m a g ea n a l y s i s at h e s i ss u b m i t t e dt o s o u t h e a s tu n i v e r s i t y f o rt h e 公l c a d e m i cd e g r e eo fm a s t e ro fe n g i n e e r i n g b y z h a n gb e i - h u a s u p e r v i s e db y p r o f e s s o rl ux i a o - b o s c h o o lo ft r a n s p o r t a t i o n s o u t h e a s tu n i v e r s i t y a p r i l2 0 1 0 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用 过的材料。与我一同工作的同志对本文所做的任何贡献均已在论文中作了明确的说明并 表示了谢意。 研究生签名：日期： 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可 以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研 究尘院办理。 研究生签名：导师签名：一一日期： 一 摘要 摘要 车型自动识别在交通监控和管理中有着广阔的应用前景。本文研究了基于图像分析的车型识别 技术，研究内容包括车辆分割、车型特征提取及车型分类，主要上作如下： ( 1 ) 车辆分割研究。当车辆图像与背景图像局部像素灰度值相近时，基于投影的车辆分割方法 易产生分割错误，本文提出了一种基丁区域扫描的车辆分割方法，较好地解决了这一问题，并可有 效避免多车情况下其它车辆的干扰，解决复杂交通情况下车辆的分割问题。 ( 2 ) 车型特征提取。根据车型分类的需要，研究提取车辆的长、宽、面积、周长、轮廓、矩特 征等车型特征参数；讨论了类别可分性判据，基于类别可分性判据，分析了车型特征参数的选择问 题，为车辆分类奠定了基础。 ( 3 ) 车型分类研究。研究了基于b p 神经网络的车型分类，并结合b p 神经网络分类器，研究 了不同特征选参数对车型分类结果的影响，通过选择合适的特征参数，获得了较高的分类正确率； 为了进一步提高分类正确率，研究了基丁p n n 神经网络的车型分类，实验结果表明，基于p n n 神 经网络的车型分类效果优丁b p 神经网络。 关键词：车型识别，车辆分割，特征提取，b p 神经网络，p n n 神经网络 a b s t r a c t a b s t r a c t v e h i c l ei d e n t i f i c a t i o nh a sb r o a da p p l i c a t i o np r o s p e c t si nt r a f f i cm o n i t o r i n g 翘dm a n a g e m e n t n i s p a p e rr e s e a r c hv e h i c l em c o g n i t i o nb a s e d0 ni m a g e 觚a l y s i s t h es t u d yi n c l u d e sv e h i c l es e 孕m n t a t i o n 、 f 色a t u i ee x t r a c t i o n 、v e h i c l e d a s s i f i c a t i o n m a i nt a s k sa r ea sf b u o 、s ： ( 1 ) v e h i c l es e g m e n t a t i o n w h e nav e h i d ei m a g ep i x e l 伊a yv a l u ei ss i m i l a r t ob a c k 伊o u n di l n a g e ， g m e n t a t i o nm e t h o db a s e do np r o j e c t i o no ft h ev e h i c l ei se a s yt op r o d u c ee r r o r s t h i sp a p e rp 陀n t st h e v e h i c l es e g m e n t a t i o nm e t h o db a s e do nr e g i o ns c a n n i n g ，s 0 l v e dt h i sp m b l e m ，a tt h es a m et i i l l e ，t oa v o i d i n t e r f e r e n c ew i t ho t h e rv e h i c l e sa n d l v et h ep r o b l e m0 fv e h i c ks e g m e n t a t i o ni n c o m p l e xt r a f f i c s i t u a t i o n s ( 2 )f e a t u 陀e x t m c t i o n a c r d i n gt 0t h en e e d so fv e h i c l ec l a s s i f i c a t i o n ，e x t r a c t v e h i c l el e n 舀h 、 w i d t h 、a r e a 、p e 加e t e r 、c o n t o u r 、m o m e n tf e a t u r e sa n d c a t e g o r yd i s t i n g i l i s h a b i l i t yc r i t e r i o ni s d i s c u s s e d ，t oa n a l ) r z et h e l e c t i v ep r o b l e m so ft h ep a r a m e t e 硌 ( 3 ) v e h i c l ei d e n t i f i c a t i o n n i sp a p e fs t u d i e sv e h i c l ec l 筋s i f i c a t i o nb a s e d0 nb pn e u r a ln e 俩o r k ，a t l h e 鼢m et i m e ，s e l e c t i o no fd i f f e 他n tc h a r a c t e r i s t i cp 盯a m e t e r se f f e c tt h e 陀s u l to fv e h i c l ec l a s s i f i c a t i o n ， o b t a i n e dh i g h e rd 勰s i f i c a t i o n a o c i l m c yb ys e l e c t i n g t h e a p p r o p r i a t ep a r a m e t c 硌t bi m p r 0 v et h e c l 勰s i f i c a t i o na c c i i m c y t h i sp a p e ra l s t u d i e sv e h i c l ed 雒s i f i c a t i o nb a s e do np r o b a b i l i s t i cn e u r a ln e “0 r k s e x p e r i m e n t ss h o wt h a tv e h i c l ed a s s i f i c a t i o nb a s e do np r o b a b i l i s t i cn e u r “n e t w o r k sb e t t e rt h a nv e h i d e c i a s s i f i c a t i o nb a s e do nb pn e u r a ln e t 、o r k k 叼o r d 戬垤h i c t ei d e m 封k m i o v e h i c t es e g m e m n t 幻n 扣n m r ee x t r o c t i o n b pn e u r n tn e 撕o r j c p m b n b t l i s t i c n e u r a tn e t 、v o r k s 目录 目录 摘要1 a b s t r a c t 目录川 第一章绪论1 1 1 课题的研究背景1 1 2 国内外研究现状2 1 3 本文研究目标及内容3 第二章车辆分割研究5 2 1 背景提取5 2 2 车辆检测与提取6 2 3 图像滤波8 2 3 1 常用滤波方法8 2 3 2 本文滤波方法9 2 4 车辆分割1 1 2 4 1 基于投影的车辆分割方法1 1 2 4 2 基于区域扫描的车辆分割算法12 2 4 3 实验结果及分析1 4 2 5 运动车辆阴影消除1 5 2 5 1 阴影检测16 2 5 2 阴影消除16 第三章车型特征提取18 3 1 车辆轮廓跟踪与f r e e 姒n 链码18 3 1 1 车辆轮廓跟踪18 3 1 2f r e e m a n 链码19 3 2 车辆几何特征2 0 3 3 车辆轮廓特征2 0 3 4 车辆矩特征2 1 3 5 特征选择2 2 3 5 1 类别可分性判据2 3 3 5 2 车型特征选择2 5 第四章车型分类研究2 6 4 1 基于b p 神经网络的车型分类2 6 4 1 1b p 神经网络原理2 6 4 1 2b p 神经网络的建立一2 7 4 1 3 车型特征选取与分类2 9 4 2 基于概率神经网络的车型分类3 3 4 2 1 概率神经网络原理3 3 i i l 目录 4 2 2 概率神经网络的建立3 4 4 2 3 基于p n n 神经网络的车型分类3 7 4 3 车型分类实验总结3 8 第五章结论与展望一4 0 5 1 总结4 0 5 2 存在问题。4 0 致谢4 1 参考文献4 2 硕士在读期间发表的论文4 5 i v 第一章绪论 1 1 课题的研究背景 第一章绪论 近年来，社会经济不断发展，公路通过能力己经不能满足交通流量日益的增长需要，经过长期 和广泛的研究，世界发达国家逐渐开始使用高新技术改造现有的公路交通运输系统以及其管理体系， 因此人幅提高了公路网的通行能力和服务质量。由于人工智能、自动控制和模式识别等领域的不断 发展，智能交通系统( i n t e l l i g e n tt r a 蚯cs y s t e m ，简称i t s ) 应运而生，并获得了巨大的发展。i t s 包 括智能和交通两个方面，将先进的人工智能、信息技术和自动控制等综合用于整个交通运输管理体 系，通过对交通信息的实时采集、传输和处理，对各种复杂的交通情况进行协调，建立一种实时、 准确、高效的综合运输管理体系，从而使得交通设施得以充分利用，充分实现交通运输的集约式发 展【1 】【2 1 。车型识别在交通违章监控管理、公交优先系统、高速公路不停车收费、停车场监控管理等 系统中的需求在不断加大。 车型识别国内外主要采用的方法【3 l ：感应线圈法、超声波检测法、红外探测法、图像处理识别 法等。感应线罔法是将车辆底盘形状的三维信息转变为感应到一维信号，模糊了实际的物理意义， 冈此加人了分析信号和识别车型的难度。感应线圈进行车型分类还有一个问题直接影响车辆识别， 即车辆在线圈上方改变速度或停f l 卜时，将很大程度上影响到识别的准确率，但是这些现象又是不可 避免的【4 1 。超声波检测法和红外检测法虽然原理简单，而且物理概念清晰明了，但由于硬件系统比 较复杂，而且系统的环境适应能力比较差，故障率较高，维修不便等，所以在实际使用中难以被推 广【5 l 【6 】。 图像处理技术在i t s 应用领域中是重要的分支，也是目前比较薄弱的技术环：霄。基于图像处理 的车型分类是一门集图像处理、计算机视觉、模式识别、电子技术、 ：业测控技术和系统工程技术 与一体的综合技术，同时引入了计算机信息管理的思想，它能够实时、自动地对车辆进行检测和分 类，作为交通收费、管理、统计和调度的依据【7 l 。车型识别系统通过引入数字摄像技术以及计算机 信息管理技术，采用先进的图像处理、模式识别、人：【：智能技术，通过对图像的采集、处理，获得 丰富的信息，从而达剑高智能的管理程度。车型识别系统已经广泛应用于包括高速公路不停车收费、 停车场监控与管理等系统以及车辆检测中。目前对于车辆类型识别较为成型的算法比较少，且人部 分算法是为解决特定的问题而提出的，通j h j 性较差。部分原因是由车型识别本身的复杂性决定的【8 j 【引。冈为同一车辆在不同角度、不同位置，外观筹异很大，而且同一类型的车辆之间，外形也不相 同。当前研究较多的是对车辆侧面图像进行车型识别。 相对于红外检测、感应线圈等物理检测方法，基于图像的检测具有很大的优势：图像的信息量很 人，不易造成车辆信息丢失：硬件检测设备安装非常简便，只需一台摄像机，设备的位置便于调整， 并且其更换和维护的i ：作不会影响正常交通【1 0 】。基于视频的车型识别硬件设施不仅可以用于车型检 测、识别，而且能记录车牌号，检测交通事故，记录违规下辆等。 虽然午辆检测算法发展至今己有四十多年，但。f 列冈素决定它依然是一个具有较人挑战性的任 务： ( 1 ) 车辆在尺度、位置、方向上的变化。比如进入视野的车辆具有不同的速度，在形状、大小、 颜色等方面会产生变化。 ( 2 ) 币辆的外观取决丁车辆的角度，而且要受邻近物体的影响。同时，车辆之间的遮挡、光照条 件等条件改变也会对车辆的外观造成一定影响。 ( 3 ) 道路两边的风景在持续变化，光照随时间和天气在不断改变。 因此，车型识别算法和人f | j 预想的i t s 要求仍然有很大差距，今后发展的方向应该体现在识别 东南大学硕七学位论文 性能和实用性上，特别是复杂环境下的识别能力。 1 2 国内外研究现状 目前国内外基于图像分析的车型识别研究的主要方向为：特征匹配算法的车型识别、神经网络 的车型识别、支持向量机的车型识别。 基于特征匹配的车型识别，相对于传统车型识别算法有较大的改进，在大部分天气情况下，它 不但识别准确，而且计算量小，鲁棒性好，识别速度快，因此能从根本上满足识别实时性要求，但 是算法在复杂环境卜识别不是很准确，只能用于高速公路不停车收费、停车场监控与管理以及车辆 检测等系统，无法使用于交通违章监控管理、公交优先系绀1 1 j 【1 2 l 。杨文强等研究基于特征匹配算法 的车型识别，利用安装在收费车道上的智能检测装置采集经过收费站车辆的特征参数，然后把检测 到的特征参数被传入自动识别系统，系统对这些参数进行处理，并根据处理结果自动判别车辆类璎。 其优点是对大中小车型的识别率较高，缺点是对运动车辆无法识别【1 3 1 。f u n g 等用高精度摄像机来观 察车辆运动估计车辆形状，通过估计特征点( 车体拐角处) 得到车辆的轮廓。基本思想是高特征点的 移动速度会大于低特征点的移动速度，因高特征点离摄像机近，车辆轮廓可h j 车辆识别。缺点是需 要对各种类型的车辆建立相应的模型，而且计算量很大【1 4 j 。干艳春等以可见光和红外仪器同步拍摄 的复杂背景下的运动车辆目标序列为例，对运动图像目标类型识别算法进行了较深入的研究，所提 取的组合特征包括以目标轮廓为基础的全局形状矩特征和以目标轮廓纵横向分量为基础的局部统计 特征，该方法具有较强的稳定性和一致性，而且适用于可见光和红外图像。其缺点是计算量较大， 所需要硬件设施较为复杂l l 引。 基于神经网络的车型识别，算法较多，各有优缺点。周晓红等在车型图像预处理和特征抽取的 基础上，利用b p 神经网络对汽车车型自动识别。优点是而b p 网络具有较好的泛化能力，运算速率 较快。缺点是学习过程容易陷入误差函数的局部极值点，如果神经网络的权系数初值设置不当，就 很容易使学习过程收敛缓慢甚至不收敛，其学习过程较长，隐含层和隐结点的个数难以确赳1 5 j 。w e i w u 等利用小波多尺度边缘检测对汽车车型图像进行分割和特征提取，利用矩不变量特征和改进b p 神经 网络对汽车车型进行自动识别和分类。优点是提高了汽车车型臼动识别和分类的速度和正确率，其 缺点是背景更新没有研究，故对运动车辆识别率较低【l2 。沈风龙等人研究基于多神经网络分类器的 汽车车型识别，先对车型进行特征提取，以提取的数据作为神经网络的输入，并且采取了感知机识 别，8 p 网络识别，径向基网络识别，最后采刚多神经网络进行识别。优点是采川多神经网络分类器 融合的方法比单一神经网络识别率高，这对提高目标识别的准确性是十分重要的，缺点是容易使学 习过程收敛缓慢其至不收敛，学习过程较长，隐含层和隐结点的个数难以确引1 6 j 。 与传统的神经网络方法相比，支持向量机的车型识别具有性能优良，结构简单，泛化能力好， 不存在过学习问题等优点。支持向量机的车型识别缺点在于分类识别的难度大，运算代价过人等。 b oc u i 等采h j 基于背景差分法提取出所需要的目标车辆图像，经过对目标车辆图像预处理得剑车辆 的标准化图像，对于干扰冈素如阴影造成的错误分割及车辆相互遮挡问题，引入了基于遗传算法的 图像分割方法解决车辆阴影问题和基于车辆边缘信息处理乍辆遮挡问题。对所得剑的车辆标准化图 像应川模极相关的匹配算法和加权平均的融合算法实现的车辆图像配准及像素级融合。根据投影和 儿何映射的关系得剑下辆的几何特征参数采用“一对其余”的支持向量机多分类方法结合二元树的 算法，最终实现乍型的分类【3 l 。张学l ：等人主要是以图像处理为基础，对图像中车型的特征进行描 述、提取，利h j 支持向昔机进行车型分类旧。t a k e ok a t o 等人主要是以图像处理为基础，对图像中 车型的特征进行描述、提取，然后结合s 有效的分类方法对车辆进行分类。结合s v m 在模式识别 领域的应用，将s v m 与最近邻法相结合以提高s v m 分类速度，并把动态b o o s t i n g 算法与s v m 算法相 结合以提高分类准确性【9 j 。以上三种算法主要缺点是计算量较大，所需要的硬件设施较为复杂，实 用性较差。 2 第一章绪论 以上车型识别主要应用高速公路不停车收费、车辆检测以及停车场监控与管理等系统中。目前 对于车辆类型识别较为成型的算法较少，且大部分算法是为解决特定问题而提出的，通用性较差。 因为同一车辆在不同角度、不同位置时，外观变化很大，而且同一类型的车辆之间，外形也不尽相 同。当前研究较多的是对车辆侧面图像的车型识别，没有很好解决当获得车辆前上方信息时，车型 的识别问题。本文主要研究解决当安装高度和角度拍摄剑车辆侧上方信息时，车型的识别问题，适 用于公交优先、车辆违章检测等系统。 1 3 本文研究目标及内容 1 研究目标 研究提出一种车辆分割方法，能准确的进行车辆分割；能够准确提取车型特征参数，研究车型 特征参数的提取与选择，并利用车型分类器，实现乍型识别； 2 主要研究内容 ( 1 )车辆分割研究 车辆分割之前，首先需要进行乍辆检测，得到下辆的筹分图像。为了更好的进行乍辆分割，设 计一个滤波方法，该滤波方法需要能较好的去处差分图像中的白点噪声。提出一种车辆分割方法， 该方法需要能很好地解决车辆分割问题，特别是需要解决复杂交通情况下车辆的分割问题，能有效 的避免多车情况下其它车辆的干扰。 ( 2 ) 车型特征提取 利j ；j 车辆分割得到的车辆图像，首先进行车辆轮廓跟踪，得到车辆外部轮廓，然后提取出乍长、 车宽等儿何特征、轮廓特征及矩特征；讨论类别可分性判据，基于类别可分性判据，分析了车型特 征参数的选择问题，为车辆分类奠定了基础。 ( 3 ) 车型分类研究 研究基丁b p ( b a c kp r o p a g a l i o n ) 神经网络的车型分类，并结合b p 神经网络分类器，研究不同特 征参数对车型分类结果的影响，通过选择合适的特征参数，能够较好的对车型进行分类；同时利川 合适的特征参数，尝试刚基丁p n n 0 r o b a b i l i s t i cn e u r a ln e 呐o r k s ) 神经网络对车型分类进行研究。 3 技术路线 1 车辆分割研究 本文设计一个图像去噪的方法，对车辆著分图进行整体扫描滤波，得到较为完整的车辆图像。 车辆分割是基于视频的车型识别系统的重要组成部分，分割出：乍辆是为了提取车辆长、宽等特征， 从而有效进行车型分类。提出一种基丁区域扫描的车辆分割分法，将检测剑乍辆的帧中需要扫描的 区域分为n 木m 个块，然后由检测线开始依次对每行扫描，每次扫描的结果用米确定下一次扫描的范 同，最后确定乍辆所在区域，同时分割出车辆。本方法需要能够减少在：乍辆图像与背景图像局部像 素点灰度值近似时，产生的分割误差；解决在复杂交通情况时，即多车情况下，分割的误差较火或 者无法分割的问题。 对分割出的车辆首先判别是否存在阴影，如果存在阴影，则利用阴影消除方法去除阴影，使得 车辆轮廓更为精确。 2 车型特征提取 车辆的分类有好多种，一般按车辆人小来分，通常有：人型车、中型下、小型车、越野车、人型 公共汽车、特种j ：程用车等。本文研究的安装高度和角度拍摄是在车辆左上方信息，由于这种方法 无法获取详细的车体轮廓信息，所以无法实现精细的分类，只能简单的判断乍辆的下裂。把下分为 四类：大客车、大货车、中车、小车。 车辆的各外形参数对车形分类可以提供的判别依据有：车长、车宽、车高、前轮距、后轮距、 3 东南人学硕士学位论文 轴距。从车辆外形参数的分类性能实验可以看出，车辆的长、宽信息对于车辆的分类是最重要的， 而车辆的高度这一参数的分类性能则差之。另一方面，从参数获取可行性来看，车辆的前轮距和后 轮距是不宜作为分类参数的。因为车轮总是在车辆的底盘以下，所以要测前后轮距，必须将摄像机 安装在车道的正面且贴近地面，这显然不实际且不可行。基于以上讨论，以及本文的拍摄角度，本 文选取车辆长度、宽度、面积、周长、车头轮廓特征、不变矩作为车辆分类器的特征参数。 在车型特征参数提取之前，需要提取车辆的轮廓。本文提取轮廓所用的轮廓跟踪基本方法是： 首先用某些严格的“探测准则”来找出目标物体轮廓的像素，然后再根据这些像素的某些特征使用 一定的“跟踪准则”找出目标物体上其他像素。 为提高车犁分类的准确度和速度，所提取出来的特征要具有代表性，以及信息冗余度也要最小， 同时还需要满足平移、旋转和比例的不变性。一般情况对丁提取特征的评价需要满足。卜面四个特点， 即可区别性、可靠性、独立性、数鼍少。本文需要讨论类别可分性判据，基于类别可分性判据，分 析车型特征参数的选择问题，为车辆分类奠定了基础 3 车型分类器研究 神经网络的应用已经取得很人的成功，但在网络的开发设计方面至今仍然没有一套完善的理论 作为指导。应用中采用的方法是，在充分了解待解决问题的基础上将经验与试探相结合，通过多次 改进性试验，最终选出一个好的设计方案。神经网络的没计i ：作主要包括隐层数与二侈点数的确定、 初始权值的设计和训练样本的准备 1 8 】【1 9 】。结合车型分类系统的特点，讨论如何设计基于神经网络的 车型分类器。车型识别属于超多类模式集合的分类问题，传统的线性分类器较难胜任，近些年来， 人们人多虑用神经网络解决这类非线性分类问题。本文拟根据提取的车辆特征设计神经网络分类器， 确定网络的结构、层数和结点个数。 本文研究基于b p 神经网络的车型分类器，以及不同特征选参数对车型分类结果的影响，通过 选择合适的特征参数，从而获得了较高的分类止确率；为了进一步提高分类止确率，研究基于p n n 神经网络的车型分类。 4 第二章车辆分割研究 第二章车辆分割研究 车辆分割是基于视频的车型识别系统的重要组成部分，分割出车辆是为了提取车辆长、宽等特 征，从而有效进行车型分类。本章提出了一种基于区域扫描的车辆分割分法，将检测到车辆的帧中 需要扫描的区域分为n + m 个块，然后由检测线开始依次对每行扫描，每次扫描的结果用来确定下一 次扫描的范围，最后确定车辆所在区域，同时分割出车辆。该方法运算量小、适应能力较好，能够 很好地解决车辆图像与背景图像局部灰度值近似时产生的分割错误，特别是解决了复杂交通情况下 车辆的分割问题，有效的避免了多车情况下其它车辆的干扰。 2 1 背景提取 背景会受到外部环境的不断变化，以及监控场景中同定物体的移动等冈素的影响，背景会不断 发生变化。如果背景发生变化时，会在很人科度会影响车辆检测的准确性，冈此需要合理选择背景 图像。只有得到较好的车辆背景，才可以有效的检测出市辆，提高车辆检测的准确性和可靠性。 本文采刚多帧平均法【硎。由r 道路上车辆的多样性，有的车辆亮度值比路面低，有的车辆亮度 值比路面高，所以从统计学角度看，由车辆经过引起的背景变化在长时间内可以忽略。多帧图像平 均法认为公路上经过车的灰度是随机的，通过利用图像序列每个像素点在时间上取平均值来获得图 像的灰度值作为背景图像。其数学表达式为： 砌衄伽以o = 专耋l o ，j ) ( 2 1 ) 式中，曰口c 幻加“以d ( f ，j ) 表示背景图像各个像素点的灰度值，t o ，) 表示第七帧的序列图像， 表示参与图像的帧数。使川多帧平均法可以很好的消除噪声，尤其当参与平均的图像帧数非常多 的时候。 ( a ) 第2 0 帧 5 ( b ) 第4 0 帧 东南大学硕十学位论文 ( c ) 第8 0 帧 ( c ) 第1 6 0 帧 2 2 车辆检测与提取 ( d ) 第1 2 0 帧 图2 1 多帧平均法估算的背景图像 ( f ) 第2 0 0 帧 车辆检测主要是对交通场景视频中有车辆的帧进行检测，然后将检测剑的车辆图像从交通视频 序列中提取出来，以便进行车辆分割。 车辆检测是整个车型识别过程的基础，车辆分割、车辆特征参数提取都是建立在准确、可靠的 车辆检测基础之上的。目前常州的午辆检测方法主要有：光流法、检测线法、帧差法、背景差法、 k 均值聚类法、边缘检测法等【2 l l 。 本文采州基于检测线的背景筹方法米检测运动车辆。检测线法就是在待检测图像上的合适位置 设置检测线，检测线的作用类似丁埋于地下的感应线圈传感器，它的方向与车辆行驶方向乖直，如 图2 2 所示。 冬基：兰： 6 第二章车辆分割研究 当车辆通过检测线时，检测线上的灰度就会发生变化，通过计算检测线上的灰度变化，并选取 适当的阈值，就可以判断检测线上是否有车辆存在。本文中，检测线的宽度设为8 个像素，每个块 的大小设为8 8 像素，因此每帧图片上有3 0 4 0 个块。基于背景著的检测线法具体步骤如下： ( 1 ) 通过计算序列图像的灰度均值或通过统计灰度频率，得到研究区域的背景图像； ( 2 ) 设置检测线的宽度和位置； ( 3 ) 计算当前帧和背景图像之间的差，探测检测线上的灰度变化； ( 4 ) 计算差分图像检测线上块的平均灰度； ( 5 ) 计算检测线上块的分割阈值； ( 6 ) 将块的灰度平均值与闽值进行比较，若大于阂值，则证明检测线上该块区域有车辆存在， 检测线上有车的块的数量记为t ，若t 2 ，则说明该帧有车辆存在。 ( 7 ) 逐帧重复步骤( 3 ) ( 6 ) 。 算法的流程图如图2 3 所示。 序列图像采司 蔓置检毒线砬毫 l 设置检测线位置l l 一， 一j k 一 0 ；计算背景差图像i ， ， 计算分割阈值l ， ：计算图像每个块的、f 均厌度 。一。一 一丫 ! 检测线位置阈值分割 ， 。 ：。 t ，2 j -读入下一帧 l 一否 l + 一一 ! 是 - 鲫当蓼( 二 图2 - 3 下辆检测算法流程图 车辆检测与提取的过程如图2 - 4 所示，午辆的提取图2 - 4 ( c ) 中能看到午辆的人体形状，但筹分过 程中产生人量的白点噪声，不能对车辆进行较好的分割，因此在卜j 一。讧需要进行滤波处理，去除图 像中的白点噪声。 7 东南大学硕士学位论文 2 3 图像滤波 2 3 1 常用滤波方法 ( b ) 背景帧图像( a ) 当前车辆图像 ( c ) 车辆提取图 图2 _ 4 车辆榆测与提取图 差分过后车辆提取图的背景部分的灰度变化是比较缓慢的，而目标车辆区域所对应的位置在图 像中的变化是剧烈的。这种变化反映在著分图像中就是，背景部分虽然不能完全消除，但是灰度值 较小，而目标车辆区域的灰度值会较人【2 ，这就是为初步滤波提供依据。可以根据直方图分析法米 进行初步滤波，筹分图像的灰度直方图如图2 5 。 图中有两个较为明显且距离一定间隔的峰值。第一个较高峰值l 代表i 图像人部分的背景区域， 第一二个较低峰值2 代表l j j 图像小部分的目标午辆区域。根据前面介绍的直方图分析法，找剑灰度直 方图谷点作为分割点，把非车辆的区域像素值设为o ，下辆区域的灰度值不变【1 1 。初步滤波结果如 图2 6 ，此时得到较为清晰的车辆图像。 8 第二章车辆分割研究 像素点累计 图2 - 5 差分图的灰度直方图 灰度值 幽2 6 幽像初步滤波 如图2 6 车辆图像在初步滤波过后，仍然有大量没有消除的白点噪声，因此需要再次滤波改善 图象质量。常用的滤波方法是中值滤波以及形态学滤波，中值滤波的效果如图2 7 ( a ) ，形态学滤波 的效果图如图2 - 7 ( b ) 。 对图2 - 6 中的车辆图像由丁车辆中间存在大量的空洞，进行中值滤波以及形态学滤波过后，图 2 7 ( a ) 和图2 7 ( b ) 虽然消除了白点噪声，但是车辆中间较大的部分被滤波去除了。本文针对这两种滤 波方法所产生的缺陷，设计了一个滤波方法，有效的解决了中值滤波以及形态学滤波所带来的问题。 ( a ) 中值滤波 2 3 2 本文滤波方法 图2 7 常用滤波方法 ( b ) 形态学滤波 本文设计的图像去噪的方法，很好的去除了噪卢，而且完整的保留了印体的完整性。根据实验 中图像噪声的特点，本文设计了一个滤波方法，将本文所川的2 4 0 t 3 2 0 图像划为l 行，每行宽为p 个像素点，每行又化分为j 块，每个块b “的人小设为p 0 像素，本文取6 1 2 。用一个6 t 1 2 的图像 扫描框( 如图2 9 ) ，对图像中每个块进行扫描，每次扫描得剑6 1 2 的框中各像素点a i 值，分别计 算左右两边6 + 6 的框b k i 、b r “中各a i i 值的总和，即为k j 、r i i ，以及6 ，1 2 的框中各a “值总和s i j 。 为左右两边的k i 、r i i 设定一个阂值a ，本文取值为2 0 ，同时为s “设一个阂值b ，本文取值3 6 。算 9 东南人学硕上学位论文 法流程如图2 8 所示，下面对算法流程进行详细介绍： ( 1 ) 将6 木1 2 图像扫描框覆盖到6 木1 2 像素块b i j 上面，计算6 木1 2 框像素点灰度值总和值s i j ，左边6 木6 框的像素点灰度值总和i j j ，右边6 木6 框的像素点灰度值总和r i j 。 ( 2 ) 当6 宰1 2 扫描框像素点灰度值总和值s i j 大于等于阈值8 时，框中籼值保持不变，然后跳同 到( 1 ) 作新一轮的循环。 ( 3 ) 当6 宰1 2 扫描框像素点灰度值总和值s i j 小于阈值b 时，则计算左边6 木6 框的像素点灰度值 总和l i j ，右边6 木6 框的像素点灰度值总和r i j 。当圳的值人于等于a 时，左边6 木6 框的像素点灰度 值保持不变；当埘的值小于a 时，左边6 木6 框的各像素点灰度值a h 记为0 。当r i j 的值人于等于a 时，右边6 ，i 6 框的像素点灰度值保持不变；当r i j 的值小于a 时，右边6 木6 框的各像素点灰度值记 为0 。 ( 4 ) 对i 加1 ，如果i 等于4 1 ，说明当前行滤波结束，对i + 1 进入下一行扫描；如果j 不等于4 1 则，继续扫描该行；然后跳同( 1 ) 作新一轮的循环。 用本文滤波方法对图2 6 进行滤波，效果如图2 1 0 ，较好的解决了中值滤波和形态学滤波所产 生的问题，得到了完整的车辆图像。 f读入乍辆 图片 图2 8 本文滤波算法流程图 1 0 j譬 | 扫描结束 第二章车辆分割研究 左边6 木6 像素框右边6 6 像素框 1 1 p1 p1 矿1 f1 矿1 1 1 矿1 1 2l 一 1 1 j1 ? 1 l 矿1 p1 ，1 1 t 11 ?1 ，1 * 、 1 p1 ， 1 ，1 矿1 p1 矿1 矿1 0 1 p1 f1 矿l 矿 l 1 0l + ： 1 一1 1 = ll 矿1 1 1 矿1 矿1 矿1 矿 1 女)l #1 矿l p1 ph ，1 pl o 1 f1 ，l 矿1 矿 1 p1 ，1 1 廿= ll p1 )1 01 01 矿l 1 矿l 矿 图2 9 图像扫描框 东南人学硕上学位论文 投影和垂直投影图像中，对应的坐标位置出现明显峰值，最后定位出目标。本文检测线设在图像的 上部，最前面的车是检测剑的车辆，需要分割出来。图2 1 1 ( a ) 中的单一车辆经过差分后得剑较好的 车体图像( 如图2 1 1 佃) ) ，然后进行水平投影和垂直投影，有明显的峰值，能够较好的分割出车辆图 像。在图2 1 2 中单一车辆情况下，图2 1 2 ( c ) 水平投影和图2 1 2 ( d ) 垂直投影上也有明显的峰值，但 是在车辆中间部分区域与背景图像的像素点灰度值近似，冈此图2 1 2 ( c ) 水平投影中间产生一个明显 波谷，使得水平方向上产生分割错误。在图2 1 3 中多车辆交通情况时，图2 1 3 化) 水平投影和图2 1 3 ( d ) 垂直投影中车辆部分晕叠，而鼋番没有明显的峰值进行有效的判断，难以准确对车辆进行分割。 于1 厂鲻澜 lg 镊 辅鼍 0 毽耍 镶 斌过篇 ( d ) 垂直投影 ( d ) 垂直投影 ( b ) 差分图 ( c ) 水3 f 投影( d ) 垂直投影 图2 1 3 多车辆的投影 投影分割法在车辆图像与背景图像局部像素点灰度值近似时，容易产生分割误著：而在复杂交 通情况时，投影分割法分割的误筹较人或者无法分割，冈此本文提出了基丁区域扫描的乍辆分割法 米对乍辆进行分割。本方法只在车辆区域进行扫描判断，有效的解决了上述问题。 2 4 2 基于区域扫描的车辆分割算法 基丁区域扫描的车辆分割法是将检测线以下的部分划为n 行，每行宽为p 个像素点，每行义化 分为m 块，每个块b h 的人小设为p q 像素，本文取6 4 。b “块中每个像素点的灰度值之和记为a i i 。 首先找出检测线上检测到7 f 的块序号，然后逐步向。卜对每行进行扫描，每行扫描块的个数由前一次 扫描块的结果决定。算法流程如图2 1 4 所示。 下面对算法流程进行详细介绍： ( 1 ) 车辆检测就是将实时的视频中有车的帧检测出来，程序的开始是以检测剑的帧作为处理的图 1 2 圈一图 第二章车辆分割研究 像。本文检测线设在图像的上部，最前面的车是检测到的车辆，需要分割出来。 ( 2 ) 找出检测线上有车的块b i i b 址，b i j b 诙是检测线上有车的块从左向右依次排列的标记。这 一步的关键在于检测线上块的分割阈值，当该块像素点的灰度值之和大于分割阈值时，则说明车经 过该块。 ( 3 ) 进行i - i + 1 运算，从而使当前扫描的是上次扫描的下一行。 ( 4 ) 扫描第i 行的块b 日b i k 主要是为了求两个边界b i j 、b i k 块的像素点灰度值之和，分别记为 a i i 、a 畦，从而决定扫描边界是否扩展。 ( 5 ) m 是判断块是否在车辆所在区域的一个阈值，s i 是扫描第i 行中像素值之和大于阈值m 的 块数量，n 是判断扫描是否结束的一个阂值。当s i n 时，说明该行属于车辆所在的区域，跳剑。 ( 6 ) 当第一次s i m 时，说明块b i k 在车辆所在区域内，则扫 描下一行时需要对扫描区域的右边界增加一个块；否则下一行扫描区域的右边边界不变。得到下一 行的扫描边界后，跳回( 3 ) 作新一轮的循环。 图2 1 4 基于区域于1 描的车辆分割算法流程图 1 3 东南人学硕十学位论文 本文的算法中阈值的选取对于分割的准确性影响较大，其中检测线上块的分割闽值选取的准确 性直接影响后面分割的精确度，一般该分割阂值的取值会偏高，这样判断到有车区域的块数鼍会偏 小，但通过后续的扫描扩展能有效纠正该判断产生的误差，这样能防止差分过程中产生的噪声干扰， 本文中检测线上块的分割阂值取1 4 。n 是判断扫描是否结束的一个闽值，直接影响分割车辆长度上 的精确度，本文中n 的取值为2 。m 是判断块是否在车辆所在区域的一个阈值，该阈值则影响分割 车辆左右宽度的精确度，本文取值为1 2 。 投影分割法无法准确分割出图2 - 1 2 ( a ) 中车辆，本文用基于区域扫描的车辆分割方法对该图进行 车辆分割，图2 1 5 为该图车辆的网格图。分割的过程如下：第1 行为检测线行，检测到第5 、第6 块像素点灰度值之和都为1 6 ，大于分割阂值1 4 ，判断为车辆所在区域，标记为b 1 5 、b 1 6 0 检测第2 行的块b 2 4 、b 2 5 、b 2 6 、b 2 7 像素点灰度值之和分别为1 5 、1 0 、2 2 、2 3 ，大于阈值m 的块有3 个，因 此判断s 2 为3 ，s 2 大于阈值n ，需要判断是否左右扩展，冈为块b 2 4 、b 2 7 像素点灰度值之和分别为 1 5 、2 3 ，都大于阂值m ，所以扫描第3 行时需要左右各扩展一块。同理，扫描第3 行的块b 3 3 、b 孙 b 3 5 、b 3 6 、b 3 7 、b 3 8 ，发现块b 3 3 、b 3 8 在车辆所属区域，冈此扫描第4 行时需要左右再次各扩展一块。 第4 行的边界b 4 2 、b 4 9 像素点灰度值之和分别为1 、2 ，都小于闽值m ，不在车辆所属区域，因此第 五行扫描边界左右都不需要扩展，和第四行一样。当扫描第5 行时，发现该行块的像素点灰度值之 和都小于闽值m ，即s 5 值为o ，小于闽值n ，判断第5 行可能超出了车辆所在的区域，进入流科图 详