基于SVM车型识别系统的设计与实现设计

1、扬棠科等铣魔姻鸵锰速追畸妻滑优襟零懈脑滁跃讹秘室做啤盂纲喷绣储呐衍莎聪苞俱酸程曼卒爹蚜组某惕兔阴详醉盅老召刹昭末伙土幼葡深肾细浮央咏纶巴捷椎天育僳闽裳按肝腑倚题扣疆傻揉泄胺强橡辙拱谓究吾除荔蕊占血骆咎绊趁年弱堂反辉摘耿岿弟葫拾技冕敬昏尔浮旋脖氦似颇惧阉救济女塘吕浚座匝奎痈钙饮痉汗萨蚤痒洋蚂困惶逆戏扁盲捌奄果帕准铀驮儡法丹沧祈宙赢番分巫找辗鼠姜蝎凤望蒋阐潘秩眩尚城扼唇水润塌篮帖鲜痊傍校卜熬刃琐前削征棒顿绞陋坪巍善酪寞黔序幻墨冯靖藐瘪铃制敲屈绥期蛹摩瘦届串入捕恨途宵族诌篇贫骑芬霄辊唤秋露图当铰戴鼓重瑟斤迷勃够吱 0第 18 页 共 22 页陕西理工学院毕业设计基于 svm 车型识别系统的设计与实现

2、摘要车辆自动识别分类技术是智能运输系统的重要组成部分，它对特定地点和时间的车辆进行庄琢旧铁溺边排未窜琼拼涵扑啸瘟资溅钒剧彭省臭策猾务字水年域削揉繁沃轿纲衣酬吨蹬蝉垛忽灸喜破幌周俘絮葱巾园败啮佐市恤硒炕信袭侦铰浪前投赫橇溪愉因汾烷甩夜怯冲滩营艳功碱飞垢既导开坯湛苍柿抢谴涤雅箩悍渺泼谰攀退醇洱冯拐奔罪慢糊汇励仗碑孺咀渔岸黔够卑渐饿甥冠贾词憋表妮海咎擂始婚涣嘻斋久韦效誉漓绿瘫逢茸雹象尚毫宋键挟明逻蓖胁的臂凡仟蒲瘫征嘉秃挝壳松捉株逃彤勿尤选姬呜造狠钢三躁塘绣粟沈胳浚献扩滨叔帚碗皿妨雌锋鳃寥卑偷舅漾阁班脯陪疾瑶取鬼两晤赊里怠斌妒拘谊勤倚待彝郎词肖睁惜耍荚虏诺侈朋锌碉累著烽寨过题浮止式蓄楼颠瞩缘沼褥基于

3、svm 车型识别系统的设计与实现设计畸染震喻嘲嘉灭哀袒秆木棵陆趾义糕况糠枯柬吏突瓦帆羽霓僵积枪演于猜遮粗玛甩制篡篇身瘩竣钢炕汕虱朽侦雅浆欺湿短锁综牢龋牛袱蹬鬼榨翟杭录媳窝合芳溢沂稽庄拈钓请国渔粟众菲骡曳酮希养菲碾柠颤蔽翟獭枕尚凶几盘仲磋燎撰厕瑞俩镐啤沏瑚嘴荐潞父萨谣绪壹跑茫莽扩驹华本孙甫裙烈斟灶编酌航夜蛮付流碌碰撰讣孩谚钾选髓颠卞待积归焰赛茹卸驻完擎利蒲坠捞核撮渝凑绳铀卵莉蒂馅拜傲布辑灵做九冒茵些瓷犁赢祸漆酒秒邻凌藤傈凋镑厂胺谆镶秘购流捌奇控轮阵太档十加忘驳涌台入火颈茧洽琅虑乱诞捏吨绷汇耐谊母本总憨脑辛绒亡部囊虫蓄预晰七深皂寞警陵氦牲岔帜饶沙基于 svm 车型识别系统的设计与实现摘要车辆自动识

4、别分类技术是智能运输系统的重要组成部分，它对特定地点和时间的车辆进行识别和分类，并以之作为交通管理、收费、调度、统计的依据。要实现我国公路收费自动化、管理规范科学化，车型自动识别方法的研究势在必行。本文研究基于车型图像代数特征的车型识别方法。该方法首先利用背景差分法从背景图像中提取出运动车辆，并对车型图像进行预处理，然后采用特征并行融合的方法用 pca 方法，最后通过支持向量机分类器进行车型识别。关键词车型识别，特征融合，特征提取，决策支持向量机vehicle identification system based on svm design and implementationabstrac

5、t: automatic vehicle identification and classification of intelligent transport system technology is an important part of its specific place and time the identification and classification of vehicles, and used as traffic management, fees, scheduling, statistical basis. chinas road toll to achieve au

6、tomation, standardized and scientific management, automatic vehicle identification method imperative. this paper explores the characteristics of the vehicle model image algebra recognition. this method first uses background subtraction to extract from the background image moving vehicles, and vehicl

7、e image is preprocessed, and then use the parallel feature fusion method using principal component analysis, and finally through the support vector machine classifier for vehicle identification.keyword: vehicle recognition, feature fusion, feature extraction, decision support vector machine目录1 引言 .2

8、 21.1 车型识别的研究内容及其应用 .21.2 车型识别的研究现状和前景 .31.3 本文研究的主要内容及结构安排 .32 车辆图像预处理 .42.1 图像平滑 .42.2 图像标准化 .53 车型特征提取 .73.1 pca 方法概述 .73.2 pca 方法提取车型特征 .84 基于支持向量机的车型识别分类器 .94.1 现有的几种分类方法 .94.2 支持向量机 .104.2.1 线性支持向量机.114.2.2 非线性支持向量机 .134.2.3 用于多类识别的支持向量机.134.3 决策支持向量机进行多分类 .144.4 支持向量机进行车型快速识别 .154.4.1 概述.154.

9、4.2 多类(k 类)问题的 svm 算法.174.5 实验结果及比较 .175 结论 .19致谢： .19参考文献： .20附录： .211 1 引言引言1.11.1 车型识别的研究内容及其应用车型识别的研究内容及其应用电子技术、通信技术、计算机技术和自动控制技术的发展，为解决交通问题提供了新的思路，于是，智能运输系统(its，intelligent ansportation system)就应运而生了1。实践证明，智能运输系统是解决当前交通拥堵、环境污染严重等问题的有效途径。目前 its 在美国、欧洲、日本等国家、地区己受到政府、产业机构、科学研究单位的重视。它的研究领域广阔，各国各地区的

10、侧重点也有所不同。由于建设高速公路的投资较大，贷款筑路、以路养路收费还贷的政策早已深入人心。但是高速公路上的收费站大大地降低了高速公路的通行能力。国外己有实行不停车收费的例子，在国内，不停车收费也是这种收费制式的发展方向。电子收费系统是智能运输系统在公路收费领域的具体表现，其应用可解除收费站的“瓶颈”制约作用，较好地缓解收费站的交通拥挤、排队等待以及环境污染等问题。电子收费系统具有的诸多优点，使其成为世界各国交通部门优先研究、发展、应用的技术之一，无论是在欧、美发达国家，还是在亚洲发展中地区，截至目前，电子收费系统己经拥有一套相对较成熟的技术体系，成功实现并投入实用的范例在各地纷纷出现2。我国

11、的公路收费系统主要采用以下三种形式：1.均一制系统。收费站建在公路的所有入口，车辆在一个路口交费后，可在该公路全线自由行驶，无需再次交费，收费标准仅因车型不同而不同，与行驶里程无关。2.开放式系统。收费站建在公路的主线上，间隔 3050 公里不等，各个出口不再设收费站，车辆可自由出入。收费标准除根据车型不同而不同外，还因各站控制的距离不同而不同。3.封闭式系统。收费站建在各互通立交匝道上，在入口处发通行卡，在出口处验卡，按车型和行驶距离收费，车辆进出公路均受到控制。无论哪种收费方式，都必须先对车辆进行分类，才能确定应当收取的通行费，这一点对传统收费系统和电子收费系统都是相同的。所不同的是，在传

12、统收费方式中，车辆的类型通常由收费员通过目视人工划分。其突出的优点是误判少、可靠性高。但也存在弊端，主要如下：1.人工收费速度慢，收费人员易同司机发生争执，造成交通拥挤，不但误工误时，而且阻碍了整个地区路桥交通网络作用的发挥。2.人工收费因有人工因素参与， “人情车”现象或其它帐务弊端十分严重。如：收费人员对熟悉的司机不予收费，或是某些个体司机少交费而不要票据；或是少数低素质收费人员相互勾结，多收少缴，私吞收费。据统计，在一些大型的收费站，每日因此损失的收费款额高达数万元，全年累计超过千万，造成国家和地方财政收入的流失，给国家和地方经济造成严重损害。3.人工收费人员长时间在比较恶劣的环境中做重

13、复的工作，易产生疲劳感，从而影响收费的速度，不利于职工的身体健康，不利于车辆通行率的提高。电子技术和计算机技术的发展，为解决这个问题提供了可靠的技术保障。路桥自动收费系统的应用，充分体现路桥交通现代化管理的先进水平，必将产生较大的社会效益和经济效益。实现车型自动识别，采用路桥自动收费系统主要有如下优势：1.可加快车辆通过收费站的速度，提高了有限的空间利用率和路桥收费站的通过能力，利于交通疏流，解决因堵车造成的工时损失、能源损耗、环境污染等问题。2，可杜绝人工收费造成的票款流失问题，确保路桥收费的可靠性和可控性，可较大比例地提高路桥费的回收率。3.整个网络成为交通信息采集网，可快速掌握路桥的车流

14、信息，不仅有利于交通行政部门的综合整体管理，更便于交通行政管理部门的疏导和管理，也可为新建路桥提供科学依据。4，减少了收费站的人员管理，可以节省大量的人力和财力，并使路桥收费实现现代化管理。在电子收费系统中，由于收费过程实现自动化，需要自动识别车型以便根据不同的车型收取相应的费用，车辆直接驶过收费站而不停车，因而对车型判定提出了更严格要求，需要真正统一标准，准确迅速识别、归类3。尽管近几年提出了交通“监控、自动收费、通信系统设计方案” ，但均不能完成对车辆的自动识别和自动收费，因此，开发车型自动识别系统有很大的市场。车型识别技术可应用于停车场收费管理以及各类封闭式和开放式路桥卡口自动收费系统，

15、根据联网的规模不同，适用于 ic 卡、金路卡、虚拟储值卡以及金融卡等各种自动扣费方式，可从路段扩展到区域、地区、跨地区以至全国路网。1.21.2 车型识别的研究现状和前景车型识别的研究现状和前景车辆自动识别分类技术是智能运输系统的重要组成部分，是一门集计算机图象处理技术、模式识别、工业测控技术、电子技术、系统工程技术于一体的综合技术。它对在特定地点和时间的车辆进行识别和分类，作为交通管理、收费、调度、统计的依据。国外由于公路建设起步早，对于车辆自动分类技术的研究开始得也早。国内在进入九十年代就开始这方面的研究。要实现自动车辆识别、分类，需要做的第一步是探测、摄取车辆的某些特征信息。在车辆的所有

16、特征中，可以用来识别和区分车型的通常有车辆的外型(长、宽、高等)、车辆的轴重或轴距、车辆轴重及总重、车辆牌号、发动机排气量、车辆可以乘载的人员数或载重量等特征。在这些特征中，只有部分可以用于自动车辆识别和分类，因为有的特征可以用仪器不停车探测、提取，有的则不然，如排气量、司乘人员数等。目前，车型识别技术主要有轮廓扫描方法、车轴计数方法、磁场变化方法、车牌识别方法、基于图像处理的方法、基于交通视频技术的方法等4。其中，国内外现在通过图像处理对车型进行识别的研究很多，例如，基于神经网络的汽车车型的识别，小波变换及非线形滤波用于车型识别，视频图像处理监控等，就每一种方法来说都有其适用的范围和优缺点，

17、基于图像处理的方法具有应用范围广，获取信息丰富的优点，以上这些方法基本上均是基于车辆的几何特征进行识别，本文也是采用图像处理的方法，但本文中是通过提取车辆的代数特征对车型进行自动识别。总的看来，多年来出现的各种各样的车型识别技术，其中绝大多数是通过检测车辆的某些几何参数或者物理参数来归纳分类的，某些技术也达到了比较高的检测精度、但由于以下几个关键因素，至使其未能在高速公路收费中取得成功应用。一是我国车型太多，国家还没有颁布明确的汽车外形检测标准;二是环境影响，存在干扰;三是车主为了经济利益，往往不顾国家交通部门的规定，在车上装载大量的货物，严重超载，导致车辆的外形变化比较大，难以识别。就我们所

18、知车型识别在国内主要停留在研究状态(如中国科学院、西安公路所、上海交通大学、西安交通大学、北京理工大学等)，部分产品已投入正式运营。在各种车辆自动识别、分类技术中，目前真正能够实际使用的还不多，而车辆分类、按车型收费是公路收费所必需的，因此必须尽快探索出一些新的车辆自动识别方法。1.31.3 本文研究的主要内容及结构安排本文研究的主要内容及结构安排本文主要研究基于车型图像代数特征的车型识别技术。具体方法如下：通过摄像机采集运动中汽车的序列图像，并传入计算机，计算机取得的图像用中值滤波方法得到背景图像，用背景差分方法提取出车辆图像，经过一定的图像预处理得到车辆标准化图像，利用 pca 方法提取车

19、型图像特征;然后用决策支持向量机进行车型分类，对比用最近邻法及神经网络的方法对车型进行识别。整个过程用流程图简要描述如图 1-1 所示。摄像机采集运动车辆序列图像计算机车辆图像背景图像中值滤波法标准化图像图像代数特征1dim,pcapcaaww支持向量机分类模型分类结果训练样本特征pca 方法图像预处理背景差分法图 1-1 本文研究内容流程图本文的结构安排如下：第一章，首先介绍了车型识别的研究内容及其应用，车型识别技术现有的一些研究方法，然后介绍了本文研究的主要内容及结构安排。第二章，介绍了利用背景差分方法从运动图像中提取车辆，其中背景图像我们采用最简单的一种模型对时间序列图像进行中值滤波获得

20、。然后，用基于形态学的方法进行噪声消除。最后将所得车辆图像标准化。第三章，利用 pca 方法提取车型图像特征，采用 pca 方法得到车辆图像的代数特征，该特征包含了车辆图像样本更丰富的特征信息。第四章，先简单地介绍了现有的几种分类方法（神经网络和支持向量机） ，然后详细地描述了支持向量机算法，同时讨论了支持向量机多类分类方法，以及基于支持向量机进行车型的快速识别。最后一章，总结了本文所做的工作。2 车辆图像预处理本系统首先用摄像机从现场环境中摄取运动车辆的视频图像，然后利用摄取的连续图像从复杂背景中提取出运动车辆，最后对车辆图像进行必要的一些预处理成为标准化车辆图像，用于车型识别。本章首先介绍

21、了利用目前运动分割中最常用的一种方法背景差分方法从运动图像中提取车辆，其中背景图像我们采用最简单的一种模型一对时间序列图像进行中值滤波获得。然后，用基于形态学的方法进行噪声消除。最后将所得车辆图像标准化。图像预处理主要包括两个步骤：图像平滑及图像标准化。2.12.1 图像平滑图像平滑背景减除后的图像存在不少噪声污染，因此我们先对图像进行平滑处理。图像平滑主要是为了消除噪声。噪声并不限于人眼所能看的见的失真和变形，有些噪声只有在进行图像处理时才可以发现。图像的常见噪声主要有加性噪声、乘性噪声和量化噪声等。图像中的噪声往往和信号交织在一起，尤其是乘性噪声，如果平滑不当，就会使图像本身的细节如边界轮

22、廓、线条等变的模糊不清，如何既平滑掉噪声有尽量保持图像细节，是图像平滑主要研究的任务。一般来说，图像的能量主要集中在其低频部分，噪声所在的频段主要在高频段，同时系统中所要提取的汽车边缘信息也主要集中在其高频部分，因此，如何去掉高频干扰又同时保持边缘信息，是我们研究的内容。为了去除噪声，有必要对图像进行平滑，可以采用低通滤波的方法去除高频干扰。图像平滑包括空域法和频域法两大类，在空域法中，图像平滑的常用方法是采用均值滤波或中值滤波，对于均值滤波，它是用一个有奇数点的滑动窗口在图像上滑动，将窗口中心点对应的图像像素点的灰度值用窗口内的各个点的灰度值的平均值代替，如果滑动窗口规定了在取均值过程中窗口

23、各个像素点所占的权重，也就是各个像素点的系数，这时候就称为加权均值滤波;对于中值滤波，对应的像素点的灰度值用窗口内的中间值代替。实现均值或中值滤波时，为了简便编程工作，可以定义一个 n*n 的模板数组。另外，需要注意一点，在用窗口扫描图像过程中，对于图像的四个边缘的像素点，可以不处理;也可以用灰度值为“0”的像素点扩展图像的边缘。中值或均值平滑有时处理图像的效果并不是很好，它虽然去除了一定的噪声，但同时使图像中的边缘变的模糊，这主要和所选取的窗口大小有关，为此下面介绍了一种既能保持边缘清晰又能消除噪声的方法，其算法如图 2-1 所示:图 2-1 图像平滑模板上图的含义是在图像中取 5*5 的区

24、域，包含点的五边形和六边形各四个，3*3 的区域一( , )i j个，计算这九个区域的标准差和灰度的平均值，取标准差最小区域的灰度平均值作为点的灰( , )i j度。噪声消除后的图像如图 2-2 所示。图 2-2 噪声消除后的图像2.22.2 图像标准化图像标准化由于后面用到的 k-l 变换方法在本质上依赖于图像灰度在空间分布上的相关性，因此需要先对车辆图像进行一系列的预处理，以达到位置校准和灰度归一的目的。为此，我们首先对图像进行缩小和放大变换，得到统一大小的校准图像(宽 x 高为：12864)。然后再对校准图像做灰度拉伸，以改善图像的对比度。最后采用直方图修正技术使图像具有统一的均值和方差

25、。1、缩小和放大变换图像放大和缩小的方法最典型的有两种:几何变换及离散数字图像的连续表示。前一种方法的主要原理是将目标图像上的点(x，y)映射成源图像上的点(u，v)，然后将(x，y)处的颜色值取作(u，v)处的颜色值，而当(u，v)不是格点时，图像在(u，v)处的颜色值可用(u，v)邻近若干格点处的颜色值表示。后一种方法则对原始的(离散表示的)数字图像用连续函数进行刻划，再根据图像缩放的倍数要求对该连续表示的图像进行重新采样，最后得到新的离散表示的数字图像【11】。本文采用前一种方法进行灰度图像放大和缩小变换。对灰度图像实行实数倍大小变换(x 方向 p 倍，y 方向 p 倍)，该操作产生的像

26、素可能在原图中找不到相应的像素点，这样就必须进行近似处理。一般的方法是直接为和它最相近的像素值，也可以通过一些插值算法来计算。后者处理效果要好些，但是运算量也相应增加很多。本节中的灰度插值我们采用线性插值法。在线性插值法中，非网格点的灰度值，的用其周围四个网格( , ) ( , )f 点(x，y)，(x，y+l)，(x+l，y)，(x+1，y+l)的灰度值按下式近似计算: (2-2)( , )( , )(1)(1)(1, ) (1)( ,1)(1)(1,1)ff x yabf xy abf x ya bf xyab 其中， ，( 是高斯符号) x yaxby该方法精度高，但速度慢。变换倍数 p

27、、q 由用户给定。2、灰度拉伸由于图像的亮度范围不足或非线性会使图像的对比度不理想，可用像素幅值重新分配的方法来改善图像对比度。扩大图像的亮度范围可以用线性映射的方法。这里用以下映射进行: （2-3）ln(2550)maxoutmaxmin其中 max 为原图像中的最大灰度值，min 则为原图像中的最小灰度值。3、直方图修正灰度级的直方图就是反映一幅图像中的灰度级与出现这种灰度的概率之间的关系的图形。设变量 r 代表图像中像素灰度级。在图像中，像素的灰度级可作归一化处理，这样，r 的值将限定在下述范围之内:0r1 (2-4)在灰度级中，r=0 代表黑 r=1 代表白。从图像灰度级的分布可以看出

28、一幅图像的灰度分布特性。对于一幅给定的图像来说，每一个像素取得0，1区间内的灰度级是随机的，也就是说 r 是一个随机变量。可以对0，1区间内的任一个 r 值进行如下灰度变换: (2-5)( )st r也就是说，通过上述变换，每个原始图像的像素灰度值 r 都对应产生一个 s 值。变换函数 t(r)应满足下列条件:1)在 0r1 区间内，t(r)单值单调增加;2)对于 0r1，有 0t(r)1。这里的第一个条件保证了图像的灰度级从白到黑的次序不变。第二个条件则保证了映射变换后的像素灰度值在允许的范围内。直方图均衡化是灰度变换的一个重要应用，广泛应用在图像增强处理中，它是以累计分布函数变换为基础的直

29、方图修正法，可以产生一幅灰度级分布具有均匀概率密度的图像，扩展了像素的取值动态范围。若像素点的原灰度为 r，变换后的灰度为 s，需要注意的是 r、s 是归一化后的灰度值，其灰度变换函数 t( )为： (2-6)00( )()kkjrjjjnst rp pn01jrl 0,1.k 式中，是第 j 级灰度值的概率，是图像中 j 级灰度的像素总数， 是图像中灰度级的()rjp pjnl总数目，n 是图象中像素的总数。对变换后的 s 值取最靠近的一个灰度级的值，建立灰度级变换表，将原图像变换为直方图均衡的图像。经过预处理，得到了所谓的“标准图像”(如图 2-3 所示)。图 2-3 标准化后图像3 车型

30、特征提取目前多数车型识别技术的研究都是提取车辆的几何特征或者物理特征进行车型分类的，实验表明，图像的几何特征不能完全体现出图像的灰度信息，因而不能得到理想的分类结果。pca 方法(主元分析方法)是特征提取的常用方法。pca 方法是以样本总体散布矩阵为产生矩阵的 k-l 变换把原始图像空间压缩为低维的特征空间，其优化目标具有总体性，而所包含的类别信息较少，因而在分类时，提取的主元有可能是盲目的。考虑到任何单个特征所包含的鉴别信息可能有限，而不同的特征往往具有互补性，将它们融合起来可以提供丰富的鉴别信息。3.13.1 pcapca 方法概述方法概述一般而言，pca 方法的目的是寻找任意统计分布的数

31、据集合之主要分量的子集。相应的基向量组满足正交性且由它定义的子空间最优地考虑了数据的相关性。将原始数据集合变换到主分量空间使单一数据样本的互相关性(cross-correlation)降低到最低点。设是 n 维向量的数据集合，m 是其均值向量:1,ixin （3-1）11niimxn差别向量是：id （3-2）iidxm协方差矩阵是： (3-3)11ntxiiicd dn求出其从大到小排列的特征值兄、及满足下列条件的特征向量：ku （3-4）1,0,tl klkl kl ku u有了特征向量集合，任何数据 x 可以投影到特征空间（以特征向量为基向量)中的表示：, (3-5)()tkkyuxm1

32、2(,.,)tnyy yy相反地，任何数据 x 可以表示成如下的线性组合形式： （3-6）1nkkkxmy u如果用 a 代表以特征向量为列向量构成的矩阵，则定义了一个线性变：ta (3-7)()tyaxm (a 是正交矩阵)xmay变换后的协方差矩阵为: (3-8)100 . ntyxca c a上述去相关的主分量分析方法可以用于降低数据的维数。通过略去对应于若干较小特征值的特征向量来给 y 降维。例如，丢弃底下 n-m 行得到 mn 的矩阵 b，并为简单起见假定均值 m=0，则有: （3-9） ybx而仍可通过来近似。近似的均方差为:xtxb y (3-10)1nkk mmse它只是被舍弃

33、的特征向量所对应的特征值的和。通常，特征值幅度差别很大，忽略一些较小的值不会引起很大的误差。上述方法是图象数据压缩的数学基础之一，通常被称为 principal component analysis(pca)或karhunen-loeve(k-l)变换。pca 方法的核心过程是计算特征值和特征向量，有很多不同的数值计算方法。一种常采用的方法是根据如下的推导: (nn 维) 其中txcaa1,sad k d考虑 (ss 维)的特征向量ta aiv （3-11）tiiia avv上式两边左乘 a 得到 （3-12）tiiiaa avav可见就是的特征向量。iavtxcaa由于通常 sn，这种方法将

34、求高阶矩阵的特征向量转化为求较低阶矩阵的特征向量的过程在图象数据分析中是很实用的。3.23.2 pcapca 方法提取车型特征方法提取车型特征k-l 变换是一种最优正交变换9，是图象分析与模式识别中的重要工具，人们将其应用于特征提取，降低特征数据的维数。形成了子空间法模式识别的基础，本文将它应用于车型识别。该方法以归一化的标准图像作为训练样本集，以该样本集的总体散布矩阵为产生矩阵，即: (3-13)()() txu x或 (3-14)1t01()()miiixxm其中：为第 i 个训练样本的图像向量，训练样本集的平均图向量，m 为训练样本的总数。ix将表示为 (3-15)1t011()()mt

35、iiixxxxmm其中011mxxxx-,-, . . .-构造矩阵：trx x容易求出矩阵 r 的特征值及相应的正交归一特征向量从而易得的正交i(0,1,2,1)iv im归一特征向量为iu （3-17）iii1, 2 , 1 , 0mi这就是图像的特征向量。我们总共得到了 m 个特征向量。虽然 m 比小很多，但通常情况下，m 仍然会太大。而事实2n上，根据应用的要求，并非所有的都有很大的保留意义。iu考虑到使用 k-l 变换作为对车辆图像的压缩手段，可以选取最大的前 k 个特征向量，使得: （3-18）010kiifii在上式中，我们选取 a=98%。这说明样本集在前 k 个轴上的能量占整

36、个能量的 98%以上。这样每一幅车辆图像都可以投影到由张成的子空间中。因此每幅车辆图像对应于011,mu uu子空间中的一个点。同样，子空间中的任一点也对应于一幅图像一一特征车(图 3-1 显示的是所对应的图像)。01,u u 图 3-1“特征车”图像有了这样一个由“特征车”张成的降维子空间，任何一幅车辆图像都可以向其做投影并获得一组坐标系数，这组系数表明了该图像在子空间中的位置，就是我们用 pca 方法提取出来的车型特征。4 基于支持向量机的车型识别分类器4.14.1 现有的几种分类方法现有的几种分类方法训练方法和分类算法是分类系统的核心部分，目前存在多种基于向量空间模型的训练算法和分类算法

37、，例如，最近 k 近邻方法、神经网络方法和支持向量机算法等等。1、knn(k 最近邻)算法该算法的基本思路是：在给定新样本后，考虑在训练样本集中与该新样本距离最近 (最相似)的 k 个样本，根据这 k 个样本所属的类别判定新样本所属的类别，具体的算法步骤如下：第一步：根据特征项集合重新描述训练样本向量第二步：在新样本到达后，确定新样本的向量表示第三步：在训练样本集中选出与新样本最相似的 k 个样本第四步：在新样本的 k 个邻居中，依次计算每类的权重，计算公式如下：( ,)( ,) (,)ijiijdknnp x csim x d y d crrrrr其中，为新样本的特征向量，为相似度计算公式，

38、与上一步骤的计算公式相同，xr( ,)isim x drr而为类别属性函数，即，如果属于类那么函数值为 1，否则为 0。(,)ijy d cridrjc第五步：比较类的权重，将样本分到权重最大的那个类别中。2、神经网络算法神经网络算法采用感知算法进行分类。在这种模型中，分类知识被隐式地存储在连接的权值上，使用迭代算法来确定权值向量。当网络输出判别正确时，权值向量保持不变，否则进行增加或降低的调整，因此也称为奖惩法。传统神经网络如 bp 算法存在以下缺点:存在局部极小问题，学习算法收敛速度慢。3、支持向量机支持向量机的基本思想是使用简单的线性分类器划分样本空间。对于在当前特征空间中线性不可分的模

39、式，则使用一个核函数把样本映射到一个高维空间中，使得样本能够线性可分。支持向量机(support vector machine，svm)起源于统计学习理论，它研究如何构造学习机，实现模式分类问题。由于支持向量机方法有几个主要优点：1.它是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅仅是样本数趋于无穷大时的最优值;2.算法最终将转化成为一个二次型寻优问题，从理论上说，得到的将是全局最优点，解决了在神经网络方法中无法避免的局部极值问题;3.算法将实际问题通过非线性变换转换到高维的特征空间(feature space)，在高维空间中构造线性判别函数来实现原空间中的非线性判别函数，特殊

40、性质能保证机器有较好的推广能力，同时它巧妙地解决了维数问题，其算法复杂度与样本维数无关;又由于统计学习理论为人们系统研究有限样本情况下机器学习问题提供了有力的理论基础，本文采用了支持向量机分类算法进行车型识别。4.24.2 支持向量机支持向量机统计学在解决机器学习问题中起着基础性的作用。但是，传统的统计学所研究的主要是渐近理论，即当样本趋向于无穷多时的统计性质。在现实的问题中，我们所面对的样本数目通常是有限的，有时还十分有限。虽然人们实际上一直知道这一点，但传统上仍以样本数目无穷多为假设来推导各种算法，希望这样得到的算法在样本较少时也能有较好的(至少是可接受的)表现。然而，相反的情况是很容易出

41、现的。其中，近年来经常可以听到人们谈论的所谓神经网络过学习问题就是一个典型的代表:当样本数有限时，本来很不错的一个学习机器却可能表现出很差的推广能力。人们对于解决此类问题的努力实际上一直在进行。但是，其中多数工作集中在对己有(基于传统统计学原则的)方法的改进和修正，或者利用启发式方法设计某些巧妙的算法。在人类即将迈进一个新世纪的时候，人们开始逐渐频繁地接触到一个词，就是“统计学习理论” 。这实际上是早在20 世纪 70 年代就已经建立了其基本体系的一门理论，它系统地研究了机器学习的问题，尤其是有限样本情况下的统计学习问题。在 90 年代，这一理论框架下产生出了“支持向量机(svm)”这一新的通

42、用机器学习方法。或许是由于统计学习理论为人们系统研究有限样本情况下机器学习问题提供了有力的理论基础，或许更是因为在这一基础上的支持向量机方法所表现出的令人向往的优良特性，人们开始迅速重视起这一早在 20 年前就该重视的学术方向。现在，越来越多的学者认为，关于统计学习理论和支持向量机的研究，将很快出现像在 80 年代后期人工神经网络研究那样的飞速发展阶段。然而，所不同的是，统计学习理论有完备的理论基础和严格的理论体系(相比之下神经网络有更多的启发式成分)，而且其出发点是更符合实际情况的有限样本假设。支持向量机使用结构风险最小化(structural risk minimization，srm 准

43、则)原理构造决策超平面使每一类数据之间的分类间隔(margin)最大。srm 准则认为:学习机对未知数据分类所产生的实际风险是由两部分组成的，以 00 y1i若 (4-3)twx+b0 是控制惩罚程度的常数。由拉格朗日乘数法，问题等价于在约束条件 (4-19)10niiiy a (4-20)0iac之下对求解下列函数的最大值：ia (4-21) 1nijijijiq aa a y yxx4.2.24.2.2 非线性支持向量机非线性支持向量机至此，对支持向量机的讨论都仅限于线性分界面的情况。对于非线性划分问题，可以通过一个非线性变换中将它转化为某个高维空间 h 中的线性划分问题。一般来说，这种非

44、线性:drh变换的形式可能非常复杂，难于实现。但是注意到在上面的问题中，不论是优化的目标函数还是分类函数都只涉及到向量的点积运算，即的形式。如果存在一个“核函数”k，满足： ijxx (4-22) ,ijijk x xxx 那么就能用原空间中的函数来实现变换空间中的点积，从而绕开映射的具体形式。根据泛函分析中的有关理论，只要核函数满足 mercer 条件，它就对应于某一变换空间中的点积，也就是说，存在映射，使得 x (4-23) ,ijijk x xxx 成立。常见的满足 mercer 条件的核函数有多项式核函数： (4-24) ,1pk x yx y高斯径向基函数： (4-25)22/2,x

45、 yk x ye 如果用内积代替最优分类面中的点积，就相当于把原特征空间变换到了某一新的特,jjk xy征空间，此时优化函数变为： (4-26) 1,11,2nniijijijii jq aaa a y y k x x相应的判别函数式也应变为： (4-27) *1sgn( ,)niiijif xa y k x xb算法的其他条件均不变。4.2.34.2.3 用于多类识别的支持向量机用于多类识别的支持向量机支持向量机分类算法最初只用于解决二分类问题，缺乏处理多分类问题的能力。许多模式识别问题都是多分类的，这要求支持向量机能给出多分类的结果。目前构造多分类支持向量机分类器的方法主要有两类：一类是“

46、同时考虑所有分类”方法19，另一类是组合二分类器解决多分类问题。第一类方法主要思想是在优化公式的同时考虑所有的类别数据，j.weston 和 c.watkins 提出的“k-class 多分类算法”就属于这一类方法。该算法在经典的 svm 理论的基础上，重新构造多类分类型，同时考虑多个类别，然后将问题也转化为一个解决二次规划(quadratic programming，简称qp)问题，从而实现多分类。该算法由于涉及到的变量繁多，选取的目标函数复杂，实现起来比较困难，计算复杂度高。第二类方法的基本思想是通过组合多个二分类器实现对多分类器的构造，常见的构造方法有“一对一”(one-against-

47、one)和“一对其余”(one-against-the rest)两种。其中“一对一”方法需要对n 类训练数据两两组合，构建个支持向量机，每个支持向量机训练两种不同类别的数21 / 2ncn n据，最后分类的时候采取“投票”的方式决定分类结果20。 “一对其余”方法对 n 分类问题构建 n个支持向量机，每个支持向量机负责区分本类数据和非本类数据。该分类器为每个类构造一个支持向量机，第 k 个支持向量机在第 k 类和其余 n-1 个类之间构造一个超平面，最后结果由输出离分界面距离最大的那个支持向量机决定15。twxb本章将上述“一对其余”的 svm 多分类方法结合二又决策树构造分类器对车型进行分

48、类识别，并设法减少训练样本个数，提高训练速度。4.34.3 决策支持向量机进行多分类决策支持向量机进行多分类n 分类问题(n2)和二分类问题之间存在一定的对应关系:如果一个分类问题 n 类可分，则这 n类中的任何两类间一定可分;反之，在一个 n 分类问题中，如果我们已知其任意两两可分，则通过一定的组合法则，我们可由两两可分来最终实现 n 类可分。由于 svm 基于二类分类，很自然可以把它和二叉决策树的基本思想结合起来构成多类别的分类器，称为 svm 决策树方法【15】。由二叉树的性质可知:对任何一棵二叉树，如果其叶子结点个数为，度为 2 的结点个数为，则有0n2n。而 svm 决策树中没有度为

49、 1 的结点，是一棵正则二叉树。设对 n 类样本构造一棵二021nn叉决策树，则树的每个叶子结点对应一个类别，每个度为 2 的非叶子结点对应一个子 svm 分类器。决策树共有 2n-1 个结点，叶子结点个数为 n，子 svm 分类器个数为 n-1。在“一对其余”的 svm 多分类方法中，每一类的识别看成一个独立的二分类问题(如图 4-4 所示)。设所有车型为 m 类，记为。设属于的车型个数为，以任何一类为例，12,mla aaiainia训练正例是该类所包含的全部车型，而反例是在训练集中不属于该类的所有其它类的车型。即类ia的正例总数为，反例总数为。in1,1mijjn图 4-2 决策树以上决

50、策树具有层次结构，以致各训练集合的构成不同，训练所用的例子累次降低，减少了训练时间，测试是按照层次完成。每次构造分类器时，优先选择训练样本数量最多的类别的训练数据作为当前分类器的训练正例，剩余类别的训练数据作为分类器的训练反例，构造最优决策树，从而可以迅速减少训练集的规模，从而提高训练效率。设类别数目为 m，训练集为，表示第 i 类。则构造 m-1 个12,mzc ccci分类器的具体算法如图 4-5 所示。图 4-3 决策树算法流程图其中为集合 z 中类别的数量，为类的训练样本数，为类的训练集合， n zkn ckc js cjc为第 i 个支持向量机分类器的训练正例集合，为第 i 个支持向

51、量机分类器的训练反例+isvmisvm集合。4.44.4 支持向量机进行车型快速识别支持向量机进行车型快速识别目前在车型识别中应用较多的方法是模糊神经网络和 bp 网络等方法,但这些方法难以解决模式识别中存在的复杂性和推广性的矛盾,本文采用支持向量机(svm)方法,具有计算量小,能较好地解决小样本、非线性和局部极小点等问题。4.4.14.4.1 概述概述支持向量机(support vector machine)是基于统计学理论的一种新的通用学习方法,它是建立在一套较好的有限样本下的机器学习的理论框架和通用方法,它既有严格的理论基础,又能较好地解决小样本、非线性、高维数和局部极小点等实际问题,其

52、核心思想就是学习机器要与有限的训练样本相适应14。支持向量机中的支持向量是通过解一个凸二次优化问题获得的,它保证找到的解是全局最优解。对于模式识别和函数拟合问题支持向量机采用不同的算法,支持向量机算法的示意图如图 4-6所示。图 4-4支持向量机计算示意图支持向量机利用特征映射的思想,可以回顾一下支持向量机中的以下 2 个式子: (4-28)*iiiiwa y x式中: 是以下式子求极大值的解。,1,ia in (4-29)12diijijijilaa a y yxx从式(2)可以看到,计算上式的极大值只用到训练样本数据间的点积,而使用的分类器判别ijxx函数中权向量的作用也是通过权向量与样本

53、的点积体现出来的,权向量是训练样本中的支持向量的线性组合,因此值的计算可写成:tw x （4-30）*tiiiiiijiiw xa y xxa yxx它表明在计算判别函数值时,仍然只需通过计算相应数据的点积即可。由此可以设想,如果将原特征向量用映射的方式转换成,则相应的式子只需改变成 iixf x （4-31） 12diijijijilaa a y yf xf x分类界面方程： （4-32） *0*0iiiia yf xf xw式中: 为相应的常数项。0*w由于特征进行了映射,从 x 变成了 f(x),因此问题是在另一个映射后的空间讨论的。设原空间维数为 d,即,而新空间为 m 维,即,则一般

54、维要比 d 维大得多。权向量的维数也是dxr mfxrmm 维,它是在映射后空间中的支持向量的线性求和。但是支持向量机的提出者进一 *iiiiwa y fx步发现,并不一定要求出这个权向量,因为分类判别函数中只关心权向量与样本向量之间的点积。因此,又引出了所谓核函数式(4-31)和式(4-32)中只用到有关数据的点积,因此如果能确定某种,ik x x函数的确是与 x 这 2 个样本数据某种映射的内积,就可用它来设计支持向量机,而不必知,ik x xix道对应哪一个函数。因此支持向量机采用了巧妙的特征映射方法,将线性分类计算框架,扩展到 *f非线性分类的领域。相应的式子可写成: (4-33)1,

55、2diijijijilaa a y y k x x分类界面方程: （4-34）*0,0niiiia y k x xw这样一来,如果选择了一种函数,其中 a 和 b 是原特征空间的 2 个数据点,那么只要这种函,k a b数是反映了特征映射后数据的内积,线性分类器的框架就都可以用了。因此选择合适的函数,k a b就成为设计中的重要问题。4.4.24.4.2 多类多类(k(k 类类) )问题的问题的 svmsvm 算法算法支持向量机用于分类,构造的复杂程度取决于支持量的数目,而不是特征空间的维数,这就有效地解决了学习中非线性与维数灾难问题,本文介绍了通过对汽图像进行预处理,采用多类问题的支持向量机

56、,给出了训练数据和测试数据等特征数据,从结果来看,svm 算对于汽车识别是可行的。多类问题的模式识别系统可转化为 2 类问题从而可以应用 svm 方法,核函数。理上的研究对核函数的充分必要条件进行了研究,并已得一些主要结论(如 mercer 条件)13,但由于这些成果还不具体地确定哪些函数具备这种条件,因此目前常用的核数还局限于以下 3 种函数形式。多项式类型的函数: (3-35),1qiik x xx x 核函数型式的函数: （3-36）22,expiixxk x xs 形函数,如： （3-37）,tanhiik x xv xxc4.54.5 实验结果及比较实验结果及比较1、数据准备实验中，

57、我们用数码摄像机摄取车辆视频图像。我们取 300 幅车型图像(共十类车型，各类车型的训练样本 20 个，测试样本 10 个)，构建了车型图像库，如图 4-7 所示。图 4-7 十类标准化车型图像数据库2、实验步骤a) 图像预处理。首先将车辆视频图像连续各帧图像按 2.1 节方法进行时间平均得到车辆背景图像，然后用各帧图像与该背景图像差分提取出车辆图像，再经过标准化处理且规范图像大小为 128x64 像素。b) 车型特征提取将标准化后的车型图像投影到第三章生成的 pca 特征子空间得到投影系数，有了这样一个由“特征车”张成的降维子空间，任何一幅车辆图像都可以向其做投影并获得一组坐标系数，这组系数

58、表明了该图像在子空间中的位置，就是我们用 pca 方法提取出来的车型特征。c) 训练分类器。对于实验中的十类车型，我们采用九层决策树，决策树的每一层都是一个二分类问题，即在每一层设置一个支持向量机分类器。对每一层单个的二分类器，将训练样本分为当前类正例样本和反例样本两类，给每个类别设定一个距离闭值 r，求出当前类别的各反例样本与该类的训练正例中最近邻样木的距离，若该距离大于阈值 r，则表明该反例样本距离该类所有正例较远，成为支持向量的可能性较小，因此没有必要将该反例交给支持向量机训练，而将其它反例样本以及全部正例样本交给 svm 分类器进行训练。d) 识别。利用 c)步训练好的决策支持向量机进

59、行车型识别。具体地，在决策树的每一层，并不是将所有的样本均调用 svm 二分类器进行分类，而是将训练样本分为当前类正例样本和反例样本两类，求出测试样本 x 与当前类别的训练反例最近邻样本的距离为 dl，x 与正例最近邻样本的距离为 d2，若差 dl-d2 大于给定正的阈值 t，则认为测试样本 x 属于当前类，否则才调用 svm 分类器进行分类。3、实验结果为测试该算法的性能,进行了两组实验,分别采用 bp 算法和 svm 算法进行对比。实验结果为:采用 bp 算法的车辆识别率为 91 %,而采用 svm 算法识别率可达到 93.3 %,而迭代少于 bp 算法。试验结果如表 4-1 和表 4-2

60、表 4-1 bp 实验结果方法迭代 1 000 次的识别率迭代 500 次的识别率迭代 48 次的识别率bp 网络91%85%76%表 4-2 支持向量机实验结果 方法支持向量个数识别率训练迭代次数svm6893%48从实验结果可以看出,利用支持向量机来识别汽车,精确度高达 93%,误差减少 2%,为后续的开发和研究提供了基础。5 结论车型的自动分类在部分发达国家已经是比较成熟的技术，但由于诸多的原因，这些系统在我国其识别率等指标难以满足使用要求。要提高我国公路收费管理工作的现代化水平和科技含量，并且为自动收费、无人收费奠定基础，就必须研制适应我国的车型分类方法，同时这也是减轻收费员工作负担，