（信号与信息处理专业论文）基于机器视觉的电子桩考系统.pdf

基于机器视觉的电子桩考系统 摘要 为了提高汽车桩考的公正性和准确性，在大量运用数字图像处理技术 和模式识别理论的基础上，本文提出了基于机器视觉的汽车自动桩考系统 的实现思路和方法。 本文详叙了系统的实现思路和各种针对系统的图像处理方法，重点是 如何提高系统的准确性和实时性。对于预处理阶段采用的图像阈值分割， 提出了一种基于亮度补偿的改进算法，取得了较满意的处理效果。在图像 识别方面，采用了一种特殊形状的镶套结构，实验证明，该结构具备不易 受干扰和可以被快速识别的特性，能满足桩考系统的实时要求。在汽车边 缘提取方面，本文提出了用少量采样点来代替所有边缘点的方法，大大减 少了运算的时间。最后，本文提出了基于多摄像头的协作机制的设想。整 个系统在w i n d o w s 平台上运行正常，实现了汽车桩考过程的实时操作。 关键词：电子桩考，图像识别，摄像机标定，镶套结构 a u t o m a t i cs t a k et e s ts y s t e mb a s e do nm a c h i n ev i s i o n a b s t r a c t i no r d e rt oi m p r o v ee q u i t ya n dv e r a c i t yo fa u t o m o b i l e ss t a k et e s t ，t h i s p a p e rp u tf o r w a r dat h o u g h ta n dm e a n so fa u t o m a t i cs t a k et e s t ，b a s e do n m a c h i n ev i s i o ni nw h i c han u m b e ro fd i g i ti m a g ed i s p o s a l t e c h n o l o g ya n d p a t t e r ni d e n t i f i c a t i o nt h e o r ya r eu s e d t h ep a p e rr e c o u n t si m p l e m e n t i n gt h o u g h t so ft h i ss y s t e ma n ds o m ed i g i t i m a g ed i s p o s a lm e t h o d sf o rt h i ss y s t e m p o i n ti sh o wt or a i s ea c c u r a c ya n d r e a lt i m eo ft h i ss y s t e m i np r e t r e a t i n gi m a g ep h a s e ，i no r d e rt o g e tab e t t e r t h r e s h o l d ，ia d v a n c eai m p r o v e da l g o r i t h mb a s e do nl u m i n a n c ec o m p e n s a t i n g ， a n dg e tr a t h e rs a r i s f y i n ge f f e c t o nt h ea s p e c to fi d e n t i f y i n gi m a g e ，iu s ea s t r u c t u r eo fm o s a i c t h ee x p e r i m e n tp r o v e st h i ss p e c i a ls t r u c t u r ec a nn o tb e e a s i l yd i s t u r b e da n dc a nb eq u i c k l yi d e n t i f i e d t h i sc a p r is a r i s f yt h er e a lt i m e d e m a n do ft h ea u t o m o b i l e ss t a k et e s t s y s t e m i nt h ep h a s eo fc h e c k i n g a u t o m o b i l e se d g e ，iu s eaf e wo fs p o t si n s t e a do fa l lt h ee d g es p o t sw h i c hc a n r e d u c ec o m p u t e rt i m e c o n s u m e d l y f i n a l l y ，t h i s a r t i c l e p u tf o r w a r dt h e c o n c e i v eo fm u l t i c a m e r ac o o p e r a t i o nm e c h a n i s m i nw i n d o w se n v i r o n m e n t t h ew h o l es y s t e mr u n si n g e a r ，w h i c hi m p l e m e n t sr e a lt i m eo p e r a t i o no ft h e s t a k et e s t k e yw o r d s ：a u t o m a t i cs t a k et e s t ，i m a g ei d e n t i f y i n g ， c a m e r ac a l i b r a t i o n ， s t r u c t u r eo fm o s a i c 插图清单 图2 1 汽车桩考俯视图7 图2 2 桩考系统硬件实现图8 图2 3 桩考系统实现流程图1 0 图3 1 灰度线性变换1 2 图3 2 对图像进行灰度拉伸处理1 3 图3 34 领域模板和8 领域模板图示1 4 图3 4 图像的中值滤波1 5 图3 ，5 双峰直方图1 6 图3 6 不同阈值分割方法比较图1 7 图3 7 光照强度高时的图像闽值分割1 7 图3 8 光照强度低时的图像阈值分割1 8 图3 9 用新方法分割图3 8 中原始图像的结果图1 9 图3 1 0 不同阖值分割方法比较图，1 9 图4 1图像的腐蚀2 2 图4 2 图像的膨胀，2 2 图4 3 有粘粘现象的标志物图像2 5 图4 4 腐蚀算子和膨胀算子结构图一2 5 图4 5 有粘粘现象的标志物的开运算一2 5 图4 6 没有粘粘现象标志物的开运算2 6 图4 7 模式识别系统流程图，2 7 图4 8 三副不同的圆环图，3 5 图4 。9 镶套结构的识别示意图3 5 图4 1 0 三角环标志物和圆环标志物3 6 图4 1 1 识别了三角环和圆环标志物的汽车图。，3 6 图5 1 图像坐标系3 7 图5 2 摄像机坐标系和世界坐标系3 8 图5 3 标定参照物4 2 图5 4 基于标志物的摄像机标定一4 3 图5 5 汽车坐标系与边缘点选取，4 5 图5 6 汽车坐标系与世界坐标关系图4 6 图5 7 根据前一帧图像确定当前帧图像标志物搜索范围4 6 图5 8 图像的边缘搜索范围图4 7 图5 g 多摄像机分布示意图4 8 图5 1 0 实际场地和俯视图中的车库一4 8 图5 1 l 汽车触桩图4 9 图5 1 2 汽车触线图4 9 表格清单 表4 1各种识别圆环的方法对比表 表5 1实际场地测试表 3 5 4 9 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究 成果。据我所知，除了文中特别加以标志和致谢的地方外，论文中不包含其他人已 经发表或撰写过的研究成果，也不包含为获得 金胆王些盘堂或其他教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已 在论文中作了明确的说明并表示谢意。 学位论文作者签字 签字日期：加年月2 一日 学位论文版权使用授权书 本学位论文作者完全了解 盒罡工些盘堂有关保留、使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅或借 阅。本人授权 金目b 工些盍堂可以将学位论文的全部或部分论文内容编入有关数 据庠进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 导师签名 j 更一 心 吣 签字日期：如年6 月脏日签字日鼢勿磊歹月2 日 黧猕辫纭桶慨啄争够聊 工作单位：六j 手p 么? 莠局i 。 电话：够石争刁眵罗7 冲 通讯地批云密卉纪安荀邮编：乃7 卿口 致谢 值此学位论文完成之际，谨向那些曾教导我的师长、鼓励我的前辈、帮助 我的同学和朋友、默默支持我的亲人，表达我最诚挚的谢意! 三年的研究生学习使我的科研水平和工作能力得到了快速增长，这一切得 益于尊师蒋建国教授在我学习、科研等多方面给予的悉心指导和亲切的关怀。 蒋老师一丝不苟的治学态度、敏锐的学术洞察力、严谨而又不乏灵活性的工作 作风以及丰富的实践经验给我留下了深刻的印象，将使我在学习和工作中受益 终生。在此，谨向蒋老师崇高的敬意和衷心的感谢! 感谢齐美彬副教授在我学习过程中给予的悉心指导和关怀! 齐老师在学习 上对我们严格要求，生活中又是我们的良师益友，他的专业精神将永远激励着 我! 同时还要感谢实验室的胡社教副教授、吴从中副教授、李小红老师，感谢 他们三年来对我的关心和帮助。 感谢我们实验室同学：感访 夏娜博士在学习过程中的指引和帮助；感谢胡 嘉凯、聂秋玉、尤小泉、张国富、李勇、尹翔、李援同学，三年来我们相互交 流、取长补短共同完成了多个项目；感谢常传文、袁炜、包先宇、吴琼、苏兆 品、蒋庆汝、徐亚东、刘扬、黄越、安宝磊、李化雷、郝永杰、张祺、童卫勇、 张锐、陈晓蕊、孙红艳、操龙敏、宣曼、王倩等实验室所有同学，我们在生活 上情同手足，在学习上互相帮助，共同营造了良好的实验室氛围；最后特别感 谢郝世杰和李相涛两位师弟，有了他们的热心帮助这个系统才得以完成。 最后，我要将这份感激之情献给我的父母家人和单位领导，感谢他们在我 求学期间给予的精神和物质上的深切关怀和大力支持，他们多年来的关心、鼓 励和无私的爱，始终是我克服困难的强大动力，向他们表示深深的谢意和衷心 的祝福! 作者：彭兴邦 2 0 0 6 年5 月 1 1引言 第一章绪论 近年来，随着国内经济的发展，汽车市场也一直保持高速增长的态势，2 0 0 3 年全国共销售汽车4 3 9 0 8 万辆，同比增长3 4 2 l ，其中轿车共销售1 9 7 1 6 万辆，同比增长7 5 2 8 ；2 0 0 4 年累计销售达到5 0 7 1 1 万辆，同比增长1 5 5 0 ，其中轿车累计销售2 3 2 6 5 万辆，同比增长1 5 1 7 。到了2 0 0 5 年，汽 车市场累计产销5 7 0 7 7 万辆和5 7 5 8 2 万辆，同比分别增长1 2 5 6 和1 3 5 4 ，其中乘用车产销3 9 3 0 7 万辆和3 9 7 1 1 万辆，同比分别增长1 9 7 3 和 2 1 4 0 。虽然汽车市场增长势头喜人，但是汽车交通事故依然威胁着乘车者 的生命财产安全。2 0 0 5 年全国共发生道路交通事故4 5 0 2 5 4 起，造成9 8 7 3 8 人 死亡、4 6 9 9 1 1 人受伤，直接财产损失1 8 8 亿元。 为了减少交通事故率，首先得严格把关驾驶员驾考系统。根据公安部新交 法配套法律法规精神，各地交警系统增加驾考难度，抬高“准入门槛”，以便 进一步提高学员的驾驶技能，减少“马路杀手”。驾考程序步骤为理论考试， 桩考和路考，其中又以桩考最为重要。过去的桩考现场大多数是通过考官现场 目测来判决考试的结果，这里面常常掺杂有个人的主观因素，产生所谓的人情 分；同时由于考试过程中考官的现场位置的不同，客观上会给考官造成不同的 视觉效果，也往往会造成误判错判。相比传统申领驾照的考试，电子考试系统 能够更加公平、公正、准确、透明地判定学员的考试成绩，在驾车技术上要求 高了许多，输入指纹后才能启动车辆这一举措还可以杜绝他人替考的行为。电 子考试系统将会有效地从源头上减少“马路杀手”。目前的汽车电子桩考仪器 主要使用红外线桩考仪。红外线桩考仪能够准确实时的判断车身越线，但设备 庞大，价格昂贵，还需要额外的摄像机进行录像。针对这些问题，我们提出了 基于机器视觉的电子桩考系统，在机器视觉的理论基础上，运用图像处理技术、 模式识别理论和摄像机定标方法，实现计算机对挨个汽车桩考过程的监视和实 时判决，提高系统的效率和判决的客观性、准确性，同时又可以有效的降低系 统的运行成本。由于目前计算机和高精度摄像机的迅速普及、硬件系统的性价 比不断提高，我们认为该系统将有着广阔的应用前景和推广价值。 1 2 电子桩考的研究现状 目前市面上的电子桩考仪大部分都是基于红外线的。该桩考仪的基本原理 是在车库边线上树立若干电子桩，其中发送端发送红外线，而接收端接收红外 线，如果有汽车越线，红外线就会被车身遮挡，接收端接收不到红外线，报警 装置就会报警提示汽车越线。 红外线桩考的优点为： ( 1 ) 能准确实时的判断汽车越线。 ( 2 ) 判断汽车越线的精度比较高。 ( 3 ) 具备抗雾天、小雪、中雨和大风的功能。 缺点为： ( 1 ) 不能画出汽车的轨迹图。对于汽车中途停车两次不能判断。 ( 2 ) 不能对汽车驾考进行录像。 这些缺点需要外加摄像机来进行补偿。 1 3 机器视觉概论 人类通过视觉感知外界信息俗话说“百闻不如一见”，就是说视觉感知环 境信息的效率很高人类感知外界信息，8 0 以上是通过视觉得到的让计算 机或机器人具有视觉，是人类多年以来的梦想虽然，目前我们还不能让计算 机也具有像生物那样高效、灵活的视觉，但这种希望正在逐步实现，人类是通 过眼睛与大脑来获取、处理与理解视觉信息的周围环境中的物体在可见光的 照射下，在人眼的视网膜上形成图像，由感光细胞转换成神经脉冲信号，经神 经纤维传人大脑皮层进行处理与理解视觉，不仅指对光信号的感受，它包括 了对视觉信息的获取、传输、处理、存储与理解的全过程信号处理理论与计 算机出现以后，人们试图用摄像机获取环境图像并将其转换成数字信号，用计 算机实现对视觉信息处理的全过程，这样，就形成了一门新兴的学科一计算 机视觉 1 3 1 计算机视觉的发展和内容 机器视觉是研究用计算机来模拟生物外显或宏观视觉功能的科学和技术， 它的首要目标是用图像来创建和恢复现实世界的模型，然后认知现实世界。机 器视觉起源于2 0 世纪5 0 年代，是一个相当新并且发展十分迅速的研究领域， 现在已经成为计算机科学的重要研究领域之一。对机器视觉的全球性研究热湖 是从2 0 世纪8 0 年代开始的，经过了几十年，机器视觉获得了蓬勃发展，新概 念、新方法、新理论不断涌现，比如，基于感知特征群的物体识别理论框架、 主动视觉理论框架、视觉集成理论框架等 1 。 机器视觉的研究内容主要包括：1 ) 输入设备，包括成像系统和图像数字化 设备；2 ) 低层视觉，主要是对输入的原始图像进行处理，这一过程采用了大量 的图像处理技术和算法；3 ) 中层视觉，主要任务是恢复场景的深度、表面法向、 轮廓等有关场景的信息；4 ) 高层视觉，它的任务是在一个物体为中心的坐标系 中，以原始图像为基础，建立物体的三维描述，识别三维物体：5 ) 体系结构， 是指在高度抽象的层次上，根据系统模型而不是具体的例子来研究系统的结构。 下面简单介绍一下机器视觉领域中一个十分重要的理论框架- m a r r 视觉计算理 2 论 2 。 1 3 2m a r r 视觉计算理论 8 0 年代初，m a r r 首次从信息处理的角度综合了图像处理、心理物理学、 神经生理学及临床精神病学的研究成果，提出了第一个较为完善的视觉系统框 架，这一框架虽然在细节甚至在主导思想方面尚存在大量不完备的方面，许多 方面还有许多争议，但至今仍是广大计算机视觉工作者接受的基本框架计算 机视觉这门学科的形成，应该说与这一理论框架有密切的关系下面我们从几 个方面来描述这一理论框架 1 ) 视觉系统研究的三个层次 m a r r 从信息处理系统的角度出发，认为对此系统的研究应分为三个层次， 即计算理论层次、表达( r e p r e s e n t a t io n ) 与算法层次、硬件实现层次计 算理论层次要回答系统各个部分的计算目的与计算策略，亦即各部分的输人输 出是什么，之间的关系是什么变换或具有什么约束m a r r 对视觉系统的总的 输人输出关系规定了一个总的目标，即输人是二维图像，输出是由二维图像“重 建”( r e c o n s t r u c t i o i l ) 出来的三维物体的位置与形状m a r r 认为，视觉系统 的任务是对环境中三维物体进行识别、定位与运动分析，但这仅仅是一种对视 觉行为( b e h a v i o r ) 的目的性定义，而不是从计算理论层次上的目的性定义三 维物体千差万别，应存在一种计算层次上的一般性目的描述，达到了这一“目 的”，则不管是什么具体的物体，视觉任务均可完成m a r r 认为，这一“目 的”，就是要通过视觉系统。重建三维物体的形状、位置，而且，如在每一时 刻，都能做到这一点，则运动分析也可以做到对视觉系统的各个层次与模块， m a r r 也初步给出了计算理论层次上的目标。对于表达与算法层次，视觉系统 的研究应给出各部分( 或称各模块) 的输人、输出和内部的信息表达，以及实 现计算理论所规定的目标的算法，算法与表达有关，不同的表达方式，完成同 一计算的算法会不同，但m a r r 认为，算法与表达是比计算理论低一层次的问 题，不同的表达与算法，在计算理论层次上可以是相同的。最后一个硬件层次， 是要回答“如何用硬件实现以上算法”应该指出，目前计算机视觉的研究工作 也主要在这两个层次上对于硬件实现，目前只有比较成熟的部分，如低层次 处理中的去噪声，边缘抽取；对简单二维物体识别及简单场景下的视觉方法， 已有专用芯片或其他并行处理体系结构方面的研究与试验产品；从系统上构造 一般的视觉系统，虽有一些尝试，但一般并不成功。 2 ) 视觉信息处理的三个阶段 m a r r 从视觉计算理论出发，将系统分为白下而上的三个阶段，即视觉信 息从最初的原始数据( 二维图像数据) 到最终对三维环境的表达经历了三个阶 段的处理第一阶段构成所谓“要素图”或“基元图”( p r i m a r ys k e t c h ) ， 基元图由二维图像中的边缘点、直线段、曲线、顶点、纹理等基本几何元素或 特征组成；第二阶段，m a r r 称为对环境的2 5 维描述，2 5 维描述是一种形 象的说法，意即部分的、不完整的三维信息描述，用“计算”的语言来讲，就 是重建三维物体在观察者为中心的坐标系下的三维形状与位置当人眼或摄像 机观察周围环境物体时，观察者对三维物体最初是以自身的坐标系来描述的， 另外，我们只能观察到物体的一部分( 另一部分是物体的背面或被其他物体遮 挡的部分) 这样，重建的结果是以观察者坐标系下描述的部分三维物体形状， 称为2 5 维描述这一阶段中存在许多并行的相对独立的模块，如立体视觉、 运动分析、由灰度恢复表面形状等不同处理单元，本书的许多章节都涉及到这 一阶段2 5 维描述是不够的，事实上，从各种不同角度去观察物体，观察到 的形状都是不完整的，不能设想，人脑中存有同一物体从所有可能的观察角度 看到的物体形象，以用来与所谓的物体的2 5 维描述进行匹配与比较，因此， 2 5 维描述必须进一步处理以得到物体的完整三维描述，而且必须是物体本身 某一固定坐标系下的描述，这一阶段称为第三阶段，即三维阶段。 1 3 3 计算机视觉的应用 机器视觉的应用研究，已经拓展到几乎每个可能的工业领域 3 。最主要 的应用行业，为汽车、制药、电子与电气、制造包装食品饮料、医学等。在 现代工业自动化生产中，涉及到各种各样的检查、测量和零件识别应用，例如 汽车零配件尺寸检查和自动装配的完整性检查、电子装配线的元件自动定位、 饮料瓶盖的印刷质量检查、产品包装上的条码和字符识别等。这类应用的共同 特点是连续大批量生产、对外观质量的要求非常高。这种带有高度重复性和智 能性的工作，过去是靠人工检测来完成。人工执行这些工序，在给工厂增加巨 大的人工成本和管理成本的同时，仍然不能保证1 0 0 的检验合格率( 即“零缺 陷”) 。0 1 的缺陷的存在，对企业在市场上的竞争也是极为不利的。有些时 候，如微小尺寸的精确快速测量、形状匹配、颜色辨识等，用人眼根本无法连 续稳定地进行。机器视觉的引入，代替传统的人工检测方法，避免了人眼的视 觉疲劳。由于机器视觉系统可以快速获取大量信息，而且易于自动处理，也易 于同设计信息以及加工控制信息集成，因此，在现代自动化生产过程中，机器 视觉系统广泛地应用于工况监视、成品检验和质量控制等领域。机器视觉系统 的特点是提高生产的柔性和自动化程度。在一些不适合人工作业的危险工作环 境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉；同时在大 批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视 觉检测方法可以大大提商生产效率和生产的自动化程度。而且机器视觉易于实 现信息集成，是实现计算机集成制造的基础技术，极大地提高了投放市场的产 品质量，提高了生产效率。典型的线径的在线检测与控制，如被加工工件的直 径测量、铜线的拉线线径测量与控制，传统的接触式测量方法存在缺陷，人工 在线测量是不可能的。采用线阵c c d 线径测量方法，是较早期机器视觉成功应 4 用的例证。机器视觉的特点是自动化、客观、非接触和高精度，与一般意义上 的图像处理系统相比，机器视觉强调的是精度和速度，以及工业现场环境下的 可靠性。机器视觉极适用于大批量生产过程中的测量、检查和辨识。线阵c c d 在连续、扫描在线测量中的应用非常具有优势，如面积测量，不仅得到的结果 准确，而且实时、快捷。再如，零件装配完整性、装配尺寸精度、零件加工精 度、位置角度测量、零件识别、特性字符识别等。在零售业界，p o s 的终端 设备，如条码识读机，也是线阵c c d 在机器视觉上的典型应用。连续流动流体 测量，如，透明管道水的澄清度、异物测量，为自来水、工业污水水质测量与 控制，江河污染监测；此外，如在线食用油品油质监测，为保证生产出合格的 油品提供保障。 随着图像处理和模式识别理论研究的进展，采用二维图像的机器视觉系统 在最近几年得到了成功应用。如指纹、掌纹、虹膜和人脸等实物特征识别的 机器视觉系统，已经在机场、车站安检、考勤、门禁认证、海关通关等场合使 用；在恐怖主义威胁下，不仅对人的识别更加重视，货物运输中也逐步考虑使 用更加先进的机器视觉系统，如，采用计算机断层扫描技术的货物安检和成分 识别研究正在开展。 在医学诊疗过程中，病症的识别离不开机器视觉系统的使用。如，超声波、 c t 、磁共振、基于c c d 的内窥镜等装备，在大、中型医院已经获得普遍推广。 目前，国际上视觉系统的应用方兴未艾，国内，机器视觉系统也进入应用 的快速发展期，主要的视觉系统采用进口，不同类型的应用，均可以采取购买 成熟系统的方法。国内形成产品的视觉系统主要有，用于粮食的色选机、线径 测量系统等。 1 4 本课题系统的原理、优点和实现中存在的困难 本课题是从计算机视觉的基础出发，通过模式识别、摄像机定标、边缘匹 配等步骤，直接识别出车身上放置的特征物，通过摄像机定标计算出特征物的 实际空间位置，然后根据特征物和车子边缘的关系把车子边缘的实际空间位置 求出，再根据事先已知的汽车车桩的位置就可以判断出车子是否越线。 基于机器视觉的电子桩考系统的优点很明显，首先是设备简单，只需要若 干摄像机和悬挂的架子，其次是可以直观的从屏幕上看到场地的全景，方便考 官监考，再次是可以实时录像并回放，驾校可以通过录像进行教学。 本课题的实现难点有： ( 1 ) 模式识别必须具备各种天气下的抗干扰识别功能。 ( 2 ) 摄像机定标精度得达到考场考试的要求。 ( 3 ) 本系统必须作出图像实时处理和报警。 第二章基于机器视觉的电子桩考系统 基于机器视觉的电子桩考系统采用了计算机图像处理、模式识别技术和摄 像机定标技，对获得的视频图像进行实时的分析处理、识别，根据得到的数据 及时准确的判决汽车桩考结果，实现了考试过程的自动化、智能化。该系统在 克服了人工考试的各种缺陷的同时，又可以将考试过程中某些重要的信息记录 在案，存储在数据库中，以备将来对考试过程进行分析研究，有利于考试人员 吸取经验教训，提高考试的合格率。 2 1 汽车桩考内容及合格标准 2 0 0 4 年4 月3 0 日颁布，2 0 0 4 年5 月1 日实施的机动车驾驶证申领和使 用规定( 公安部令第7 1 号) 1 增强了机动车驾驶员考试的针对性，保证了考 试质量。规定根据不同车型，规定了不同的考试标准，突出了重点车型的考 试难度。一是在驾驶技能考试方面，按照不同的准驾车型，统一规范了相应的 考试场地和设施设置，并针对不同准驾车型设定不同的道路考试项目和考试评 判标准。二是增加了实际道路驾驶考试内容，主要考核机动车驾驶人在实际道 路上驾驶的心理素质、判断能力及综合驾驶技能，并增加模拟恶劣气候及夜问 驾驶时各种灯光的使用知识的考试内容，对山路、涵洞、隧道较多的地区，还 要求增设相应考试内容，以此增强考试的实用性。三是增加考试用车的车身长 度，适应现代车辆大型化的发展。对不同车型的考试用车长度分别规定：大型 客车不小于9 米( 原为8 米) ，牵引车不小于1 2 米，中型客车不小于5 8 米， 大型货车不小于9 米( 原为6 米) ，小型货车、小型客车分别不小于5 米、4 米 ( 原均为3 3 米) 。机动车驾驶证申领和使用规定的相关内容及规定如下： 2 1 1 考试内容 ( 1 ) 、在规定场地内，按照规定的行驶线路和操作要求完成驾驶机动车的情 况： ( 2 ) 、对车辆前、后、左、右空间位置的判断能力： ( 3 ) 、对机动车基本驾驶技能的掌握情况。 目的：使机动车驾驶人掌握车辆的侧方移位和倒入库要领， 驶人对车体的空间感觉。 2 1 2 考试场地和路线 大型客车、城市公交车、中型客车、大型货车、小型汽车、 车、低速载货汽车准驾车型场地驾驶考试线路和操作要求如图2 具体尺寸为： 6 培养机动车驾 小型自动挡汽 1 所示。其中 ( 1 ) 桩长：二倍车长，前驱动车，加5 0 厘米： ( 2 ) 桩宽：大型客车、大型货车、中型客车为车宽加7 0 厘米，小型汽车、 方向盘式拖拉机、四轮低速汽车为车宽加6 0 厘米； ( 3 ) 路宽：车长的1 5 倍； ( 4 ) 起点：距甲库外边线1 5 倍车长。 操作要求： 从起点倒入乙库停正，再二进二退移位到甲库停正，前进穿过乙库至路上， 倒入甲库停正，前进返回起点。 乙库甲库 图2 1 汽车桩考俯视图 2 1 3 合格标准 未出现下列情形的，科目二考试合格： ( 1 ) 、不按规定路线、顺序行驶： ( 2 ) 、碰擦桩杆； ( 3 ) 、车身出线； ( 4 ) 、移库不入； ( 5 ) 、在不准许停车的行驶过程中停车两次； ( 6 ) 、发动机熄火； ( 7 ) 、驾驶两轮车考试时单脚或双脚触地。 2 2 基于计算机视觉的电子桩考系统组成 2 2 1 硬件系统 图2 2 桩考系统硬件实现图 汽车自动桩考系统的硬件由摄像头、视频传输线、图像采集卡、计算机等 组成。摄像头悬挂在桩考场地的正上方，对现场进行实时图像采集，采集到的 模拟图像经图像采集卡a d 转换后送入计算机处理。计算机对获取的数字图像 进行处理、分析，确定汽车的当前位置，从而能够对汽车是否违规及时的做出 判断。系统中摄像头采用松下有限公司p a n a s o n ic 生产的c v 1 5 5 l 彩色摄像头。 该摄像头分辨率为7 6 8 x 5 7 6 。图像采集卡我们采用北京嘉恒中自公司开发的基 于p c i 总线的o k 一3 0 a 图像采集卡，视频模拟信号作为采集卡的输入，经过滤 波、a d 转换成8 b i t 的数字信号( 该数字信号的格式为裸图格式，即没有文件 头和图像信息，数据流中每8 b i t 数据表示为一个像素的灰度) ，通过p c i 总线 传送到计算机的内存，图像传送速度可以达到2 5 f s ，实现了摄像头图像到计 算机内存的可靠实时传送，连续采集相邻帧的图像可以精确到帧。系统中处理 图像数据所采用的计算机的处理器为a m dx p l 8 0 0 。该桩考系统的硬件实现如图 2 2 所示 2 。 2 2 2 软件系统 软件方面，系统在当今主流的操作系统w i n d o w s x p 上，采用v is u a lc 十+ 6 0 开发平台实现，由于该开发平台与微软的特殊关系，所以具有得天独厚的优势， 可以实现与主流操作系统w i n d o w s 的完美结合，方便快捷的使用w i n d o w s 提供 的a p i 函数，利用m f c 提供的类快速生成漂亮的界面。尤其值得一提的是，在 图像处理方面，常常要操作内存中表示图像数据的字节和比特位，而利用指针 直接对内存中的每个字节、每个比特进行操作时，v c 程序的执行速度是v b 和 d e p h i 开发的程序不可比拟的 3 9 。 在软件的具体实现过程中，如果整个进程( 主程序) 采用一个线程，那么 计算机执行的所有任务都在主线程中，在对考试过程进行检测判决时，由于要 处理大量的数据，系统是无法响应操作人员的指令的，为了解决这个问题，我 们充分利用w i n d o w s 是个多任务的操作系统，可以在同时执行多个任务的情 况下，将每一个任务再划分为多个子线程这一概念，将程序分为两个线程，主 线程实现人机交互，响应操作人员的指令；后台线程对图像采集卡输出的图像 数据进行处理，对敏感区域进行特征提取、识别，确定汽车的当前位置，从而 对考试过程实现实时的判决，同时该后台线程将检测得到的考试信息反映到用 户界面上，及时准确的反馈当前汽车的位置信息。 2 3 基于计算机视觉的电子桩考系统实现方案 在实现基于机器视觉的汽车自动桩考系统中，我们目的是通过对计算机获 取的现场视频图像实时处理分析，获取汽车边缘信息，从而判断汽车是否压线 或碰到场地上的标志竿，来判决考试结果。基于上述思想，我们首先想到的是 如何得到汽车的当前位置，然后根据汽车当前位置来判断是否违规。顺着这个 思路，我们提出了实现该系统的具体方法： 1 获取场地信息。首先对考试场地进行实际测量，获得场地的边界和标志 竿的位置数据，将这些数据作为场地信息存储起来，以便在实时考试阶段用来 对考试过程进行判决。 2 识别出汽车上标志物，求出标志物中心的世界坐标。为了确定汽车初始 位置和考试状态下的位景，对汽车进行实时跟踪，我们在汽车上贴了两个不同 特征的标志物。这样做的目的有三点： 1 ) 在摄像机拍摄的图像中，有着特征的标志物可以避免图像中其他物体对 图像识别的干扰，防j 上错误识别，同肘特征明显的标志物对于各种天气情况下 的图像有较强的抗干扰作用，而且通过求取面积较大标志物中心点的图像坐标， 可以大大提高摄像机定标的精度。 2 ) 汽车的方向可以用两个不同的标志物来确定，本系统中车头方向和其中 某个标志物的方向一致。这一点是很重要的，由于在求旋转的角度时，单靠两 个标志物中心的连线求角度没有考虑到汽车的方向性，会丢失信息，造成误判 和错判，所以在确定汽车的角度时要考虑到汽车的方向性，必须用不同的标志 物来作判别。 3 ) 在汽车运动时，根据当前检测到的两个标志物的中点图像坐标，再用摄 像机定标可以确定两个标志物的世界坐标，减去初始中心坐标来确定汽车的位 移：对桩考系统来说，汽车不光有位移，还有方向的旋转既旋转角度，为了确 定这个角度，求取当前汽车两个标志物中心点的连线与水平线的夹角，记为护， 9 从而得到汽车当前相对于水平线的旋转角度。 3 通过模板求出汽车边缘点的世界坐标。本系统把标志物中心点世界坐标 和汽车边缘点的世界坐标通过测量作了一个对应关系表。如果知道标志物中心 点世界坐标，通过这个对应关系表和旋转角度就可以知道汽车边缘的世界坐标。 4 在考试状态下，通过分析获取的视频流中的每一帧图像，确定当前图像 下汽车的边缘点世界坐标，与场地信息进行比较，对考试进行实时判决。 经过上述处理，我们就可以判断汽车边框是否在考试边界线内以及是否覆 盖标志竿所在的位置，从而可以判断桩考过程中汽车是否违规。系统实现的流 程图如图2 3 所示。 系统初始化 获得当前帧l 图像数据l j i 一 对图像：l 行f 阚值分害l 一1 _ j ，j = 一，j 一 瞽叁掣雾罂l| | 暮荟器忑主；乎 童识另u 识另u 出 标志物 、“ ：!ll!：一 求出标志物 中一i 扇c 图像坐标 两个标志物 都识另u 出 、 是 - - - - - - - - - 二i e - - - - 一 求出标志难轲 中一b 点的 世界坐标 求出汽车 边缘点的 世界坐标 箨誓畿曩， 判断；黾葛：越 蟪或触桩 否 否 图2 3 桩考系统实现流程图 l o 2 4 本章小结 本章首先介绍了汽车桩考的考试规则，然后对实现汽车自动桩考系统的软 硬件实现作个简明扼要的说明。我们在最后重点介绍了系统的实现思路和流程 图，从这一章开始读者可以对该系统的实现方法和总体思路有一个清晰的认识。 第三章图像的预处理 在系统初始化阶段，为了得到各种初始数据，如汽车的初始位置和角度、 考试场地等信息，需要对图像进行分析处理。对于原始图像，由于噪声、光照 等原因使得图像的质量不高，所以需要进行预处理，以便于提取我们感兴趣的 信息。图像的预处理包括灰度拉伸、平滑滤波去噪、图像二值化等。下面各节 介绍它们的实现方法。 3 1 灰度拉伸 电子桩考系统是全天候的工作性质，若无理想的补充光照明，自然光照度 的昼夜变化会引起拍摄图像的对比度严重不足，使图像中汽车上的标志物模糊 不清，甚至根本无法定位和分割，更无法识别。因此，研究者们提出各种有效 的增强图像对比度的方法，如灰度线性变换、线性滤波器、直方图修整法等。 文献 1 采用了图像灰度拉伸的方法有效地增强了图像的对比度，增强后的图像 中字符清晰、区域分明，便于图像二值化和字符分割处理。可见，图像对比度 增强处理无论对特征图像的可辨识度的改善，还是简化后续的标志物定位和分 割的难度都是很有必要的。 造成图像对比度不足的原因为： 1 被摄像物的远近不同，使得图像中央区域和边缘区域的灰度失衡： 2 c c d 摄像头扫描时各点的灵敏度有较大的差异而产生图像灰度失真： 3 成像时曝光不足或者过度而使得图像的灰度变化范围太窄： 4 自然光线的差异。 这时如将图像灰度线形扩展，常能显著改善图像质量，达到增强图像的对 比度和分辨率。 实验中，对于正常采样的车辆图像，也使用线性灰度变换，突出感兴趣的 目标或者灰度区间，相对抑止那些不感兴趣的灰度区域，如图所示： x ，y ) 08b2 5 5 图3 1 灰度线性变换 f o o 句瓢力 a g 魄力= 笔嗽力一卅口魄力 6 ( 黼。) 2 5 5 b n ) 。匹配的过程是将模板t 叠加到图像i 上，并比较t 和i 子图 像的差别。若差别小于某一个事先设定的阂值则认为t 在该处与i 的子图像有 较好的匹配，既找到了目标对象。对待匹配的整幅图像按逐个像素从上到下， 从左到右扫描并进行上述操作，则可以确定图像i 中是否存在模板t 所确定的 目标对象。匹配过程采用的数学描述为： 村 d ( i ，- ，) = ( 聊，n ) 一t ( m ，n ) 】2 ( 4 1 7 ) 二：1 i 。1 d ( i ，j ) 越小，表示图像中子图像与模板的匹配程度越好，如果d ( i ，j ) 为零 表示两者完全匹配。 上述传统匹配算法有以下不足之处：1 ) 计算量大，随着模板t 的像素的增 加计算量迅速增长，如果选择的图像像素增加，执行匹配运算的次数也随之增 加，匹配效率不高；2 ) 图像中的景物的平均灰度值的变换会影响匹配结果的正 确性；3 ) 该方法不适应于待匹配物体的旋转和缩放。为了提高匹配速度，人们 提出了许多改进算法，如变灰度级相关算法( v a r i o h sg r a yl e v e lc o r r e l a t i o n a 1 9 0 r i t h m ，v g l c a ) 、f f t 相关算法、序贯相似性检测算法( s e q u e n c er e s e m b l a n c e t e s ta 1 9 0 r i t h m ，s r t a ) 、变分辨率相关算法( v a r i o u sr e s o l u t i o nc o r r e l a t i o n a 1 f o r i t h m ，v r c a ) 、变模板相关算法( v a r i o t i sm a s kc o r r e l a t i o na 1 9 0 r i t h m ， v m c a ) 等；为了解决旋转、缩放的问题，有人提出了基于不变矩的快速匹配算 法，该方法将具有旋转、平移、缩放不变的中心矩描述方法和传统的匹配算法 相结合，这种方法弥补了传统匹配算法的不足，不仅可以验证图像中是否存在 和模板相似或相同的物体，迅速的找到与模板对应的物体的形心位置，还可以 方便的求取图像中的景物相对于模板的旋转角度。 3 ) 神经网络 神经网络是一种重要的模式识别方法 1 3 ，它由许多相互连接的相同的结 点构成，这些结点称为处理单元( p e ) 。每一个p e 从处于“上游”的几个p e 接受输入信号，产生一个标量输出，传给处于“下游”的一组p e 。p e 的实际处 理过程可用一个点积的函数描述： 卫 0 = g ( x w ) = g ( 芝4 ) ( 4 1 8 ) 其中0 为输出，x 为输入向量，w 为该处理单元的权重向量( w e i g h tv e c t o r ) 。 模式识别中，神经网络的输入是未知对象的特征向量。这个特征向量将呈 现到第一层的所有p e 。通常特征向量会增加一维，其值恒为1 。输入的信息经 不同层传输，使输出层上产生相应的输出向量，根据输出的结果将该对象划分 到某一类中。用于模式识别的神经网络有两种：反向传播网络( b p ) ，交互传播 网络。 神经网络解决模式识别问题相对其它方法有三点优势： 1 它要求对该问题了解较少： 2 它可以实现特征空间较复杂的划分； 3 它适用于用高速并行处理系统来实现； 但是，神经网络同基于统计方法的分类器相比其弱点在于： 1 需要更多的训练数据； 2 在通常的计算机上实现运行速度很慢，实时性差； 3 无法得到所使用的决策过程的透彻理解( 例如，无法得到特征空间中的 决策面) 。 只有当神经网络能比统计方法更好地划分特征空间时，它的性能才有可能 比基于统计方法的分类器更好。即便如此，它的性能从根本上还是要受到特征 空间中不同类的重叠的限制。 4 ) 模式识别其它的方法 模式识别除了上述方法外，还存在以下的传统分类方法。 ( 1 ) 统计特征法 统计特征法对已知类别的模式样本进行各种特征的提取与分析，选取对分 类有利的特征，对其统计均值等按已知类别进行学习，按贝叶斯最小误差准则， 根据以上统计特性设计出一个分类误差最小的决策超平面，识别过程就是对未 知模式进行相同的特征提取和分析，通过决策平面方程确定该特征相应的模式 所属的类别。 ( 2 ) 句法结构方法 用已知结构信息的模式作为训练样本，先识别出基元和它们之间的连接关 系，并用字母符号表示它们，然后用构造句子的方法来描述生成这些场景的过 程，并由此推断出生成该场景的一种文法规则，这就是训练过程。在识别过程 中，要对未知结构的模式进行基元识别及其相互结构关系分析，然后利用训练 过程中获得的文法对其作句法分析，如果它能被已知结构信息的文法分析出来， 则该幅未知图像模式具有与该文法相同的图形结构，否则就可判定不是这种结 构。 ( 4 ) 逻辑特征方法 逻辑特征方法是这样一种方法，其特征的选择对一类模式识别问题来说是 独一无二的，即在一类问题中只有一个模式具有某一种逻辑特征，因此匹配过