【毕业学位论文】智能车上视觉感知计算若干关键技术研究-计算机视觉、嵌入式系统博士论文

学校代号 10532 学 号 分 类 号 密 级 普通 博士学位论文 智能车上视觉感知计算 若干关键技术研究 学位申请人姓名 田 峥 培 养 单 位 信息科学与工程学院 导师姓名及职称 徐 成 教授 学 科 专 业 计算机应用技术 研 究 方 向 计算机视觉、嵌入式系统 论文提交日期 2013年 6 月 13 日 学校代号：10532 学 号：密 级：普通 湖南大学博士学位论文 智能车上视觉感知计算 若干关键技术研究 学位申请人姓名： 田 峥 导师姓名及职称： 徐 成 教授 培 养 单 位： 信息科学与工程学院 专 业 名 称： 计算机应用技术 论文提交日期： 2013年 6 月 13 日 论文答辩日期： 2013年 10 月 11 日 答辩委员会主席： 王志英 教授 on (2007 (2010 A in of in u 2013 智能车上视觉感知计算若干关键技术研究 要 智能车辆可以满足人们日益增长的对汽车安全性、舒适性和便捷性的需求，并能在提高道路交通安全、降低事故损失方面起到重要作用，因此具有广阔的应用前景。在智能车辆的关键技术中，基于视觉的环境感知技术被公认为是最具发展潜力的技术之一，也是认知计算领域里一个极具挑战的课题。由于视觉信息的多义性、数据量大和易受环境干扰等特点，当前计算机的视觉认知能力还远没有人类视觉系统那么智能和高效，而与传统的计算机视觉问题相比，智能车上的视觉感知计算需要面对更加复杂多变的外部环境，同时还有汽车领域强实时、高可靠的应用需求，其面临着准确性、稳定性和实时性的三重挑战。因此，开展智能车上视觉感知计算的关键技术研究具有重要的现实理论意义和应用价值。 针对视觉感知计算面临的主流挑战，本文以湖南大学无人驾驶汽车验证平台为依托，选取了智能车上几个基础而又关键的视觉感知计算问题展开研究，重点对算法在实时性、准确性和鲁棒性上的性能权衡进行综合考虑。本文主要研究内容和贡献包括如下几个方面： 1. 提出一种基于改进码本模型的目标检测算法。针对现有码本模型（无法兼顾抗扰动能力和分割质量的问题，提出在后利用高斯混合模型（思想，为码本中每个码字的得整个码字具有验结果表明，本文提出的目标检测算法在实时性、抗干扰性和检测效果方面有较明显的优势。 2. 提出一种模拟人类视觉注意机制的目标跟踪算法。本文在粒子滤波跟踪框架的基础上，针对单一特征目标跟踪对复杂场景下目标跟踪准确性不足以及多特征目标跟踪实时性难以满足的特点，采用多特征融合机制提高目标跟踪的准确性和鲁棒性，并模拟人类视觉对目标的显著性感应的机制对散布粒子进行过滤，并提出一种显著性的在线更新机制，以降低对特征显著性的重复计算。实验结果表明，本文提出的目标跟踪算法比单一特征的粒子滤波跟踪算法有更好的准确度，且比多特征的粒子滤波跟踪算法的实时性更好。 3. 提出一种基于自适应窗口视差优化的实时立体匹配算法。针对当前局部立体匹配算法在计算精度和执行时间之间的权衡问题，提出在不同的阶段采用不同的“时间换策略，使算法在保证实时性的同时，具有较好的计算精度。然后，本文利用术将算法在英伟达（图形处理器验结果表博士学位论文 ，与文算法具有较好的实时性和计算精度。 4. 提出一种基于消失点和主方向估计的道路识别算法。针对基于消失点估计的道路识别算法计算复杂度过高，难以排除局部纹理特征较强的干扰点，且要求消失点位于图像内部的问题，本文引入道路主方向的定义来对有效投票点进行筛选，在降低计算复杂度的同时有效排除了局部纹理特征较强的干扰点。此外，本文提出一种多维投票策略来检查消失点是否在图像内部，使算法可以有效处理消失点在图像外部的情况。实验结果表明，本文算法相比经典算法具有更好的准确性和实时性，且当消失点不在图像内部时依然能取得较好的分割效果。 5. 展开道路识别算法在智能车辆上的应用研究。针对所提出的道路识别算法，本文以实验室自主研发的无人驾驶汽车实验平台为依托，设计并实现了一个自主驾驶系统原型。该系统集成了本文提出的基于消失点和主方向估计的道路识别算法，能够实时检测出汽车前方的道路区域，并根据实际道路情况实现转向的自主控制。实际道路环境下的测试实验表明，本文设计的基于道路识别的自主驾驶系统是有效的。 关键词：智能车辆；视觉感知计算；目标检测；目标跟踪；实时立体匹配；非结构化道路识别；自主驾驶系统 智能车上视觉感知计算若干关键技术研究 of on it a in of so it In of is as of is a in of of of is on to of so it of on of on at of on on of on by on of in to of of as 1. An on is to GB of UV of so in 2. A on s 士学位论文 V in to of to of by an is to of is is 3. A on is at in in so it of is is to on 4. A on is is of to be of so as to a to so is to is be 5. on of on on an is by an is in on it 能车上视觉感知计算若干关键技术研究 VI in of to 士学位论文 录 学位论文原创性声明和学位论文版权使用授权书 . I 摘 要. . 录. 图索引 . X 附表索引 . 1章 绪 论 . 1 究背景与意义 . 1 能车概述 . 2 能车辆的系统结构 . 2 能车上的关键技术 . 4 觉感知计算发展概况 . 5 算机视觉的发展历史 . 6 觉感知计算研究面临的问题 . 7 文相关内容的研究现状 . 8 标检测与跟踪 . 9 向深度感知的立体匹配 . 11 于视觉的道路识别 . 13 文研究内容与结构 . 15 题来源 . 15 要研究内容 . 15 文组织 . 18 第2章 复杂环境下的目标检测与跟踪算法研究 . 19 述 . 19 标检测算法研究现状 . 19 标跟踪算法研究现状 . 20 文方法 . 21 于改进码本模型的运动目标检测 . 22 . 22 合高斯混合模型的背景建模 . 25 标检测与提取 . 27 智能车上视觉感知计算若干关键技术研究 于视觉注意机制的粒子滤波跟踪算法 . 28 子滤波跟踪框架 . 29 标特征提取 . 30 于视觉注意机制的目标跟踪 . 32 验及分析 . 34 验平台与方案 . 34 标检测算法验证与分析 . 34 标跟踪算法验证与分析 . 38 章小结 . 43 第3章 基于双目视觉的实时立体匹配算法研究 . 44 述 . 44 体匹配算法研究现状 . 44 文方法 . 45 差估计 . 45 合非参数变换的匹配代价初始化 . 45 于迭代聚合方法的视差估计 . 47 差优化 . 49 挡和误匹配检测 . 49 于自适应窗口的视差优化 . 51 验及分析 . 53 于. 53 确度对比 . 55 时性 . 57 章小结 . 58 第4章 非结构化道路识别算法研究 . 59 述 . 59 关研究 . 59 文方法 . 62 失点和主方向估计 . 62 部纹理特征提取 . 62 票点筛选与投票策略分析 . 63 于道路主方向约束的投票点筛选 . 65 于道路主方向的多维投票策略 . 67 路边界提取 . 69 理和颜色特征描述 . 69 博士学位论文 基于道路主方向的边界拟合 . 70 验及分析 . 71 验设计 . 71 观分割结果 . 72 化分析 . 73 时性 . 75 章小结 . 75 第5章 道路识别在无人驾驶汽车中的应用研究 . 76 南大学无人驾驶汽车平台 . 76 用背景 . 76 台介绍 . 77 于道路识别的自主驾驶系统设计 . 78 统概述 . 78 路模型 . 79 像坐标转换 . 81 路识别算法实现 . 84 于道路识别的车辆控制 . 85 验及分析 . 87 验平台 . 87 试结果演示 . 88 章小结 . 90 结论 . 91 一、本文工作总结 . 91 二、未来工作展望 . 92 参考文献 . 94 致 谢. 104 附录A 攻读学位期间发表的学术论文 . 105 附录B 攻读学位期间的研究工作 . 107 智能车上视觉感知计算若干关键技术研究 X 插图索引 图 能车辆系统组成模块 . 2 图 能车计算系统架构示例 . 3 图 文主要研究内容及组织关系 . 15 图 . 23 图 . 25 图 同的亮度范围对分割结果的影响 . 26 图 法的. 35 图 法的. 36 图 算法对. 37 图 算法对视频序列3的分割效果 . 37 图 列1的跟踪结果对比 . 39 图 列2的跟踪结果对比 . 40 图 列3的跟踪结果对比 . 41 图 列4的跟踪结果对比 . 42 图 标跟踪算法执行速度对比 . 42 图 用不同匹配代价下的立体匹配结果 . 47 图 挡区域的说明. 50 图 挡和误匹配的区别 . 50 图 . 51 图 适应窗口构建结果示例 . 52 图 文算法的流程图 . 54 图 文立体匹配算法各部分的执行时间 . 55 图 文算法在. 56 图 . 64 图 失点位于图像外部导致算法失效 . 65 图 素纹理特征统计信息 . 66 图 失点和道路主方向检测结果 . 68 图 失点检测结果. 72 图 路分割结果. 72 图 失点位置的精确度对比 . 74 图 路分割区域的精确度对比 . 74 博士学位论文 南大学第一代无人驾驶汽车 . 77 图 觉导航系统框架图 . 79 图 于安全区域的车辆控制示意图 . 80 图 像处理模块框架图 . 80 图 定点图像坐标的获取 . 83 图 路识别算法流程图 . 84 图 馈控制系统抽象图 . 85 图 向控制方法流程图 . 86 图 像处理模块界面 . 87 图 制决策模块界面 . 88 图 林路测试结果 . 89 图 野路测试结果 . 90 智能车上视觉感知计算若干关键技术研究 表索引 表 本模型中各元素的含义 . 22 表 . 24 表 进码本模型中各元素的含义 . 26 表 景模型构建过程 . 27 表 景像素检测过程 . 27 表 于连通域标记的前景降噪和目标提取过程 . 28 表 于视觉显著性的目标跟踪过程 . 33 表 标检测算法运行速度 . 38 表 于指数级迭代聚合的视差初始化过程 . 48 表 于视差优化的立体匹配处理流程 . 52 表 体匹配算法参数设置 . 55 表 体匹配算法在. 57 表 文算法和. 57 表 于道路主方向的投票点筛选过程 . 66 表 维投票及判断消失点是否存在的处理过程 . 68 表 于道路主方向的道路边界拟合过程 . 70 表 文道路识别算法的执行时间 . 75 博士学位论文 1 第1章 绪 论 究背景与意义 随着我国国民经济水平和城市化进程的提高，汽车行业得到了飞速发展，汽车也在人们的生活中扮演了越来越重要的角色，人们不再简单满足于汽车的代步功能，对于汽车的安全性、舒适性以及便捷性的要求越来越高。新一代的汽车将更加智能、更加安全、更加舒适，能给驾驶者带来更多便利和享受1。另一方面，随着汽车数量的增加，飞速增长的汽车与相对落后的交通基础设施之间的矛盾也日益突出。这种矛盾不仅体现在交通事故对人生命财产安全的威胁，同时还体现在日益严峻的交通拥堵问题以及因交通不畅而造成的环境污染、能源浪费等问题2,3，而汽车智能化的提高将在保障道路交通安全、减少交通事故人员伤亡率等方面发挥重要作用。 汽车智能化的提高主要依赖于信息技术的发展，而智能车辆（是汽车电子、计算机科学、人工智能以及智能控制等信息技术高度发展的产物。作为智能交通系统（一个重要分支，智能车辆主要以汽车为研究主体，力求通过先进的传感、计算、控制等技术来提高车辆自身的智能化，实现车辆安全、高效的自主或半自主行驶4。智能车辆在一定程度上代表了汽车未来的发展方向。 智能车辆巨大的发展潜力使其得到了世界许多国家的高度重视。发达国家从20世纪70年代开始进行智能车的研究，在可行性和实用化方面都取得了许多突破性进展5,6。美国是世界上研究智能车辆最早、水平最高的国家之一，美国国防高级研究计划局（20世纪80年代初期就开始大规模资助智能车的研究7，并先后举办了三届 能车比赛，具有代表性的研究成果包括斯坦福大学的、卡内基梅隆大学的等；过他们改装的 7 辆丰田普锐斯和 1 辆奥迪 经在美国加州道路上完成了近30万公里的测试行驶，并于2012年获得了美国内华达州和加州的测试牌照，产品正式进入实际测试阶段10。此外，欧洲也较早地启动了大规模研究智能车辆的普罗米修斯计划（11，欧洲几乎所有的轿车生产厂家和著名研究院所、大学都参与了这一项目。德国慕尼黑国防军大学12和意大利帕尔玛大学13是其中的代表，他们从90年代开始一直从事智能车的研究，并在计算平台体系结构、导航算法、软件设计框架等方面都取得了令智能车上视觉感知计算若干关键技术研究 2 人瞩目的研究成果。2010 年帕尔玛大学进行了一次具有里程碑式意义的实验，他们研制的无人驾驶太阳能电动车历时98天完成了从帕尔玛到上海世博园全程16000多公里的无人驾驶旅程，对系统在复杂实际环境下的稳定性和可靠性进行了全方位的测试和验证14。 我国从上世纪八十年代中期开始展开智能车辆的研究，通过引进国外先进技术和自己研发相结合的策略，在智能车辆的各个研究领域取得了丰硕的成果，但与发达国家的水平还有一定的差距。国防科技大学自动化研究所是最早开始跟踪和研究汽车的自主驾驶技术的科研机构，并于1992年研制出了我国第一辆真正意义上的无人驾驶汽车15。之后，很多大学都先后研制出了无人驾驶汽车平台，其中有：吉林大学的6、清华大学的7、国防科技大学的 列无人驾驶汽车18、多所大学联合研制的9、上海交通大学的0等。此外，在近几年，西安交通大学21、中科院自动化所22、军事交通学院23、湖南大学24等科研院所也在智能车辆的研究方面并取得了显著的成果。为推动我国智能车辆相关技术的发展，国家自然科学基金委自20