最新智能车辆基于双目视觉系统障碍物识别

1、智能车辆基于双目视觉系统障碍物识别的研究摘要： 随着汽车的普及，交通运输问题日益严重，近年来人们对汽车的智能性的要求越来越迫切。与此同时，以实现无人、 全自动和安全驾驶为最终目标的智能车辆今年来发展较为迅速， 其关键技术之一是目标障碍物自动识别。 本文主要探讨利用 双目视觉目标识别技术， 来进行车辆前方障碍物的自动识别。 此外指出任何一种有效的障碍物检测系统不能只依靠单一传感 器进行环境感知 , 因此利用多种传感器信息融合技术检测智能车辆前方障碍物, 是未来该领域的研究重点与难点。关键词： 智能汽车；双目视觉；障碍物识别；信息融合The Study of Obstacle Detection

2、Technology Based on BinocularStereovision for Intelligent VehicleAbstract:With the popularization of the vehicle, traffic problem has increasingly become a hot problem. In recent years, people areexpecting a type of cars which can be intelligent. At the same time, the realization of completely autom

3、atic and safe driving intelligentvehicles is a new rapidly developed research area in recent years, and the key technology of it is automatically detect the obstacles. Thisarticle mainly aims at automatically detect the obstacles in front of the vehicle by use of the binocular stereovision obstacle

4、detectiontechnology. In addition, the obstacle can not be detected based on only one kind of sensor, many kinds of information from differentsensors must be employed. So the research focus in obstacle detection for intelligent vehicles is located at multi-sensors data fusion.Key words:intelligent ve

5、hicle; binocular stereovision; obstacle detection; data fusion引言目标识别技术作为图像理解领域研究的一个 重要分支，是利用计算机自动分析和提取原始图像 中的前景信息， 也就是模糊识别、 数据处理等理论， 模仿人的视觉系统感知外部世界各种形状的一项 技术。人类通过视觉感知外部世界 ,主要是从不断变 化景物中提取各类目标的形状、颜色、运动状态等 信息 ,准确的说人眼获取和处理的视觉信息相当于 两个视觉传感器对同一景区进行连续拍摄得到的 双目视频序列 ,基于双目视觉的目标识别是对人眼 视觉系统认识和学习外界的一个更为真实的模拟。建立基于双

6、目的计算机视觉系统，能够实现车 辆在行驶过程中对静态和动态障碍物的自动检测 和识别， 以及对道路标志线的自动检测和识别， 确 定车辆与道路的相对位置以及车辆与障碍物的相 对位置和相对速度。 实时的为智能驾驶辅助系统提 供外界环境信息输入。总之 ,本文以智能驾驶中的障碍物识别为应用 方向 ,以车辆行驶中双目传感器采集的图像对为处 理内容 ,车辆的行驶背景为日常生活的真实场景,可能包含复杂背景的路况 , 通过对双目图像信息进行目标提取 ,为驾驶员或无人驾驶车辆提供潜在的障 碍物信息 ,达到提前预警的目的， 而且对智能驾驶系 统和机器人导航的进一步开发是极为有意义的。1. 基于视觉系统障碍物识别研究

7、现状1.1 基于视觉的智能车辆发展历程 基于视觉的智能车辆是在汽车上安装摄像镜 头，利用计算机视觉技术，模仿人眼视觉机理， 通 过处理摄像镜头捕捉的图像， 获得引导信息，视觉 引导有许多优势， 它不必在道路上增加设施， 能适 合来往车辆、行人、临时设施等不可预先建模确定 的随机障碍物，与 GPS 电子引导技术相结合，可 以满足智能车辆全天候的绝大部分需求。 90 年代 以来，视觉引导技术与DGPS 技术的发展，大大 加速了智能车辆的研究。在欧洲，早在 1987 年奔驰公司和德国国防军 大学联合研制了 VAMORS 系列自动驾驶汽车。 在 随后几年不断对其进行创新使其具备了超车换道 功能和对多种

8、气象条件的适应能力，其核心是运行 于 BVV 上的视觉导航系统。 法国帕斯卡大学自动 化与电子材料科学实验室与法国 D.R.A.S 雪铁龙 (Citroen) 技术中心合作研制 Peugeot系统，其视觉系 统使用单摄像机实时检测并跟踪道路白线，采用高 斯滤波和平均值计算确定灰度标准方差，利用梯度 计算确定车道线的右（或左）边缘，同时选择多项式 函数建立轨迹模型，利用时空光滑方法降低噪声和 提高鲁棒性。在美国，卡内基米伦大学（CMU ）与多家汽车 公司研制 Navlab 系列车，采用了快速自适应车体定 位处理器一一 PALPH 视觉系统。该系统采用视觉窗 口技术，仅处理感兴趣区域的局部信息。在

9、中国，国防科技大学研制的CITAVT 川自动驾驶汽车，能进行方向、速度控制，完了成校园 环境的低速无人驾驶试验，其特色是视觉系统采用 A110DSP 自行开发的图像处理系统。清华大学研制THMR-V 试验车，是小型商务车，能够进行方向、 速度控制，完成高速公路场景录像仿真。1.2 视觉研究的历史与现状从信息处理的角度来搞清楚视觉形成的机理， 研究其计算理论与算法，以使计算机实现人的视觉 识别能力，是人类在基础研究与应用中面临的最重 大的挑战之一。 计算机视觉的历史不长， 它是伴随 着计算机科学与技术产生和发展起来的，大致可以 分为两个阶段：早期阶段（1965-1976），计算机视觉研究集中 在

10、积木世界或线条图范围， 这通常是指那些以平面 为表面的多面体的世界。 那时的计算机视觉系统都 是自底向上结构的，直接取决于低层次视觉的处 理，因而研究工作集中在线条和边界的抽取和区域 划分上。近期阶段（1976-） , Marr 的视觉计算理论立足 于计算机科学，是迄今为止最系统化的视觉理论， Marr 的理论的出现使得 80 年代的计算机视觉的研 究与以前相比有显著不同。 主要表现在研究内容和 方向集中在与人类视觉系统中的感知独立模块相 对应的课题上， 也就是根据影调、运动、立体、轮 廓、纹理等线索恢复物体表面的形状。这些研究极 大地深化了计算机视觉的研究。2.双目视觉相关知识双目立体视觉的

11、基本原理是利用两台参数性 能相同、位置固定的摄像机，从两个视点观察同一景 物，以获得在不同视角下的两幅图像，通过成像几何原理计算图像像素间的位置偏差（视差）,从而确定三 维空间点的深度信息。 这一过程与人类视觉的立体 感知过程是类似的。2.1 双目视觉原理人靠双眼去观察现实场景中的三维物体，两个 眼球之间的距离称为眼基线。所谓双目视差，就是 当我们去观察同一个三维场景时，三维场景中的点 在我们左、右两视网膜上的成像会产生一个生理上 的视差， 这个视差就称为双目视差。双目视差反映 了物体的深度信息，这个信息经过大脑的加工，使 人们有深度的感知。双目立体视觉就是模仿人的眼 睛， 运用类似于人眼的两

12、个摄像机对同一物体进行 拍摄， 获得立体像对， 然后利用各种算法对同名点 进行匹配，计算出两幅图像的视差，最后恢复出场 景的深度信息。图 2.1 表示的是用左、右两摄像机观察同一物 体时的情形。物体上的点R发出光线经过透镜中心CL与图像平面相交于点RL,也就是说物体上点R在左摄像机中的成像点为RL。相反，如果已知左图像平面上一点RL和左透镜中心CL就可以得出 唯一的一条射线CLP1L,所有成像点为P1L的物体 上的点都在射线CLRL上。与此同时，如果我们可 以找到该物体上点R在右摄像机上的成像点为RR，那么根据点RR与右透镜中心CR确定了第二 条射线CRRR,则左右两条射线的交点即为物体上 的

13、点R。因此，在左右两摄像机几何位置确定的情 况下，获得物体在空间的位置并不困难， 利用三角 原理即可。 射线CLRL上任意一点在右摄像机中的 成像点都在直线RRP2R上，这条直线称为外极线。 同理，CRRR上任意一点在左摄像机中的成像点也 形成了一条直线，即外极线。因此，在任一空间点 在某摄像机中的成像点已知的情况下， 要寻找该空 间点在另一幅图像平面中的对应点， 只需搜索该图 像平面中的外极线即可。右摄像机的光轴平行，且摄像机的水平扫描线 位于同一平面。坐标原点OL、OR分别为左、右摄 像机透镜光轴与图像平面的交点，空间点 R 在左图像平面中的成像点RL相对于坐标原点0L的距离为X|，在右图

14、像平面中的成像点RR相对于坐标原点OR的距离为Xr，则空间点R在左、右图像平面 中成像点的位置差xl-xr称为视差。由几何关系可推导出：z - faza xr（2-1）z - fb - X|xra（ 2-2）z b Xra联立式（2-2）、（ 2-1），可得abxrXr（ 2-3）X|- Xr代入式（2-1），可计算出R点到透镜中心的距离z为z -fbXl -Xr（2-4）其中，f表示透镜的焦距，b表示两透镜中心间的距离，即基线。因此，当摄像机的几何位置确 定后，视差-xr只与物体上点R到透镜中心的距 离z有关。视差越大，表示物体离透镜的距离越小； 反之，视差越小，表示物体离透镜的距离越大。

15、物 体与图像平面的距离即为三维信息中的深度信息， 式（2-4）直接将视差与深度信息联系起来了。b图（2.2）2.2 视差图与深度图在立体像对中，一对对应点p（x, y）和p（x, y ）在同一行扫描线上，因此它们的坐标满足：x = x_d（x, y）丿（2-5）y二y其中d（x,y） x - x，即这对对应点的视差， 不同点对间的视差一般也不同。 图像中所有点的视 差就构成了视差图。为得到参考图像的视差图，通 常将双目图像序列中的一幅作为参考图像，另一幅 图像作为待匹配图像。上文中我们知道已知给定空间点的深度值z，就可以计算出该点的视差值d，反过来，已知视差 值d也可以计算出空间点的深度值z，

16、它们两者之间具有一一对应的关系， 立体匹配中使用视差图和 深度图两种方式表达也正是因为它们之间存在转 换关系。3.双目视觉系统的技术难点及解决方法目前，不少智能车辆系统都采用了双目立体视 觉系统作为障碍物的主要检测方法，但比较成功的算法都十分复杂。车辆在行驶过程中，在速度域上 具有极高的行驶速度， 这样就要求计算机图像帧间 处理要前后连贯、预测准确；而帧内处理要求简洁 快速，充分利用多分辨率的方法， 来简化处理过程，满足车辆实时运动的要求，保证安全驾驶。 作为智 能车辆实现自主驾驶的关键技术之一的车道与障 碍物检测的算法是图像处理与模式识别等技术的 综合集成， 并通过大规模并行计算机硬件控制系统得以实现，为了进一步简化立体视觉检测的固有复 杂性，就要采用假设条件。目前有一种非常有前景的解决问题的方法就 是反转透视法，透视效果是在视觉图像采集过程中 获得的。反转透视图法是指从图像中去除透视效果 的一种几何变换。 早期的视觉中，图像被认为是像 素的集合，每个像素都被赋予了不同的信息内容，这样就必须考虑透视效果。根据像素