基于车载单目视觉的东部车辆距离的计算

基于车载单目视觉的东部车辆距离的计算

0前方车距探测方法21世纪的汽车应该是智能的汽车，具有越来越完善的功能，并且越来越朝着没有人开车的智能汽车发展。安全是汽车永恒的主题。随着道路交通，尤其是高速公路的发展，交通事故，尤其是恶意交通事故，正在增加，交通安全法日益受到关注。因此为汽车提供日益完善的安全辅助驾驶功能、以增强驾驶者和车辆的安全性,已成为汽车技术发展的方向,这些功能主要包括安全车距保持、防碰撞、安全换道等。而对周围道路环境的感知是实现汽车安全辅助驾驶功能的前提,其中前方车辆的深度信息是保持安全车距以及安全换道超车必不可少的,因此研究前方车距的探测方法对汽车的安全与辅助驾驶具有非常重要的意义。视觉是人类观察世界、认识世界的重要功能手段,人类从外界获得的信息约有75%来自视觉系统,特别是驾驶员驾驶需要的信息90%来自视觉。在目前汽车辅助驾驶所采用的环境感知手段中,视觉传感器又较超声、激光雷达等可获得更高、更精确、更丰富的道路结构环境信息。而且很多这样的信息如交通信号、交通图案、道路标识等主要是作为视觉信号,其它感知手段难以有效获得。因此基于视觉的辅助驾驶特别受到重视,已成为辅助驾驶中获取信息的主要手段。吉林大学(原吉林工业大学)智能车辆课题组多年来一直从事智能车辆及汽车安全辅助驾驶方面的研究,在无人驾驶智能车辆的自主导航、智能安全保障、汽车安全辅助驾驶等方面积累了丰富的理论基础和实践经验。如图1左侧为该课题组自行研究开发的基于机器视觉引导的试验用智能模型车JUTIV?II,本文即以该车作为研究对象。由于汽车是高速运动的,对信息获取的实时性提出了很高的要求。在视觉获取手段中,立体视觉可以有效地获取深度信息,但是它的固有弱点,是要进行对应点的匹配,耗费大量的机时,难以满足实时性的要求。因此本文主要探讨利用单目机器视觉探测前方车距的新方法。如图1右侧为车载CCD摄像机的布置示意图。它安装在车辆的纵向对称面上,前视并有一定的预瞄角度α。摄像机由高分辨率的黑白CCD和25mm的长焦镜头组成,探测距离可达80m左右。这主要是为了尽可能早的探测到前方障碍物,保证行车安全。1前车辆的显示1.1行车道图像的区域选取障碍物探测是安全辅助驾驶的一项必不可少的功能。本文假设:(1)在标准的高速公路上,路面上除行驶的车辆外,无其它障碍物。(2)车辆始终在行车道内行驶。(3)道路为直线且水平。图2左侧为由CCD摄像机获取的一帧路面图像。本文的目标是探测前方车辆,由于车辆在行车道内行驶,因此,我们只须将搜索的区域由整个图像缩小到行车道内,图像中的其它区域可以不必考虑。这样可大大提高处理速度。两条车道线之间的区域就称为感兴趣区(AreaofInterest,简称AOI)。为此在区域增长算法的基础上进行Hough变换,确定行车道的两条边缘线。两条边缘线内的区域即为AOI。如图2右侧所示,图像在车辆前进方向上发生了畸变,两条实际上平行的车道线在图像上相交于一点,称为消失点或虚点(VanishingPoint)。1.2下边缘c本文中,障碍物检测是基于灰度梯度的原则:一般的,在标准的路面上,可以认为在本车和前方车辆之间的AOI区域内的灰度变化是比较平缓的,但在路面和车辆的相交处,由于车辆两个后轮之间的阴影的存在,会形成灰度由亮到暗的水平边缘,检测到此边缘就可认为检测到了车辆的下边缘。在AOI中,由下而上,按水平线逐行扫描,计算每行灰度的平均值,如公式(1)G(r)=1(rb(r)−lb(r))∑c=lb(r)c=rb(r)f(r,c)(1)G(r)=1(rb(r)-lb(r))∑c=lb(r)c=rb(r)f(r,c)(1)式中,lb(r)——AOI中第r行的左坐标;rb(r)——AOI中第r行的右坐标;f(r,c)——像素(r,c)的灰度值;G(r)——AOI中第r行的灰度平均值。G(r)的急剧变化主要是由车辆底部的阴影造成的,这说明我们已经检测到前方车辆,如图3所示。当然,应进一步对检测出的车辆进行确认,这将在今后的工作中继续探讨。在本文中,我们仅以此为基础来讨论如何尽可能早的计算出前方车辆的距离。2光栅投影成像距离测量的前提是:利用上一节的方法探测得到的车辆已经得到进一步确认,在本节中可以利用前方车辆底下的阴影来计算距离。图像采集是将客观世界的三维场景投影到CCD摄像机(采集器)的二维像平面(CCD光敏矩阵表面)上,这个投影一般采用几何透视变换来描述。由于本文采用了25mm的长焦镜头,因此可以用小孔成像模型来描述此透视变换。如图4所示。其中,f——CCD摄像机的有效焦距;α——CCD摄像机的俯仰角度;h——CCD摄像机的安装高度(镜头中心到地面的高度);(x0,y0)——光轴与像平面的交点,作为像平面坐标系的原点,一般取为(0,0);(x,y)——路面上一点P在像平面上的投影坐标。在这里,点P就是检测出的前方车辆底部阴影上的一点。则根据几何关系得到点P与镜头中心的水平距离d的计算公式如式(2)d=h/tan{α+arctan[(y0-y)/f]}(2)3相机内部参数的校正3.1图像获取和像素表示在公式(2)的参数中,h和α可直接测量得到,y0一般取作0,f、y是未知的。f是CCD摄像机的有效焦距,属于内部参数,y是目标点在CCD像平面上的投影坐标在y轴方向上的分量,称为像平面坐标,单位是mm。但是数字图像是由计算机内的存储器存放,而我们通过图像处理只能获得目标点在计算机内存中的坐标,称之为帧存坐标(u,v),单位是像素(pixels)。如图5所示。因此要将计算机内存中的帧存坐标转换到像平面坐标系统中。O1(u0,v0)是CCD摄像机光轴与像平面交点(x0,y0)的帧存坐标,该点一般位于帧存图像的中心处,但由于摄像机制作的原因,也会有些偏离,因此需要对其进行标定。设帧存中的一个像素对应于像平面在x轴与y轴方向上的物理尺寸分别为dx、dy,则有变换关系u=xdx+u0,v=ydy+v0u=xdx+u0,v=ydy+v0(3)式(3)中,v可由图像处理获得,计算y需要预先确定v0和dy的值。因此为计算(2)式,摄像机参数f、v0、dy必不可少,这就需要进行摄像机参数的标定。在机器视觉中,摄像机校正参数分为内部参数和外部参数,内部参数确定了摄像机内部的几何和光学特征,不随摄像机的移动而改变;外部参数是确定摄像机像平面相对于客观世界坐标系统的三维位置和朝向,摄像机移动后,需重新校正。本文中虽然摄像机随车运动,但我们所需要的参数都是内部参数,不需要在车辆行驶过程中重新标定。因此,只需预先标定摄像机的内部参数,就可以在车辆行驶过程中用来计算前方车距。3.2客观世界坐标和帧存坐标摄像机标定需要先知道一组像平面点的客观世界坐标和帧存坐标。从客观场景到数字图像的成像变换可看作由图6所示的3步组成。具体变换过程见图5和图7。3.2.1到摄像机坐标考虑刚体景物的情况,则从客观世界坐标(Xw,Yw,Zw)到摄像机坐标(Xc,Yc,Zc)的变换可用齐次坐标表示为其中R为3×3正交旋转变换矩阵,T为三维平移向量,0=(0,0,0)T。3.2.2投影位置px,y用齐次进线计算空间中任何一点P(Xc,Yc,Zc)在像平面上的投影位置p(x,y)可以用小孔模型表示x=fXcZc,y=fYcZcx=fXcΖc,y=fYcΖc(5)用齐次坐标与矩阵形式将上式表示为3.2.3从肤浅坐标转换到计算机重写坐标的变换用齐次坐标和矩阵形式可将式(3)表示为3.2.4[r0tt1]将式(4)、(6)、(7)结合起来可得下式Zc⎡⎣⎢uv1⎤⎦⎥=⎡⎣⎢⎢1dx0001dy0u0v01⎤⎦⎥⎥⎡⎣⎢f000f0001000⎤⎦⎥[R0TT1]⎡⎣⎢⎢⎢⎢XwYwZw1⎤⎦⎥⎥⎥⎥=⎡⎣⎢ax000ay0u0v01000⎤⎦⎥[R0TT1]⎡⎣⎢⎢⎢⎢XwYwZw1⎤⎦⎥⎥⎥⎥=M1M2⎡⎣⎢⎢⎢⎢XwYwZw1⎤⎦⎥⎥⎥⎥=M⎡⎣⎢⎢⎢⎢XwYwZw1⎤⎦⎥⎥⎥⎥(8)Ζc[uv1]=[1dx0u001dyv0001][f0000f000010][RΤ0Τ1][XwYwΖw1]=[ax0u000ayv000010][RΤ0Τ1][XwYwΖw1]=Μ1Μ2[XwYwΖw1]=Μ[XwYwΖw1](8)其中,ax=f/dx,ay=f/dy,M1为内部参数,M2为外部参数,M为投影矩阵。式(8)表示了空间一个点的帧存坐标和空间坐标的对应关系,可以得到两个独立的方程。标定过程中,一般取数十个已知空间点,使方程的个数大大超过未知数的个数,从而用最小二乘法求解以降低误差造成的影响,得到投影矩阵M,然后由此分解出内外参数M1和M2。3.2.5有效焦距和像素对应的物理尺寸dyu,v由图像处理得到。x0=y0=0(10)将式(9)和(10)代入式(2)得d=h/tan(α+arctan[-(v-v0)/ay)](11)可见,求内部参数时不必分别求出有效焦距f和像素对应的物理尺寸dy,而只需要二者的比值ay。4激光测距仪测试结果本文选取空间50个点对车载摄像机进行标定,摄像机标定结果见表1。由表1可知,摄像机光轴与像平面交点的帧存坐标为(234,168),而计算机帧存窗口的大小为400×300,可见摄像机光轴与像平面的交点并不在像平面的中心。用激光测距仪与本文所述的视觉测距方法进行比较,以检验其有效性。激光测距仪安装在智能模型车JUTIV?II上。在车辆行驶过程中,用两种方法同时测量前方车距,对结果进行比较。考虑到激光测距仪的数据刷新频率,试验中每隔200ms测距一次。图8为从图像序列中每隔200ms抽取的10帧图像,表2为相应的测量结果。通过假设检验,可知上述误差值在显著性水平0.01下服从均值为零的正态分布,由数理统计理论可知,视觉方法与激光方法所获试验数据之间的差异仅是由随机误差引起的,即这两种方法在测距精度上并没有显著差别。一般的,利用立体视觉测量距离,由于对应点匹配费时多,所需时间都是以s计的。通过试验可知利用本文提出的基于单目视觉测距的方法所需时间