双目立体视觉三维重建技术

双目立体视觉三维重建技术卢毅;李晓艳;徐熙平【摘要】使用两台CCD相机采集目标物体的二维图像，并对相机进行标定产生类似于人类的视差效果.再对二维图像进行立体匹配及深度信息的提取,最终完成目标物体的三维重建.【期刊名称】《长春工业大学学报（自然科学版）》【年（卷），期】2015（036）006【总页数】5页（P678-682）【关键词】双目视觉;像机标定;立体匹配;深度提取;三维重建【作者】卢毅;李晓艳;徐熙平【作者单位】长春理工大学光电工程学院，吉林长春130022;长春理工大学光电工程学院，吉林长春130022;长春理工大学光电工程学院，吉林长春130022【正文语种】中文【中图分类】TP391.70引言通过计算机或机器人实现像人类那样灵活、高效的视觉，是科技工作者多年来为之努力的目标。计算机视觉是计算机把采集的图像经过图像处理、人工智能等手段来模拟人类或生物视觉系统功能，其研究的目标是通过一幅或多幅二维图像认知（识别、理解、描述和存储）三维场景信息（如形状、大小、位置、姿态等几何信息）的能力，双目立体视觉是其重要分支之一［1-2］。根据仿生物学视觉系统原理，利用两个CCD相机从不同的角度获取两幅数字图像，通过立体匹配计算出两幅图像像素的位置偏差（即视差）来获取这一场景的立体几何信息与深度信息，并建立三维坐标，重建该场景的三维形状与位置关系［3-4］。双目立体视觉系统由图像采集、摄像机标定、特征提出、立体匹配、三维信息恢复和三维信息重建等6部分组成［5-6］。Marr认为计算机视觉是一个信息处理的过程，并分为3个层次，即计算理论层次、表达与算法层次和硬件实现层次，Marr视觉系统处理过程如图1所示［7-8］。图1Marr视觉系统处理过程1摄像机标定双目立体视觉系统利用两台CCD相机获取两幅二维图像，通过相关算法，计算机得到该场景的三维坐标及深度信息，进而提取深度信息及三维重建。该场景中某点的三维坐标与二维图像中对应点之间关系是由CCD相机的几何模型决定的，几何模型的参数就是摄像机的参数，它包括内参数和夕卜参数。摄像机的参数通过实验获得，实验及计算的过程就叫做摄像机的标定［9-10］。CCD相机的成像模型在双目立体视觉系统中，三维场景中的点与二维图像中对应点之间的联系通过建立相机成像的几何模型来确立。小孔透视成像几何模型是一种最常用的几何模型，它包括光心、光轴和成像平面三部分，其原理如图2所示。图2小孔透视成像几何模型CCD相机标定坐标系从三维场景投影到相机二维像平面的过程中，主要涉及以下坐标系。1.2.1图像像素坐标系用来表示三维场景中的点在二维图像上的投影，坐标用（u,v）表示像素在数组中的行数和列数，原点在平面图像的左上角，u轴水平向右，v轴水平向下。1.2.2图像物理坐标系表征图像像素的位置而像素没有实际物理意义，用坐标（x，y）来表示，原点在平面图像中心。图像坐标系如图3所示。图3图像坐标系1.2.3相机坐标系相机光心为原点，X、Y轴与图像坐标系X、Y光轴平行，光轴为Z轴与平面图像的交点称图像主点，用（Xc，Yc，Zc）表示。1.2.4世界坐标系表示三维场景点的绝对坐标，也叫绝对坐标系，用（Xw，Yw，Zw）表示。相机坐标系与世界坐标系如图4所示。图4相机坐标系与世界坐标系CCD相机标定参数图3描述了物理坐标系与像素坐标系之间的关系，设主点O1在u，v坐标系的坐标为（u0，v0），每一个像素在u和v轴上物理尺寸为dx和dy，在不考虑畸变的情况下，变换关系如下：用矩阵形式表示如下：图4描述了相机坐标系和世界坐标系的关系，也就是外参数。夕卜参数表示相机在世界坐标系中的位置和方向，用旋转矩阵R和平移矢量T来表示。三维场景中某点P在世界坐标系和相机坐标系下的齐次坐标分别为（Xw,Yw,Zw,1）T和（Xc,Yc,Zc,1）T，它们之间的关系为：由式（1）~式（3）得：式中：K—相机内参数;s——扭转因子；P——3x4的投影矩阵。2双目视觉立体匹配技术立体匹配研究的主要内容是三维场景中不同角度拍摄的二维图像像素之间的对应关系，目的在于获取精确的视差图，进而完成深度检测。立体匹配过程大多采用灰度图像进行匹配，但二维图像受到镜头畸变、图像噪声、物体几何特征和光照等原因的影响，得到的图像会有所差异。多种匹配方法都包含3个基本问题，即匹配基元、匹配准则和匹配算法。从采集到的二维图像中提取对应的图像特征，是立体匹配的核心步骤。用来描述图像特征的元素称之为基元，它包含特征点、边缘、区域、相位和灰度图像等。匹配基元的选取结果直接影响到视差图的效果，成功的基元匹配应具有唯一性、稳定性、不变性、可区分性和有效解决歧义匹配的能力。源图像中的一个特征点，在对应的待匹配图像中可能存在多个相似的候选匹配基元。因此必须引入一定的约束准则作为辅助判据，来得到唯一正确的对应关系。匹配准则就是要去除不符合要求的干扰因素，提高抗误匹配的能力，减少算法的计算量。采用广为应用的极限约束准则来作为匹配准则，如图5所示。图5极限约束准则原理示意图立体匹配的实质就是研究如何在一定的约束准则下，实现最佳搜索。现有的基于区域的匹配算法主要分为全局最优搜索算法和局部最优搜索算法。文献［11］提出立体匹配算法的实现过程分为4步，即匹配代价计算、代价值聚合、视差计算和视差精度提升。3双目视觉三维重建方法双目立体视觉的三维重建就是指从采集到的两幅二维图像中恢复目标物体的三维坐标及几何形状的过程。三维目标物体的深度信息隐含在两幅二维图像中，通过深度计算提取出这些隐含在二维图像中的深度信息，再经过空间点集的三维重建算法来进行三维重建。双目成像系统中两台CCD相机的光学中心之间的距离为基线B，空间某点坐标投射到像平面坐标分别为（x1，y1）和（x2，y2），双目成像系统如图6所示。两台CCD相机拍摄的同一目标体上P点的两幅图像坐标分别为（Xleft，Yleft）和（Xright，Yright），目标物体上P点的深度距离为：式（5）中，视差为Disparity^Xleft-Yleft，基线B和焦距f为已知量，可以计算出P点的三维坐标。这种通过左右投影点计算出空间点坐标的方法，称为点对点运算。利用相关软件对目标体的三维坐标进行计算，显示出三维模型经过纹理粘贴得到真实三维模型。图6双目成像系统示意图双目立体成像视差图如图7所示。应用本系统对复杂目标进行三维重构，实验结果如图8所示。图7双目立体成像视差图图8复杂目标的三维重建图像图8（a）为未经过旋转的立体图，立体感不强，效果不明显；（6）和（c）为三维空间内经过旋转的图像，图中直线为物体旋转的中心轴线，立体感较强；（d）为被测目标的三维点云图像。4结语介绍了基于双目立体视觉对目标体进行三维重建的方法，着重分析了相机的标定、立体匹配算法及深度信息的提取，实现了通过拍摄两幅二维图像重建三维场景的目标，并达到了良好的效果。参考文献：[1]MinglunGong,Yee-HongYang.Genetic-asedstereoalgorithmanddisparitymapevaluation[J].InternationalJournalofComputerVision,2002(1/3):63-77.[2]KrystianMikolajczyk,CordeliaSchmid.Scale&affineinvariantinterestpointdetectors[J].InternationalJournalofComputerVision,2004(1):63-86[3]刘庆华，唐伯良，董戎萍.双目立体匹配图像对的预处理研究[J].计算机工程与设计，2005,26(3):793-795.[4]邱茂林，马颂德，李毅.计算机视觉中摄像机定标综述[J].自动化学报，2000,26(1):43-45.[5]罗桂娥，刘小群.区域与特征相结合的立体匹配算法[J].计算机安全，2011(5):14-17.[6]裴娅男.单幅图像三维目标定位及重建[J].长春工业大学学报：自然科学版，2014,35(6):660-667.[7]曹之乐，严中红，王洪.双目立体视觉匹配技术综述[J].重庆理工大学学报，2015,29(2):14-17.[8]张梁，徐锦法，夏青元.双目立体视觉的无人机位姿估计算法及验证[J].哈尔滨工业大学学报，2014,46(5):66-71.[9]戴玉艳，朱灿焰，季爱明，等.一种基于图像处理的双目视觉校准方法[J].电子