基于SIFT特征匹配的三维重建答辩

基于SIFT特征匹配的双目视觉图像识别定位系统研究

内容结构研究背景提出问题匹配特征立体匹配SIFT点特征SIFT算法匹配解决途径摄像机标定三维重建像素坐标系2D世界坐标系3D机械手抓取识别定位3D2D一、课题研究背景利用视觉系统获取环境信息，视觉是最重要的感觉能力；选择合理的匹配特征,以克服匹配准确性与恢复视差全面性间的矛盾；选择有效的匹配准则和算法结构,以解决存在严重灰度失真、几何畸变(透视、旋转、缩放等)、噪声干扰、特殊结构(平坦区域、重复相似结构等)及遮挡景物的匹配问题；找到目标工件——识别；判断出工件的三维位置和姿态——定位；指导机械手的抓取。返回二、双目摄像机标定针孔相机模型双目立体视觉标定原理成像平面坐标系摄像机坐标系像素坐标系

世界坐标系M摄像机标定M畸变模型本文采用非线性摄像机模型,即针孔摄像机加上镜头畸变补偿,如下图所示。

其中（，）为畸变矫正之后的像素坐标，即标准像素坐标，(，)为测量值，(，)为畸变偏离值，通常只取第一项，，，为镜头畸变参数。摄像机简化畸变模型可表示为：

畸变模型数学表述：

改进Tsai两步法标定预先标定的摄像机参数

摄像机参数的标定先求得部分摄像机的参数,如：图像纵横比,主点坐标(,),再利用径向排列约束求解大部分的外参数(5个),最后引入畸变模型,通过事先求得的部分摄像机参数,线性地求解其余的摄像机参数,如:畸变因子(内部参数),平移分量。

对于每一个标定点,已知其世界坐标和对应的图像坐标就可以列出一个方程,取多个标定点(大于5个),就可以利用最小二乘法求解出方程组。利用径向排列约束的摄像机参数标定1.求解旋转变量和平移变量、

其中，，，联立以上两个方程,利用最小二乘法即可同时求解出各参数。2.求解畸变因子、平移分量标定过程

在平面模板中，有的学者应用棋盘方格的角点来提供标定点，有的学者应用圆的圆心来提供标定点。一般来说，用圆的圆心作为标定点精度会比较高一些。

选取用圆心阵列型平面标定模板来进行双目立体视觉系统的标定。标定板像素坐标提取双目立体视觉系统拍摄标定板图像利用Halcon软件编程提取圆心的像素坐标世界坐标的获取

应用固高GRB-400型四自由度工业机械臂的末端执行器（手爪）获取49个标定点的世界坐标值，并保存到指定文件中以备标定程序使用。

标定结果标定结果分析（1）X坐标的最大绝对误差为0.9590（mm），Y坐标的最大绝对误差为0.3491（mm）；以上均满足标定要求不大于1mm。（2）利用基于畸变模型的改进Tsai两步法，可以满足标定和机器人抓取的精度需要（机器人抓取要求误差不大于5mm）。误差的来源主要有：摄像机本身的物理特性、视场范围的大小对拍摄图像的影响等。返回三、SIFT特征提取检测尺度空间极值精炼特征点位置指定特征点的方向生成特征描述符SIFT算法首先在尺度空间进行特征检测，并确定关键点(Keypoints)的位置和关键点所处的尺度，然后使用关键点邻域梯度的主方向作为该点的方向特征，以实现算子对尺度和方向的无关性。一幅图像SIFT特征向量的生成算法总共包括4步：

DoG尺度空间极值检测生成特征描述符SIFT特征提取结果特征点提取生成特征位置及大小返回四、基于SIFT算法的工件图像匹配

立体匹配概念与分类

立体匹配的四个关键要素

算法框架

极线几何

沿极线搜索结果

SIFT匹配算法结果分析立体匹配概念与分类立体匹配概念立体匹配是寻找同一场景在两台或者多台摄像机从不同视角拍摄的二维图像中的对应关系。立体匹配分类区域匹配、特征匹配、相位匹配返回立体匹配的四个关键要素立体匹配匹配基元选取相似性度量搜索空间搜索策略SIFT特征欧氏距离一维直线沿极线搜索返回算法框架

左、右图像分别是同一场景下双目视觉拍摄的左视图和右视图。首先对左图进行SIFT特征点提取，接下来对于左图中的每一个特征点，根据计算机视觉中的极线几何(Epipolargeometry)理论，经过计算在右图中得到一条对应于该特征点的极线(Epipolarline)，这样匹配点的搜索空间就从整幅图像2D空间的盲目搜索降为沿着极线的1D搜索。最后再SIFT匹配算法进行匹配。左图像右图像SIFT特征提取SIFT特征匹配极线抽取返回极线几何

据极线几何的描述，在实际匹配过程中，左图像平面任一点的搜索不需要在整幅图像上搜索，它必然位于极线点的极线。利用极线约束的原理，在得到双目立体视觉中一幅图像的SIFT特征描述子（关键点）之后，只要沿着对应关键点的极线搜索，便可以在另一幅图像上找到与之对应的关键特征点。利用这种方法可以有效地将搜索范围从整个图像降低为沿着确定极线线性（一维）的搜索，从而节省计算时间和提高匹配效率。

极线几何关系在数学上可以用基础矩阵来表示。

8点法——求解基础矩阵F

已知左图像上一SIFT特征点得出右图像上的极线方程搜索宽度：搜索空间的确定就是两幅图像之间几何变换的确定，如果图像的位置仅仅只存在平移的变化，那么需要一个二维的搜索空间了。而沿极线的一维搜索只需要确定搜索宽度。搜索宽度定为30（即最大视差为30个像素），通过计算得到特征点所在左图像和对应的搜索图（右图像）各自的SIFT特征描述向量后，下一步采用特征向量的欧氏距离作为特征点和匹配点的相似性度量。即对左图中每一个特征点，分别计算此特征点的特征向量与相应的右图（搜索图）的特征向量之间的欧氏距离，最后取最小欧氏距离搜索子图的中心点作为该特征点的匹配点。返回沿极线搜索结果左图像右图像右图像加椒盐噪声匹配

右图像加高斯噪声匹配

右图像亮度增强匹配

左图像右图像右图像左图像右图像加高斯噪声并减弱亮度匹配

对于环境比较复杂，拍摄的图像有噪声和亮度变化时，按此方法仍然能正确的搜索出左图像上一个SIFT特征点在右图像上的对应极线和特征点。返回SIFT匹配算法结果分析

左图像右图像匹配结果

我们可以看到，有误匹配现象存在。这是因为当空间的三维场景投影成二维图像时，同一景物在不同视点下的图像会有很大的不同，而且场景中的很多因素，像光照条件、景物几何形状和物理特性、噪声干扰和镜头畸变等都会造成不同程度误匹配。匹配点对有19对，误配点为1个，即误配率为5.26%。用此方法对所拍摄的50幅图像进行处理，提取到的SIFT特征点数少于直接使用SIFT特征提取算法得到的特征点数（减少比例与环境复杂程度有关），误配率平均值为5.6%。因此，本文所用此方法能有效提高匹配准确度。

返回五、目标识别定位与三维重建

模板匹配原理

基于模板匹配的工件识别定位

工件的三维空间定位(三维重建)模板匹配原理搜索图模板图返回基于模板匹配的工件识别一般情况下的识别工件缩小识别搜索图模板图搜索图模板图工件放大识别工件放大旋转有角度的识别搜索图模板图工件有遮挡识别

模板识别时以SIFT特征点作为匹配描述子，在模板图像和实时拍摄图像中搜索出匹配的SIFT特征点并进行匹配。一般工件特别光滑时，纹理信息不明显，因此，检测到的SIFT特征点非常少，匹配点数量也比较少，故此本文中模板与搜索图像有3个或以上3个SIFT特征点成功匹配上，则可确定该目标与模板中物体是一类。工件定位计算模板和左右图像同时匹配上的特征点分别得出标志点像素

获得4对空间匹配点，在左图中的坐标分别为（1088561），（815714），（823672）,(828674)，对应右图中的坐标分别为(701802)，(419697),(427652),(688542)。计算的左图中标志点像素为(893.4，676.4)，右图中标志点像素为(579.2，644.4)。各空间匹配点位置如图5-6中‘+’所示，计算出的标志点用‘*’。左图像右图像返回工件的三维空间定位(三维重建)X、Y、Z左图像标志点u1、v1右图像标志点u2、v2三维重建标定(893.4，676.4)(579.2，644.4)X、Y、Z25.628395.67642.998M返回六、双目立体视觉工件抓取

系统与试验

抓取系统硬件设备

工件抓取控制系统

机器人抓取试验抓取系统硬件设备GRB-400型四自由度工业机器人如图所示。整个机器人系统由机器人本体、供电电缆、控制柜、电磁手爪、反馈系统等组成。GRB-400型机器人具有4个自由度，其中关节1、关节2和关节4为旋转关节，关节3为直线关节。GXYZ-3030型三维数控平台HV1302UC数字摄像头

数字摄像头外观图与云台的安装方式硬件连接实验设备控制界面

此控制程序界面集成了GRB-400型机器人的所有控制模板和HV1302UC摄像机的图像采集、处理以及GXYZ-3030型三维数控平台的“测试试验”控制程序。将几种功能集成于统一的界面下，有助于对系统软硬件环境的控制，有助于对机器人视觉系统做整体的开发。抓取过程从实验台上抓起工件放在指定位置返回七、总结展望研究了有关双目立体视觉系统的标定的问题。分析了畸变模型，选择改进的Tsai两步法标定方法，并进行了理论上的推导，给出了标定实验结果。结果表明，该标定方法考虑摄像机畸变，能够满足抓取的精度需要。引入图像处理中的点特征提取和匹配问题，应用能够抵抗光照、旋转、缩放变化的SIFT特征匹配算法完成这一过程，并应用极线几何原理将二维搜索降低为一维搜索，提高匹配率，减少匹配时间。返回应用获取实时模板的模板匹配算法识别出目标工件，应用标定结果和立体匹配结果进行三维重建，完成目标工件的三维实际位置的计算。根据实际工作环境，构建工件抓取系统。该系统由视觉系统、三维数控平台、执行机构和控制系统组成。利用VC++、HALCON和MATLAB等编程环境对整个系统进行软件开发，完成系统构建。通过整体试验及分析，实现了工件的识别、定位、抓取等功能性试验，证明了基于SIFT算法的双目视觉图像识别定位系统具有一定实际应用价值。返回回答老师提问1.回答杨世强老师的提问：基于SIFT特征匹配时，附影会对匹配的结果产生怎样的影响？该如何解决？答：图像的附影太深，在SIFT特征提取时会提取到不在实体上的特征点，在匹配时，会产生误匹配。解决方法：在图像特征之前对拍摄图像做预处理，利用图像增强和图像分割的方法分离提取出实体目标，之后再做提取和匹配等处理。2.回答朱虹老师的问题：（1）论文P36页对右图加噪声之后，会否影响3.3节所提到SIFT特征点的提取？答：是有影响的，高斯噪声影响比较明显，椒盐噪声在参数较小时影响不大。高斯噪声0.005倍噪声0.01倍噪声0.05倍噪声0.1倍噪声不加噪声椒盐噪声不加噪声0.005倍椒盐噪声0.05倍椒盐噪声0.01倍椒盐噪声0.1倍椒盐噪声

（2）P43，44图5-4中工件缩小比例在多少范围内有效？有遮挡时，遮挡部位及面积为何范围内不影响识别结果？答：在拍摄环境不太复杂的情况下，工件缩小到0.2倍时仍能正确匹配。有遮挡时，遮挡部位一般不会影响识别结果，当工件表面特征分布较为均匀时，遮挡面积大于目标1/2时会影响识别结果。缩小到原图的0.5倍缩小到原图的0.4倍缩小到原图的0.2倍遮挡的情况致谢

三年的研究生学习即将结束，回想这三年的生活和学习，我受益良多！更要感谢那些帮助过我和关心着我的人们。首先，