【毕业学位论文】基于单目视觉结构光的反光工件三维形貌快速重构研究

分类号 校代码 10495 004 密 级 公开硕士学位论文基于单目视觉结构光的反光工件三维形貌快速重构研究作者姓名： 张 明学 号 ： 1315213002指导教师： 梅顺齐 教授彭国洲 高工学科门类： 工学专 业： 机械工程领域研究方向： 检测技术完成日期： 二零一五年六月015独创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究作出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名： 签字日期： 年 月 日学位论文版权使用授权书本学位论文作者完全了解 武汉纺织大学 有关保留、使用学位论文的规定。特授权 武汉纺织大学 可以将学位论文的全部或部分内容编入有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复印件和磁盘。（保密的学位论文在解密后适用本授权说明）学位论文作者签名： 导师签名：签字日期： 年 月 日 签字日期： 年 月 日自动生产线的普及使得智能检测系统应运而生，在工业流水线上对反光工件的快速检测成为目前在线检测的研究热点。在对反光物体表面进行计算机视觉测量时，反射区域的光斑掩盖了投射在物体表面的轮廓信息，图像信息的缺失导致重构算法解码出的物体表面形貌不完整，物体表面三维形貌的重构精度也随之降低，这个问题受到了光学非接触测量领域的高度关注。本文围绕视觉测量中快速重构反光工件这一主题，分析了国内外学者提出的各种解决方法，对以下内容进行了研究：(1)结构光编码分析比较本课题针对非接触测量的视觉三维重构，使用结构光投影法，再做后续的条纹图像处理。结构光投影比较了相移法和格雷码编码，两种方法各有优缺点，格雷码可对条纹进行准确解码，但精度上比相移法低，而相移法在测量深度差较大的物体时，相位解包裹容易出错。针对反光工件，本文分别分析了两种投影条纹的适用性，结果得出格雷码是较为有效的一种测量方法，用其做后期的在机测量实验。(2)对比分析抑制强反射区域的方法不同颜色的光源，其波长是不同的。在进行视觉检测时，由于光源波长的不同，金属反光的程度也各不相同。调整摄像机曝光时间，可以控制图像中条纹亮度的范围。另外，通过后续的图像处理算法对直接与全局光分量的计算，也可达到去除反光影响的效果。研究分析这几种方法，最终选用曝光时间调整及图像处理两种方法用以后期的反光抑制实验。(3)反光工件在机检测根据数控加工中心的外部结构，设计并加工出一个视觉三维量测机构，将其放置于数控立式加工中心外围，结合重构算法对较为复杂的汽车零件突缘进行快速三维点云重构。关键词：三维重构；单目视觉；结构光；反光工件研究类型：应用研究of of it a of in of by of to an by at D on of 1)on of D be is be of We of A 2)of do to of of of we of by of we 3)to NC A It on of 3D 摘 要.论. . . . . . . . . 52 结构光三维重构原理. . . . . . . . . 章小结. 183 物体反光的抑制方法研究. 言. 制方法分析. . . . . . . . 274 反光工件表面在机三维快速重构实验. . . . . . 335 结论与展望. 34参考文献. 35致 谢. 391 绪论11 器人替代人工已成为当代工业生产的发展趋势，工业生产中的在线监测也是其中必不可少的一个环节。在一些先进制造产业（如航空航天，医疗器械等）中，需满足零件的高精度加工、高的表面光洁度等要求。三维测量技术是目前自动化生产中最有发展前途的一种检测技术，它可以分为接触式和非接触式两大类。三坐标测量机是一种高精度的典型接触式三维测量仪器，该仪器以精密机械为基础，将计算机技术、电子技术、数控技术以及光学技术等先进技术综合应用在一起，其测量精度可达对被测物的色泽无特殊要求。然而接触式三坐标测量机的测量速度慢，使用的环境要求较高，测量时探头对测量表面易产生划伤，其测量的数据密度较低，测量时需要人工干涉等缺陷限制了其在三维测量领域中的应用。非接触式三维测量主要采用光、声、电磁波等方法，其中，计算机视觉因其实时性好、测量精度高、检测速度快、重复性好等优点，得到了广泛的应用。然而，计算机视觉三维形貌重构精度也受到诸多因素的影响，如相机标定精度、环境光、待测物表面的光学性质等。如何有效的消除或抑制这些因素的影响，实现快速、精确地测量仍是光学测量领域内研究的热点与难点。物体表面反光对光学测量的影响这一问题在很大程度上影响了视觉三维重构的精度。三维重构过程中，物体表面类镜面区域的反光掩盖了实际物体表面的轮廓信息，干扰了后续的图像处理等操作，使得被测物体的重构精度相应降低，限制了光学测量的精度。因此，针对反光的金属工件表面，设计一套非接触、快速、高精度的视觉三维测量系统，实现对反光金属表面的快速、高精度测量在光学测量领域具有重要的研究意义。就目前国内外三维形貌重构的现状来看，作为可控光源的结构光投影三维重构法应用最多。由于被动式三维测量方法的测量精度低，计算量大，不适于精度要求较高的场合。因此，作为主动式三维重构技术，结构光三维重构采用结构光照明方式，能够快速、高精度地获得物体表面三维信息等特点，突显了其在高精度领域的测量优势。在主动式三维测量中，被测物体的表面轮廓对结构光光场的时间、空间进行调制，通过适当的解调算法，最终从带有三维形貌信息的结构光光场中解调出被测物体的三维形貌数据1。基于结构光的视觉三维重构是逆向工程和计算机视觉领域一个重要的分支，它以其非接触、无破坏、易于实现等优点被广泛应用。本文将针对反光对视觉测量的影响，研究出一种可对金属工件表面反光区域进行结构光投影三维重构的方法，且将该方法应用于设计的量测机构中，进而在数控立式加工中心上实现加工零件方便、快速、准确地视觉三维重构。视觉三维重构获取类镜面的物体表面图像时，反光区域的图像信息缺失导致重构结果的数据空缺，使得待测物体表面的轮廓无法有效还原。专家学者根据不同去除反光的原理（如物理方法，数学方法等），针对图像反光的抑制及反光处的缺失信息恢复做了很多研究。元坤等人2针对类镜面的物体表面提出了一种三维形貌测量方法，它将显示屏或者周围环境的景物作为投射光源，通过摄像机捕获物体表面反射的投射光源的像，间接测量其表面三维形貌，利用镜面反射所成的像测量反射表面的轮廓形状。不过，此类方法的测量范围较小且测量精度也不高。of 有摄像机在与待测物体表面平行的平面上作相对运动，待测物体不动，该方法称为多角度测量。系统针对的是漫反射表面和反光表面物体4。在光源照射方向一定时，由于观测角度的不同，待测物体表面的反光区域不尽相同，用其表面的漫反射区域进行多角度的局部测量，然后通过点云拼接技术生成完整的被测表面5，种测量方法在时间上消耗明显，并且在整体拼接的过程中，此方法会引入误差，影响1 绪论3测量精度。利用漫反射光和镜面反射光线偏振特性的不同，在测量物体形貌时，将摄像机前安装一个偏振片，该偏振片只让漫反射光进入摄像机，能够滤除具有偏振特性的镜面反射光，实现对反光物体表面的测量。使用偏振片大幅度降低了投射光强及摄像机输入光强，待测物体表面反射的散射光变少，使得反光物体表面更加难以测量，测量精度仍无法保证。发明了一种漫射结构光实现机器视觉的系统，放置于光源和场景之间。方法能有效减少镜面反射，去除测量时出现的阴影。然而该仪器增加了测量成本，在现场测量时使用不便。（a）耳环 （b）耳环重构图 （c）刀片 （d）环和刀片的重构图8of 门所需打开的时间，通过调整曝武汉纺织大学硕士学位论文4光时间可以改变获取图像的亮度。提出了一种高动态范围扫描技术，该技术采用了不同的摄像机曝光。然而，到目前为止仍有两个问题尚未解决。首先，在像机的曝光虽然可通过对摄像机镜头的光圈调整实现，但调整的大小未能量化。其次，由于环境光的影响，使得条纹图像信噪比降低，因此该方法仅可以在无环境光影响的条件下测量。姜宏志等104根据光的三种反射形式研究出的重构技术有效的解决了上述这两个问题，该技术基于投影栅相位法，用于开发处理从光亮表面反射的条纹图像，通过获取具有不同的相机曝光时间和投影条纹强度，将条纹图案进行融合，生成合成条纹图像，该方法还解决了环境光对测量的影响；技术需要大量图像，增加了测量时间，降低了测量速度。于高动态条纹采集技术的三维重构135研究了一种后期图像处理的方法，将曝光时间调整法和奇异值分解法进行强反射图像处理实验，经过图像二值化和边缘检测，最后将修复过的图像用于强反射表面的检测实验；通过几组实验对比，结果表明奇异值分解法在去除饱和高光金属表面上有很大优势。杨永敏等16提出了一种基于偏微分方程的同态滤波算法，采用热传导方程滤波算子处理同态分解的图像；该方法可以校正图像饱和度的不均匀性，使得图像的整体质量得到有效提高，同时能够保留足够多的原始图像信息。除此上述方法之外，也有人在反光表面喷涂某种物质，以降低其表面反光率，这种1 绪论5方法虽然能够使被测物体呈现漫反射特性，利于光学测量，然而，喷涂的物质改变了被测物体表面的粗糙度，喷涂的不均匀性也增加了测量的误差。迄今为止，在各个领域中能够快速、有效地实现类镜面物体表面三维重构的方法很少。特别是在工业领域，金属反光工件占有较大的比重，如铝合金、钛合金工件，不锈钢工件等，这样使得视觉三维测量在该领域的应用受到一定的限制。因此，针对反光物体表面的视觉三维测量已成为光学测量领域中一个亟需解决的技术难题，研究该测量方法，对拓宽光学三维测量的应用领域有很大帮助17。本文将展开对反光工件类镜面区域的三维形貌重构研究，在去除反光影响提升测量精度的同时，设计出一套测量机构，能够实现对反光工件的在机三维重构。入研究和比较分析了目前较为成熟的去除反光方法。综合以上方法，本文运用曝光时间调整法和算法后期处理对反光工件表面进行三维形貌重构。最终应用于设计的量测机构上，对在机工件进行现场重构，并将结果进行数据分析。本文主要研究了基于结构光的反光工件三维形貌重构，其主要内容可分为如下几部分：(1) 首先，针对结构光三维重构技术，第二章在开头介绍了结构光三维重构原理，然后列举了几种结构光投影测量方法，包括相移法、格雷码条纹投影。本章对这些方法进行了理论分析和研究，其中相移法是目前应用较为普遍且成熟的一种投影测量方法，相对于其它测量方法，其测量精度较高。格雷码投影法相对相移法，其解码出错率较小。在本章中将对相移法及格雷码投影法进行比较，考虑到众多影响因素，选用解码出错较小的格雷码编码用于反光工件的结构光投影三维重构实验。(2) 其次，针对类镜面工件表面反光的抑制，第三章介绍了曝光时间调整、光源颜色的选择及算法后期处理三种方法，前两种方法都是在获取图像前改变进入相机的光强，后一种的算法处理则是在完成获取图像后，对图像进行的后期图像处理。由于光源颜色的改变不能作定量分析，因此实验选取不同的曝光时间，对获取图像进行比对，选择图像饱和度相对均匀的一组数据作为后续测量参照。在曝光时间设置好后，使用修改后的算法代码，计算获取图像直接与间接光分量，再经过一系列的图像处理，可达到抑制光亮区域的目的，保障视觉三维测量的精度。(3) 最后，针对反光工件的在线测量，第四章中主要设计了一套测量设备夹持机构，该机构能实现相机投影仪对机床工件的多角度测量，通过在机实验，对数控中心上的加工零件进行快速三维重构实验。武汉纺织大学硕士学位论文62 着其它非接触式测量技术不可比拟的测量优势。结构光投影测量布置十分简单，仅需摆正摄像机和投影仪即可。要获得高精度的测量结果，高的系统标定的精度是关键因素18本章主要针对结构光三维重构技术，介绍结构光投影测量系统的基本原理以及结构光投影的几种典型方法，接下来深入介绍了面结构光投影技术中的相移法及格雷码编码、解码实现过程。视觉测量中，首先必须建立空间物体外貌点的三维几何位置与图像中像点位置的相互对应关系，而摄像机成像的几何模型决定了这种相互对应关系26。）参考坐标系结构光投影测量系统中的参考坐标系主要包含图像坐标系、像平面坐标系、摄像机坐标系、投影仪坐标系以及世界坐标系等27。摄像机捕获的图像通过计算机以数组形式存储，数组中的每一个像素点的值即为图像点的灰度值，在图像上定义直角坐标系一个像素点的坐标 ,u v 分别是该像素点在数组中的列数与行数，因此 ,u v 是以像素为单位的图像坐标系坐标，像坐标系和像平面坐标系2 示的理想成像坐标系点 1 10 0,u v ，且每一个像素在x 、 y ，理想情况下即图像上的像素无u，为90）则图像中任意一个像素点在两个坐标系下的关系可用齐次坐标与矩阵的形式表示，01 1 0 0 0 1x xy uu xv v y （界坐标系用来描述摄像机放置于现实世界中的位置，它是一个基准坐标系，并用世界坐标系来描述所有物体在世界空间中坐标位置。平移向量设空间中任意一点, , ,1 Tw w Z ，该点在摄像机坐标系下的齐次坐标为 , , ,1 Tc c Z ，0 11 1 1c w wc w w T Y Z （中：正交单位矩阵；Tx y T T 为三维平移矩阵；1M 是44的矩阵。通常将R、2）摄像机投影仪模型针孔模型28是最常用、最简单的摄像机光学成像模型，它是一种理想状态下的模型，该模型使用简单且准确性高。若不考虑镜头畸变，针孔模型可以近似表示空间中的任意一点空间点几何关系也可称作中心摄影或透视投影。 ， （中， ,x y 为 , , Tc c Z 为空间任意一点 0 00 0 01 0 0 1 0 1f YZ y f Z （上所述，000 1 21 1 0 01 10 0 0 0 0 1 0 1 0 10 0 110 0 0 1 1 0 1 1wx x wy w wx x w w u f R T YZ v v f f f u R T Y Yf v M （中， x xf f ， y yf f ；矩阵，表示透视投影矩阵； f ，则 1M 由 0u 、 0v 、于 0u 、 0v 、这些参数称为摄像机的内部参数；2M 由摄像机处于世界坐标系的方位决定，表示摄像机的外部参数。由于摄像机光学系统并不是精确地按理想的针孔模型原理工作，存在光学畸变误差，该畸变误差的主要表现为径向偏差和切向偏差，像机成像时，假设光轴与平行于焦平面的某个平行平面的交点为O，则会存在一系列以半径方向的畸变是摄像机的径向畸变。该畸变的大小与圆的半径有关，若半径越大，畸变量也会随之越大。沿着圆周切线方向的畸变是摄像机的切向畸变。2 ,x x x yy y y x y （式中， ,x y 为针孔模型计算出的理想图像坐标值； ,x y 为实际图像的像素点坐标； 非线性模型的畸变量，在非线性模型下，该变量与成像点在成像面中的位置有关。 22 2 2 2 2 2 2 21 2 1 2 122 2 2 2 2 2 2 21 2 1 2 23 22 3xy k x x y k x x y p x y p xy s x yk y x y k y x y p x y s x y （中 22 2 2 21 2k x x y k x x y 和 22 2 2 21 2k y x y k y x y 表示模型的径向畸变， 2 21 23 2p x y p 和 2 21 22 3p x y 表示模型的切向畸变， 2 21s x y 和 2 22s x y 表示模型的薄棱镜畸变， 1k ， 2k ， 1p ， 2p ， 1s， 2s 分别为对应各个畸变项的畸变系数，其中 1k ， 2k ， 1p ， 2p 对摄像机镜头畸变影响较大，须给予校正。因此，本文针对摄像机和投影仪使用针孔模型并考虑其径向畸变和切向畸变。（3）摄像机标定依照张正友29的平面模板法，该方法依靠摄像机内部参数的约束条件，提出了一种标定计算的公式，通过该公式求解出摄像机内部参数和外部参数的闭式解，进而再求解出非线性的最小化方程，最终求取包括各个畸变系数在内的所有内外参数。该标定方法中采用的非线性最优化的算法是汉纺织大学硕士学位论文10 21 21 1 , , , , ,n m ij i i ji j m m A k k R t M （方法无需知道标准参照物的尺寸，只需利用平面模板上各个特征点的对应关系，将平面模板在摄像机视野内任意转动三次或三次以上（在限定次数内次数越多，相对精度越高，然而求解会变慢）即可完成标定，不需要了解平面模板的运动参数，也使得标定变得更加容易、方便。除此之外，与三维参照物相比，平面模板更加容易制作，制作成本也更低。针对获取的不同位姿的标定板图像，找到标定板上所有角点在摄像机像平面上的坐标，不同位姿标定板的角点位置是通过程序在捕获的照明图像中寻找的。该算法的线性求解速度快，非线性优化计算准确。（4）投影仪标定理论上，投影仪和摄像机具有相同的数学模型描述，那么标定过程是相同的。然而，投影仪不是摄像机，它不能够从自己的视点中获取图像。程序通过从结构光场景中提取的图像可以得到投影仪和摄像机像素点之间的关系，再通过这种关系估计投影仪图像坐标系中棋盘格上角点的位置。在投影仪坐标系中计算棋盘格上角点坐标可分为三步：首先，解码结构光序列，每个摄像机图像与投影仪投射的行和列相互关联，或设定为“不确定”；然后，在摄像机图像中对每个棋盘格角点进行位置单应性估计；最后，应用位置单应性将每一个角点从摄像机坐标系转换到投影仪坐标系。获取了投影仪坐标系中所有角点的位置后，重复标定摄像机内部参数的程序就可计算出投影仪的内部参数。结合标定算法及实验现场环境，系统的标定步骤详见第四章。（5）标定误差分析通过反投影的方法，根据计算得到的摄像机内外参数，计算标定板上已知角点的三维坐标，将其与通过对角点提取得到的投影坐标进行比较，从而得到一个误差值，该数值用以评定标定结果误差。点为空间中任意一点，假设该点在世界坐标系中的坐标为 , ,P P Pw w wx y z 。在摄像机坐标系 c c c 下的坐标为 , ,P P Pc c cx y z ，对应在摄像机成像坐标系下的坐标为 ,P Pc cu v 。 投影仪投射点，设该投射点在投影仪坐标系下的坐标为 , ,P P Pp p px y z ，相对应的，该点的投影仪成像坐标系的坐标为 ,P Pp pu v 。2 2 3 14 5 6 27 8 9 3p c c c w c c c c c w c c c w r r r x T r r r y r r r z （中：理， 2 3 14 5 6 27 8 9 3p p p p c p p p p p c p p p c r r r x T r r r y r r r z （中：示投影仪坐标系中的点关于摄像机坐标系的旋转矩阵示投影仪坐标系中的点关于摄像机坐标系的平移向量 称为投影仪相对摄像机的外参数。由小孔成像模型，可得到点 点 （汉纺织大学硕士学位论文12/po p po p u f v f （间中的任意一点 , ,P P Pc c cx y z 就可以通过各个方程之间带入计算出来。根据摄像机坐标系与世界坐标系之间的变换关系及任意一点 , ,P P Pc c cx y z ，该点在世界坐标系下的坐标P , ,P P P