近景工业摄影测量系统的开发

近景工业摄影测量系统的开发

0近景工业照片测量技术汽车、飞机、船舶、军事、工业和家庭的许多产品都采用复杂的截面。复杂零件的数字化建模和零件的三维检验是设计和质量控制的前提和基础。对于中小型工件(长度小于1m),主要采用台式三座标测量机、激光扫描仪、关节臂三座标测量机等测量设备,基本能满足检测和逆向设计的要求。对于大型工件(长度大于1m),空间测量激光跟踪仪、经纬仪等光学仪器的测量精度能够满足使用要求,但其局限于对工件的一些关键点进行测量。存在测量速度慢、检测繁琐,无法进行全尺寸检测的缺点,迫切需要有新型的检测设备和检测方法出现。近景工业摄影测量技术在国外发展较早,并且有开发的商用软件应用,典型代表有美国GSI公司的V-STARS系统、德国AICON3D公司DPA-Pro系统、德国GOM公司的TRITOP系统、挪威METRONOR公司的METRONOR系统等,其测量精度都在0.1mm/m。国内高校和研究机构从事此项研究的有武汉大学和天津大学等,主要应用于建筑、航拍、大地量测等,基本停留在理论研究阶段,没有开发相应的商用系统。一种新型的快速光学检测技术⎯近景工业摄影测量系统XJTUDP开发成功。此系统由西安交通大学模具与塑性加工研究所自主研发,打破了国外摄影测量软件在中国的垄断局面。测量精度为0.1mm/m。1建立三维点云以误差识别近景工业摄影测量主要是通过在物体的表面及周围放置标志点,然后从不同的角度和位置(图1)对物体进行拍摄,得到一定数量的照片,经过图像处理、标志点定位、编码点识别,最终依靠这些标志点重建出物体的三维点云,从而实现对物体上的关键点之间的距离进行测量并获得在此基础上的其他信息。1.1维编码参考点摄影测量系统组成(图2)如下:1)系统测量软件:基于XP环境,安装在高性能的台式机或笔记本电脑上;2)编码参考点:由一个中心点和周围的环状编码组成,每个点有自己的编号;3)非编码参考点:未编码参考点,用来得到测量物体相关部分的三维坐标;4)专业数码相机:固定焦距可互换镜头的高分辨率数码相机;5)高精度定标尺:刻度尺作为测量结果的比例,具有极精确的已经测量的参考点来确定它们的长度。1.2主要内容基于亚像素边缘拟合的高精度标志点中心检测;编码点设计及编码点自动检测;摄影测量的相机标定及三维重建技术。2亚像素提取技术近景工业摄影测量系统基于数字图像处理技术和摄影测量技术,来实现物体结构特征转化为离散点三维坐标矩阵的精确重建。在物体上放置编码标志点和非编码标志点,通过数字相机从不同角度和位置拍摄物体获取图片。基于最小二乘拟合的亚像素提取技术对获得的图片进行处理,计算出标志点的准确几何中心;同时识别出编码点的编号。基于共线方程的图像检测原理获取上述标志点的中心坐标和编号信息,经相对定向(共面方程)、绝对定向(直接线性变换解法)、外极线匹配(对极几何)、三维重建和光束平差算法实现物体点三维坐标的准确重建。其中前四者的结果为光束平差算法提供初值,光束平差作为最后一步,对所有的参数进行非线性优化,这些参数包括相机的内、外方位参数和物体空间点的三维坐标,在调整物体空间点三维坐标的同时也实现了相机的高精度标定,而且可以进一步控制物体几何特征点的误差,得到更高精度的点云三维坐标矩阵。2.1亚像素级的边缘使用经典算法找出像素级精度的边缘点,利用边缘附近多个像素的灰度值作为补充信息,可以确定亚像素级的边缘所在。目前已有矩法、梯度幅值均值法、拟合法、Canny检测算法、梯度均值算法等算法。2.1.1确定参数区间1)在粗定位的边缘点上沿梯度方向求梯度幅值G(x,y);2)根据G(x,y)的值确定包含边缘的区间,即对给定的阈值T确定满足G(x,y)>T的(x,y)的取值区间;3)利用梯度分量Gx和Gy作为权值,沿梯度方向的边缘位置亚像素级校正由下式给出式中:dxi,dyi是一个像素点沿梯度方向与粗定位边缘点的距离分量,Gxi,Gyi是梯度分量,n为沿梯度方向上G(x,y)>T的像素点个数。2.1.2标志位置的确定圆形标志经透镜成像后为椭圆,为达到对椭圆中心的子像素级精度定位,首先用边缘检测算子对椭圆边缘进行亚像素检测得到亚像素精度的边缘点,最后对提取的标志边缘点进行椭圆最小二乘拟合,从而确定标志中心的精确位置。圆形标志的影像为平面椭圆,所以对提取的边缘点进行椭圆最小二乘拟合,即可确定标志中心的位置。平面椭圆的一般方程为椭圆拟合可求得椭圆方程的5个参数B、C、D、E和F,椭圆中心坐标:2.2志点为圆形标志分为编码标志和非编码标志。非编码标志点为圆形,经过投影变换为椭圆。根据编码规则的不同,编码标志又分为8位、10位、12位、14位、15位等几种编码。2.2.1心的圆同色n位编码表示将外部的圆环等分成n份,每一位上若颜色和中心的圆同色,则编码为1,否则为0(图3)。另外,根据颜色的不同,又可以把编码标志以及非编码标志分成白底黑点标志和黑底白点标志,本文采用10位黑底白点编码点(图4)。2.2.2编码标志环带的采样按照编码标志和非编码标志的区别,用式(2)得到的标志点的椭圆参数,对标志点的外圈环带进行采样,对采样的灰度数据进行分析,得到标志点的类型;若是编码标志点,则分析得到编码标志环带的径向范围,并根据标志点的几何尺寸把环带分成n(n为编码位数的整数倍)等份,得到n个扇环区域;对环带进行灰度采样,对采样的灰度值进行处理得到一个灰度阈值;由灰度阈值,并对每个扇环的采样值进行滤波,得到n位编码序列;由n位编码序列经过循环移位和合并,得到标志点的编码序列;由标志点的编码序列经循环移位找到编码序列的最小值,然后查表得到其编码值(图5)。2.3标定过程是三维重建过程相机标定是三维光学测量的基础,主要原理基于共线方程,标定参数对测量的结果影响很大。标定过程就是三维重建的过程。主要包括:相对定向、绝对定向、外极线匹配及三维重建、光束平差。2.3.1外来成像模型物方点经过相机镜头摄影后成像到像平面上,理想的投影成像模型是几何光学中的小孔成像模型,其本质就是射影几何中的中心透视投影过程(图6)。相机实际成像时,由于各种因素的干扰,主点的像平面坐标不严格为零,存在一微小值(x0,y0),使得像点在像平面上相对其理论位置存在一定的微小偏差,记为(∆x′,∆y′)。实际像点的共线方程可以写成式中:x,y是像点坐标;X,Y,Z是目标点物空间坐标;XS,YS,ZS是像站点的物空间坐标;ai,bi,ci(i=1,2,3)是像空间坐标系相对于物空间坐标系的方向余弦。2.3.2的像空间坐标系选取像片1的像空间坐标S1-xyz为摄影测量坐标系(图7),像点p1在S1-xyz中的坐标为(x1,y1,-f),像点p2在像片2的像空间坐标系为S2-x′y′z′的坐标为(x2,y2,-f);设投影中心S2在S1-xyz中的坐标为(Bx,By,Bz),像点p2在坐标系S2-xyz中的坐标为(x′2,y′2,z′2),S2-x′y′z′与S1-xyz间的旋转矩阵为M,因向量S1S2、S1p1和S2p2共面,且有将式(6)写成坐标形式,有式(7)即为摄影测量中的共面条件方程,当取两张像片组成立体像对时,z1=-f。2.3.3线性数字化调整建立像素坐标(x,y)与相应物方点空间坐标(X,Y,Z)之间直接的线性关系的算法。直接线性变换:式中:11个系数li均是内、外方位元素以及线性改正系数的函数。只改正了线性误差,还需改正非线性的物镜畸变,设像点量测坐标(x,y)之改正数分别为(vx,vy),则可列出求解待定系数的误差方程式,得式中:A=l9X+l10Y+l11Z+1,1k为待定的对称性物镜畸变系数,r为向径,x0为像主点在物空间坐标系内的坐标。2.3.4图像旋转矩阵与平面几何约束根据双目成像的透视关系可知,左图像平面内任何一点在右图像平面内的外极线都要经过外极点e2(图8),反之亦然,这种关系具有对称性。经过平差计算得到L后,可以相应的计算得到旋转矩阵R和平移矩阵T,得出:式(12)是双目视觉中外极线几何约束的数学描述。A1、A2为摄像机1、2的内参数矩阵,为对应像平面匹配点的齐次坐标,[T]x为斜对称矩阵,由平移矢量T决定。矩阵F是基础矩阵,它与摄像机内参数、摄像机之间的相对姿态有关。2.3.5解算的系统精度光束平差解法是一种把控制点的像点坐标、待定点的像坐标以及其它内业、外业量测数据的一部分或全部均视作观测值,以整体地同时求解它们的值和待定点空间坐标的解算方法,能极大的提高摄影测量的系统精度。基于共线方程列出的光束平差的误差方程为式中:t、X1、X2、Xad分别是外参数、内参数、物方坐标及畸变参数的改正数向量,A,B,C,Dad分别为对应的系数矩阵,L为观测值向量。3参考点距离对比参照德国VDI/VDE2634标准(图9),采用(图9(b))所示的测试框架(2000mm×2000mm×1500mm),布置参考点和标尺,摄像站位置按照图1,围绕物体环形分布,共拍摄39张照片,作为一组。取图9(a)中1、2、4、5、7个位置的参考点距离进行比较,重复拍摄7组,分别输入XJTUDP和TRITOP测试,构建出参考点坐标后测量点距。对比测量结果得出表1。对比表1可以看到,每相对应组的平均值非常接近,差别最大的为距离3,相差0.01mm,最小为距离1,值为0。为检验两软件的精度和稳定性,考虑其每组平均值相差很小,可以看作是一致的,这里以XJTUDP测的每组平均值为横坐标,TRITOP和XJTUDP相对应平均差和极差为纵坐标得出图10。从图10可以看出,XJTUDP和TRITOP重建结果重复精度较高,鲁棒性较好,均优于0.1mm/m。4点云自动拼接近景工业摄影测量软件与面扫描软件相结合,可以提高测量精度,避免单纯依靠面扫描软件测量时点云匹配带来的累计误差,并可实现点云的自动拼接,降低操作工人的劳动强度。通过在待测物体上放置标志点和多摄站拍摄,获得物体的全局坐标。将其输入面扫描软件,则扫描的每幅点云通过动态坐标转换,得到其在全局摄影坐标下的姿态(图11)。图11、12为XJTUDP和面扫描软件配合使用获取白车身的点云外形,实际效果证明可以应用在工业测量领域。5系统开发的价值针对大型工件复杂曲面难以精确测量和获得准确数据模型,国外的商用摄影测量软件长期在国内占据垄断地位,在国内率先开发了拥有自主知识产权的近景工业摄