数字近景摄影测量技术研究与实现

数字近景摄影测量技术研究与实现1.1选题的背景和意义随着现代科学技术和工业生产的不断开展，越来越多的领域对工件的三维尺寸和外表轮廓等参数提出了测量需要。在很多行业和领域〔如汽车制造业〕测量己深入到生产过程中进行在线检测。传统的三坐标测量无法满足现代生产的要求：速度慢、受行程限制、无法进行在线测量1.1选题的背景和意义本文提出了一种基于数字图像处理技术、摄影测量技术大尺寸工件三维关键点测量方法，该方法利用数字相机采集的一系列图像对工件上的关键点进行三维重建，具有快速、高精度、灵活、适用于在线测量等优点。1.2课题来源天津汽车模具厂需要对泡沫实型、铸件、模具型面等进行检测1.2课题来源四川东风电机厂需要进行叶片检测1.2课题来源本研究受以下基金支持：国家863方案(2007AA04Z124)“大型复杂曲面产品的反求和三维快速检测系统研究〞江苏省科技支撑方案(BE2021058)“三维光学快速质量检测系统研发〞1.3

国内外研究现状摄影测量技术在国外的开展 美国GSI公司的V-STARS系统 德国AICON3D公司DPA-Pro系统 德国GOM公司的TRITOP系统 挪威METRONOR公司的METRONOR系统等 精度0.1mm/m国内高校和研究机构 武汉大学近景摄影测量有着深入的研究，主要应用于建筑、航拍大地量测。天津大学对摄影测量技术也做了大量的研究。国内尚未出现针对大型复杂工件的自动化近景摄影测量系统。

1.3

国内外研究现状目前国外已有不少成熟的摄影测量系统，但这些系统对于国内的应用有诸多缺乏:1.价格昂贵;2.使用不方便，有的还需要特殊的硬件及系统要求，如TRITOP系统必须在LINUX系统下运行;3.无法根据国内用户需求进行有针对性的功能开发等等。而国内又尚未出现可用的近景摄影测量系统;1.4技术路线图1.5主要工作内容近景摄影测量理论研究基于亚像素边缘拟合的高精度标志点中心检测编码点设计及编码点自动检测摄影测量的相机标定及三维重建摄影测量系统实现、精度评定及生产应用2近景摄影测量理论研究及实现方案2.1中心透视投影2.2共线方程2.3共面方程2.4相对定向2.5绝对定向与空间前方交会2.6空间前方交会2.7光束平差2.1中心透视投影物方点经过相机镜头摄影后成像到像平面上，理想的投影成像模型是几何光学中的小孔成像模型，其本质就是射影几何中的中心透视投影过程。2.2共线方程对于理想的相机来说，物方点、镜头中心和像点三点是共线的。但在实际中是不存在理想的相机的，由于各种因素的干扰，使得像点在焦平面上相对其理论位置存在一定的偏差。对基于数字相机的摄影测量来说，引起偏差的因素主要有相机镜头的径向畸变和偏心畸变、像平面不平畸变和像平面内比例及正交畸变。2.2共线方程顾及到像点系统误差的影响，那么共线方程可以写成相机的内方位元素和镜头的光学畸变系数统称为相机的内部参数，外方位元素称为外部参数。2.3共面方程物体点在两张照片上形成的两个像点与对应的相机光心之间的两条连线处于同一个平面内。由此得到摄影测量的另一个根本关系式，共面方程：2.4相对定向相对定向是以左像片为基准，求出右像片相对于左像片的五个定向元素：相对定向的计算基于共面方程，对应的误差方程：2.5绝对定向与空间前方交会确定图像在世界坐标系中的绝对方位的过程叫作绝对定向，也就是利用图片上图像点坐标和对应的控制点的三维坐标来确定相机在世界坐标系下的绝对方位：2.5绝对定向与空间前方交会单像空间前方交会解法，是把一张照片覆盖的一定数量的控制点的像点坐标作为观测值，以求解该像片内、外方位元素的过程。在内方位元素，控制点坐标为真值的情况下，共线方程对应的误差方程：因为外方位元素只有6个未知数，所以只需要3个控制点即可进行计算。单像空间前方交会算法是对非线性方程进行线性化后的迭代运算。2.6空间前方交会空间前方交会算法，是根据内、外方位元素的两张或两张以上像片，把待定点的像点坐标坐标视作观测值，以求解其或是值并逐点求解待定点物方空间坐标的过程。在空间前方交会中，因内、外方位元素，那么式对应的误差方程可表示为：2.7光束平差算法基于共线条件方程的摄影测量光束平差算法〔MethodofBundleAdjustment〕，是一种把控制点的像点坐标、待定点的像坐标以及其他内业、外业量测数据的一局部或者全部均视作观测值，以整体的求解它们地或是值和待定点空间坐标地解算方法。其求解原那么是使得各类观测值地改正数满足为最小。基于共线方程列出的光束平差的误差方程为：其中t，X1，X2，Xad分别是外参数，内参数，物方坐标及畸变参数的改正数向量。A,B,C,Dad分别为对应的系数矩阵矩阵。L为观测值向量。2.7光束平差算法光束平差算法原理图：3标志点识别3.1标志点设计3.2图像获取3.3基于亚像素边缘拟合的高精度标志点中心检测3.4编码标志点自动识别3.1标志点设计非编码点：编码点：编码标志又分为8位、10位、12位、14位、15位等几种编码。3.2图像获取本研究采用的相机为NIKON-D90，传感器类型为CMOS，传感器尺寸为23.6×15.8mm，最大分辨率为3872*2592像素

3.3基于亚像素边缘拟合的高精度标志点中心检测像素级边缘检测算法：Canny检测算法亚像素边缘算法：梯度均值算法精度：0.02像素

3.3

基于亚像素边缘拟合的高精度标志点中心检测与TRITOP检测结果比照分析3.4

编码标志点自动识别3.4

编码标志点自动识别首先按照编码标志和非编码标志的区别，用前面得到的标志点的椭圆参数，对标志点的外圈环带进行采样，对采样的灰度数据进行分析，得到标志点的类型。假设是编码标志点，那么分析得到编码标志环带的径向范围，并根据标志点的几何尺寸把环带分成n〔n为编码位数的整数倍〕等份，得到n个扇环区域。对环带进行灰度采样，对采样的灰度值进行处理得到一个灰度阈值。由灰度阈值，并对每个扇环的采样值进行滤波，得到n位编码序列。由n位编码序列经过循环移位和合并，得到标志点的编码序列。由标志点的编码序列经循环移位找到编码序列的最小值，然后查表得到其编码值。3.5

基于梯度的分块检测利用基于梯度的分块法检测可以使1000万像素图片的检测时间由7-8秒减少到1-2秒，而精度保持不变。4摄影测量的相机标定及三维重建技术相机的标定是指确定其内部参数和外部参数的过程。传统的标定方法需要设计一个高精度的几何物体，常用的主要有Tsai’s和张正友的两步法。摄影测量的相机标定不需要有精确的标定物体。摄影测量不需要利用标定板进行单独的相机标定，摄影测量相机标定的过程也就是三维重建的过程。摄影测量的相机标定主要包括一下几个过程：

相对定向、绝对定向、求待定点三维坐标初值、光束平差4.1相机镜头畸变径向畸变偏心畸变像平面畸变内方位元素误差任一像点的系统性误差是径向畸变、偏心畸变、像平面内畸变和内方位元素不准确引起的畸变的总和，这些内部参数所引起的像点坐标偏差称之为像点的系统误差，写成下式：4.2待标定的相机模型本文采用十参数畸变模型。对参加畸变参数的共线方程进行线性化后得到对应的误差方程：其中，V是像点坐标残差，X1、X2、X3分别为内参数〔包括畸变参数〕、外参数和物方点坐标的改正数，A、B、C分别是它们对应的偏导数矩阵，L是观测值向量。4.3实验场法标定利用一定数量的空间坐标、距离的控制点建立控制场，用待标定的数码相机从不同的角度对控制场进行拍照，利用前方交会对数码相机进行标定的方法成为实验场法。实验场法计算简单、结果稳定，但是需要控制点，测量范围受实验场大小限制，因此不够灵活，不适用于在线测量。4.4自标定所谓的自标定是指讲内、外参数放在一起同时进行整体平差计算，也就是带有附加参数的整体平差。自标定不需要知道任何物方点的坐标，只需要知道至少一个空间点对的距离，就可以利用光束平差的方法，同时计算出相机内、外参数和物方点的坐标，实现相机的标定。4.5相机标定实验同时用张正有算法和自标定算法进行标定计算，然后利用所得到的两组参数进行重投影误差计算，以比照标定的精度。标定用的图像序列：

4.5相机标定实验

张正有算法标定结果重投影误差：重投影平均误差在0.23个像素左右，最大误差在0.42个像素

位置平均误差最大误差误差和标准偏差10.25510.353625.25490.047320.33990.424633.65010.042930.21650.311721.43350.049940.25030.364524.77970.058850.17520.256317.3480.041860.24530.350124.28470.049270.31790.421231.47210.040380.17940.275717.76060.05124.5相机标定实验自标定法重投影误差：标志点圆心的重投影平均误差在0.07个像素左右，最大误差在0.25个像素位置平均误差最大误差误差和标准偏差10.06130.25126.06870.034820.06870.17036.80130.038930.06070.14996.00930.029140.07990.21877.91010.042350.06180.21346.11820.037260.07460.24787.38540.042170.06380.19016.31620.037380.07010.23246.93990.03794.6核线匹配对极几何矩阵F是立体视觉与运动视觉中一个非常重要的矩阵，称为根底矩阵(fundamentalmatrix)4.6核线匹配仅考虑两幅图片时，很容易产生歧义性，即沿某一极线搜索时有多个像点会被选为对应像点。一般来说，利用要三幅或者四幅图之间相互进行极线匹配就可以大大降低匹配的出错率。匹配成功后，利用两个位置相机的内、外参数，以及对应的像点，那么可以重建得到点的物方三维坐标。4.7计算未知点三维坐标两个相机的投影矩阵分别为：两幅照片上匹配的图像坐标分别为：用最小二乘的算法，得出点的物方坐标：5.1系统实现程序界面图像处理模块三维重建模块比照模块321对齐功能、测距功能5.2

摄影测量精度测定和评价方法与实验结果

参照国外研究机构对工业近景摄影测量的测试方法，我们采用如下图的测试框架，在框架各处布置参考点和标尺，然后在多个方向拍摄照片，重建出参考点坐标后测量5组参考点距离，重复拍摄7次，同时使用TRITOP进行计算，比照测量结果。5.2

摄影测量精度测定和评价方法与实验结果距离1距离2距离3距离4距离5第一组969.496968.2291100.060320.385320.389第二组969.526968.2221100.064320.372320.367第三组969.527968.2071100.081320.387320.377第四组969.525968.1931100.048320.354320.358第五组969.506968.2381100.075320.387320.387第六组969.508968.2251100.066320.365320.365第七组969.539968.2261100.077320.373320.366标准差0.0150.0150.0110.0130.012极差0.0430.0450.0330.0330.031平均值969.518968.2201100.067320.375320.373摄影测量结果(mm)5.2

摄影测量精度测定和评价方法与实验结果距离1距离2距离3距离4距离5第一组969.502968.2231100.056320.378320.383第二组969.518968.2021100.059320.366320.365第三组969.531968.2111100.080320.372320.373第四组969.54968.1821100.149320.367320.372第五组969.515968.221100.076320.381320.384第六组969.512968.2211100.055320.37320.369第七组969.511968.2231100.061320.371320.366标准差0.0130.0150.0330.0060.008极差0.0380.0410.0940.0150.019平均值969.518968.2121100.077320.372320.373TRITOP测量结果(mm)5.2

摄影测量精度测定和评价方法与实验结果从结果中可以看出，使用光束平差算法重建的结果与TRITOP结果根本一致，两个重复精度较高，优于0.1mm/m。5.3工业近景摄影测量技术在泡沫实型检测中的应用5.3工业近景摄影测量技术在大型水轮叶片检测中的应用5.3工业近景摄影测量技术在汽车逆向设计中的应用结论1.在对摄影测量理论进行了详细研究的根底上，提出了摄影测量系统的实现方案：利用图像处理得到的结果〔标志点图像坐标〕，依次进行相对定向、绝对定向、三维重建、捆绑调整等过程并参加比例尺，最终实现物体点三维坐标的准确重建。2.实现了数字图像的自动化处理。设计了一种能够依据图像处理理论自动提取其特征的标志点编码方案。利用canny检测与改进的梯度均值提取亚像素的方法实现了高精度的标志点中心检测，精度到达0.02像素。设计并实现了编码点的快速检测算法。提出了基于梯度的分块检测算法，极大的提高了检测速度，对1000万像素的图片检测仅需1-2秒。结论3.实现了数字像机的高精度标定。研究像了机的畸变规律。采用十参数的数字像机模型，利用光束法自标定实现了像机的高精度标定，与传统的标定的方法相比，显著地提高了标定精度。4.实现了物体点准确的三维重建。利用多张图片的极线匹配实现了非编码点的高精度匹配，极大的降低了匹配错误率。5.在对摄影测量理论进行了细致研究的根底上，本文在Windowsxp环境下，利用VC++6.0开发出了一套摄影测量系统。对该系统进行了严格的精度验证，精度到达0.1mm/m，与国外同类产品精度相当。将该系统应用于汽车模具等大型工件的测量当中，取得到了很好的效果。展望1.定向反光点材料在图像处理的鲁棒性以及精度方面有其独特的优势，可以予以尝试。编码标志点的设计方案，本文采用的环形编码，而分布式编码的识别未作研究。2.由于各种外在因素的影响，图像处理结果总是会存在一定几率的误差甚至粗差，重建过程中对大误差数据的排除非常关键。如果不能正确排除错误数据，可能会造成重建结果误差较大甚至完全错