【优秀硕士博士论文】数字近景摄影测量关键技术研究与实现

硕士学位论文数字近景摄影测量关键技术研究与实现RESEARCHANDIMPLEMENTONKEYTECHNOLOGYOFDIGITALCLOSERANGEPHOTOGRAMMETRY学科专业机械制造及其自动化2009年01月论文题目数字近景摄影测量关键技术研究与实现学科专业机械制造及其自动化摘要对于大型、复杂工件，如汽车覆盖件、飞机蒙皮、船舶壳体、风力发电机叶片及大型设备、模具等，采用传统的接触式测量技术速度慢、量程受限制、操作不方便，有时甚至无法测量。因此对于这类工件的三维尺寸检测一直是工业测量研究的难题。针对这类问题的研究无疑对汽车、航空航天、航海、能动、机械等行业和相关学科发展具有重要的理论意义和工程应用价值。本文对数字近景摄影测量中的一些关键技术问题进行了研究，开发出一套完整的摄影测量系统。该系统利用从多个角度拍摄的图像序列，可以快速、准确地实现物体表面关键点的三维重建。主要研究工作的内容和所获成果有（1）提出了一种摄影测量系统的实现方案。深入研究了方案中的相关理论，包括共线方程、共面方程、相对定向、绝对定向、后方交会、前方交会、光束平差等。（2）研究并实现了数字图像的自动化处理。设计了一种能够自动提取其特征的标志点编码方案。利用CANNY边缘检测法与改进的梯度均值提取亚像素的方法实现了高精度的标志点中心检测，精度达到002像素。实现了编码点的快速检测算法，提出的基于梯度的分块检测算法极大的提高了检测速度，对1000万像素的图片检测仅需12本研究得到国家863项目2007AA04Z124）资助。秒。（3）研究并实现了数字像机的高精度自标定。分析了像机的畸变规律，采用10参数的数字像机模型，利用光束法自标定实现了像机的高精度标定，与传统的标定方法相比，显著地提高了标定精度。（4）实现了物体点的三维重建算法。利用多张图片的极线匹配实现了非编码点的高精度匹配，极大的降低了匹配错误率。在WINDOWSXP环境下，利用VC60开发出了一套摄影测量系统，并对该系统进行了严格的精度验证，精度达到01MM/M，与国外同类产品精度相当。该系统已经成功应用于汽车模具等大型工件的生产检测，取得到了很好的效果。关键词数字近景摄影测量；相对定向；标志点；光束平差；自标定论文类型应用研究TITLERESEARCHANDIMPLEMENTONKEYTECHNOLOGYOFDIGITALCLOSERANGEPHOTOGRAMMETRYSPECIALITYMECHNICALENGINNERINGAPPLICANTZHENGZONGTANGSUPERVISORPROFCHENGGUORELATIVEORIENTATIONMARKPOINTBUNDLEADJUSTMENTSELFCALIBRATIONTYPEOFTHESISAPPLIEDRESEARCH目录1绪论111引言112数字近景摄影测量技术1121研究背景1122国内外发展现状213课题来源与研究意义4131课题来源4132研究意义414主要研究内容和技术路线5141主要研究内容5142技术路线52摄影测量系统方案721引言722系统方案流程图723中心透视投影及常用的坐标系9231中心透视投影9232常用的坐标系9233坐标系之间的转换关系1024共线方程与共面方程11241共线方程11242共面方程1225相对定向1326绝对定向16261单像空间后方交会16262DLT直接线性变换法16263角锥体法1827空间前方交会2028光束平差2129本章小结223标志点识别2331引言2332图像的获取与标志点设计23321图像获取23322标志点的设计2333基于亚像素拟合的圆形标志点中心检测25331边缘检测26332亚像素边缘提取28333椭圆中心拟合29334基于梯度的分块法检测2934编码点检测3035实验及结果分析31351实验方案31352实验结果及分析3136本章小结334数字像机标定与三维重建3441引言3442像机成像模型34421径向畸变35422偏心畸变35423像平面畸变36424内方位元素误差3643待标定的像机模型3744像机标定方法38441实验场法38442自标定3945像机标定实验4046三维重建42461核线匹配42462计算三维坐标43463匹配及重建实验4347本章小结455系统实现与应用4651引言4652系统软件设计及实现46521系统界面47522图像处理模块47523三维重建模块47524对比模块4853系统的硬件组成4954精度验证试验5055工业应用51551泡沫实型检测51552叶片检测5356本章小结556结论与展望5661结论5662展望56致谢59参考文献61附录1标志点中心检测数据64声明CONTENTS1PREFACE111FOREWORD112DIGITALCLOSERANGEPHOTOGRAMMETRY1121RESEARCHBACKGROUND1122RECENTDEVELOPMENTATHOMEANDABROAD213SUBJECTSOURCEANDRESEARCHSIGNIFICANCE4131SUBJECTSOURCE4132RESEARCHSIGNIFICANCE414RESEARCHCONTENTANDTECHNOLOGYROUTE5141RESEARCHCONTENT5142TECHNOLOGYROUTE52DIGITALCLOSERANGEPHOTOGRAMMETRYSYSTEMSCHEME721FOREWORD722SYSTEMSCHEMEFLOWCHART723PINHOLECAMERAMODELANDBASICCOORDINATESYSTEMS9231PINHOLECAMERAMODEL9232BASICCOORDINATESYSTEMS9233RELATIONSHIPSBETWEENCOORDINATESYSTEMS1024COLLINEARITYEQUATIONSANDCOPLANARITYEQUATIONS11241COLLINEARITYEQUATIONS11242COPLANARITYEQUATIONS1225RELATIVEORIENTATION1326ABSOLUTEORIENTATION16261SPACERESECTION16262DIRECTLINEARTRANSFORMATION16263SIMILARITYTRANSFORMATION1827SPACEINTERSECTION2028BUNDLEADJUSTMENT2129BRIEFSUMMARY223MARKPOINTRECOGNITION2331FOREWORD2332DIGITALIMAGEACQUIREMENTANDMARKPOINTDESIGN23321DIGITALIMAGEACQUIREMENT23322MARKPOINTDESIGN2333CENTERLOCALIZATIONOFMARKPOINT25331EDGEDETECTION26332SUBPIXELDETECTION28333BESTFITUSINGLEASTSQUARESMETHOD29334METHODTOIMPROVEPROCESSINGSPEED2934CODEPOINTRECOGNITION3035EXPERIMENTANDRESULTANALYSIS31351EXPERIMENTMETHOD31352RESULTANDANALYSIS3136BRIEFSUMMARY334DIGITALCAMERACALIBRATIONAND3DRECONSTRUCTION3441FOREWORD3442CAMERADISTORTIONMODEL34421RADIALDISTORTION35422TANGENTIALDISTORTION35423AFFINITYANDSHEAR36424INTERIORPARAMETERSERROR3643CAMERAMODELTOBECALIBRATED3744METHODSOFCALIBRATION38441TESTFIELDCALIBRATION38442SELFCALIBRATION4945CAMERACALIBRATIONEXPERIMENT40463DRECONSTRUCTION42461MARKPOINTMATCHUSINGEPIPOLARLINERESTRICTION42462CALCULATE3DCOODINATES43463EXPERIMENTOFMARKPOINTMATCHANDRECONSTRUCION4347BRIEFSUMMARY455SYSTEMIMPLEMENTATIONANDINDUSTIALAPPLICATION4651FOREWORD4652DESIGNANDIMPLEMENTATIONOFTHESYSTEM46521SYSTEMINTERFACE47522IMAGEPROCESSINGMODULE475233DRECONSTRUCTIONMODULE47524COMPAREMODULE4853HARDWARECOMPONENTS4954PRECISIONEXPERIMENT5055INDUSTIALAPPLICATION51551BUBBLEMODELDETECTION51552TURBINEBLADEDETECTION5356BRIEFSUMMARY556CONCLUSIONSANDSUGGESTIONS5661CONCLUSIONS5662SUGGESTIONS56ACKNOWLEDGEMENTS59REFERENCES61APPENDIX1RESULTOFCENTERLOCALIZATION64DECLARATION在每一章的末尾插入下一章的MATHTYPE的章标记（打印前将其字体颜色变为白色，在打印预览中看不见即可）EQUATIONCHAPTER1SECTION11绪论11引言随着现代科学技术和工业生产的不断发展，越来越多的领域对工件的三维尺寸和表面轮廓等参数提出了测量需要1,2。在很多行业和领域（如汽车制造业）测量己深入到生产过程中进行在线检测3。在一些大型工程中需要现场检测4。目前，对于小于1M长度工件的三维尺寸质量检测，基本不存在问题，多采用三坐标测量机、关节臂等完成。而对于1M30M长度的工件，如汽车模具、汽车覆盖件、飞机部件、船舶部件、风力发电叶片、大型机械设备等各种大型铸件、锻件、冲压件、塑料件、结构件和大型机械设备，采用传统的接触式三维测量技术速度慢、量程受限制、操作不方便，有时甚至无法测量。所以，对于中大型工件的三维尺寸检测一直是工业测量研究的重点和难点58。在逆向工程中，三维尺寸测量已经成为整个先进闭环制造过程中一个不可缺少的关键环节9，如图11所示，根据现有的产品模型，利用数字化测量设备获得实体数据，然后对这些数据进行拟合，构建一个完整的CAD模型，继而将这些模型和设计参数用于产品的分析和制造，并且可以通过对重构模型特征参数的调整和修改来达到对实物模型的逼近和修改，以此制造出新的产品，满足产品更新速度越来越快的要求。实物模型数字化点云CAD设计评估CAE工艺评估CAM成品OKNOOKNO图11逆向工程流程图近年来，随着数字图像硬件和图像处理算法的成熟，使得基于摄影测量技术的大型工件三维光学测量成为可能。因此研究基于数字图像和摄影测量技术的快速三维测量方法，既具有重要的理论意义，又具有重大的实用价值，应用前景非常广阔。本章首先介绍了摄影测量技术的研究背景、国内外研究状况以及存在的主要问题，然后阐述了本课题的来源和研究意义，最后说明了本文的主要研究内容和技术路线。12数字近景摄影测量技术121研究背景摄影测量PHOTOGRAMMETRY是一门通过分析记录在胶片或电子载体上的影像，来确定被测物体的位置、大小和形状的科学10。摄影测量大致可分为遥测、远景摄影测量、近景摄影测量和显微摄影测量。遥测主要是指十几公里以上的卫星摄影测量、航空摄影测量。远景摄影测量主要是指百米到几公里意外的测量，如对高大建筑物的测量、对火箭发射过程的测量等。近景摄影测量主要是指测量范围小于100M，像机布设在物体附近的摄影测量11。显微摄影测量多指对毫米量级一下尺寸利用各种放大和显微镜进行的测量。数字近景工业摄影测量通过在不同位置和方向获取同一物体的两幅以上的数字图像（图12A），经计算机图像处理、三维重建等算法得到待测点精确的三维坐标（图12B）。近景摄影测量是为多种学科的科学研究、实验和生产服务的非接触量测手段，因此非常适合于那些难于接触的物体（包括动态物体和不规则曲面物体）的表面尺寸测量。又因为它采用了严密的解析计算方法而获得了很高的计算精度，所以逐渐受到重视。A像机布站图B三维点云图12摄影测量工作原理示意图122国内外发展现状数字近景摄影测量技术是建立在摄影测量、数字成像、图像处理和精密测量原理基础上的新型精密测量技术，其用于工业现场是目前精密测量研究和应用的一个热点。数字近景摄影测量的发展历史可以概括为五个不同特征的时期基础阶段的早期；初进入数字阶段的逐步发展期；进入数字阶段的全面发展时期；稳步研究和加大推广应用的深入发展期和新近的成熟期12。1964年1984年是数字近景摄影测量早期阶段，这一时期的研究成果主要是奠定了数字近景摄影测量的理论基础13。19841988年是进入数字阶段的逐步发展期，在系统的设计、开发、标定等方面为后续的研发奠定了基础14。1988年1992年，数字近景摄影测量步入全面发展时期，越来越多的研究者在此方向进行研究和系统开发，出现了许多成功的应用报道，而且应用领域大大拓宽了（如工业测量、生物立体测量、流量测量、汽车碰撞实验测量和空间探测等）15。1992年1996年，数字近景摄影测量的研究和开发不再像前一阶段那样不断出现新成果和新发现，而是处于更加稳步的发展，业内更多的关注是拓展应用和成型系统的市场推广。1996年至今，数字近景摄影测量的研究及应用已步入成熟期。它已能满足医学领域对图像实时性、几何高精度方面的要求，可用于外科、人体测量学、人类行为动作的监控测量等。国外对摄影测量技术的研究起步较早，因此相应的生产厂家和产品比较多，比较典型的有美国GSI公司的VSTARS系统（如图13）、德国AICON3D公司DPAPRO系统、德国GOM公司的TRITOP系统、加拿大EOS公司的PHOTOMODELER系统、挪威METRONOR公司的METRONOR系统等。近景摄影测量系统使用高分辨率数码相机，从多个角度拍摄预先布置的圆形参考点和带有编码的参考点，然后自动三维重建，得到工件表面参考点的三维坐标，精度可达01MM/M。这些系统已经大量应用于航空、航天、汽车、轮船等领域的工业检测以及逆向设计工作中。另外，摄影测量技术也是各种光学变形测量的基础，包括动态变形测量、静态变形测量等。图13VSTARS系统组成国内高校和研究机构对于摄影测量技术的研究起步较晚。武汉大学近景摄影测量有着深入的研究，研究的重点主要是针对航拍、大地测量等1618。天津大学对摄影测量技术也做了大量的研究1921。目前，国内尚未出现针对大型复杂工件的自动化近景摄影测量系统22。针对大型、复杂工件的三维测量，数字近景摄影测量的关键技术以及国内外研究存在的主要问题如下（1）数字图像的自动化处理。包括标志点的中心的高精度定位和编码标志点的识别。目前国外报告的最高精度在002像素左右。过去的研究对于处理速度很少有关注，而实际工程中，图像数量比较大，必须在保证精度的前提下提高处理速度。（2）像机的高精度标定。像机的标定结果直接影响着三维测量结果的精度，国外对于摄影测量的像机自标定技术的研究已经比较成熟，并已有大量成功的应用。而国内对于像机标定技术的研究大多停留在传统的标定方法上，对于近景摄影测量的自标定技术研究及实验较少。（3）基于核线匹配的三维重建。同名点的准确匹配是三维重建的基础，对于编码点标志点可以利用编码进行直接匹配，而对于非编码点，利用多幅图像之间的核线约束可以进一步提高匹配的正确率。（4）完整摄影测量系统的开发。目前国外已有不少成熟的摄影测量系统，但这些系统对于国内的应用有诸多不足价格昂贵；使用不方便，有的还需要特殊的硬件及系统要求，如TRITOP系统必须在LINUX系统下运行；无法根据国内用户需求进行有针对性的功能开发等等。而国内又尚未出现可用的近景摄影测量系统。针对国内外研究现状，本文计划在对摄影测量关键技术进行详细研究的基础上，开发出一套完整的摄影测量系统。13课题来源与研究意义131课题来源天津汽车模具有限公司在模具制造过程中经常需要测量泡沫实型、毛坯件的关键点的三维尺寸，德阳二重集团在涡轮叶片的生产过程中需要测量叶片上关键点间的三维尺寸，传统的接触式测量由于行程、速度的原因，往往很难满足要求，因此需要一种快速的非接触测量方式。通过数字像机采集物体图片，利用近景摄影测量技术计算得到物体的三维尺寸并建立起三维模型可以很好的解决这一问题。本研究所开发的大型三维光学测量系统23XJTUOM在大幅面物体三维表面点云的获取中，由于不能够一次完整获取其表面信息而需要对多次获取的结果进行拼接操作，这种拼接导致获取的物体三维表面信息产生整体误差。利用近景摄影测量可以先测量整个物体表面的关键点信息再利用其关键点来拼接各次获取的三维点云可以减小整体误差的产生，具有很大的实用价值。以上为本课题的企业相关需求，本课题直接来源于国家“863”计划大型复杂曲面产品的反求和三维快速检测系统研究（2007AA04Z124）。132研究意义数字近景工业摄影测量通过在物体的表面及其周围放置标志点，包括编码点和非编码点，然后从不同的角度和位置对物体进行拍摄，得到一定数量的照片，经过图像处理、标志点的定位、编码点的识别，可以得到编码点的编码以及标志点中心的图像坐标。利用这些结果，经过相对定向、绝对定向、三维重建、以及光束平差，最后加入标尺约束及温度补偿，可以得到标志点准确的三维坐标。利用该系统能在极短时间内准确地获得物体的三维信息，从而实现物体的三维建模，尤其适用于自由曲面的三维检测，具有无接触、灵活、快速等优势，因此在机械零件测量、反求工程、虚拟现实等方面具有广泛的应用前景。另外，近景摄影测量技术也是各种静态、动态的变形测量技术的基础24，因此对之进行研究具有重要的理论意义和工程应用价值（1）近景摄影测量最直接的应用就是对于工件的关键点测试，通过测量工件的关键点并与设计数模进行对比，可以获得实际工件与设计数模的偏差，从而作为CAM/CAE的依据。（2）可以与光学面扫描系统配合使用。光学面扫描系统每次只能测量一定大小的幅面范围，对于大型工件或者回转工件的测量，多次测量的拼接是一个很大的难题。利用近景摄影测量获得全局点，面扫描利用这全局点进行拼接可以很好得控制全局误差。（3）各种变形测量也都是基于近景摄影测量技术。通过测量物体表面关键点不同时间点的三维点坐标，可以获得这些关键点的三维坐标随时间的变化，从而计算得到这些点的变形量、速度、加速度等参数。14主要研究内容和技术路线141主要研究内容如122节所述，国内缺少成熟、可用的近景摄影测量系统，因此本文对数字近景摄影测量中的关键技术问题进行研究，最终开发出一套完整的摄影测量系统。本论文主要研究内容如下（1）系统的研究近景摄影测量的理论技术。主要包括坐标系的转换、共线方程、共面方程等基本关系，以及相对定向、绝对定向、后方交会、前方交会、光束平差等算法。对各种算法进行详细的推导及程序验证。（2）实现数字图像的自动化处理。设计一种能够依据图像处理理论自动提取其特征的标志点编码方案。实现标志点的高精度检测。寻求一种提高标志点检测速度的方法。（3）实现数字像机的高精度标定。研究数字像机畸变规律。研究并对比各种标定方法。利用光束平差自标定法实现数字像机的高精度标定。（4）实现物体点准确的三维重建。利用多张图片的极线匹配实现非编码点的高精度匹配，减少匹配错误率。（5）在对摄影测量理论基础进行详细研究的基础上，在WINDOWSXP环境下利用VC60开发出一套摄影测量系统。仿照国外对摄影测量系统精度验证的方法对该系统进行严格的精度验证。将该系统应用于汽车模具等大型工件的测量当中。142技术路线本文根据对天津汽车模具厂的生产需求分析，提出了一种基于摄影测量技术的关键点测量方案。通过对近景摄影测量技术的研究，设计一种编码点和非编码点，在物体的表面及其周围放置编码点和非编码点，然后从不同的角度和位置对物体进行拍摄，得到一定数量的照片，经过标志点检测，得到标志点的亚像素图像坐标。利用这些图像坐标，通过摄影测量三维重建，得到标志点准确的三维坐标，然后对得到的计算结果进行严格的精度验证与应用分析，最后得出结论与下一步的展望。具体的技术路线图如图14所示近景工业摄影测量市场需求分析天津汽车模具厂需求分析关键点测量需求、三维扫描拼接需求近景工业摄影测量系统设计摄测量原理分析编码点方案设计图像获取自动标志点检测，包括编码点和非编码点图像点坐标所有物方点的三维坐标三维重建实验与结果分析，与TRITOP系统对比天津汽车模具厂现场测试，包括泡沫实型、铸件、制件、模具的检测经过321基准对齐后，与数模进行对齐，分析偏差系统完善总结与展望系统完善图14技术路线图EQUATIONCHAPTERNEXTSECTION12摄影测量系统方案21引言本文的最终目的是开发出一套可以应用于实际生产过程的自动化摄影测量系统，因此需要首先提出系统的实现方案。该系统主要包括两大核心原理数字图像处理和近景摄影测量三维重建。其中数字图像处理将在第3章做详细介绍。而近景摄影测量三维重建是整个摄影测量系统的基础，是保证三维重建和计算精度的前提。近景摄影测量理论经过多年的发展，有了不少新的改进和发展，但是测量理论基础是不变的。这些理论既互相联系又各自相对独立，如何将这些理论有机的结合到一起，形成一套完整的自动化摄影测量系统方案是本章的主要内容。本章首先提出了摄影测量系统方案，然后根据这个方案，详细阐述了相关的基础理论。介绍了数字近景摄影测量中的各种坐标系、像机模型，推导了坐标系之间的转换关系。然后介绍了共线方程、共面方程等摄影测量基本的关系，这些基本关系是像机成像的基本关系，也是本文算法设计、理论推导和应用的理论基础。最后在此基础上详细介绍了三维重建中最重要的几个算法相对定向算法、绝对定向算法、后方交会算法、前方交会算法以及光束平差算法等。22系统方案流程图图21为本文所采用的摄影测量系统方案流程。在获取图像之后，首先进行标志点检测，得到标志点亚像素级的图像坐标，高精度的标志点检测是保证整个摄影测量计算精度的基础，如何对标志点图像中心进行高精度的检测将在第3章进行详细介绍。得到标志点中心之后，接下来就是利用这些图像点中心进行标志点的三维重建，这一部分是整个系统的关键。首先按照公共标志点数目的多少，选用两幅图片进行相对定向，计算出五个外参数（使用共面方程列误差方程，迭代运算），如果此两副图像相机夹角小于30度则改用下一幅图进行相对定向，直到找出相机夹角大于30度的两副图片，完成相对定向，并重建出至少5个编码点的三维坐标作为控制点。然后根据这些图片包含的控制点数目，依次循环处理剩余的图片首先利用控制点定向该图片，然后与已经定向好的图片分别搜索公共的未重建的编码标志点，然后重建出来。每定向完毕一幅图片后，利用光束平差算法同时调整外参数和物体点的三维坐标。所有图片都定向完毕后，利用光束平差算法同时调整内、外参数和物体点的三维坐标。然后利用极线约束匹配并重建非编码点，再利用光束平差算法同时调整内、外参数和物体点的三维坐标。最后加入比例尺和温度补偿，得到最终的物体点三维坐标。如果需要可以利用321对齐与数模进行对齐以方便偏差分析。具体流程如图21所示。自动标志点检测，包括编码点和非编码点图像点坐标基于共面方程的相对定向利用控制点进行单幅照片的定向外方位元素外方位元素三维重建编码点三维坐标初步值光束平差定向未定向图像所有图像都已定向完毕否非编码点极线匹配及三维重建整体光束平差所有物方点的三维坐标是偏差分析，包括重投影误差和三维重建偏差加入长度约束并进行温度补偿经过321基准对齐后，与数模进行对齐，分析偏差图像获取结果输出图21系统方案流程图23中心透视投影及常用的坐标系231中心透视投影物体点经过像机镜头摄影后成像到像平面上如图22，理想的投影成像模型是几何光学中的小孔成像模型25，其本质就是射影几何中的中心透视投影过程。ZYXD物方坐标系YXOYCS投影中心XCZCPX,Y,Z物方点PX,Y像点像平面F像机坐标系图22中心透视投影摄影镜头的光学中心为S，物方点P经过S投影到像平面上的像为P，O为主点，SO之间距离为焦距F。232常用的坐标系摄影测量常用坐标系一般采用右手准则来定义，常用的坐标系统包括以下几种1）物方空间坐标系物方空间坐标系OXYZ是全局统一的坐标系也称全局坐标系或世界坐标系，用来定义物方点的坐标PX,Y,Z，一般选取控制点的测量坐标系如全站仪测量坐标系为物方空间坐标系2）像平面坐标系像平面坐标系。OXY用以表示像点在像平面上的位置坐标系的原点为像片的几何中心，X轴平行于像素的水平采样方向，理想的成像系统中像平面坐标系的原点与主点重合。3）像空间坐标系像空间坐标SXYZ系用于表示像点在像方空间的位置坐标系原点选在投影中心上，X轴和Y轴分别与像平面坐标系的X轴和Y轴平行，这时Z轴就与摄影光轴重合了，则像点P在像空间坐标系中的坐标为X,Y,F4）摄影测量坐标系摄影测量坐标系是一种辅助性坐标系。当存在多个不同位置的像机摄站拍摄照片时，一般选取第一个摄站的像空间坐标系为摄影测量坐标系。233坐标系之间的转换关系在近景摄影测量中，当利用像点坐标计算相应的物体点坐标时，常常需要建立像点在不同平面直角坐标系和空间直角坐标系之间的坐标变换关系。1）世界坐标系与摄像机坐标系变换关系世界坐标系中的点到摄像机坐标系的变换可由一个正交旋转变换矩阵R和一个平移变换矩阵T表示为MERGEFORMAT21112233CWWCXABCXYRYTZZ公式MERGEFORMAT21中，平移矩阵是世界坐标系原点TXYZTT在摄像机坐标系下的坐标。旋转矩阵R中的各项分别为111222333COSSINSI,COSSINCOS,INCOS,COIII,I,ABB正交旋转矩阵R是摄像机坐标系相对世界坐标系坐标轴的方向余弦组合，实际只含有3个独立变量，再加上TX，TY，TZ，总共6个参数决定了摄像机坐标系在世界坐标系中的空间位置和角度，因此这6个参数称为摄像机外部参数。2）图像坐标系和摄像机坐标系的变换关系如图23所示，摄像机坐标系中的物点P在图像物理坐标系中的像点P坐标为MERGEFORMAT22/CXFXZYY将式MERGEFORMAT22的图像物理坐标系进一步转化成图像像素坐标系可以得到如下关系MERGEFORMAT23/OXYUXDSVY将上式写成齐次坐标与矩阵形式为MERGEFORMAT241/0/1XOYUDUXVVY其中，UO，VO是图像中心（光轴与图像平面的交点）的坐标，DX和DY分别为一个像素在X与Y方向上的物理尺寸，SX1/DX，SY1/DY分别为X和Y方向上的采样频率，即单位长度的像素个数。XYPOXCOCSYCPXYUVZPOS图23图像坐标系与摄像机坐标系24共线方程与共面方程241共线方程将式MERGEFORMAT21带入式MERGEFORMAT22中可得MERGEFORMAT25111333222333SSSSSSAXBYCZXXFFZYYFFC上式即为摄影测量中最为基本的共线条件方程（COLLINEARITYEQUATIONS）。事实上没有真正完美的像机，实际成像时，主点的像平面坐标不严格为零，而存在一微小值，记为另外由于摄像镜头的物镜畸变等因素的存在，使得各像点0,XY在像平面上相对其理论位置也存在偏差（如图24所示），因此实际成,XY像的共线方程为26MERGEFORMAT2611103332220333SSSSSSAXBYCZXXFFZYYFFC实际像点理论像点主点镜头像点物方点X0Y0XYXY图24实际的透视成像图称为像片的内方位元素（ELEMENTSOFINTERIORORIENTATION），用来确定投影中心在像空间坐标系中对像片的相对位置；成为像片的外方位元素（ELEMENTS,SSXYZOFEXTERIORORIENTATION，也称外部参数），用来确定一张照片和投影中心在物方坐标系中的方位27。242共面方程如图25所示，空间中一点P在2张相片上的投影点分别为P1、P2，两像机坐标系分别为和，选取像片1的像空间坐标系为摄影测量11SXYZ2XYZ11SXYZ坐标系，像点P1在中的坐标为，像点P2在像片2的像空间坐标1,TXYZ系下的坐标为,设投影中心在坐标系下的坐标为222,TXYZ2S11Z，像点P2在坐标系（与的三轴平行，,TXYZB1SXYZXY1SXY是辅助坐标系）中的坐标为，与之间的旋转矩阵22,T2122为R，因向量、共面，且有121PMERGEFORMAT27222XSPYRZMERGEFORMAT2812120A用行列式可以表示为MERGEFORMAT2911220XYZBFXYZ式MERGEFORMAT29是摄影测量里的另外一个基本关系共面关系方程（COPLANARITYEQUATION）。共面关系方程是相对定向的算法基础。PP1Y2Z2Z2X1Y1Z1X2X2Y2P2图25共面关系图25相对定向相对定向的意思就是指确定两幅图片之间的位置关系。由241节可知，确定一张像片的方位需6个外方位元素。因此，要确定一个立体像对的两张像片的方位需要12个外方位元素，即像片1；11,SSXYZ像片2；22,有了这12个外方位元素，就确定了这两张像片在世界坐标系中的方位，也就确定了两张像片之间的像对方位。在一般情况首先只考虑两张像片间的相对定向，再考虑整个图像序列在世界坐标系下的绝对方位。因此，将确定一个立体像对中两张像片间的像对方位的过程叫作相对定向；用来确定两张像片间相对方位的参数叫作该立体像对的相对方位元素；将确定像片在世界坐标系中的绝对方位的过程叫作绝对定向，其所必须的参数叫作该立体像对的绝对方位元素。如图26所示，将像片2的外方位元素减去像片1的外方位元素，得，1SSX1SSY2SSZ，221其中，、为摄影基线（两摄站投影中心的连线）在世界坐标系的SSS三个坐标轴上的投影，记为、。记XBYZ，则、这三个元22XYZBTAN/XSIN/ZVBXYBZ素可以用这三个元素代替。,BVZYXS1BBYBXS2VU图26相对定向于是，可以看出基线B的长度只影响立体像对的比例尺，并不影响其相对方位。因此，该立体想对的相对方位元素只需要五个，即28。,V相对定向的理论基础就是242节所介绍的共面关系方程。由图26可知MERGEFORMAT210TANYXXZBB将式MERGEFORMAT210代入式MERGEFORMAT29可得MERGEFORMAT2111111222200XYZFXYZXYZ其中MERGEFORMAT21222YRZF式MERGEFORMAT211中含有五个相对定向元素，其中隐含在,中，该式是一个非线性函数。为了平差计算，将MERGEFORMAT2112,X按多元函数泰勒级数展开，取小值一次项，得共面方程的线性公式为MERGEFORMAT2130FFF其中1122BXYZ11220FBXYZ111112222COSCSIN0YZBXYZXX11111222222SINICOSFBXYZBXYZY1122111222222COSSINCOSSINCOSINICOSFBXYZYZYZXZXY01122FBXYZ对应的误差方程为MERGEFORMAT2140FFV把的初值分别设为0，利用误差方程MERGEFORMAT214进行迭,V代运算。如果不收敛，则相对定向失败；如果收敛，那么再检查两幅图片对应相机光轴之间的夹角是否大于30度，若大于30度则相对定向成功，否则失败。如果失败，则换用另外的两幅图片进行相对定向。利用这样的约束条件能够保证高质量的相对定向，并为后续计算提供可靠的初值。26绝对定向由25节可知，确定图像在世界坐标系中的绝对方位的过程叫作绝对定向，也就是利用图片上图像点坐标和对应的控制点的三维坐标来确定像机在世界坐标系下的绝对方位。261单像空间后方交会单像空间后方交会解法，是把一张照片覆盖的一定数量的控制点的像点坐标作为观测值，以求解该像片内、外方位元素的过程。仅仅解算外方位元素的单像后方交会，是单像空间后方交会的一个特例。在这种情况下，内方位元素和控制点坐标已知道，则式MERGEFORMAT26对应的误差方程可表示为MERGEFORMAT215VATL其中XYVSSSSSSXXXYZAYYTTXLY因为外方位元素只有6个未知数，所以只需要3个控制点即可进行计算。单像后方交会算法是对非线性方程进行线性化后的迭代运算，因此需要未知数的初值。好的初值可以加速迭代运算的收敛，反之，不好的初值会增加迭代次数，甚至不收敛。因此，准确的求取外方位元素的初值非常关键。下面就介绍两种计算外方位元素的初值的算法DLT直接线性变换法和基于三角锥的算法。262DLT直接线性变换法直接线性变换DIRECTLINEARTRANSFORMATION解法是建立像素坐标与相应物方空间坐标之间直接的线性关系的算法29。直接线性变换算法因为无需内方位元素和外方位元素的初始近似值，故适合于与非量测相机所摄影像的摄影测量处理。直接线性变换（DLT）解法，原则上也是从共线条件方程式演变而来的。对于世界坐标系下的物体点和图像坐标下的图像坐标，有矩阵,MXYZ,XYMERGEFORMAT216123456789012LLLLL使得MERGEFORMAT2171234567890121XXLLYYLMZLL展开后可得MERGEFORMAT218123490156780LXYLZXYLL由共线方程公式MERGEFORMAT25可得MERGEFORMAT2191113332223330SSSSSAXBYCZAXBYCZXY假设112233SSSSSAXBYCZ则式MERGEFORMAT219可表示为MERGEFORMAT22011332233001ABCXYZXABCYXYZ对比式MERGEFORMAT218和式MERGEFORMAT220可以得到旋转矩阵R的分量与矩阵L的分量之间的关系，如式MERGEFORMAT221所示MERGEFORMAT2212222213567910345678910321352673910SSSSSLLLLLXYZLLLALBCLLALBCL对于式MERGEFORMAT218，令，则式910ALXYLZMERGEFORMAT218对应的误差方程为MERGEFORMAT222123491015678XYVLXYLZLXXYLXAYY利用式MERGEFORMAT222进行平差计算后，得到矩阵L，则根据式MERGEFORMAT221可以得到相应的旋转矩阵R，利用旋转矩阵R再计算平移矩阵T，如式MERGEFORMAT223。MERGEFORMAT223MRM263角锥体法DLT法无需内、外方位元素的初始近似值，属于线性解法，但它至少需要6个控制点，由于绝对定向只是提供光束平差计算的初值，所以需要的控制点数越少越好。故基于三个控制点的角锥体法在实际的系统及工作中比较实用。角锥体法是应用摄影光束角锥体中的像方空间和物方空间的光线间顶角相等原理，来确定像片的外方位元素。如图27中，、和表示世界坐标系下的三个已知坐标物体点（控制点），1P23、和分别为三个点在摄站S上对应的图像点，则角锥体和1P3123SP相似，因此可得2SP11213132323,SPPPS因为物方点在世界坐标系下的坐标和相应的像点在像空间1,23IPOXYZIP坐标系中的坐标均为已知，所以、SXYZ1SP2312P312P和的长度均为已知。23P1ZYXOSXZYXYP2P1P3P1P3P2图27角锥体在像空间坐标系下，对于角锥体，可以计算得到13SPMERGEFORMAT2242211122131313223323COSCOSSPPSP而在世界坐标系下，对于角锥体，也存在同样的关系123SPMERGEFORMAT225221112213113223323COSCOSSPSP在式MERGEFORMAT225中，只有、和三个长度是未知数，因为1SP23式MERGEFORMAT225是非线性方程，所以需要进行迭代求解。求初值的方法为MERGEFORMAT226113222133231SPPPPSPP求得三边长、和之后，则可得三个物方点在像空间坐标系下的坐标1P2SMERGEFORMAT227/IIIIPS现在，三个物体点在世界坐标系和像空间坐标系下的坐标都已经获得，接下来要计算旋转矩阵，首先计算三个物体点在世界坐标系和像空间坐标系下的中心123WCP则计算旋转矩阵的公式为MERGEFORMAT2281231123,WWCCCRPPP得到旋转矩阵之后，利用公式MERGEFORMAT223可计算得平移矩阵T。另外常见的还有一种基于四元数的绝对定向的方法30,31。27空间前方交会空间前方交会算法，是根据已知内、外方位元素的两张或两张以上像片（图28），把待定点的像点坐标视作观测值，以求解其或是值并逐点求解待定点物方空间坐标的过程。ZYXOS1S3S2P（X,Y,Z）图28多片空间前方交会在空间前方交会中，因内、外方位元素已知，则式MERGEFORMAT26对应的误差方程可表示为MERGEFORMAT229VBXL其中，XYVXYZYXZXYXLY物方点的每一个像点均可按照式MERGEFORMAT229列出两个方程，当物方点在两张或者两张以上的像片上成像时，就可以按照最小二乘算法计算该点的三维空间坐标。因为该算法也属于迭代计算，所以也需要计算未知数的初值。一般情况下，利用两幅图片就可以计算物方点三维坐标的初值。在利用两幅图像进行三维重建之前，必须完成图像外方位元素的计算和图像同名点的匹配。图像外方位元素的计算也就是图像的定向在25、26节已经进行了详细的论述。图像同名点的匹配已经计算物方点初值的算法将在第四章中介绍。28光束平差基于共线条件方程的摄影测量光束平差算法（METHODOFBUNDLEADJUSTMENT），是一种把控制点的像点坐标、待定点的像坐标以及其他内业、外业量测数据的一部分或者全部均视作观测值，以整体的求解它们地或是值和待定点空间坐标地解算方法（图29）。其求解原则是使得各类观测值地改正数满足为最小。基于共线方程列VTP出的光束平差的误差方程为MERGEFORMAT230123VAXBCXL其中为摄像机内参数变化量，为摄像机外参数变化量，为观察量也即2L图像点坐标，、分别是相应的变化量偏导矩阵。运用光束平差法的整体解算模式中，含有两类待定的未知参数一类是像机的内、外方位元素，另一类是每个待定点的物方坐标。后一类参数的数目往往比较大，一般达到几百个甚至上千个，所以法方程式的阶数很高，运算工作量是很大的。为了尽量减少计算量，采用逐点对原始误差方程式进行等效法化的办法，然后消去该点物方坐标未知参数，组成等效误差方程式和相应的简化法方程组，从而首先解算出各张像片的外方位元素，然后再利用多片前方交会的办法，逐点计算待定点的物方坐标，这就是摄影测量中的“逐点消元、法化”方法。ZYXYX图像坐标系物体点（X,Y,Z）X,YAZ,EI,ROLLXC,YC,ZC图29光束平差示意图29本章小结本章着重介绍了本文所开发的近景摄影测量系统的实现方案，主要工作有（1）在对摄影测量基础理论进行深入研究的基础上，提出了实现近景摄影测量系统的方案，并给我出了详细的流程图。（2）依据所提出的近景摄影测量系统的实现方案，详细阐述了相关的关键算法，主要包括相对定向算法、绝对定向算法、后方交会算法、前方交会算法以及光束平差算法等。EQUATIONCHAPTERNEXTSECTION13标志点识别31引言近景工业摄影测量的工作原理，是通过在物体的表面及其周围放置标志点，包括编码点和非编码点，然后从不同的角度和位置对物体进行拍摄，得到一定数量的照片，经过图像处理、标志点的定位、编码点的识别，可以得到编码点的编码以及标志点中心的图像坐标。得到的这些标志点的编号以及图像坐标是后续计算的基础。在基于特征点计算的摄影测量技术中，对标志点位置的检测精度直接关系到最后的计算精度，因此提高参考点位置检测精度是摄影测量中非常关键的问题。而编码标志点的识别是摄影测量实现自动化计算的基础，因此本章的主要内容包括图像的获取以及标志点的设计、标志点中心的检测和编码标志点的识别。32图像的获取与标志点设计321图像获取固体图像传感器最早出现于20世纪70年代初，它是通过将光信号转换成电信号形成影像，而不是在传统的感光乳剂上发生化学变化或者在电子撞击现实屏幕来成像。到了80年代，固体图像传感器已超过电子摄像管摄像机，在各行业尤其是广播电视系统广泛应用。固体图像传感器根据光敏元件可分为电荷耦合器件CCD、电荷注入器件CID和互补金属氧化物半导体CMOS等。其中，CCD传感器凭借其低价、低噪声、高动态性和杰出的可靠性等优势在市场上占统治地位32。自1991年KODAK公司推出第一款严格意义上的数码像机DCS100以来，市场上出售的数码像机品种数越来越多。按分辨率的不同，一般可以分为低、中、高分辨率三类。需要指出的是，数码像机的画质，取决于CCD的尺寸和像素单元的大小。也就是说，并不是分辨率越高越好，还要看CCD芯片的大小，故根据单位像素的尺寸将数码像机分为普通非专业型和专业型。专业数码像机的单个像素尺寸在5M5M以上，而普通非专业型的则在3M3M左右。本研究采用的相机为NIKOND80，