（电路与系统专业论文）三维场景重建的理论研究和工程实现.pdf

摘要 摘要 本文研究了基于双视图三维场景重建的基本理论和技术，结合实际项目，设 计出一套三维重建软件，并应用于工程实践中。 本文开始介绍了计算机视觉领域的发展以及三维重建的基本概念、技术和应 用，结合三维重建存在的问题以及实际项目需要，提出了本文研究背景。而后， 针对双视图三维场景重建，详细分析了每个步骤：首先是图像特征点的提取和匹 配，它是三维重建的基础，对比了h a r r i s 、s i f t 、k l t 算法，并对实验数据进行分 析，提出了一种应用于三维重建的可行方案；紧接着，介绍了摄像机的成像模型 以及摄像机标定方法，并给出项目中所用摄像机的内参数标定结果；然后描述了 双目视觉系统的成像模型，以及极线几何关系基本原理，我们根据极线约束、灰 度相关约束和仿射变换约束进行图像特征点的精确匹配，对匹配点进行三维重构， 较准地恢复出场景的深度信息。 最后，结合理论的研究和应用项目的要求，给出三维重建系统的设计流程和 工程实现，并指出在工程应用中存在的问题，提出改进的措施。 关键词：计算机视觉三维重建基本矩阵极几何 a b s t r a c tl h a b s t r a c t t h i st h e s i sh a ss t u d i e dt h et h e o r yo ft h r e e - d i m e n s i o n a lr e c o n s t r u c t i o nb a s e do nt w o v i e w s ，a n dd e s i g n e da3 dr e c o n s t r u c t i o ns o f t w a r ew h i c hh a sb e e na p p l i e di no u rp r o je c t a tt h eb e g i n n i n go ft h i st h e s i s ，w ed e s c r i b e dt h ed e v e l o p m e n ti nt h ef i e l do f c o m p u t e rv i s i o n ，a sw e l la st h eb a s i cc o n c e p t sa n da p p l i c a t i o n so ft h r e e d i m e n s i o n a l r e c o n s t r u c t i o n t h e nf o rt h et h r e e d i m e n s i o n a lr e c o n s t r u c t i o nb a s e do nt w ov i e w s ，w e g a v ead e t a i l e da n a l y s i so fe a c hs t e p f i r s t l y , w ec o m p a r e dh a r r i s ，s i f ta n dk l t a l g o r i t h m s ，a n a l y z e dt h ee x p e r i m e n t a ld a t a , a n dp r o p o s e dam e t h o dt ob ea p p l i e di n3 d c o n s t r u c t i o n s e c o n d l y , w ei n t r o d u c e dc a m e r ai m a g i n gm o d e l sa n dc a m e r ac a l i b r a t i o n m e t h o d s ，g a v et h er e s u l t so ft h ec a m e r ac a l i b r a t i o n t h i r d l y , w ep r e s e n t e di m a g i n g m o d e lo ft h eb i n o c u l a rv i s i o ns y s t e ma n d 印i p o l a rg e o m e t r y n e x t ，w eo b t a i n e dm o r e a c c u r a t em a t c h i n gp o i n t sa c c o r d i n gt oe p i p o l a rg e o m e t r yc o n s t r a i n t s ，a sw e l la st h e 黟a y c r o s s c o r r e l a t i o nc o n s t r a i n t sa n da f f i n et r a n s f o r m a t i o nc o n s t r a i n t s f i n a l l yw ec a l c u l a t e d t h es p a t i a lc o o r d i n a t e so fm a t c h i n gp o i n t s 埘t l lt h ep r i n c i p l eo ft r i a n g u l a t i o n i nt h i st h e s i s ，w ed e s i g n e dt h es o f t w a r eo f3 dr e c o n s t r u c t i o n ，p o i n t e do u tt h e p r o b l e m s i n t h ec u r r e n t i m p l e m e n t a t i o n , a n dg a v es u g g e s t i o n s f o rf u r t h e r i m p r o v e m e n t s k e y w o r d s ：c o m p u t e rv i s i o n t h r e e - d i m e n s i o n a lr e c o n s t r u c t i o nf u n d a m e n t a l m a t r i x e p i p o l a rg e o m e t r y 西安电子科技大学 学位论文独创性( 或创新性) 声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名：日期望2 ：兰：! 鱼 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 本学位论文属于保密，在年解密后适用本授权书。 本人签名：幽 导师签名：乏窆丝 日期塑2 ：型 日期丑互，f 臣 第一章绪论 第一章绪论 1 。1 论文的研究背景 视觉是人类观察世界和认识世界的重要手段。据统计，人类从外部世界获得 的信息约有8 0 是由视觉获得的【1 1 。这既说明视觉信息量巨大，也表明人类对视觉 信息有较高的利用率，同时又体现了人类视觉功能的重要性。随着信息技术的发 展，给计算机，机器人或其他智能机器赋予人类视觉功能，是人类多年以来的梦 想。 随着信号处理理论和计算机技术的发展，人们用摄像机获取环境图像并将其 转换成数字信号，用计算机实现对视觉信息处理的全过程，这样就形成一门新兴 的学科计算机视觉【2 1 。计算机视觉的研究目标是使计算机具有通过一幅或多幅 图像认知周围环境信息的能力，这种能力不仅使机器能感知环境中的几何信息， 包括目标物体的形状、位置、姿态、运动等，而且能对它们进行描述、存储、识 别与理解。这使计算机不仅能模拟人眼的功能，而且更重要的是使计算机完成人 眼所不能胜任的工作。 计算机视觉在2 0 世纪5 0 年代从统计模式识别开始，当时的工作主要集中在 二维图像分析、识别和理解上，如光学字符识别、工件表面、显微图片和航空照 片的分析和解释等。2 0 世纪6 0 年代，r o b e r t s 将环境限制在所谓的“积木世界”， 即周围的物体都是由多面体组成，需要识别的物体可以用简单的点、直线、平面 的组合表示。r o b e r t s 的研究工作开创了以理解三维场景为目的的三维机器视觉的 研究。到7 0 年代，已经出现了些视觉应用系统( g u z m a n1 9 6 9 ，m a c k w o r t h1 9 7 3 ) 。 1 9 7 7 年，m a r r 提出了不同于“积木世界 分析方法的计算机视觉理论m a r r 视觉理论，该理论在2 0 世纪8 0 年代成为计算机研究领域中的一个十分重要的理 论框架。而到9 0 年代，计算机视觉在工业环境中得到广泛应用( m o u a d d i b 1 9 9 7 ，z h a n g1 9 9 7 ，t e c h1 9 9 5 ) ，同时基于多视几何的视觉理论得到迅速发展( x u 1 9 9 6 ) 。 计算机视觉在国民经济、科学研究及国防建设等领域都有着广泛的应用。一 些主要的应用领域，如工业自动生产线应用、各类检验和监控应用、视觉导航应 用、人机交互应用、虚拟现实应用等。 由于当前对人类视觉系统和机理、人脑心理和生理的研究还不够，目前建立 一个可与人类视觉系统相比拟的通用视觉系统是非常困难的，主要存在以下几个 方面的原因【l 】：第一，图像对景物的约束不够充分。首先是图像本身不能提供足够 2 三维场景重建的理论研究和工程实现 的信息来恢复景物，其次是当把三维景物投影成二维图像时丧失了深度信息。因 此，需要附加约束才能解决从图像恢复景物时的多义性。第二，多种因素在图像 中相互混淆。物体的外表受材料的性质、空气条件、光源角度、背景光照、摄像 机角度和特性等因素的影响。所有这些因素都归结到一个单一的测量量，即像素 的灰度。要确定各种因素对像素的作用大小是很困难的。第三，理解自然景物要 求大量知识。例如，要用到阴影、纹理、立体视觉、物体大小知识；关于物体的 专门知识或通用知识，可能还有物体间关系的知识等，由于所需的知识量极大， 难以简单地用人工进行输入，可能要求通过自动知识获取方法来建立。 为了增强计算机视觉系统得鲁棒性，研究人员经过坚持不懈的努力，引进众 多的数学方法和相应的计算方法。这些数学方法涉及代数学、几何学、分析学、 概率论以及众多应用数学分支，为什么需要这么复杂的数学来解决计算机视觉问 题，是数学的无能还是我们没能发现解决计算机视觉问题的一种“好数学”，这正 是计算机视觉的魅力所在，它吸引着众多学者在该领域进行探索和研究。 1 2 三维重建技术简介 三维重建技术是计算机视觉领域中一个关键技术，三维场景的重建也涉及到 计算机图形学、图像处理、虚拟现实等研究领域，是近年来的研究热点。 立体视觉 2 1 是三维重建技术中一个重要分支。用立体视觉方法进行三维重建， 在计算机视觉中是指由两幅或多幅视图恢复物体三维形状的方法，而其中基于两 幅图像的双目立体视觉是立体视觉的一个研究热点。立体视觉是一种由两幅或多 幅图像获取物体三维几何信息的方法。对生物视觉系统，人们早就注意到，几乎 所有具有视觉的生物都有两个眼睛。用两个眼睛同时观察物体时，会产生深度或 远近的感觉。立体电影之所以有逼真地深度感，也是仿照了立体视觉的原理，用 两个摄像机同时拍摄，而在放映时，将两个摄像机拍摄的图像同时投影到屏幕上， 并利用偏振光的原理，使人得双眼分别看到左右摄像机拍摄的图像，从而使人有 真实三维景物的感觉。在计算机视觉系统中，模拟人类双眼处理景物的方式，从 两个视点观察同一景物，即由不同位置的两台或一台摄像机经过移动或旋转拍摄 同一幅场景，由计算机重建场景的位置和形状。 一个完整的立体视觉系统通常包括图像特征匹配、摄像机标定、三维重建三 个部分。特征匹配是指根据所选特征的计算，建立特征之间的对应关系，将空间 的同一特征( 点或线) 在不同视图中的映像对应起来。摄像机标定是为了确定摄 像机的位置、属性参数和建立成像模型，以便确定空间坐标系中物理点同它在图 像平面上像点之间的对应关系。三维重建目的是为了恢复景物可视表面的完整信 息我们得到立体成像模型和匹配视差后，根据成像模型中视差与深度的几何关系， 第一章绪论 可对深度进行计算，根据深度信息重建与图像信息相容的最佳拟合面。 根据图像进行三维重建，其本质就是从二维图像信息得到三维表达的逆过程。 输入图像的灰度受物体的几何特征、材料表面性质、颜色、环境光照及摄像机参 数等许多因素的影响，由灰度反推以上各种参数是一个逆过程，往往都是非线性 的，问题的解不具有唯一性，而且对噪声或离散量化引起的误差极其敏感，所以 计算机视觉本身存在一定的病态性。如何得到问题的鲁棒解成为三维重建过程的 难点所在。 1 3 1 研究内容 1 3 本文的主要工作及章节安排 1 一个系统 在w i n d o w s 平台上，利用计算机视觉库v x l 设计一个三维场景重建的系统， 由于v x l 是一个开源库，可跨平台编译，移植性强，可移植到l i n u x ，a r m 等系 统平台下，故有利于工程实现。 该系统实现的功能有： ( 1 )图像处理：图像平滑、边缘检测、特征点提取及匹配。 ( 2 ) 摄像机标定，即对摄像机的内参数估计。 ( 3 ) 摄像机的外参数估计：双视图之间的基本矩阵估计。 ( 4 ) 根据极几何关系、灰度相关、图像仿射变换等约束条件对图像特征点进 行稠密匹配。 ( 5 ) 根据三角测量法计算空间点坐标。 ( 6 ) 根据空间点绘制场景结构简图。 ( 7 ) 根据结构简图索引所拍摄场景的摄像头。 ( 8 ) 提供各种算法的测试接口：特征点提取算法和匹配算法，基本矩阵的估 计算法及场景重建算法。 2 几个研究点 ( 1 ) 特征点的精确提取和匹配 我们项目中所使用的网络摄像头，由于网络流量的限制其图像分辨率不能过 大( 摄像头的分辨率为6 4 0 * 4 8 0 ) ，需要研究低分辨率下的特征点提取和匹配算法。 我们拍摄的图像受拍摄条件的影响，如光线、空气等等，还有拍摄设备本身的一 些随机误差，往往都存在一定程度的噪声干扰，如何提高特征点的匹配精度也是 所研究的重点。 ( 2 ) 基本矩阵的估计及立体匹配 4 三维场景重建的理论研究和工程实现 如何估计基本矩阵、分析基本矩阵的稳定性、抗噪性以及准确性。利用极线 约束、灰度相关约束和仿射变换约束等约束条件对特征点进行精确匹配，对基本 矩阵的估计进行反馈，提高基本矩阵的估算精度。 ( 3 ) 三维重建系统中如何减小重建误差 影响三维重建精度的因素主要有特征检测与匹配、摄像机标定误差、数字量 化效应等，一般来讲，距离测量精度与匹配定位精度成正比，与摄像机基线长度 成反比。增大基线长度可以改善深度测量精度，但同时会增大图像间的差异，增 加匹配的困难程度：因此，要设计一个精确的立体视觉系统，必须综合考虑各方 面的因素，保证各环节都具有较高的精度。 1 3 2 章节安排 论文结构安排如下： 1 第二章介绍图像特征提取和匹配的相关知识，主要分析了h a r r i s 角点检测 加灰度互相关匹配方法和s i f t 及k l t 算法在应用在三维重建中的不同效果，并对 实验仿真结果进行分析。 2 第三章介绍了摄像机的成像模型( 线性模型和非线性模型) ，以及摄像机 定标的基本概念和方法，并在本章末给出工程中所用摄像机的内参标定结果。 3 第四章详细阐述了基于双目视觉系统的三维重建技术，包括三角测量原理， 计算机多视几何，对极几何的关系推导，以及在双目视觉系统中如何提高图像特 征点匹配率的问题，并在本章末给出实验结果分析。 4 第五章介绍了基于双视图三维重建系统的软件设计和工程实现，并给出重 建现实场景的效果图。 5 第六章对本文研究工作进行了总结，并对下一步的研究工作做出了展望。 第二章图像特征提取和匹配 第二章图像特征提取和匹配 在图像处理中，图像的特征提取和匹配在许多应用中都很重要，如三维场景 的位姿估计，以及目标识别和跟踪等。 在图像中，把具有鲜明特征的信息，如边缘、角点、圆或椭圆中心，以及图 像形状特征等称为视觉图像特征信息。图像特征信息的提取和匹配是标定计算机 视觉系统模型参数和进行计算机视觉实际应用的前提和基础。 2 1 特征点的提取 图像特征点的提取以及特征点的匹配是三维重建的核心技术之一，也是其关 键点和难点。特征点包含了线的交点、区域中心点、端点、角点等。而研究人员 在角点检测算法的精度、鲁棒性以及快速性上花了大量的精力去研究，目前著名 的检测算法有：h a r r i s ，f o r s t n e r ，m o r a v e c 等等。 2 1 1h a r r i s 探测器 图像中的角点，是指图像中具有高曲率的点，它是由景物目标边缘曲率较大 的地方或两条、多条边缘的交点所形成的，所以以图像角点作为目标的几何特征 有重要意义，因为它具有目标几何形状信息。 h a r r i s 角点探测法利用图像的灰度信息来探测角点【4 1 ，对于一幅图像，角点与 自相关函数的曲率特性有关。自相关函数描述了局部图像灰度的变化，可表示为： e ( x ，y ) = k ，l l 帆y + ，一l ，l式( 2 1 ) “y 其中，e ( x ，y ) 是由于两个图像窗口偏移( 工，y ) 而造成的图像灰度的平均变化，w 是 图像窗口，代表图像灰度。在角点处，图像窗口的偏移将造成自相关函数e ( x ，y ) 的显著变化。 式( 2 1 ) 在像素点 ，力处展开，用自相关函数e 0 ，y ) 的泰勒一阶展开式近似表 示， e ( x ，y ) = a x 2 + b y 2 + 2 c x y式( 2 2 ) 其中，a ，b ，c 是二阶方向微分的近似，式( 2 2 ) 写成矩阵形式如下， 啪) - 【州m 圈 抑) 6 三维场景重建的理论研究和二 程实现 在这里，矩阵m 是自相关函数e ( x ，y ) 的近似h e s s i a n 矩阵 m = g c 仃， 三； = g c 仃，( 争攀i 埘，0 1 8 1 ( - ) ( 秒( 引 扎卜v g ( 仃) 为高斯模板，在某一点的图像灰度自相关函数的极值曲率可以由矩阵m 的特征值近似表示。如果矩阵m 的两个特征值都比较大，说明在该点的图像灰度 自相关函数的两个正交方向上的极值曲率均较大，即可认为该点为角点。 通常用来计算角点的响应函数即h a r r i s 算子的表达式为： 矽( x ，y ) = d e t ( m ) - k t r 2 ( m ) 式( 2 5 ) 其中k 一般取0 0 4 。 r o h r 认为上式中k 取常量有点专断，并不太合适，所以提出另一个的计算角 点响应函数， 她川= 鬻= 籍 都- 6 ) 这里见和九是矩阵m 的特征值。 在实际提取过程中给定一个合理的( 工，y ) 的阈值，当实际计算出来的( x ，y ) 值大于该阈值时，表示找到一个角点，否则不是。阈值的确定依赖于图像的属性 如尺度、纹理等，但由于它不具有直观的物理意义，难以直接给出，本文分别采 用了以上两种角点响应函数检测角点，阈值的给定通过图形界面传入，并可以根 据实验效果不断调整。 需要注意的是：为了减少图像噪声对角点提取的影响，可先对图像进行高斯 平滑滤波去噪，但是平滑的对象并不是输入的原图像，而是对原图像的灰度进行 二次微分处理后的图像。 在对图像微分处理中我们采用s o b e l 算子，s o b e l 算子也是边缘检测中常用到 的算法之一，s o b e l 算子的两个卷积模板，水平方向吃和垂直方向乃分别为： 1 o1 - 2o2 101 1o 1 - 202 10 1 图2 1s o b e l 算子的卷积模板 第二章图像特征提取和匹配 7 将图像与s o b e l 算子的卷积模板卷积得到：_ 0 1 ：l ( x , y ) 。h x ，学：i ( x , y ) 而，代 o xd v 入式( 2 4 ) ，便可计算出m 矩阵。 2 1 2 子像素级角点检测 由上面的角点检测过程可以看出，角点的检测精度是像素级的。在实际项目 中，由于摄像机的分辨率低，为了进一步提高精度，需要在h a r r i s 像素级角点检 测的基础上，对角点子域的像素灰度进行拟合内插，如图2 2 所示，其中c 点是角 点的实际位置。 y 2 3o o 8o 9 9 i 像素中心 图2 2 角点子域的像素灰度内插 常用的拟合曲面有高斯曲面，为了运算简单我们选用二次曲面拟合角点周围 的灰度分布，通过求解二次曲面的极值可以将角点的精度提高到子像素级【7 1 。二次 曲面函数为 z ( x ，y ) = a x 2 + b y 2 + c ) 吵+ 出+ 缈+ 。厂 式( 2 7 ) 这里z ( x ，y ) 是在像素位置( x ，y ) 处的角点响应值，a ，b ，c ，d ，e ，f 是未 知系数，以角点为中心的3 x 3 领域内，如图2 - 3 为以角点为中心3 x 3 窗内像素点位 置及相应角点响应，通过把各点的角点响应值代入式( 2 7 ) ，可以解出a ，b ，c ，d ， z ( x o ，y o ) = z ( 一1 ，一1 )_ z ( 五，乃) = z ( 一1 ，o )z ( x 2 ，y 2 ) = z ( 一1 ，1 ) z ( 恐，y 3 ) = z ( o ，一1 ) z ( 五，y 4 ) = z ( o ，o )z ( 黾，y 5 ) = z ( o ，1 ) z ( x 6 ，y 6 ) = z ( 1 ，一1 )z ( x 7 ，) = z ( 1 ，o )z ( x 8 ，y 8 ) 亍z 0 ，1 ) 图2 33 3 窗内像素点位置及相应角点响应 求解系数的过程相当于求解超定方程a x = b 的解，这里 三维场景重建的理论研究和工程实现 a = x 孑y 孑x o y ox qy o 、 五2y 1 2x l y l 五y l 1 x fy fx 8 y sx sy 8 、 ，x2 ，b = z 0 z l ： z s 式( 2 8 ) 方程的最小二乘解为： x = ( a r 彳) 。1a 丁b式( 2 9 ) 求得二次曲面的系数后，把系数代入表达式，分别对函数进行x 和y 方向上的 求导得到， o z ：2 a x + c y + d ：0 窆 式( 2 1 0 ) 丝：2 6 v + c x + p ：0 、。 砂 解得极值点位置( 九，虼) = ( 亨竺焉，享兰篆) ，如果( ，虼) 是这个窗口中最大 值，那么子像素级角点的位置为0 + ，y + y ) 。 2 2 特征点的匹配 对于三维场景重建的图像，提取图像特征点后，图像特征点的匹配是一个难 点，也是关键点，匹配的结果对后续的重建有很大的影响，在这里我们先介绍一 般的图像特征点的匹配方法，在后续章节将介绍立体视觉中图像对应点的匹配。 归一化互相关技术( n o r m a l i z e dc r o s sc o r r e l a t i o nm e t h o d ，n c c ) 是一种经典 的匹配算法【1 7 】，具有一定的抗噪能力，匹配比较准确，实现简单。 在h a r r i s 角点检测出来后，利用角点矩形邻域窗口内像素的灰度信息，通过 归一化互相关函数来判断是否匹配。图像1 中的角点x 和图像2 种的角点y 的相似 程度采用互相关，互相关系数定义为： ， ( z + ，y ，) r ( x ，y ) = 可1 f 盐上l _ 1 f 万一 式( 2 - 1 1 ) ( x ，) 】l ，2 【( y w 坨 i = ij = li = lj = l 式( 2 1 1 ) 中m 2 为匹配模板的大小；誓帆+ v 和为需要匹配的两幅图中 f j f + “+ 砂，俐处角点的灰度值。r ( x ，y ) 的值越大，说明这两个角点越相似。 根据式( 2 一1 1 ) l 羽像1 中的每个角点与图像2 中的每个角点进行相似性测量计 口6 c d p 第二章图像特征提取和匹配 9 算，假设图像1 种检测出个角点，图像2 中检测出m 个角点，那么就得到一个 相似性测量矩阵尸，该矩阵大小为nx m ，每一行存放图像1 中的一个角点与图像 2 中的所有角点的相似性测量值，同理，尸中的每一列存放着图像2 的每个角点与 图像1 的所有角点的相似性测量值，选取矩阵p 中的行最大值与列最大值为p 化， 即p 亿既是第f 行的最大值，又是第，列的最大值，那么认为图像1 中的第f 个角 点与图像2 中的第，个角点是匹配的。由此，就得到了一组匹配点对。 该算法还是存在一定的误配率，因为：第一，图像发生几何形变也会体现在 特征点邻域内，简单的用矩形窗不能体现邻域的形变。第二，噪声、光照及各种 缺陷都有可能很大程度地改变图像的灰度信息，误匹配在所难免。另外在匹配过 程中如何选取匹配模板窗口的大小也是一个问题，窗口大，则正确匹配率高，但 是所需要运算处理的时间增加；窗口小，时耗少，但误配率高。 如何改进匹配算法，也一直是图像处理界的一个研究重点。如现在研究比较 多的立体匹配，就是利用两幅图像间的空间几何约束关系，如基本矩阵和单应矩 阵等，可以很好的提出误配点，这在后续章节中将详细讲到。还有松弛匹配算法， 以及基于特征向量的匹配算法，充分利用点特征邻域信息，如s i f t 算法等，都能 有效地提高匹配率，本文所研究的三维重建过程中，如何在估算基本矩阵之前得 到正确匹配率高的对应点是一个关键点。 2 3s i f t 算法 s 肼( s c a l ei n v a r i a n tf e a t u r et r a n s f o r m ) 特征提取和匹配算法是d a v i dg l o w e 在2 0 0 4 年总结了现有的基于不变量技术的特征检测方法的基础上，提出的一种基 于尺度空间的、对图像缩放、旋转、亮度变化甚至仿射变换保持不变性的特征匹 配算法啪3 。它也是基于特征点的提取和匹配的一种算法。 1 特征提取 为有效地在尺度空间检测到稳定的关键点，建立金子塔形的高斯差分尺度空 间，利用不同尺度的高斯差分和与图像卷积生成，式( 2 1 2 ) 为图像高斯差分尺度空 间的运算： d ( x ，y ，仃) = ( g ( 五y ，忌仃) 一g ( x ，y ，0 9 ) 奉，( x ，y ) = l ( x ，y ，k o ) - l ( x ，y ，万) 式( 2 1 2 ) 其中，g ( x ，y ，= i 口一，+ y 2 ) 2 0 2 为二维高斯卷积核，i ( x ，y ) 为图像灰度。k 取2 ， 二砸 盯取1 6 。 然后再高斯尺度空间寻找极值点，并取出一些不稳定的极值点，剩下的极值 点可以称作为关键点。 1 0 三维场景重建的理论研究和工程实现 在确定关键点后，利用关键点邻域像素的梯度方向分布特性为每个关键点指 定方向参数，使算子具备旋转不变性。 最后生成关键点的特征向量，坐标抽旋转为关键点方向，以确保旋转不变性。 肌( x ，y ) 24 ( l ( x + 1 ) ，y ) 一三( x 1 ) ，y ) ) 2 + ( 地j ，+ 1 ) 一地y 一1 ) ) 2 式( 2 _ 1 3 ) a ( x ，y ) = t a n - 1 ( ( ( 上( x ，y + 1 ) 一l ( x ，y - 1 ) ) ( l ( x + 1 ，y ) 一l ( x 一1 ，y ) ) ) 上式为图像在( 石，y ) 处梯度的模值和方向。其中用的尺度为每个关键点所在的尺 度。 接下来在以关键点位中心的区域，划分为的子区域，统计每个子区域梯度方 向的累加值。生成特征点对应得特征向量，再对特征向量归一化使其具有亮度不 变性。 2 特征匹配 假设两幅图像在通过以上步骤中产生的关键点及对应的特征向量，可以通过 特征向量的欧式距离比较找到相互匹配的关键点对。 如第一个关键点生成的特征向量，与数据库中的每个关键点对应的特征向量 计算距离，记录最小距离和次小距离，若最小距离与次小距离的比值小于某个值， 则这两个关键点匹配成功，否则放弃。因为若两个距离相近的话，发生错配的概 率就会增大。 由于s i f t 特征提取和匹配算法具有对图像缩放、旋转、亮度变化甚至仿射变 换保持不变性的良好特性，所以在三维重建中得到了广泛地应用。 2 4k l t 算法 k l t 算法是k a n a d e ，l u c a s $ l l t o m a s i 等人提取一种特征提取和跟踪的算法【37 1 。 k l t 算法计算所有像素点的特征值，即以该像素点位中心的特征窗口的特征 值3 5 1 ，计算公式为： 1r 一 r r f i ne i g e n v a l u e = g 。+ g 一寺( g 就一g ) 2 + 4 9 刍 式( 2 - 1 4 ) 其中，= g ：，g = g ；，岛= & g y ，既和g y 分别表示图像瓠方向枷方向 的梯度。如桌m i n e i g e 刀彪z “e 大于梨个阈值，则该像素点为特征点，这与h a r r i s 角 点检测有些类似。 对于图像中确定的特征点，在t 时刻图像帧中，特征窗口内的像素点可以通过 上一时刻图像中特征窗口内( x ，y ，f ) 的每个像素进行适当的运动变换得来，由 于连续的两帧变化小，即图像的平移量，旋转量以及尺度变化量都较小，所以近 似用仿射模型进行相邻图像的特征点匹配，在t 时刻图像特征窗口中特征点的位置 满足一下条件： 第二章图像特征提取和匹配 式( 2 1 5 ) f 口201 其中f a , 40f 为仿射模型矩阵，只要有6 个以上的特征点，我们就可以求得仿射 0 l 矩阵参数，从而获得配准图像。 顼目中，由于摄像头移动的角度较小，场景相对于摄像头的平移较小，我嚣 可以近似的认为是连续的两帧图像，图像之间的变化较小，而且图像变化是一致 的( 整个场景相对摄像机的运动) ，两幅视图之间的图像变换可以近似为仿射变 换，故考虑利用k l t 算法对两幅图像的特征点进行跟踪，从而得到准确的特征点匹 配关系。 2 5 总结与实验 h a r r i s 角点检测是经典特征点检测算子，能够提取出含有结构信息较强的角 点，而s i f t 算子在多尺度空间进行特征点检测，特征点含有丰富的纹理信息和尺 度信息，但其算法复杂度比h a r r i s 算子要高，耗时要多。k l t 算法是一种基于特 征点的跟踪算法，其特征点的提取，通常选择那些纹理信息特征窗口能满足一定 要求的特征点，因此和s i f t 特征点有些类似。 灰度互相关匹配实现简单但由于噪声，光照的影响容易发生误匹配，尤其在 图像中还有相似的特征点如图2 4 中，左墙壁的第二和第三幅图的角点容易发生错 匹配，但s i f t 算子在这方面要优于灰度互相关匹配，因为s i f t 算子充分结合特 征点邻域内的纹理信息所生成的特征向量进行特征点匹配，k l t 算法利用图像之 间的线性变化对特征点进行匹配。 在实验过程中分别采用h a r r i s 算子、s i f t 算子以及k l t 算子对两幅测试图片 进行特征点的提取和匹配。图2 4 为h a r r i s 算法对两幅视图的特征点检测实验效果 图，图2 5 为用s i f t 算子对两视图进行特征点提取，图2 6 为k l t 算子对两视图 的特征点提取。 l i ， i yq 、， 0 0 1吼oq 吒o ，。，。l = r 、j f l ” 三维场景重建的理论研究和工程实现 目2 4h a m s 角点检洲 圉2 5s 胛算子检测特征点 第二章图像特征提取和匹配 图26k l t 算子检测特征点 图2 4 中左视图的角点数为6 3 4 ，右视图的角点数为6 3 6 ，角点数可以通过调 节阈值改变，角点闭值越大，角点数越少( 强角点) ，阈值越小角点数越多；图 25 中左视图的特征点数为8 3 0 ，右视图的特征点数为8 1 0 ，图中箭头的起始点为 特征点的位置，箭头的方向为特征点的梯度方向，箭头的长度代表该特征点的梯 度模值；图z 6 中左右视图均为5 0 0 个特征点，由图可以看出特征点的分布比较“分 散”。 由此期8 试图可以看出h 舡- r i s 角点结构性更强，特征点主要集中在边缘，以及 边缘交叉处；s i f 算法检测出特征点结构性较弱，而把纹理信息丰富的点检测出 来；k l t 算法检测出来的特征点包含了危点以厦纹理信息丰富的点但过于分散， 不利于提取场景的结构信息，在图2 4 中，黑色矩形表面上也有s i y t 特征点，这 些点没有很强的结构信息。在结构性强的场景图像中，h a r r i s 算子更能轻易的检测 出结构性强的角点，而s w r 以及k l t 算法在纹理丰富的图片中能够准确的检测出 特征点。 以上的特征点检铡中，h a r r i s 角点检测以及k l t 算子特征点都是在像素级上 的，而s i f t 算子中含有兴趣点的拟合，所以特征点是在于像素上，而三维场景重 建需要有精确的特征点的位置，故下图是对特征点进行子像素级上的定位。 三维场景重建的理论研究和工程实现 圈27 基于子像素级的特征点检测 如图27 把角点定位为子像素级上，如此，角点的位置就更精确。 图2 , 8n c c 角点匹配图 如图28 所示，在用h a r r i s 算子检测出角点之后，用归一化灰度相关算法对角 点进行匹配，由图可见仍存在一些误配对。增加n c c 的匹配窗口的大小，可以提 高正确匹配率，但是运算时间也大大延长。 i 一 瞄幽 一艮 他 r 要 第二章图像特征提取和匹配 圈2 9s 耵算法的特征点匹配 圈2 1 0k i t 算法的特征点匹配 由图2 9 以及图2 1 0 可知s i f t 算子以及k i t 算子有较高的匹配率。但其算法 实现较复杂，可咀考虑用s i f t 算子做特征点的匹配，在工程实现上我们可以考虑 用h a i t i $ 算子检测角点，采用n c c 匹配算法与s i f t 算法以及i c l t 算法相结合的 思路，即在灰度相关的基础上，结合角点邻域其他信息，如像素的梯度方向信息。 生成特征向量，用特征点的特征向量进行匹配，并可以利用图像间的仿射变化约 束，从而加强特征点的匹配约束，使匹配更精准，得到更高的匹配率，为三维重 建铺下更“精准”的道路。 第三章摄像机标定 1 7 第三章摄像机标定弟二早饭1 豕咧l 怀疋 3 1 摄像机成像模型 摄像机通过成像透镜将三维场景投影到摄像机二维像平面上，这个可用成像 变换描述，即摄像机成像模型。最常用的成像变换是几何透视变换，它的特点是， 随着3 d 场景与摄像机之间的距离变化，像平面上的投影也发生变化。在有些场合， 特别是场景与摄像机的距离很大时，也有用正交投影变换近似透视变换的。在正 交投影中，景物在像平面上的投影并不随3 d 场景与摄像机之间的距离变化而变 化。 3 1 1 图像坐标系、摄像机坐标系与世界坐标系 摄像机采集的图像以标准电视信号的形式经高速图像采集系统变换位数字图 像，并输入计算机。每幅图像在计算机内为m n 数组，m 行列的图像中的每 个元素成为像素( p i x e l ) ，像素的数值即是图像点的亮度( 灰度) 。如图3 1 所示， 图像上定义直角坐标系“，y ，每一像素的坐标( ”，) 分别是该像素在数组中的列数 和行数。所以，( “，1 ，) 是以像素为单位的图像坐标系坐标。由于( “，v ) 只表示像素位 于数组中的行列，并没有用物理单位表示出该像素在图像中的位置。因此需要在 建立以物理单位( 如毫米) 表示的图像坐标系。该坐标系一图像内某一点d 1 为原 点，z 轴与y 轴分别与u ，v 平行，则( x ，”表示以毫米为单位的图像坐标系的坐标。 在z ，y 坐标系中，原点q 定义在摄像机光轴与图像平面的交点，该点一般位于图 像中心处，但由于某些原因，也会有些偏离，若a 在u ，v 坐标系中的坐标为( ，v 0 ) ， 每个像素在z 轴与y 轴方向上的物理尺寸为出、方，则图像中任一个像素在两个 坐标系下的坐标有如下关系【2 1 ： x u = + u o ，dx ” 忙考+ v o 咖 ” 称1 d x 、1 a y 分别为沿x ，y 轴的尺度因子。 式( 3 1 ) 三维场景重建的理论研究和工程实现 0 l ( u 0 v o ) r v 1 ry 图3 1 图像坐标系 摄像机成像几何关系可由图3 2 所示。其中d 点称为摄像机光心，置轴和z 轴 与图像的x 轴与y 轴平行，z c 轴为摄像机光轴，它与图像平面垂直。光轴与图像 平面的交点，即为图像坐标系的原点，由点d 与以、k 、z c 轴组成的直角坐标系 称为摄像机坐标系，o q 为摄像机焦距。 y e 图3 2 摄像机坐标系与世界坐标系 由于摄像机可安放在环境中的任意位置，在环境中选择一个基准坐标系来描 述摄像机的位置，并用它描述环境中任意物体的位置，该坐标系称为世界坐标系。 它由扎，匕，z 。轴组成。摄像机坐标系与世界坐标系之间的关系可以用旋转矩 阵r 和平移向量f 来描述。因此，空间中某一点p 在世界坐标系与摄像机坐标系下 的齐次坐标如果是x 。= ( k ，匕，z 。，1 ) r 与p = ( t ，儿，乙，1 ) r ，于是存在如下关系： t y c z c 1 rrf 1 2 眵，j x w 匕 z 。 1 = m 1 x 。 匕 z 。 1 式( 3 2 ) 第三章摄像机标定 其中，r 为3 x3 正交矩阵；t 为三维向量；o = ( o ，0 ，o ) r ；m ，为4 x4 矩阵。 3 1 2 针孔成像模型 针孔成像模型又称为线性摄像机模型，随着目前数码相机制作工艺的不断提 高，其成像过程已经非常接近d , ；f l 成像模型。空间任一点p 在图像中的成像位置 可用针孔成像模型近似表示，即任何点p 在摄像机坐标系下的坐标为p ( 以，【，z o ) ， 在图像中的投影位置p ( x ，y ) ，即为光心d 与p 点的连线o p 与图像平面的交点。 这种关系也称为中心摄影或透视投影。此比例关系有如下： v ， ， 二= 一j 上= 上 式( 3 3 ) x cz cy cz c 。 厂为摄像机焦距。将上式写成齐次坐标与矩阵形式： 00 o l l f0 0f 010i j x ： e z c l 式( 3 4 ) 由式( 3 3 ) 和式( 3 4 ) 可得到物体点p 的世界坐标和它的图像坐标之间的关系： 锢吃 工 i + u o 反x 手吁 a y l o 碰x ，、 1 o 万v 0 ool x w 瓦 z w 1 = z c h 乃” 1 一 _ 0u o d r , ，、 1 u _ v 0 a y o o 1 1 ，、 _ u d x 1 u 伤 a y ool习 郏- 5 ) =睢u?00 。0000 岫 = lq i ln r ，l i 1r _ x 。 瓦 乙 1 = m 1 m 2 k = m x l 。 其中，m 。由，q ，“。，决定，只与摄像机内部参数有关，称为内部参 数矩阵，鸠由摄像机相对于世界坐标系的方位决定，称为外部参数矩阵，m 就是 投影矩阵。确定某一摄像机的内外参数，称为摄像机定标。 厂o o 。l = 1j x y 1 p。，l 乙 2 0 三维场景重建的理论研究和工程实现 3 1 3 非线性模型 实际上，由于实际的镜头并不是理想的透视成像，而带有不同程度的畸变， 使得空间点所成的像并不在线性模型所描述的位置( x ，】，) 而是在受到镜头失真影 响两偏移的实际像平面坐标( x 。，y ) x = x + 6 ， 】，：】，+ 况4 式( 3 - 6 ) 其中，艿r 和& 是非线性畸变值，它与图像点在图像中蛉位置有关。理论上镜 头或同时存在径向畸变和切向畸变。但一般切向畸变比较小，径向畸变的修正量 由距图像中心的径向距离的偶次幂多项式模型来表示 颤= ( 一p o ) ( k j r 2 + k 2 r 4 + ) 毋，： 、 4 ：r - ) ( t 厂2 + k 2 ，4 + ) 虱p 7 ， 其中，( 觞，) 是主点位置坐标的精确值，而，| 2 = ( x 一心) 2 + ( 】，- to ) 2 表明x 方向和】，方向的畸变相对值( 鼻x ，西r 3 与径向半径的平方成正比，即在图像边 缘处的畸变较大。对一边摄像机一阶径向畸变已经足够描述非线性畸变，这时线 性参数吒，口y ，“。，与非线性畸变参数k 一起构成了摄像机的非线性参数模型。 3 2 摄像机标定 学术界在最近1 0 余年对摄像机定标进行了广泛的研究，基于不同的出发点和 思路取得了一系列成果。总的来看，现有的摄像机定标方法大体可以归结为两类： 传统的摄像机定标方法和摄像机自定标方法l n j 。 传统的摄像机标定方法的特点是利用已知的景物结构信息，常用到标定块。 其优点是可以使用于任意的摄像机模型，标定精度高。其不足之处是标定过程复 杂。需要高精度的已知结构信息，在实际应用中很多情况下无法使用标定块。 摄像机自标定是指不需要标定块，仅仅通过图像点之间的对应关系对摄像机 进行标定的过程。其优点是可以应用于不同的场合，灵活方便，缺点是：精度不 太高，鲁棒性不足， 3 2 1 传统摄像机标