电子信息工程毕业论文基于复杂光照变化无关特征的稠密立体匹配技术研究

1、南京邮电大学毕 业 设 计（论 文）题 目：基于复杂光照变化无关特征的 稠密立体匹配技术研究 专 业： 电子信息工程 学生姓名： 班级学号： b07020822 指导教师： 指导单位： 通信与信息工程学院 日期： 2011年 3 月5 日 至 2011年 6月8日摘 要立体匹配一直是计算机视觉研究领域中的热点和难点，是双目立体视觉中的关键技术之一。为了快速实现双目立体匹配同时减少光照变化对图像的影响，实现了一种基于osid描述子的快速稠密立体匹配算法。首先，基于图像特征快速构造每一像素点为中心的区域的特征osid描述子，并测度水平极线上osid的不相似性得到初始匹配成本；其次，依次在水平、垂直

2、双方向上采用测地线的自适应成本聚合策略，消除匹配特征的相似歧义，计算鲁棒匹配代价；最后，采用优胜者全选方法逐像素选取视差范围内的最优视差值。实验结果表明，该算法结构简单，计算快速高效，能够有效的提高匹配精度，得到分段光滑、精度高的稠密视差图。关键词：双目立体匹配；osid描述子；测地线距离；不相似测度；视差值abstactstereo matching is a long active topic and difficult problem in computer vision, and is a crucial technique in binocular stereo vision. an

3、 algorithm based on osid descriptor is implemented in a fast and local perspective to resolve stereo matching and reduce the influence of the image because of the change of light. firstly, we construct region feature osid descriptor based on local image feature, and compute initial matching cost by

4、measuring the dissimilarity of osid in the horizontal scaneline. secondly, geodesic support weights are adopted in the horizontal and vertical directions which eliminate ambiguity in feature matching. lastly, the given disparity values are optimized by the strategy of winner takes all optimization w

5、ithin the range of disparity. the experimental results indicate that this algorithm is concise, fast and efficient. this technique can improve the matching accuracy and obtain piecewise smooth, accurate and dense disparity map effectively. key words: binocular stereo matching; osid descriptor; geode

6、sic distance; dissimilarity measure ; disparity value目录第一章 绪论11.1 立体视觉系统11.2 立体视觉研究历史和研究现状21.2.1 摄像机建模31.2.2 特征提取41.2.3 图像匹配41.3 双目立体匹配与三维重建51.4光照条件对图像的影响51.5本文主要研究内容与组织结构6第二章 稠密立体匹配的基本理论72.1 视差场与深度图72.2 稠密匹配的基本假设82.3 稠密立体匹配方法8第三章 基于序空间强度分布的特征描述构造103.1 序空间强度分布概述103.2 osid局部特征描述符12第四章 基于区域特征的稠密快速立体匹配

7、144.1基于osid描述子的初始匹配代价144.2 基于测地线距离的改进型自适应权重化的成本聚合144.2.1匹配窗的选取144.2.2并行双通式成本聚合154.3基于wta的局部视差优化16第五章 实验结果与讨论175.1 实验流程图175.2 实验数据集175.3 不同聚合窗口大小下的匹配性能185.4 不同相似性测度下的匹配性能205.5光照线性变化下的图像匹配225.6 osid描述符参数选择23第六章 总结与展望256.1算法总结256.2发展趋势25结束语27致 谢28参考文献29第一章 绪论视觉是人类观察世界、认知世界的重要手段，人类从外界获得的信息约有75%来自视觉系统。一般

8、认为，人类的视觉过程是一个从感觉到知觉的复杂过程。视觉的最终目的从狭义的观点来说是要对场景作出对观察者有意义的解释和描述，而从广义的观点来看则是在上述解释和描述的基础上依据观察者的意愿进一步做出相应的行为规划或决策。随着视觉神经生理学，视觉心理学，特别是计算机技术、数字图像处理、计算机图形学、人工智能等学科的发展，使利用计算机模拟人类视觉成为可能。视觉的研究源远流长，而从工程的角度研究视觉问题则起始于上世纪60年代。在当时的人工智能学科带头专家的眼里，使计算机具有视觉功能是一件很容易的事；其中的一些科学家甚至宣称，到上世纪八十年代即可实现接近于人类水平的视觉系统。然而，事与愿违时至今日这项任务

9、仍然没有很好的被解决并且似乎还很艰难。但可喜的是，被称为计算机视觉的研究领域在此期间获得了长足的发展。目前，它已成为一门与数学和计算机科学都有很强联系的学科。计算机视觉是指用计算机实现人的视觉功能对客观世界的三维场景的感知、识别和理解，由于客观世界在空间上是三维的，所以计算机视觉的研究和应用从根本上来说也应该是三维的。由于这个原因，立体视觉成了计算机视觉领域的一个研究重点和热点。计算机立体视觉研究的对象是利用二维投影图像恢复三维景物，使用的理论方法主要是基于几何、概率、运动学计算与三维重构的计算机视觉理论，它的基础包括射影几何学、刚体运动力学、概率论与随机过程、图像处理、人工智能等理论。从影像

10、中提取场景的二维结构是计算机视觉几十年来一直在研究的问题，这方面的研究成果使计算机视觉的应用领域不断拓展。同时，应用需求对计算机三维视觉提出了进一步要求，这种相互推动作用使得计算机三维视觉研究不断取得进步。本章首先简要介绍立体视觉的研究背景、研究现状，然后介绍本文主要研究内容和论文组织结构。1.1 立体视觉系统一般情况下，人在观察现实世界中某一物体的时候，每只眼睛的视网膜上会各自形成同一个物体的不完全相同的影像。左眼看到物体的左边会多一些，右眼看到物体的右边会多一些。进一步说，物体上的同一个点落在左右两眼视网膜上的位置一般也是不同的，这种位置差称为双眼视差。人之所以有深度感知的能力，就是因为可

11、以感知这种差别。因此，如何获取所观测场景的的视差信息构成了双目立体视视觉研究的主要内容。20世纪80年代初，bornard等归纳和剖析已有立体视觉方法，认为立体视觉方法通常执行图像获取(image acquisition)、摄像机建模(camera modeling)，特征提取(feature acquisition)、图像匹配(image matching)、深度确定(depth-determination)和内插(interpolation)等六个步骤，这一思想对后续研究产生很大影响。 图1.1 双目立体视觉示意图如图1.1所示，左右摄像机获取场景的图像，摄像机建模步骤即建立摄像机几何模型

12、，通常就是确定摄像机的内外部参数，因此又称摄像机标定，摄像机模型实际上确定由视点a发射到像素a的射线的空间方位。特征提取则从图像中检测出显著特征，如nl和nr，显著特征包含丰富的纹理信息，为特征点的可靠匹配奠定基础。图像匹配步骤建立左图像中特征点和右图像中特征点之间的对应关系，如场景点a在左右图像中投影点nl和nr的对应关系。深度确定步骤根据建立起来的对应特征点nl和nr以及摄像机模型重建场景模型。内插步骤则根据重建的稀疏场景点内插生成更加稠密或精确的场景点。1.2 立体视觉研究历史和研究现状立体视觉的开创性工作是从60年代中期开始的。美国mit的roberts完成的三维景物分析作，把二维图像

13、分析推广到三维，这标志着立体视觉技术的诞生，并在随后的20多年中迅速发展成为一门新兴学科。特别是marr创立的视觉计算理论对立体视觉的发展产生了巨大的影响，现已形成从图像获取到最终的景物可视表面重建的完整体系。经过20多年的研究，立体视觉在机器人、航空测绘、军事应用、医学诊断及工业检测中的应用越来越广泛，研究方法从早期的以经典的基于相关窗的局部匹配算法，发展到利用图割(graph-cut)、置信传播(belief-propagation)等全局优化算法的全局匹配算法1，从串行计算到并行计算，从直接依赖于输入信号的底层处理到依赖特征、结构、关系和知识的高层次处理，性能不断提高，其理沦也正处在不断

14、发展与完善之中。 在立体视觉的六大步骤中，摄像机建模和深度确定属于多视图几何关系问题，目前已经有比较完善的理论解决，特征提取一定程度上服务于图像匹配，而内插是对重建结果的进一步完善，所以在这些步骤中图像匹配是关键步骤，其结果的好坏直接决定立体视觉系统的重建质量。由于本论文的着眼点在于匹配算法研究，所以在此围绕立体匹配回顾一些主流的匹配算法。1.2.1 摄像机建模传统立体视觉研究者认为只有在摄像机预先标定的基础上才能进行匹配计算和三维重建，因此对每个摄像机都需要先用己知几何的物体的图像进行标定。在上世纪80-90年代，研究者从射影几何和射影测量学出发，以向量代数等数学工具为手段，对投影、重建以及

15、多视图之间的几何关系问题进行了研究，提出了三维重建的层次方法，将重建分成射影重建、仿射重建和度量重建三个层次。分层重建的方法采用适宜的几何表达使计算的每一阶段所需要的参数更加明晰，从而避免了计算那些对最终结果没有影响的参数，并得到更简单的算法。分层重建首先用未标定的摄像机拍摄图像对，根据图像间的匹配计算能够表征摄像机之间几何关系的特征矩阵，再利用这些特征矩阵恢复射影重建，借助场景的先验几何信息实现仿射重建直至度量重建，这是三维重建的非标定法。因为两视几何是n视图几何的特例和基础，所以人们深入研究了两视几何关系。图1.2 对极几何示意图如图1.2所示，给定左右两个视点o和o的视图及左视图中的一个

16、像点p由左视点和像点p确定的空间直线在右视图中的投影直线l称为p的极线，则p在右视图中的对应点p必位于极线l上。任意视图中任意像点在另一个视图中都有一条极线与之对应，这种关系称为极线几何，是两个视图之间的重要几何关系。与之相对应的特征矩阵被称为基本矩阵，通常用符号f来表示。极线几何对立体匹配有着重要影响，它将匹配对应点的位置限定在一维极线上，是很强的几何约束。一方面，在特征匹配中，人们可以利用极线约束剔除匹配过程中的错误对应点，结合鲁棒估计方法提高对错误对应点的抵抗能力。另一方面，在稠密匹配中，人们也可以利用极线几何约束首先校正立体图像，使得图像间匹配点保持在同一扫描行上，从而使对应点的搜索从

17、二维空间降为一维空间，大大简化对应点搜索，并且提高匹配可靠性。本文算法正是基于极线几何约束校正的立体图像。未标定情况下的三维重建方法在不需要高精度重建的情况下特别有用，比如虚拟现实、视频会议等，在这些场合主要考虑的是视觉效果。而传统的摄像机标定过程繁琐，并且参数不容易保持固定。但未标定方法的结果可能由于场景结构等问题造成结果不够鲁棒，并且在一般情况下重建的精度不高，使得传统的摄像机标定方法目前仍然是高精度二维重建中非常有效的手段。1.2.2 特征提取特征提取一直以来是计算机视觉领域的特别活跃的研究课题，快速鲁棒的特征提取方法是很多计算机视觉应用场合的需求。在立体匹配中，常用的特征包括顶点、直线

18、、边界、区域等等，研究者也依据这些特征提出了大量方法。最近几年，基于局部不变量(local invariant)构造方法检测和描述图像特征越来越引起研究者的兴趣，使得这一特征提取方法逐渐成为基于特征匹配技术中的主流。一般来说，基于局部不变量的特征提取分成特征检测和特征描述两部分。首先提取图像中的“感兴趣点(interest points)”，确定特征点的支持区域，并计算图像特征点的局部不变描述向量，通过比较特征描述向量进行匹配。这种方法具有良好的区分性，能在一定很大程度上抵抗诸如遮挡、亮度、尺度等因素影响，不随图像变换而变化，具有缩放不变、仿射不变或者亮度不变等性质，典型算法包括sift、su

19、rf等算法。mikolajczyk和schmid对这类方法作了比较全面的比较和评估。1.2.3 图像匹配匹配问题是立体视觉中最为重要的问题，可以说正确的匹配是获得场景正确深度信息和分割理解的基础所在。传统上根据匹配对象的差异可以将立体匹配方法分为特征匹配和稠密匹配两类。特征匹配旨在建立稀疏图像特征之间的对应关系。一方面，稀疏特征的不规则分布给特征之间相互关系的描述带来困难，不利于匹配过程中充分利用此类信息。另一方面，稀疏特征的不规则分布给三维场景的描述带来困难，往往需要进行后处理以确切描述三维场景。后处理通常取稀疏特征为数据点，采用内插方法建立稠密对应场，或者采用拟合方法确定一些先验几何模型的

20、自由参数，实现几何模型的重建。内插和拟合方法以稀疏特征为数据，结果直接依赖于稀疏特征对应，不可靠的特征对应往往会产生不理想的结果。1.3 双目立体匹配与三维重建双目立体匹配一直是三维场景结构信息获取的研究热点之一，其基本原理是从两个视点观察同一景物以获取立体像对，匹配出相应像点，从而计算出视差并获得三维信息。特别是20世纪80年代，美国麻省理工学院的m arr提出了一种视觉计算理论并应用在双目匹配上，使两张有视差的平面图产生具有深度的立体图形，从而奠定了双目立体视觉发展的理论基础。三维重建，即从二维图像恢复三维物体可见表面的几何结构的过程，一直是计算机视觉的重要研究内容。近年来，随着三维重建在

21、数字地球、数字考古、数字娱乐等领域应用的不断发展，物体表面结构的视觉效果己成为三维重建越来越关注的一个问题。然而，图像对应点的自动匹配这一问题并没有得到很好的解决，严重制约着三维重建技术的有效利用。目前比较流行的匹配算法主要是基于特征点2，如基于harris角点，sift (scale-invariant feature transform)，mser (maximally stable extreme regions)，hessian-affine等的匹配方法，这些方法一般只能得到比较稀疏的匹配，通过它们只能恢复出三维空间中的稀疏点云，不能有效表达三维物体的空间形状，视觉效果差。因此，欲重建

22、出较精确的三维结构，需要得到稠密的匹配点。最典型的稠密匹配是标准的稠密立体匹配。1.4光照条件对图像的影响众所周知，光的存在是目标成像的必备条件，现有的以光学为基础的成像设备，成像的质量无不受到光照条件的影响。光源的方向，阴暗程度，色彩强度，以及亮度都会对图像产生影响。因此，在图像内容的分析为基础诸多研究和应用中，例如目标跟踪、人脸识别、图像检索等，外部光照往往会改变图像中各个目标的真实信息，给目标获取带来很大困难，光照条件的改变直接影响到同一物体的表面光线反射情况,对同一场景同时成像的多个相机间也存在感光性能差异,导致成像结果存在亮度变化,从而给图像匹配带来困难。所以尽量克服光照对图像带来的

23、影响一直是以图像为研究对象的众多科研和应用工作中不可缺少的部分。在现实世界的应用或方案中，复杂的亮度变化是常见的。同样的物理点可能有不同的像素点，由于光源的属性和位置的变化（相对于物体），以及光源的几何形状和观看视角的变化。当一个物体移进或移出一个阴暗处时帧之间的亮度可能会突然改变。此外，捕获的参数的变化，如增益和曝光时间，处理成像的像素管线的强度的非线性过程中可能会导致亮度要经过复杂的非线性变化。例如，在一个简单的场景，相机在自动曝光是可能会突然降低曝光时间，沿运动轨迹的像素的强度，在校正之后运动轨迹会处于非线性和空间变化的模式。（即iout = k iin0.45 iin，iout 校正之

24、前和之后的像素强度）被应用在相机的成像管道。这种复杂的亮度变化可能造成重大向特征匹配技术的挑战。在另一个立体声的情景中，光度反应的差异或捕捉多台摄像机之间的参数可能会导致像素强度要明显差异。由于模块，如在成像管道中的自动曝光（ae）和自动白平衡（awb），相机的反应只是适应于输入现场，并不能完全校准的。在另一种图像检索/分类应用中，用于系统的大量图像数据库通过各种数码相机的一些未知的，非线性的成像管道时，通常被抓获一些参数并且被处理。在数据库中当发现图像的相应部位时，在相应的部分之间亮度可能会有所不同 ，运用它们超过运用匹配技术，这是一个挑战。1.5本文主要研究内容与组织结构经过几十年的发展，

25、己经产生了很多的立体匹配算法3。立体匹配算法一般可分为基于局部信息和基于全局信息两类，最近又出现了基于半全局信息的匹配算法。其中后两类算法一般有相当高的计算复杂度和很多难于合理设置的参数。第一类算法虽然能很快且较容易地恢复高纹理区域的视差，但歧义区域（如弱纹理、重复特征、遮挡等区域）会造成大量的误匹配。本文实现了一种基于复杂光照变化无关特征的稠密立体匹配算法，基于osid特征描述，含有非常高的信息量，能有利于匹配各种变化的外界光照条件下获取的图像特征，具有较强的鲁棒性。遍历图像的每个点，运用合适的空间模板和顺序划分的像素值计算每个点的归一化直方图。测度水平极线上的区域特征osid描述子的不相似

26、性构造初始匹配代价，依次在水平和垂直方向上采用并行双通式或基于测地线方法的自适应成本聚合策略，基于wta选取视差范围内的最优视差值，从而得到分段光滑、精度高的稠密视差场。该算法匹配性能良好，且速度较快。本文安排如下：第一章简要概括了三维立体视觉系统的概念和基本特征，接着介绍并阐述了立体视觉技术的研究历史和研究现状以及光照对图像的影响，最后给出论文的主要内容和组织结构。第二章介绍了稠密立体匹配的基本理论。第三章提出了基于序空间强度特征描述子的构造，首先介绍讨论了osid的相关背景简介，接着阐述并osid描述子的构造。第四章介绍了基于区域特征的稠密初始立体匹配，首先介绍了基于osid描述子的不相似

27、测度构造初始匹配代价，接着简化基于自适应权值聚合匹配代价，采用测地线方法的成本聚合，最后采用优胜者全选进行视差优化。第五章主要对实验结果进行比较分析。第六章则是对此算法的总结，并且分析了目前立体匹配算法主要存在的问题和未来的技术发展趋势。第二章 稠密立体匹配的基本理论2.1 视差场与深度图立体视觉系统经过立体校正后得到标准的平行光轴配置，对应点p、p位于同一扫描行，d = x - x称为p和p之间的视差。图像中所有像点的视差构成视差场（disparity field）d，通常选择一幅图像作为基准图像，另一幅图像作为待匹配图像，然后确定基准图像的视差场。图2.1 视差与深度的关系图2.1表示一个

28、典型的双目视觉系统，两摄像机的沿极限相距t，摄像机焦距为f，空间点p的像分别在左、右图像平面上的投影是p和p，则视差定义为d = x - x。由三角形相似原理可导出： z=ftd (2.1)上式表明，给定点的深度z可以确定其视差d，反之，深度也可以由视差计算得到，它们之间存在一一对应关系。因此，立体匹配中经常使用深度图(depth map)和视差场两种表达形式，它们之间很容易进行相互转换。深度增加，视差减小，无穷远场景点的视差为0，最近的场景点视差最大，记为dmax。，任意点的视差d取值范围为ds=0, dmax。2.2 稠密匹配的基本假设立体匹配问题本质上是根据立体图像对中的图像信息选择对应

29、点，依据是对应点在不同图像中的相似程度，而支持这一依据的是关于场景、光照以及成像过程的若干假设。首先，假设场景表面为朗伯漫反射表面，场景中各个小片区域的颜色不随观察方向变化而变化，因此在不同图像中具有相同颜色，此即色彩恒性(color constancy)。基于这一假设，可以在同一扫描行上一定视差范围内搜索对应点，选择颜色相同的点作为对应点。若场景表面为非朗伯表面，色彩恒性不满足，真正对应像素可能具有不同颜色，而非对应像素反而可能具有相同颜色。即使场景表面为朗伯表面，由于图像获取过程往往会引入噪声，色彩恒性也可能不满足。因此仅仅依据颜色选择对应点并不可靠，必须结合其它信息确定对应点。marr等

30、对场景作进一步假设，提出另外两个约束条件。一个假设认为物理表面上的给定点在任一时刻都具有唯一确定的空间位置，另一个假设认为被观察物质具有内聚性，它可以被分为若干物体，相对于物体离摄像机的距离而言，每个物体的表面是连续的。依据这两个假设，他们设计了唯一性和连续性约束，并利用它们求解对应问题。唯一性指一幅图像中的任意点只能与另一图像中的一个点相对应，也就是图像中的任意点只能有唯一确定的视差。连续性指在物体内部区域的视差连续变化，视差场分片连续。这两个约束条件进一步限定对应问题的解空间，使得对应问题的求解成为可能。虽然存在一些例外情况，如透明物体表面点同时也反映物体内部点，具有不确定的空间位置，可能

31、有多个视差值，但多数立体匹配都基于上述假设设计而成。2.3 稠密立体匹配方法稠密立体匹配方法通常都具有四个步骤：匹配代价计算（matching cost computation）、成本聚合（cost aggregration）、视差计算或优化（disparity computation/optimization）、视差精细化处理（disparity refinement），将匹配方法分为相对独立的四个模块，并根据不同算法在每一步骤的不同处理进行分类。匹配代价计算：主要根据图像中对应像素的颜色或灰度计算匹配单元之间的匹配代价。由于图像间存在全局亮度变化(如，由于增益和曝光差异等)和局部亮度变化(

32、如，由于渐晕、非朗伯表面和照明变化等)以及噪声等因素，设计一种合适的匹配代价并不容易。常见的匹配代价有灰度差的平方，灰度差的绝对值等等。成本聚合：将周围像素的匹配代价积聚到中心像素的匹配代价上。实际上，这一步假设支持区域内像素具有相同视差，然后在支持区域内对匹配代价进行平均处理以减少噪声等因素的影响，以此反映相邻像素的相互作用。一种方式取长方形或正方形窗口的支持区域，并直接以支持区域内匹配代价的平均值作为积聚结果。如果支持区域跨越物体边缘，覆盖不同物体，平均处理将导致不正确结果。为此人们设计移动窗口以及自适应尺寸窗口的支持区域。视差计算和优化：根据匹配代价计算每个像素的视差，确定视差场。局部方

33、法侧重匹配代价计算和代价积聚，这一阶段仅仅取对应于最小匹配代价的视差作为计算结果。视差求精: 精确地调整前面匹配得到的视差结果。第一，可以利用上一阶段计算得到的视差场，基于邻域窗口内视差出现的频数来校准视差，获得不包含噪声、视差边界精确且足够平滑的视差图。第二，采用内插、拟合或投票等方法重新估计每个像素的视差值，以期达到亚像素级精度。第三，视差后处理过程，包括检测遮挡区域和基于外插思想的视差填充等。一般来说，求精后处理得到的视差场，能够更加准确地反映真实场景结构。第三章 基于序空间强度分布的特征描述构造3.1 序空间强度分布概述对于许多应用，如目标跟踪，目标，识别，图像检索，图像分类，音响，对

34、于伴随光照或视角变化的特征探测器和描述器来说是非常重要的，同样对图像的失真，模糊，或压缩也是很重要的。以前许多研究方法，如局部特性sift 4，gloh5，surf6这些方法是伴随着深浅转移或仿射亮度变化而变化的，他们不能处理更复杂的非线性亮度的变化。为了定量在现实场景中亮度是如何变化的，我们定义了亮度变化的函数，i2 = f(i1)，正如函数的模型，在一个点（或图像）的像素强度(i1)如何映射到另一图像上的相应的像素强度( i2) 从一个视频跟踪运动轨迹的情况下看，两个图像也许在一个视频连续帧内。在立体的场景时，从两个摄像头看图像可能有两个视点 。请注意，许多众所周知的特性如sift，伴随着

35、亮度的变化是不变的，只有当亮度变化函数的形式为： i2 = f(i1) = k1* i1 + k2,，其中k1和k2是常数。亮度的复杂变化引起了许多视觉运用方面的问题。如用光学流量估计，假设沿着运动轨迹帧之间的像素强度保持不变。，当他们发生的时候，这样的一个算法的性能并不能精确的计算出复杂的光照变化的恶化程度。当在两个或更多的摄像机出现光照不一致或捕捉的参数变化时，这些问题也可能会发生在立体匹配应用中。 一个鲁棒的局部特性描述符被提出，它不随着复杂光照而变化。后来，我们发现我们的局部特征描述符对任何光照的变化都是不变的，只要亮度变化函数对于局部像素点是单调递增。假设ii，ij是两个亮度值， 对

36、于所有的ii ij当且仅当 f(ii) f(ij)，亮度变化函数f是单调增加的。请注意，许多的亮度变化，如仿射，平方根，平方和其他非线性亮度变化都属于这类别。单调递增的亮度变化函数的要求是能准确地反映现实世界的情景，并且亮度转移或仿射亮度变化函数（许多必要条件假设）是不够的。亮度反转（其中暗像素映射到亮像素）对于视频中的连续帧来说是罕见的或者不同的立体视角点特别是在考虑到局部点的像素强度时，也是罕见的。请注意，对于单调增加亮度变化函数的要求仅仅运用于局部点的像素，而不是所有图像的像素。许多方法已经被提出来处理亮度的变化，互相关的归一化或自适应的互相关归一化7尝试通过归一化强度来删除光内聚，但对

37、于复杂的光变化来说，归一化强度是非常具有挑战性的。处理光照易变的另一个办法是通过光照度估计和色彩恒定，就是将一个图像分为光照度和反射两部分并且处理反射图像，一些工作是属于这个范畴的包括retinex方法8色域映射9相关颜色算法 10而，这些方法并不是很健壮的，因为光照度的估算，来自图像的反射甚至一系列的图像是不准确的。另外，还有一些算法试图估算亮度的变化。例如，jin et al. 11设了一个仿射光照变化模型，同时优化光照度和特征轨迹的运动参数。然而，像仿射模型这样的简单模型可能是不够的，因为光照的变化可能更为复杂。另一个亮度“不变”算法类是依靠梯度或边缘的图像特性。例如，尺度不变特征变换（

38、sift）12使用梯度方向幅度加权作为特征描述符，形状方面13边缘作为描述符。尽管图像梯度通常认为是不随亮度改变而变化的，当亮度变化函数仅存在强度度转移时，它们才是不变的。此外，由于边缘检测过程依赖于光照条件（梯度的阈值映射到边缘），边缘特性是不随光的改变而变化的。直方图均衡可能被用来作为预处理步骤中用来减轻亮度变化的问题。然而，像素范围内的点来说，当目标在变化的时候，对于直方图的估算通常是错误的。为了处理更多的亮度变化问题，建议使用像素强度的相对尺寸而不是原来的强度。观察报告表明虽然像素的强度由于相应位置的变化可能会改变照明和捕捉参数、相对尺寸，局部点像素。如果亮度变化函数是单调递增的，使用

39、像素强度的相对尺寸的方法已经被运用于特征匹配的任务中。给两个相同的尺寸块,而不是在原来的像素强度空间工作,这些算法都是相对于像素的相对尺寸。统计调查变换和它的不同的二进制模式14被给的像素中通过比较此像素和它的相邻像素创建一个矢量。图像匹配在转换空间中被执行。然而,这些方法深深地依赖于中心点的像素以及中心点像素强度有任何微小的变化就可能对描述符产生巨大的影响。当两个图像的相对像素的尺寸反转时，bhat和nayar15的距离测量。scherer16过设计更多的区别的匹配函数进行了改进。为了获得更好的鲁棒性，米塔尔和拉梅什17考虑像素强度间的变化来增大与原始强度值相匹配的原始值。在18普塔和米塔尔

40、在极值区域选择两个极值点，并且基于顺序反转的数目定义了一个距离函数。在19用强度比较来进行关键点检测。这些方法一般有几个主要的局限性。他们工作在原始顺序空间和有很多限制(例如：两图像窗口之间的像素的数目必须是一样的,使顺序比较)。同时,光照不变性高度取决于距离测量，因此需要精心设计来解释原始信息。最后所有的像素点的空间信息对于图像匹配来说都是非常重要的，而不需要考虑距离函数。为了克服上述限制,我们创建一个二维直方图，像素强度被分解为顺序和空间两者。提出的描述符主要性质和贡献:特征描述符具有精炼性和鲁棒性(不随着单调增加的亮度化而变化)。空间信息通过子块的配置被编入新的描述符来增强描述符的辨别能

41、力。注意,简单的像素强度顺序一维直方图丢失空间信息，然而这些信息对于特征的辨别力是非常重要的。二维直方图对于图像变形比以前原始的像素排序方法具有更强的鲁棒性.3.2 osid局部特征描述符1图像预处理和特征提取 在计算特性之前，图像用高斯滤波器进行平滑来消除噪声，因为像素强度的相对顺序很容易受噪声影响。然后，特征点或关键点需要进行定位。请注意，osid不需要一个特定的检测器，任何现有的探测器都能够用在这里。为了充分利用osid的亮度不变的性质优点， 极值检测器可能也许是一个好的选择。对于每一个被检测的特征点来说，在d*d大小的区域内的一些点被提取，d的大小选择为41，但是它可能会有不同的图像分

42、辨率和形状。2. 顺序分配和空间分配对于有序分布，在每个点的像素被分成n个区间，每个区间的像素都和有序像素强度相似。不同于传统的直方图具有n个区间，每个区间代表有序的幅度而不是原来像素的强度的幅度。例如，假如有400个强度值和5个区间，每个区间有80个强度值（1-80,81-160,161-240,241-320,321-400）。请注意原始的像素强度值不再使用了，因为它们在帧之间或者在相片和相片之间也许已经改变了。像素被他们所属的区间号所标记。 这一过程的一个自然的实现是将所有的像素强度排序和将基于指数的像素分组，产生的复杂度为： (快速排序) 17其中n是像素数目。我们宁愿用一个选择算法1

43、7n个区间的边界元素（例如，80，160，240，320和400）。这降低了复杂度：。对于空间分布，在的区域被分为n个空间子，。有很多种子块分配可能，但我们选择如图3.2.1（3）所示适合我们的特征的分配，其中圆划分成几块。请注意，一个像素分配给一个子块是要进行预计算来节省计算时间。3. 二维直方图和栅格化我们为每一个局部点创建了一个2维直方图，其中x轴代表像素的亮度分布以及像素强度的相对顺序，y轴代表空间分布。在二维直方图中（x，y）这一点的值，代表y方向拥有x轴方向的像素顺序的子块像素的数目。例如，如果x代表原始最亮的点，那么（x，y）点的值代表子块中有多少像素是属于最强亮度的。在二维直方

44、图中的每一行在一个一维直方图中代表像素在被给予子块的顺序空间中是如何分布的，（例如，圆形图）。这是一个n个圆形维度向量，其中每个维度代表有多少个像素是顺序的，二维直方图的每一列代表相同强度的像素是如何被分布在子块中的。为每个块创建了一个顺序空间的二维直方图后，我们对直方图进行栅格化，形成维的向量作为大小块的描述符。起始区间和栅格的方向可以是任意的，但需要预先定义。例如，我们选择开始从横向的分块开始进行一个逆时针的遍历（如用径向进行分割，可以从内到外）。或者，起始区间在块中可以动态的选择。例如，起始行总是可以代表暗/亮子块或是代表有最高梯度能量的子块。请注意，这些限制可能被结合达到更高的精度。自

45、适应栅格化已经被使用确保特征描素符对于视角的改变更加健壮。最后，对特征矢量用像素点的数目进行归一化从而消除对描述符的影响。因此，子块的大小也许被分成一个个特征点。（1）（2）（3）（4） (5)图3.2.1osid特征描述符的构造（1）图像块（2）排序所得的顺序标签（3）空间标签（4）二维直方图（5）将直方图进行栅格化第四章 基于区域特征的稠密快速立体匹配4.1基于osid描述子的初始匹配代价 给定已经外极线校正的立体图像对，对各自图像内每一像素点，可以稳健地基于特征分布来计算可靠的局部特征描述，比如上面提到的基于上下文结构的局部特征信息（序空间强度分布描述符（osid)）。然后，可以基于分布

46、描述得到的特征向量，来初始化立体图像对中极线上的每一匹配点对之间的匹配成本。假设基准图像中像素的坐标为 (x, y)，而关于某一视差d 待匹配图像中像素的坐标为(x - d, y)，则初始匹配成本设为或 c(x, y, d) （以基准图像为例）。由于osid等局部信息描述是由直方图表示的特征向量，因此，可以选择著名的 距离来构造初始匹配成本。 （4.1.1） （4.1.2） （4.1.3）其中()和() 分别表示各自立体图像中 点和 点的单位向量经缩放至幅度为255的osid直方图中的第k 个 bin。立体图像预处理阶段中，若仅采用osid描述局部纹理，则初始匹配成本可表达为 c(,) =(,

47、)=。 4.2 基于测地线距离的改进型自适应权重化的成本聚合4.2.1匹配窗的选取定义方形窗口中的任一点和中心点之间的最短路径为 (4.2.1.1)定义为p和c之间的所有路径。p定义为p的空间的8个相关的邻点。那么一个路径的代价是： (4.2.1.2)被定义为颜色差异： (4.2.1.3)其中r，g，b是rgb三基色的值，假如在这些点之间沿着颜色变化的方向存在一个路径，那么测地线距离是小的，我们认为这些特性是有相关性的。较小的测地线距离将会有一个较高的权重： (4.2.1.4)定义为结果分片的长度。则测地线距离为： cpminqkpcq+dcp,q (4.2.1.5) c(p)是窗口内p点的成

48、本。4.2.2并行双通式成本聚合2005年yoon和kweon提出一种自适应权值的方法20，逐渐引起人们重视。该算法对窗口中每个像素根据距离中心点的颜色差异和空间距离赋予一个相对中心像素的权值，通过该权值与匹配代价乘积累积代价，该算法能有效避免局部算法中常见的“前景扩张”现象。虽然自适应支持权值策略在各种累积方法中表现最好，但是完整的自适应策略计算代价太大，因此我们对其进行了简化处理。首先，忽略匹配图像中含彩色分割单目线索的权重项。计算对极线上每一个不同的视差假设时，当前同一像素使用匹配窗中同一个权重系数，从而使得在不同视差假设时可以并行地聚合匹配成本。其次，在以当前点pb为中心的矩形匹配窗口

49、内，采用双通地在当前点为中心先后在水平和垂直方向上进行权重化操作，来逼近整个匹配窗口内匹配成本的权重化平均。该模块计算复杂度将会大大降低。鉴于上述两项改进，称为“并行双通式”成本聚合。匹配窗选取后，采用双通sasw成本聚合策略(two-pass cost aggregation with sasw)，将权重化平均计算拆分成水平和垂直方向上两个独立的组件，从而得到某点p和待匹配点qm,d之间的匹配代价。即在以（2wa+1）为窗口尺寸且以当前点pb为中心的矩形匹配窗口（2wa+1）（2wa+1）内，先在水平方向内将上述初始匹配成本与相应的权重值进行内积，并归一化于相应的权重值本身的累计和；再以即得

50、的匹配成本，在垂直方向上与相应的权重值进行内积，并归一化于相应的权重值本身的累积和： (4.2.2.1) (4.2.2.2) 其中w(x,y,u,0)或w(x,y,0,v)分别表示水平和垂直方向上相对于当前点的单目图像内相应权重；(x,y,d)表示聚合之前输入的匹配成本c(x,y,d)在水平方向上进行内积并归一化得到的匹配代价，而caggr(x,y,d)表示以(x,y,d)为基础在垂直方向上进行内积并归一化得到最终的匹配代价。(c(x,y,d), caggr(x,y,d)即c(,)4.3基于wta的局部视差优化通过矩形窗来聚合这些像素点的差异性，离中心点c距离为d的聚合匹配代价为 (4.3.1

51、)代表以c为中心点的所有的像素点。函数计算的是相关图像的像素点p和匹配图像的像素点q之间的色差。最后，采用优胜者全选（winner takes all，wta）作为视差选择方法。设dmax和dmin分别是视差最大值和最小值，则预定的视差范围rd = dmin,dmax,，且搜索范围中的视差个数nd为dmax - dmin + 1。则ib中的初始匹配所得到的视差db-init(pb)为（）= (4.3.2)同理，i m的初始视差dm-init(pb)，可进行类似计算。第五章 实验结果与讨论5.1 实验流程图基于复杂光照变化无关特征的稠密立体匹配算法，首先构造osid特征描述符，将图像的每个点进行

52、遍历，运用合适的空间模板和顺序划分的像素值计算每个点的归一化直方图。测度水平极线上的区域特征osid描述子的不相似性构造初始匹配代价，依次在水平和垂直方向上采用并行双通式或基于测地线方法的自适应成本聚合策略，基于wta选取视差范围内的最优视差值，从而得到分段光滑、精度高的稠密视差场。实验步骤如下图所示。立体图像对基于osid特征描述符构造匹配成本并行双通式基于测地线支持的自适应成本聚合基于wta择优选取最终视差值视差值图5.1 匹配算法流程图5.2 实验数据集 首先，以真实视差场为参照，对计算得到的视差场进行评估，统计视差场的准确度，以此反映匹配方法的性能。分别对middlebury网站提供的

53、4对彩色测试图像tsukuba，venus，teddy和cones进行了匹配并对结果做正确匹配率的统计分析，以此来验证本算法的有效性。四组立体图像大小，分别为384288, 434383, 450375和 450375，其搜索范围中的视差最大值，分别是16, 20, 60和60。为了视差图的可视性，对视差图的每一像素按比例系数进行放大，其中四组图像对的视差图放大系数分别为：16，8，4和4。实验采用误匹配像素百分比(percentage of bad matching，pbm)来评价相应算法的精度。pbm的数学定义表达如下：pbm=1nx,ydcx,y-dtx,yd*100% (5.2)式中d

54、c(x,y)为点(x,y)计算所得视差，dt(x,y)为该点的真实视差，d为视差容错范围。理论上，pbm越小，则表明计算得到的视差图与真实视差图之间逼近的越好。5.3 不同聚合窗口大小下的匹配性能对4个立体图像对的计算过程中，按照测试要求，各个算法都保持相同参量。其中：顺序标签数设为5；空间标签数设为8；空间内外径均为1；空间径向区间数为1。现在以不相似测度sad为基础，在不同聚合窗口下比较匹配性能，分别得出以下结果：表5.3.1 所有区域的误匹配率（%）图像窗口55991515171725252929tsukuba12.1310.10 7.216.484.593.96venus10.047.525.236.665.395.89teddy28.2826.1825.0424.8424.6524.66cones25.9224.8524.0724.0524.1224.24表5.3.2 非遮挡区域的误匹配率（%）图像窗口55991515171725252929tsukuba10.578.675.925.253.593.