博士论文_基于宽基线的弱纹理特征点提取与匹配方法研究

基于宽基线的弱纹理特征点提取与匹配方法研究摘 要随着计算机技术与高分辨率CCD数码相机技术的高速发展, 其灵活，快捷以及非接触等优势使其成为了获取三维空间信息的主要方式之一。其中，从不同视角对同一场景进行拍摄，在所得到的图像序列中得到可靠的对应点是该技术的关键问题之一，并且其也是后续数据分析，三维重建等的基础，另一方面，由于传统的特征点提取方法不能在弱纹理区域中提取可靠的对应点，因此其成为了该领域亟待解决的难点之一。本文针对该问题进行了研究。论文涉及模式识别，寻优算法，数字图像处理等多学科的理论方法。主要包括：（1）介绍了特征点提取与匹配方法的基本原理，详细地阐述和总结了国内外对特征点提取方法的的研究进展和现况及其应用领域；概述了将其应用于三维重建中所涉及到的关键技术，并介绍了模式识别中相关方法的理论及其在各自领域中相应的应用，包括：稀疏表示，Graph Cut算法以及Meanshift算法，为本文所研究的基于宽基线的弱纹理特征点的提取与匹配算法提供了理论依据和基本思路。（2）对弱纹理区域的特点进行了研究，提出了一种适用于提取弱纹理区域中特征点的方法。该方法基于区域局部自相似性的概念提取图像中自相似性较高的点作为相应的特征点，另一方面，由于弱纹理特征点的特征不明显，因而较难找到一种合适的特征描述子对其特征进行描述，从而使得传统的基于欧氏距离的特征点匹配方法对其并不适用，因此，设计了一种基于稀疏表示的特征点匹配方法，该方法对特征描述子的选取并不敏感，且其具有较强的稳定性及鲁棒性。实验结果表明该方法对弱纹理特征点的匹配准确率要远远高于传统的基于欧式距离的匹配效果。（3）为了将传统特征点提取算子及匹配方法的适用性进行扩展，使其能够在图像弱纹理区域中提取到相应的特征点并进行准确的匹配，提出了一种基于纹理合成的弱纹理特征点提取方法。该方法以纹理合成算法为基础，并采用仿射变换将所合成的纹理分别添加到图像对的弱纹理区域中替换之前的弱纹理区域，此外，为了确保所添加后的纹理的准确性（即，若之前在弱纹理区域中对应的点，在替换后仍为对应点），我们采用图割算法（Graph Cut）对所提取到的特征点对进行修正，通过采用这种粗匹配到精确匹配相结合的特征点匹配方法，建立了一套基于纹理合成的弱纹理特征点匹配机制。通过对各种包含弱纹理的图像进行实验验证，结果证明本方法在扩展了传统特征点提取方法的基础上，保证了较高的匹配准确率，可用于宽基线下对弱纹理区域的稠密匹配。（4）传统的深度图像大多是在窄基线的情况下所生成的，但该方法不具有通用性，并且所受限制条件过多，另一方面，由于传统的特征点提取方法可在宽基线情况下提取到相应的特征点，但由于其提取出的特征点周围一般都具有较强的纹理特征，但在现实环境中往往存在大量的弱纹理区域，因而该方法较难应用于实际中。为此，我们提出了一种基于Meanshift的特征描述机制，根据每一点周围的纹理强度，采用Meanshift算法找出其对应的区域，根据该区域给出对应的特征描述子，最后，利用极线约束在极线上找到匹配的特征点，并根据匹配结果采用图割算法调节相应的能量函数来得到最终的深度图像。实验结果表明，该方法能够在宽基线下得到较为准确的深度图像，扩展了传统立体匹配的适用范围。论文最后对所做的研究工作进行了总结，并对下一步的研究内容及研究方向进行了讨论和展望。关键词：特征点提取；立体匹配；三维重建；特征描述子；图割算法；稀疏表示；纹理合成 Research on Point Detector and Descriptor for Textureless Object Surface Based on Wide Baseline stereoABSTRACTWith the fast development of compute technology and charged-coupled device(CCD). The human abdomen shape reconstruction is a crucial technology in a wide range of fields, such as personalized garment design, medical care, man-machine engineering. This thesis conducts a further study on abdomen shape reconstruction and abdomen deformation reconstruction according to the principle of computer stereo vision, digital image correlation method and the theory of biological intelligence. Based on the full investigation and review to precious works related to the techniques of human body reconstruction in terms of stereo vision system, the main contributions carried out in this thesis lie in:(1) The basic principle and method of human body 3D reconstruction by stereo vision are introduced, and then, a detailed exposition and summarization about the techniques and applications of body shape reconstruction at home and abroad by means of stereo vision are provided. Still, the critical techniques and related research works of 3D reconstruction based on stereo vision are outlined. In addition, the theory of digital image correlation method and its application in image deformation matching are also expounded. All these offer the theoretical basis and the fundamental route for solving the problems of 3D abdomen reconstruction for soft mannequin through stereo vision in the research.(2) Trying to explore a novel approach for the static 3D abdomen reconstruction that is suitable for real photographing condition aiming at recovering abdomen shape. With the explicit markers are woven actively in the tight dress on the part of belly, the proposed combing the stereo vision theory, taking full account of the frequent interferences from both illumination variance and blur noise in the process of photographing, an innovative illumination-robust and anti-blur descriptor is designed for solving the binocular images matching problem in stereo vision system. Meanwhile, the strict geometric constraints are involved for eliminating the error mapping pairs, more exact matching pairs obtained at this stage. Subsequently, these exact pairs are taken as seeds to produce dense cloud data by means of global seed growing algorithm for achieving the recover of 3D belly panorama for soft mannequin. The experimental results reveal that its precision can up to the highly similar measurement accuracy of 3D scanner, which can well satisfy the requirement of fashion designing and facilitates the costume design industry.(3) A further exploration concerning the abdomen deformation modeling is performed based on the above proposed stereo vision platform and method for a static belly shape. A methodology of 3D abdomen panorama reconstruction is put forward in the course of the belly deformation. A novel strategy of adaptive ellipse subset relying on the deformation degree as well as a new improved fractal dimension on the basis of the subset area is designed for the aim of the integer-pixel displacement search for the same feature point between the abdomen images before and after deformation in sequence. Then, a mutual learning adaptive particle swarm optimization algorithm is employed at sub-pixel registration resolution stage to locate the sub-pixel precisely. Supported by the combined coarse-fine ideology, the corresponding points between images of before and after deformation are established exactly for accomplishing the 3D abdomen deformation reconstruction. Testing on the abdomen deformation reconstruction for soft mannequin, experimental results indicate that under the guarantee of its measurement accuracy without any loss, the time-consuming of the proposed scheme is significantly superior to that of the conventional method, particularly, at the large number of interest points.(4) In order to overcome the cockamamie steps of traditional matching method further, the stereo matching of feature points by B-T immune neural network is completed. The both similar mechanism between the left-right consistency constraints in image feature mapping and the mutual mechanism assistance and inhibition of B cells and T cells is abstracted. Moreover, the inherent geometry property is also introduced in T cell layer so as to ensure the uniqueness. For the more precise result, in each sub-grid of a circle template, a new combined feature vector is produced by means of involving entropy signifying the structure feature of image, as well as the gray information. Finally, neural network algorithm is utilized to obtain the global optimization effect for the all feature points. The intelligent 3D belly recover for soft mannequin is achieved in virtue of the flexible bidirectional regulation of B-T immune network and the well organization property. Experimental results demonstrate that the proposed approach greatly outperforms the traditional matching algorithm on time load under the condition of the same precise, which provides an revolutionary new idea and effective revolutionary for stereo matching in the future.Finally a conclusion is made for the whole contents of this dissertation, together with the perspectives of this field for the next step.KEY WORDS: Image processing and computer vision; dense depth map estimation; local descriptors; feature extraction, sparse representation, stereo matching; texture synthesis; Interest point detector, self-similarity,目 录摘 要IVABSTRACTVI第一章 绪 论11.1 研究背景及意义11.2国内外研究现状及研究问题的提出21.2.1宽基线立体影像31.2.2 特征点的提取与匹配算法31.2.3 立体匹配算法61.3 论文主要内容和创新点81.4 论文的章节安排9第二章 计算机视觉理论基础与关键技术112.1 引言112.2 Self-Similarity 特征点提取方法122.3特征点提取与描述132.3.1 尺度空间132.3.2 SIFT特征点的提取142.3.3 SIFT特征描述子162.4稀疏表示理论172.4.1 稀疏字典的构造182.4.2稀疏算法的研究192.5 纹理合成192.6 基于全局优化的立体匹配算法202.6.1 马尔科夫随机场模型212.6.2 图割算法212.7 小结22第三章 基于自相似性的弱纹理区域的特征点提取与匹配233.1 引言233.2弱纹理特征点的检测233.2.1弱纹理检测算子233.2.2区域半径的选择253.3基于梯度平方算子的弱纹理区域检测283.3.1 线性尺度空间293.3.2 尺度空间极值点的选取293.3.3 弱纹理过滤算法中的阈值选取323.3.4 综合算法333.4 基于稀疏表示的匹配算法343.4.1 基于稀疏表示的识别343.4.2 基于稀疏表示特征点匹配算法363.4.3. 特征点的特征描述子373.5 实验与分析383.5.2在不同情况下的最佳区域选择情况包括403.5.3 不同特征描述子对匹配率的影响433.5.4随机噪声情况下的匹配效果453.5.5在块状遮挡情况下的匹配效果463.6.展望47第四章 基于纹理合成的特征点提取与匹配方法484.1 引言484.2. 弱纹理区域的纹理添加494.2.1 两幅图像间的弱纹理区域关系分析494.2.2 基于Snake模型的弱纹理区域分割算法534.2.3 基于特征点的纹理嵌入方法534.2.4 基于Image Quilting的纹理合成方法（TSIQ）544.3 基于Graph Cut的匹配点位置修正564.3.1 区域自相似性的计算564.3.2 基于Graph Cut 的匹配点调整方法574.3.3基于Graph Cut算法的改进结果594.4 实验结果604.4.1 不同纹理样本下的特征点提取效果604.4.2 TSIQ在光照变化，尺度变化以及拍摄角度变换下的匹配效果624.4.3 基于TSIQ 的Quasi-Dense匹配算法改进674.5 小结67第五章 基于MeanShift的特征描述子及其在宽基线立体匹配中的应用695.1 引言695.3 基于Meanshift的特征点描述子695.3.1 基于纹理特征的特征点描述方法695.3.2 基于Meanshift的特征点描述子构造方法705.4 基于Graph cut的宽基线深度图像获取算法755.5 实验765.5.1 不同描述子的比较765.5.2 不同基线情况下的深度图像775.5.3 WFD在图像变化情况下的鲁棒性786.总结79第六章 总结与展望806.1 总结806.2 展望81参考文献83致 谢101附 录102附录A 攻读博士学位期间取得的成果102附录B 攻读博士学位期间参与的项目103VIII附 录第一章 绪 论1.1 研究背景及意义随着计算机，半导体以及通信技术的快速发展，人类生活的各个领域正向着高度信息化的方向所发展。在所有信息中视觉系统承担了人类处理，感知和理解外部世界信息的绝大部分工作，实际生活中，人类所获取信息总量的75%以上来自视觉系统。目前，包括心理学、神经学、认知科学等各领域科学家对人类视觉系统进行了大量的研究，然而人类对其工作原理及认知过程的了解还远远不够；对视觉感知缺乏切实可信的数学模型；并且对大脑皮层如何视觉信息处理的具体过程尚不明确。 计算机视觉作为图像分析领域的一个重要分支，其主要的研究目的是根据摄像机所拍摄到的一幅或多幅2D图像认知或重现真实的3D场景信息，例如物体的形状、位置、大小以及运动等的信息，即通过计算机实现对真实世界的三维场景的识别、感知及理解。该学科不仅对工程领域具有重要的实用价值，更是一门极富挑战性的研究领域，用于该领域的研究方法涉及物理学、信号处理、认知科学、应用数学以及统计学等各个学科的相关知识。 20世纪60年代中期计算机视觉领域进入了其开创性的阶段。最初美国麻省理工学院的Roberts成功地利用计算机语言对三维积木世界进行了描述1。之后，Waltz, Clows以及Huffman等人在此基础上将二维图像分析推广到三维的场景分析中，解决了阴影处理和景物解释等问题。该进展标志着计算机视觉的诞生，并在接下来的20年中其迅速发展成了一门新的研究领域。此外，Marr教授在70年代末到80年代初将神经生理学、图像处理技术以及心理物理学等学科的研究成果融入到计算机视觉领域中，创立了该领域的理论体系2, 3。计算机视觉在工程领域中，如建筑、航空测绘、机器人视觉、产品外观设计和医学整形等都有着广泛的应用前景，因此它成为了当今国际上的热门研究领域之一。一些发达国家例如德国、美国、日本等相继在60年代开始了对其的研究，其中美国更是将其列为了国家的“重大挑战”课题。 数字图像处理技术与计算机视觉有着密切的关系，其中数字图像处理已取得了众多的成果，部分趋于成熟的技术已应用于实际的工程领域中，该领域的研究内容主要包括运动分析、边缘检测、图像识别与分割等，其往往作为计算机视觉的前期处理结果用于对图像的认知与推理。从整体上讲，由于当前对计算机视觉后期过程的研究还较不完善，因此很难将数字图像处理与计算机视觉的研究内容严格的区分开。通常情况下在获得二维图像序列后，立体视觉系统大致可分为如下六个步骤3：（1）图像获取：利用多个摄像机得到同一场景在不同角度下的图像。（2）摄像机标定（或摄像机建模）：其作用是求出摄像机内部的参数，用于 求解之后的深度信息并对摄像机透镜所造成的畸变进行校正。（3）特征提取：在不同摄像机所拍摄到的图像序列中提取具有高度鲁棒性的 特征点（例如对称点，角点以及边界点等），所选出的特征点应具有可 重复性，即：同一场景在不同角度所拍摄的图像中所提取的特征点应为 同名特征点。（4）特征点匹配：找到图像序列中的同名特征点对。（5）深度确定：根据摄像机标定过程所得的摄像机内部参数和同名特征点对 求出物体在三维空间中的实际位置。（6）深度图插值：在实际环境中，由于所得的特征点往往比较稀疏，因此无 法对三维场景中的每个点采用上述方法求出其对应的三维空间坐标，因 此需要采用插值的方法来得到其他点的深度信息。在上述的六个步骤中，图像获取、摄像机标定、深度确定以及深度插值已相对较为成熟，而特征提取及特征点匹配技术是当前计算机视觉领域的重要研究内容。本课题来源于上海市科委基础研究重点项目“仿人形多气囊柔性并联机器人生机电一体化的研究”。考虑到对人体模型采用基于图像的三维重建方法时，由于物体表面具有较强的弱纹理特征，因而导致传统特征点提取方法不能提取到这类物体表面的特征点，因此，本论文针对弱纹理区域进行研究。该方法弥补了传统特征点提取方法在弱纹理区域中提取不到特征点的缺陷，丰富了计算机视觉的基本理论和方法，具有重要的意义和广阔的应用前景。1.2国内外研究现状及研究问题的提出本文的研究涉及宽基线情况下图像中的弱纹理点的提取与匹配问题。为此，首先介绍宽基线的概念，然后分别阐述特征点提取与匹配算法以及立体匹配算法的国内外研究现状并引出本文所要研究的内容。1.2.1宽基线立体影像图1-1 窄基线与宽基线摄影原理图图1-1中左图和右图分别为窄基线情况下与宽基线情况下的摄影原理图。其中，与分别为从不同角度下所对应的相机平面，表示不同相机所对应的透镜中心，表示所拍摄到的点在真实三维场景中的位置。通常所谓的窄基线情况要求摄像机之间的相对位置为单一方向上平移关系，更进一步，在满足该条件的情况下，物体的深度信息可通过摄像机之间的相对平移量所描述，尽管在该情况下所采集到的图像对能够采用最简单的匹配算法SSD(Squared Sum Difference, 平方和求偏差的方法)，但其对摄像机的位置要求较严格，因此该方法对通常情况下所采集到的图像不能直接进行深度估计。如图1-1所示相比于窄基线的情况，在宽基线的情况下，相机之间位置没有特殊的要求，即，相机的位置可以存在较大的平移并可伴随着旋转，因而具有更广的适应性，可用于实际的三维场景重建过程，然而，由于其灵活性的增强使得同名特征点在不同图像上产生了尺度，方向以及亮度上的变化，因此给特征点的提取和匹配带来了困难。迄今为止，基于宽基线的特征点匹配方法仍然是计算机视觉领域的研究热点与难点之一。 通常情况下，基于宽基线的深度图像获取过程中，首先需要提取足够多的特征点，并通过对这些特征点进行匹配从而构建出整个物体深度的大致信息，最后通过插值的方法得到最终的深度图像，但由于传统的特征点匹配算法在图像中的弱纹理区域几乎检测不到特征点，因此对弱纹理区域进行深度估计时，若采用传统的特征点提取算法无法估计出该区域的深度信息。本文在宽基线的情况下，针对弱纹理区域的特征点提取进行了研究，一定程度上弥补了传统特征点提取算法的在该区域检测不到特征点的缺点。1.2.2 特征点的提取与匹配算法 当目标物体的图像获取后，从二维图像中提取图像特征并利用该特征与对应的约束关系恢复出传感器的几何投影模型成为了计算机视觉的首要工作。对于宽基线的情况，通常采用局部特征点的方法来描述向相应的特征，并采用特征点之间的关系来计算相应的模型参数。另一方面，局部特征点在遮挡，背景模糊以及其他条件变化的情况下具有较强的鲁棒性，目前该技术的难点主要集中在如下方面： (1) 当两幅图像存在变化时，得到稳定的不变特征点。 (2) 在图像对之间得到尽可能多的特征点。 (3) 在弱纹理区域得到稳定的特征点过去十几年中，人们采用了许多不同的方法来解决上述问题，通常该方法可分为三个步骤： 1. 特征点的提取，2. 根据规则或算法生成相应的特征描述子，3. 对特征描述子进行匹配找到对应的特征点对。1.2.2.1 尺度不变特征点的提取 早在上世纪80年代，文献4分别提出了三维的尺度空间的概念，该方法采用Difference-of Gaussian(DoG)滤子作为对应的特征值，并通过选取的三维尺度空间中具有极大特征值的点作为特征点，该方法假设特征点在各个方向上的尺度变化都相同。之后，针对三维尺度空间采用了各种不同的表示方法，文献5采用Laplacian-of-Gaussian(LoG)来描述尺度空间，该空间通过采用不同尺度的高斯核来描述，由于LoG算子具有镜像对称性，因此，可用来检测图像中的圆形结构。Bretzner和Lindeberg6据此提出了尺度自适应的特征点检测方法。 Lowe7基于DoG尺度空间的概念提出了一种有效的目标检测方法。该方法通过高斯核将输入的图像变化为连续的样本，并通过将相邻样本做差来得到相应的DoG尺度空间，尽管DoG算子是LoG算子的近似，但其有效的加快了算法的速度。由于DoG和LoG在信号单一方向上产生变化时会检测到与轮廓邻近的点，然而这些点往往是由于噪声所产生，因此其鲁棒性较差，Mikolajczyk8针对这一缺点进行了改进，提出了一种基于Hessian矩阵的特征点检测方法，该方法通过计算Hessian 矩阵，并将具有矩阵极大秩的点作为特征点，且通过计算信号的二阶导数，去除了仅在单一方向上变化的点。此外，Kadir和Brady9提出了一种不同的尺度选择方法，该方法考虑特征点的局部复杂度作为尺度大小的衡量标准提出了基于熵极大值的尺度检测方法，由于该方法需要检测特征点周围的复杂程度，因此，该方法对局部特征描述子有较强的依赖。1.2.2.2 仿射不变特征点的提取 由于在仿射变换本身包含了不同方向上的尺度变换，因此，仿射不变的特征点检测方法可以看成是尺度不变方法的扩展。其包含了两方面的内容：尺度的变化和形状的变化。Alvarez和Morales10提出了一种用于检测角点的仿射不变检测算法。该算法利用多尺度空间上的仿射形态学来分析和提取角点，即，通过构造同一图像结构在不同尺度上的所检测到的特征点串，并通过特征点串所得到的等分线来估计最终特征点的位置和方向。类似的方法被Deriche和Giraudon11所提出。由于实际环境中的特征点并不能被完美的表示成为一个拐角，并且由于特征点串中的点并不能严格的沿着等分线排列，因此，该方法对仿射不变性并不具有通用性。Tuytelaars和VanGool12, 13分别提出了两种仿射不变的图像特征检测方法，前一种方法通过采用Harris算子所检测到的特征点与每个特征点的相邻边界来确定图像特征的边界，因此该方法需要采用可靠的边界提取方法做保障，后一种方法采用图像灰度，将局部灰度最大的点作为特征点，并通过该点周围的灰度分布估计出对应的结构。Matas14等根据分水岭算法提出了类似的方法。Lindeberg和Garding15提出了一种检测圆形仿射变换特征的方法，该方法通过利用二阶矩矩阵和迭代过程估计局部区域的仿射变换，通过提取尺度空间中的极值点作为特征点，并通过迭代来调整其相应的尺度与形状，但在该方法中由于所采用的特征点在迭代的初始状态就已经确定，因此，在实际情况下点的位置会受仿射变换的影响而导致轻微偏移。Laptev和Lindeberg16将该方法应用于手部跟踪（椭圆形检测）。Baumberg17将仿射形状估计用于匹配和识别中，他通过Harris特征检测算子检测到相应的特征点，并通过Lindeberg提出的迭代方法确定该点所对应的形状。此外，Schaffalitzky和Zisserman18利用Baumberg提出的方法扩展了Harris-laplace（文献8)检测算子。1.2.2.3 其他特征点的提取 尽管目前大多数对特征点提取的研究工作主要集中在提取尺度不变以及仿射不变的特征点，但由于该方法大多采用图像灰度的梯度分布来进行检测8, 19-21，因此所采集到的特征点往往集中在具有较强纹理分布的区域中，然而在实际场景中存在大量的弱纹理或无纹理区域，因而采用传统的特征点检测方法将导致在该部分区域中检测不到到稳定特征点，并且由于弱纹理区域的弱梯度场分布特性，使得传统特征点描述方法在对该区域中的点进行描述时，其产生的特征描述子具有低区分度，从而导致了该部分区域的信息丢失。文献22提出了一种MSER方法，该方法通过将区域中具有最低或最高灰度极值的点作为特征点，尽管所检测区域可以被看成是弱纹理的，但该方法依赖于特征点周围的轮廓信息，因此当其附近没有相应的轮廓信息时，其特征点将不能被检测出。与其相似，文献23利用局部描述子与轮廓描述子相结合的方法检测特征点，但该方法仍然对轮廓具有较强的依赖性。Ralf Dragon24等提出了一种无特征的特征点检测方法，该方法首先通过传统方法检测出传统的特征点，并通过定义图像中点与传统特征点之间的距离确定出弱纹理特征点，最后通过采用局部的图像信息给出对应弱纹理特征点的特征描述子。1.2.3 立体匹配算法 立体匹配一直以来是计算机视觉的一项重要研究内容之一。通常人们采用两台窄基线放置的摄像机作为获取图像的工具通过处理所得到的图像得到最终物体的深度信息，该方法也被称为：双目立体视觉方法。任何视觉处理算法都需要对实际的环境做一些理想的假设。例如，如何匹配两幅图像中来自同一场景的投影点？这里一般假设物体表面的图像信息不受拍摄视角的影响。在立体视觉中常假设拍摄场景具有分块光滑的表面。大多数立体视觉方法可被分为如下四个步骤： (1). 计算匹配误差 (2). 对误差进行求和 (3). 视差图的计算或优化 (4). 视差图的调整在实际的算法中，并不需要如上所述的所有步骤，例如传统的SSD视差图获取方法仅采用上述的(1)，(2)，(3)。文献25-27 将步骤1与步骤2合并分别提出了标准自相关方法和序变换方法。另一方面，全局优化方法则跳过了步骤228-31。1.2.3.1 匹配误差的计算 在误差匹配方面，不少文献对其进行了详细的研究，提出了各种不同的方法，文献32-34提出了灰度平方差方法(SD)，文献35提出了灰度绝对值差方法。文献35-37提出了TQCG（truncated quadratics and contaminated Gaussians）方法，该方法可将加权阶段的误差控制在一定的范围内。此外文献38提出了标准互相关方法，该方法的效果等同于经典的SSD方法。 1.2.3.2 误差的加权 在误差的加权阶段则通常采用局部窗法，即，将窗口中的灰度误差进行加权。采用的窗口可以是一维的也可以是二维的，当其是一维时所生成的视差空间图（DSI）是二维的相应的当其是二维的则对应的DSI为三维。加权时经典的方法是采用高斯模板进行卷积。此外文献39-41分别提出了移动窗法和尺度自适应窗法。1.2.3.3 视差图的计算与优化该部分通常可以分为两种方法：局部方法和全局方法。其中局部方法主要强调算法步骤1与步骤2即：匹配误差的计算与匹配误差的加权。其最终视差的计算则相对简单，只需对每个点选择出最小误差所对应的视差值即可。该方法的缺陷主要是对点的唯一性只对参考图像进行约束，而对另一幅图像中则没有进行约束。相反全局优化方法的主要工作集中在视差图的计算中，并通常跳过误差加权步骤。一般来讲全局优化方法都可归纳为一种求能量函数最小值的方法。最终的目的是对下式进行最小化： (1.1) 其中 表示数据项能量，其作用是用于估计相应视差值所产生的误差大小。其可表示为： (1.2) 其中表示有初始状态生成的DSI。平滑项根据分块平滑假设对算法的平滑度进行估计。为了加快处理速度通常需要对平滑项进行限制，即：对每个点只估计其与相邻点的视差，如下式所示： (1.3)其中表示一个单调递增函数，文献42选择一个二次函数作为，但其在物体边缘的效果并不理想。为此，文献43提出了一种保不连续性的鲁邦函数。此外，文献44, 45提出平滑项也可由灰度差所决定，该方法所提出的具有保不连续性，对图像中的灰度边缘等较好的效果，其公式如下所示： (1.4)一旦全局能量函数给定，则可以采用一系列的优化算法对之进行最小化处理，例如，文献46采用马尔科夫随机场对其进行寻优，模拟退火47，最大最小流以及图割方法等48, 49. 此外还有动态规划方法50，协同优化算法51等。1.2.3.4 视差图的调整大多数立体匹配算法的应用领域中(机器人导航，人体跟踪等)所采用的视差值是离散的，例如，整数视差值。 然而，在图像渲染领域中采用离散的视差值会导致结果过于单调，简单，为了弥补这一缺陷，许多算法采用亚像素的概念来调整离散视差图所给出的结果。对亚像素级的视差图进行估计的常用方法包括：梯度下降法，曲线拟合法52-54, 这些方法通过轻微提高计算复杂度，从而添加了原始的立体匹配算法所得结果的分辨率。 尽管如此，该算法要求所拟合的平面具有较强的光滑性，并且索尼和区域必须要在同一平面上。1.3 论文主要内容和创新点本论文主要围绕宽基线下弱纹理区域的特征点提取以及匹配问题进行研究，以稠密匹配与立体匹配为应用领域，设计了多种特征点的提取，描述以及匹配方法。首先，研究了弱纹理区域的特征，针对其特点研究了一种弱纹理特征点提取方法，其次，根据弱纹理区域的性质结合计算机视觉领域的理论与方法，研究了一种仿射不变的纹理替换方法，最后，研究了宽基线下的立体匹配问题，探索了一种适用于该条件下的立体匹配机制。所研究内容弥补了经典方法在弱纹理区域的不足，且为扩展特征点检测方法的应用领域提供了参考方案和相应的技术支撑。上述内容的研究涉及到寻优算法、匹配算法、计算机视觉以及概率统计等多学科的理论与方法。论文研究内容包括以下几个方面： （1）提出了一种能够在图像的弱纹理区域中提取相应特征点并能够在不同角度拍摄的图像对中进行匹配的特征点提取与匹配算法，并在窄基线的情况下将其用于准稠密匹配的改进中。 （2）提出了一种基于纹理合成的图像特征点提取算法用于增加传统特征点提取算法在图像弱纹理区域中所提取的特征点数量，并将其用于宽基线情况下的准稠密匹配的改进中。 （3）设计了一种适应于非标定情况下的立体匹配算法，并提出了一种适用于弱纹理区域特征点匹配的特征点描述方法。1.4 论文的章节安排根据本文的研究内容，具体结构安排如下：第一章，介绍了本课题的研究意义与研究背景，并对宽基线下的立体匹配原理和方法进行介绍，随后阐述了国内外关于特征点提取与描述所采用的方法以及立体匹配的研究方法，最后给出了本文的主要研究内容和创新点，并对全文的结构进行了安排。第二章，介绍了宽基线下立体匹配问题的相关研究及关键技术。对后文所采用的自相似性概念、特征点提取与描述、稀疏表示、纹理合成以及图割算法进行了详细的介绍，为后文所提出的弱纹理情况下的特征点提取与匹配算法提供了理论基础。第三章，研究并提出了一种针对弱纹理区域的特征点检测与匹配方法，在特征点的提取阶段：引入了自相似性的概念用于检测特征点，并采用尺度空间的概念对特征点进行筛选，用以排除非弱纹理区域中的特征点，在特征点匹配阶段，研究了一种基于稀疏表示的特征点匹配方法用于提高匹配准确率；弥补了传统特征点检测算法在提取弱纹理特征点时的缺点。第四章，通过分析三维平面在二维图像上的投影，构建了一种纹理替换方法，该方法保证了图像中原始位置在替换前后具有不变性。结合传统特征点提取算法在检测特征点时对灰度场梯度的依赖性，提出了一种适用于特征提取的纹理合成(Texture Synthesis)算法。针对纹理添加后所产生的误差并结合弱纹理区域的自相似特性，构造了相应的能量函数，并利用图割(Graph Cut)算法对两幅图像中的匹配点进行调整，改进了宽基线情况下的稠密匹配算法。第五章，在宽基线情况下分析了相应的立体匹配方法，基于全局优化算法构造了相应的能量函数，并提出了一种针对弱纹理区域中的点进行描述的特征描述子，采用MeanShift方法以及该点周围的纹理分布情况，提出了一种自适应选取特征点窗口的方法，实现了宽基线情况下的立体匹配。第六章，对全文进行了总结，并对立体匹配技术的研究方向以及研究重点进行了展望。第二章 计算机视觉理论基础与关键技术2.1 引言 在计算机视觉中，图像的特征点提取与匹配方法是模式识别，视频跟踪，宽基线匹配，相机标定，图像匹配等研究领域的关键技术。其中基于立体视觉的三维重建技术是当前该领域的研究热点之一。早在上世纪60年代美国MIT的Robert将二维的图像分析拓展到三维空间中，由此人们开始了对立体视觉的研究。到上世纪70年代末，Marr等提出了著名的视觉计算理论框架为计算机视觉的快速发展铺平了道路，目前该领域已形成了一个相当完善的从二维图像到三维场景表面重建的理论体系架构。该领域将计算机科学，认知科学，应用数学，统计学以及信号处理等多个学科的方法进行融合，从而实现了在数学上模拟人类视觉的成像方式。 在实际的应用领域中，美国卡内基梅隆大学的机器人研究所建立了一套由49个CCD摄像机所组成的3D ROOM系统55用于三维场景的重建，英国剑桥大学的计算机视觉研究小组设计开发了一套“PhotoBuilder”三维重建系统，通过对系统进行相应的参数设定即生成实际场景的数字三维模型。美国明德学院设计了一套用于评估三维重建算法完整性及其精度的实验平台，该平台已对当前主流的40多种三维重构算法进行了排名。美国弗罗里达大学计算机视觉实验室56, 57、英国剑桥大学计算机智能实验室58, 59、美国北卡罗拉那大学教堂山分校60对此进行了研究。另一方面，国内对立体视觉的研究相对较晚，其中东南大学提出了一种新的立体匹配方法61并通过其实现了基于图像的高精度三维空间坐标的测量，浙江大学利用双目立体视觉技术实现了对图像特征点的三维坐标确定，并基于此研制出了用于检测机器人位姿及运动状态的系统62。此外哈尔滨工业大学的于海燕63将三维场景重建技术用于交通事故的重建过程中。香港大学的Kwan-Yee K, W.等64搭建了图像的旋转采集平台，并将其用于未标定的三维模型重建中。 以上是计算机视觉技术在三维重建中的应用成果。在立体匹配的理论方面，根据马赫效应所提出的人类视觉系统对灰度变化明显的部分具有特别强烈的感觉，相应的人们在计算机中通