基于单应矩阵的图像拼接算法

目录摘要 错误!未定义书签。ABSTRACT 错误!未定义书签。1绪论 41.1研究目的与意义 41.2研究现状 61.3研究内容 122算法描述及特征点匹配 122.1特征点提取描述 122.2特征点提取算子 142.2.1Moravec算子 142.2.2FAST算子 162.2.3SIFT算子 172.2.4Harris算子 242.3特征匹配 272.3.1基于灰度区域的匹配 272.3.2基于特征匹配 282.3.3匹配约束 292.4误匹配点消除 302.4.1景象误匹配分析 312.4.2RANSAC误匹配消除 313基于单应矩阵的图像拼接算法 353.1单应矩阵 353.2单应矩阵求解 374基于特征点的图像拼接技术研究 404.1图像融合算法 404.2基于低层特征的拼接方法 404.3加权融合 415实验结果和分析 43参考文献 1

摘要特征点特征匹配就是以影像上提取的具有某种局部特殊性质的点(称为特征点)不变矩及角度等特征参数。相似性测度可以采用归一化相关系数(如以特征点周围的灰度值作为匹配实体的情形)，也可以采用经过设计的度量函数,然后再结合其他各种约束性条件。匹配特征点是特征匹配方法中较简单并且有效的匹配方法，在数字摄影测量(如相对定向、DEM生成等)、计算机视觉(如3维场景恢复、运动目标检测等)许多领域都是一个非常重要的基本过程。根据不同的算子我们发现Moravec功能性太差对边缘点反应太过强烈，导致误差很大，FAST算子虽然操作简单方便快捷，但特征点选取会比较集中没有全局性，但是经管如此因为图像局部可能存在的相似性，会有一对多甚至多对一的现象产生，这时我们引入RANSAC剔除这些误匹配点可以得到更精确的同名点这样我们在2D中得到了高精度的点再使用单应矩阵来得到3D下的高精度图像，最后使用图像融合技术，有针对性的得到满意的实验数据。关键词：特征点，图像拼接，Moravec，FAST，图像配准AbstractFeaturepointfeaturematchingistouseapoint(calledfeaturepoint)withcertainlocalspecialpropertiesextractedfromtheimageastheconjugateentity,andtheattributeparameterofthefeaturepoint,thatis,thefeaturedescription,isusedasthematchingentity,andtheconjugateiscalculatedbycalculatingthesimilaritymeasure.Imagematchingmethodforentityregistration.Suchfeaturepointsmaybecornerpoints.Intersectionpoints,edgepointsaresometimesalsoreferredtoasedgepixelsandpointsextractedbyotherinterestoperators.Theattributeparameterordescriptionfeatureofthefeaturepointmaybethegrayvalueanddistributionoftheimagearoundthefeaturepoint,ormaybeacharacteristicparametersuchasarelationshipwiththesurroundingfeaturepoint,aconstantmomentandanangle.Thesimilaritymeasurecanuseanormalizedcorrelationcoefficient(suchasthecasewherethegrayvaluearoundthefeaturepointisusedasthematchingentity),oradesignedmetricfunction,andthencombinevariousotherconstraintconditions.MatchingfeaturepointsaresimplerandmoreeffectivematchingmethodsinfeaturematchingmethodsTheyareaveryimportantbasicprocessinmanyfieldssuchasdigitalphotogrammetry(suchasrelativeorientation,DEMgeneration,etc.)andcomputervision(suchas3dscenerestoration,movingtargetdetection,etc.).AccordingtodifferentoperatorwefoundpoorMoravecfunctionalresponsetoedgepointsistoostrong,causeerrorislarge,FASToperatoralthoughtheoperationissimpleandconvenientandquick,butthereisnooverallfeatureclickgetmoreconcentrated,butmanagementsuchaslocalpossiblesimilarity,therewillbeamuchmoreevenonaphenomenon,thenweintroducetheRANSACeliminatethesefalsematchingpointscangetamoreaccuratenamesothatweinthe2dprecisionpointsusingthehomographicmatrixtogethighprecisionunderthe3dimage,finallyusefigurelikefusiontechnology,Satisfactoryexperimentaldatawereobtained.Keywords:featurepoints,imageMosaic,Moravec,FAST,imageregistration1绪论1.1研究目的与意义目标：通过计算机平台从图像中去除噪声，增强，恢复，分割和特征提取的过程称为数字图像处理。航空航天，生物医学工程，通信工程，工业，工程，军事安全，视频及多媒体系统，机器人等重要性：随着科学技术，图像匹配和图像拼接技术的发展定位为图像信息处理。一个非常重要的手段。图像匹配是获得具有相同场景的两个或更多个图像的相同特征并确定它们之间的关系的过程。这些图像可以在不同的时区，不同的传感器和不同的视图拍摄。随着科学技术的进步，图像匹配在医学图像判断，遥感数据分析，模式识别和计算机视觉等诸多方面具有重要的应用价值。图像处理不是一步就能完成的过程。可将它分成诸多步骤，必须一个接一个地执行这些步骤，直到从被观察的景物中提取出有用的数据。依据这种方法，一个层次化的处理方案如图12-1所示，该图给出了图像处理不同阶段的概观。图像处理首先是以适当的但不一定是光学的采集系统对图像进行采集。在技术或科学应用中，可以选择一个适当的成像系统。此外，可以建立照明系统，选择最佳波长范围，以及选择其他方案以便用最好的方法在图像中获取有用的对象特征。一旦图像被检测到，必须将其变成数字计算机可处理的形式，这个过程称之为数字化。特征点特征匹配就是以影像上提取的具有某种局部特殊性质的点(称为特征点)作不变矩及角度等特征参数。特征提取是图像处理中一重要操作，就是图像的一个操作处理。如果他是属于较大算法一部分，那么食欲这个法通检查图像的区域。成为特征提前提操作输入图像通常由高斯模糊内核在比例空间中平滑然后，经过少部导数运算计算图像的一个或多特征点边缘。一般来说，边的形状可以是任意的，也可以包括交相似性测度可以采用归一化相关系数(如以特征点周围的灰度值作为匹配实体的情形)，也可以采用经过设计的度量函数,然后再结合其他各种约束性条件。匹配特征点是特征匹配方法中较简单并且有效的匹配方法，在数字摄影测量(如相对定向、DEM生成等)、计算机视觉(如3维场景恢复、运动目标检测等)许多领域都是一个非常重要的基本过程。全景摄像机的价格相对较高且不易使用，无法进行推广，满足不了普通用户的要求。全景相机或者鱼眼透镜都是在有限的成像平面上获取更丰富的信息(如图1.1(b))，点都是圆形的斑状，它们能够通过阈值的调整在一定范围内避免该问题对于特征点目前尚无明确的定义。在有些文献中又被称为兴趣点、显著点、关键点等等。虽然通过该方式获取的图像能够提供较好场景的全局影像，但是许多景物缺少细节处的纹理信息使得可视化应用不适合该技术。(a)反射折射镜(b)鱼眼镜头当前大量的图像采集设备捕获每幅图像的视野场景的范围是有限的，图像拼接的过程是在某些应用场合把多幅有重复区域的图块拼接成一幅较为完整的图像，(如图1.2)，图像拼接技术是通过多幅图像快速地拼接成一幅具有一定高分辨率、清晰的图像，由于输入的原始图像受光照条件的变化或者相机拍摄时的自动曝光等外在因素的影响造成拼接图像时常会出现缝隙，通常出现的这一类现象可以借助一系列图像处理手段得到减弱或者消除。图1.2拼接合成的全景图像通常，图像拼接技术可以通过机器人双筒望远镜收集的信息来缝合，这不仅增加了捕获的可见性，而且还便于视觉导航系统。在虚拟现实研究，研究人员可以利用技术来增加图像拼接的图像或全景图像更宽视角施加到虚拟场景播放死路[3,4,5,6]在医学图像处理领域[7，8,9,10]，因为医学显微镜的视觉范围由医生引起的微型医疗设备或超声波无法通过获得的图像信息的准确性来确定，咨询[11]的主要功能链接是具有类似功能的链接。另外，通过本领域的遥感信息在使用接合技术加入图像匹配技术来比较两个或更多个图像，并具有广泛的应用[12，13]其特征在于，它可以在相同的区域进行分析，数据的基础上作为研究和基础设施。军事防御等领域。[14]晚成像技术被限制，并成功地在可以做或不黑暗中或红外成像装置中使用的由微弱发光，你不能把宽的视场的照片拍摄的图像拼接为照相机设备的结果技术允许观察者观察周围场景中的每个场景，进一步增强红外警报的作用。1.2研究现状通常人们所熟知的图像配准技术是图像融合的基础，在召开的IFIP会议上，计算机图形学创始人并有虚拟现实先锋人称号的IvanSutherland[15,16]发表了题为“TheUelimateDisplay”的学术报告，开创性的提出了一项富有现实意义以及挑战性的有关计算机图形研究的课题。报告内容指出今后人们可以仅仅通过一个显示屏来观察虚拟世界，把它当作一个窗口让观察者仿佛身处其中的真实感。图像融合在现实世界中有着广泛的应用，现有的图像融合算法通常在特征级，像素级和决策级进行。在图像拼接中，由于存在着拼接缝，和亮度不均衡的问题，我们需要采用一种平滑过渡的方式，将拼接处的断裂，亮度不均的问题解决，常常采用像素级别进行融合，像素级别融合图像的RGB信息经过某种方式平滑过渡，得到更好的视觉效果。我们都知道的一些所谓的拼接方法，例如边界，边缘，颜色等，通常描述全文的大规模存储分布，并且由于该区域的充分表示而值得测量。有几种方法可以测量，但有几种方法可以拼接Harris边缘和快速特征。用RANSAC算法得到高精度同名点，并以高精度同名点作为计算单应矩阵H的依据，我们可以直接利用单应矩阵，以左影像为参考影像，右影像为拼接影像直接进行图像的拼接。多尺度算法就是其中之一突出的问题是当图像的局部特征位于一定的尺度空间时，会在这些尺度空间中检测到特征点，即在尺度和位置上使用多个特征表示相同的局部特征[在立体视觉领域，同时解决了一对摄像机的匹配点问题和基矩阵的计算。＃nbsp;二，删除不一致的应用程序RANSAC＃nbsp;在特征点配对中，模型是从一个平面中的特征点到另一个平面中的特征点的投影关系。反应是投影矩阵H.H是包含八个自由度的3×3矩阵，可以从至少四个对的匹配点在两个平面中计算的，但在同一平面上的三个点应该不共面。直接拼接即通过设定一个参考影像，计算参考影像与拼接影像之间的单应矩阵，然后通过拼接影像的R，G，B三通道的值，与单应矩阵进行拼接，由于在拼接过程中，像素在图像中不可再分，所以与单应矩阵的乘积往往会有小数，这是我们采用取整的方法得到转换后的影像，得到拼接影像。Harris边缘特征的使用速度很快，但它具有节省大量时间的优点。您需要牺牲所选图像的随机性来轻松选择堆叠在一起的点集。现在可以通过降低算法的计算复杂度来解决该问题。现象在Harris空间聚类算法之后增加了亮度加权算法。与其他低级特征相比，快速特征提取方法是最快的提取速度，并且通常用于实时图像处理应用。图像融合在现实世界中有着广泛的应用，现有的图像融合算法通常在特征级，像素级和决策级进行。在图像拼接中，由于存在着拼接缝，和亮度不均衡的问题，我们需要采用一种平滑过渡的方式，将拼接处的断裂，亮度不均的问题解决，常常采用像素级别进行融合，像素级别融合图像的RGB信息经过某种方式平滑过渡，得到更好的视觉效果，此种方法仅仅作用于了图像的方向，并可以在方向上作平滑处理，未对方向进行处理，这是由于在一般的图像拼接中仅需要对方向进行相应的平滑处理。由于该方法原理简单，效果较好所以常常用作于图像拼接的后期处理的图像融合当中，本文同样采用该方法在完成图像直接拼接后的图像融合处理当中。相位相关的原理主要由傅里叶变换产生，并且可以应用于交叉功率谱的频域中的图像转换峰值，因为傅立叶通过原始图像处理转换到频域。1987年，提出了一种相关方法，扩展相位相关方法可以实现图像旋转和变换变换的图像配准。然后，基于快速傅立叶变换，可以用来解决缩放，平移，旋转，ReadyChatterji等因此正确的图像变换注册。伯特P.J.1984年，首次提出了一种基于拉普拉斯金字塔变换的图像融合算法。图像处理算法集成的主要思想是对图像拉普拉斯金字塔进行变换。左片上以目标为中心的目标区,右片相应位置上取扩大1倍(或更大)的搜索区,在搜索区中按先行后列顺序计算两个区域中各相应位置之间的相关系数,其中最大值所对应的位置即为同名目标,称为二维的影像匹配法;如果先将右片影像按核线进行重采样,就可以作沿着核线的一维的影像匹配。后一种方法可大量缩减运算工作量。一些所谓的拼接方法，如边框、边缘、颜色等，通常描述了全文的一个大的存储分布，由于该区域有足够的表示，因此值得测量。有几种方法可以测量，但也有几种方法可以拼接Harris边缘和快速特性。Harrisedge功能使用起来很快，但它的优点是节省了很多时间。您需要牺牲所选图像的随机性，以便轻松地选择堆叠的点集。现在可以通过降低算法的计算复杂度来解决这个问题。在Harris空间聚类算法的基础上，加入亮度加权算法。与其他底层特征相比，快速特征提取速度最快，通常用于实时图像处理应用。图像融合在现实世界中得到了广泛的应用。现有的图像融合算法通常在特征层、像素层和决策层进行。在图像匹配,因为有拼缝,和亮度的不平衡问题,我们需要采取的平稳过渡,骨折将拼接,亮度不均匀的问题解决方案,经常与像素级融合,平稳过渡的图像像素级融合,RGB信息通过某种方式得到一个更好的视觉效果,这种方法只适用于图像的方向,方向和可以平滑处理,不处理方向,这是因为在一般的图像拼接中只需要相应的平滑处理方向。该方法原理简单，效果良好，常用于图像融合的图像拼接后处理。该方法也适用于直接拼接后的图像融合处理。基于灰度影像匹配可达到很高的精度,但它没有充分利用影像所包含的全部信息,对初始值要求高,且需解决质量控制和成果自动诊断等问题。该方法是为了取得良好的效果，美国将其划分为不同尺度的图像。因此，基于拉普拉斯金字塔图像融合算法，其可以修改原始图像采集的多尺度性质，处理在最终效果融合中起重要作用，1988年，哈里斯提出了一种Harris探测器，并使用了探测点。可以实现算法的子像素精度以提取将抵抗诸如冲击噪声，光和更好韧性的图像条件的图像。#nbsp，被称为全景图像拼接技术的创始人RichardSzelisky[17]。基于1996年教授Hosting模型的全景图像拼接运动而设计。它们主要用于从图像的低水平(像素)信息中检测和提取高水平信息。这些算法计算量大，其纯软件实现远远不能达到实时性能，特别是在计算能力有限的嵌入式系统13上。本文提出了一种适用于实时图像处理的SIFT算法的专用集成电路(ASIC)实现。在高斯尺度空间生成步骤中，除了常用的子表达式消去算法外，还采用了多种技术来大幅度降低硬件复杂度:无多倍性的多重常数乘法、高斯掩模的对称性。通过对SIFT128个值的重新排列，实现了一种新的多端口存储器，减小了内存大小。在此基础上，提出了一种新颖的动态窗口连续监测机制。模型使用LM算法[18]在缝合过程中使用的模型具有与实际场景中没有连接，其结果是精确到像素你可以。全景结果图像是全景图像马赛克领域的经典算法，具有高图像质量，快速收敛速度和通用性。2000年，ShmuelPeleg、BennyRousso、AlexRav.Acha和AssafZomet相继提出了一种能够根据相机拍摄的不同运动轨迹来选择具体模型的图像拼接算法。该算法是在运动的全景图拼接模型的基础上提出运行的。匹兹堡大学的SerketGumustekin博士[19,20]针对全景图拼接时相机的旋转形成的图像透视变形等问题，做了大量的研究。实验证明完成的图像拼接的效果好，该类方法的可靠性高。#nbsp，2003，一个基于RichardSuzelski的全景图像镶嵌模型的融合算法ShmuleBeleck[21,22,23]，BennyRousso提出的自适应全景图像。2004年，ShmulePeleg，BennyRousso和AlexRav完成了图像拼接过程，将图像分割为多个投影的窄片。M.Brown和D.G.全景行文档[24]，提出的基于尺度不变特征（SIFT）识别算法的图像拼接技术采用多分辨率图像合成自动分配并获得更满意的结果。SIFT算法在1999年创建基于DGlowe提出的第一个缺点和2004年的完美总结，实验证明了SIFT2005年描述大肠杆菌的脸颊和施密特性能的优越性，当前流行的马赛克区域最形象算法。在立体视觉领域，同时解决了一对摄像机的匹配点问题和基矩阵的计算。＃nbsp;二，删除不一致的应用程序RANSAC＃nbsp;在特征点配对中，模型是从一个平面中的特征点到另一个平面中的特征点的投影关系。反应是投影矩阵H.H是包含八个自由度的3×3矩阵，可以从至少四个对的匹配点在两个平面中计算的，但在同一平面上的三个点应该不共面。2006年10月，以不同的方式理查德的果冻滑雪呈现，图像预处理图像配准的新理论登记图像之前提升形象，一个点的特征点，然后清晰明确地从游戏图像的精度不同改进[25]。一种使用概率模型完成对齐图像拼接以获得正确顺序的噪声检测图像以实现自适应图像之间的自动拼接的方法，并提出了一条新的发展路径和方向[27]。能谱技术这种方法是用于去除基于重影图像拼接技术的能量值，并且通过比较实验结果计算出的斜率值的好方法很大程度上表明，有可能消除关注人眼针迹的图像的特征之后的图像之间的幽灵[28]。#nbsp，这是图像特征点的基础上，提取的现有规范哈里斯具有拉普拉斯算子的基础上具有决定性的影响的完整图像拼接技术马赛克效果的特征点，一个重大的改进，发现存在缺陷哈里斯-拉普拉斯算子，该算法创新旨在有效减少图像复制的特征点。并且局部局部特征提取是不变的，因此局部实际处理仅在一个尺度空间中发生，但是在一定范围的尺度内。提出了一种尺度不变性方法。LOG运营商和使用尺度空间标准化的局部特征操作器本体提取最好考虑来代替传统的标度空间LOG运营商一般使用操作子DOG提取过程设置，一个确定的权重的空间的操作者通常高斯图像用于获得差异并形成差异尺度空间。本身被施加到操作者，采取严格测量具有稳定性好，计算机视觉中，每个现有技术的，哈里斯-拉普拉斯联合多尺度特征被呈现使用基点在拉普拉斯检测算法拉普拉斯函数极值大肠杆菌脸颊和Hessian矩阵的特性确定点的比例转换。陶猫贪加权平均哈里斯提出[29]基于拉普拉斯算子具有计算速度提高的缺点，但进一步减少检测到的特征点的重复率。然后，由于子波，角边缘检测尺然而哈里斯是，使用复杂的计算过程，因为小波以获得多尺度变换和可靠性的多尺度Harris角点[31]为了解决上述改进的重新转换的算法有一个不便之处。多尺度算法面临的瓶颈是在类的尺度空间中检测特定尺度范围内的局部特征的特征点，从而产生具有不同尺度和位置的多个特征点。表达相同的局部特征[32]对后续特征点匹配有显着影响。Harris-Laplace算子代表了这个问题，Hessian-Laplace算法在一定范围内调整。防止此问题的阈值。像对中两幅影像间的相对方位已知，那么对其中一幅影像上重叠范围内的某一点，其在另一张影像上的相应核线就可以计算出来，而且该点的同名像点(共轭点)如果存在，也必定位于该条相应核线上。这样影像匹配问题就从一个2维问题转化为1维问题。这种从2维到1维的约束条件称为核线几何约束(epipolargeometryconstraint)。这一约束不仅缩小了搜索空间，简化了匹配算法，提高了匹配速度,而且还可以增加可靠性。影像匹配研究和生产中都采用了这一限制条件，几乎所有的商业化数字摄影测量软件系统及数字摄影测量工作站都具有核线几何纠正和核线影像生成的功能模块。图像配准技术是其中的重要组成部分计算机视觉的应用程序。图像配准的目的是为了找到图像之间可靠的对应关系吗同一场景(图像在不同位置获取)时间，不同的视角或不同的传感器)。的图像配准的应用主要包括图像配准拼接，远程图像配准，红外图像配准，医学图像配准，三维重建，等。图像配准主要存在三种变体:配准基于图像特征，配准基于灰度相关和基于变换域的配准。基于特征的图像配准是最早的研究表明，的适应性最广。研究人员为此做出了不懈的努力。Featurebased图像配准算法，如Moravec,Harris，SUSAN和SIFT被提议。SIFT已经被被证明是当地最有鉴别力的不变特征描述符。但是它的描述符是a168¼128维向量和主要设计为灰度图像。要克服这个缺点，就得广下功夫已经提出了各种各样的检测器和描述符在文献中。ca-sift减小了描述符向量从128到36，但是它被证明是更小的与众不同。GLOH被证明是更加独特的具有相同的维数，但它是计算的更加昂贵。SURF是在基于SIFTbyBay等人在2006年的研究。与筛选相比,SURF算法的运算速度得到了显著提高由于较低的维度空间而得到了巧妙的改进向量(只有64维)。虽然它保持良好结果，它也没有整合颜色信息。色彩信息在服装设计中起着至关重要的作用世界，及其重要组成部分的区别对象之间。许多物体如果它们的颜色内容被忽略。CSIFT使用颜色信息基于颜色不变性模型。图像配准是许多方法的一个基本方面计算机视觉的问题。的主要步骤之一图像配准是检测和描述图像的特征图像。我们将特征提取算法分为两类:形状描述符和关键点描述符。在下面我们将简要回顾一下相关算法。然后对其不足之处进行了揭示，以澄清其不足之处我们算法的必要条件。键值描述符的代表性方法是Scale不变特征变换(SIFT)、仿射SIFT等。这些方法首先检测关键点(例如角点)和然后用一些直方图(例如梯度)来描述它们柱状图)。众所周知的形状表示算法包括主动形状模型(ASM)，相邻等高线段(ka、蛇等。基于主成分分析(PCA)，ASM是特定于类的，因为它的模型是从类中学到的特定的类别(例如面部)。蛇由适当的形状衍生而来的能量。ka是最先进的形状描述方法大约由几个相互联系的小组组成直线轮廓段。但上述方法是独立的利用形状信息或关键点信息。它是认为这两种信息的结合是有助于提高性能。我们的实验结果表明，所提取的关键字(如关键字在SIFT中)是局部的，可能处于不稳定和无语义状态的位置。尽管形状描述符(例如ka)更高语义层次比关键点，它只编码轮廓或边，从而丢弃重要信息，如纹理。以补充形状和关键点在本文中，我们建议将描述符集成到a中优雅的方式。本文的贡献如下:(1)我们提出了集成ka和SIFT的框架。(2)我们修改SIFT，使其适合所提议的框架。改进后的SIFT称为筛状筛描述符。(3)提出的描述符具有较高的语义的水平。此外，建议的描述符更加稀疏健壮的和独特的。注意，虽然活动外观模型(AAM)还结合了形状和纹理信息及其应用是有限的，因为它只适用于形状和纹理遵循高斯分布。通过相比之下，该建议对于更复杂的情况也是通用的的情况。隐式形状模型主要依赖SIFT描述符，只隐式地利用形状信息。但该方法显式地利用了形状信息使我们的方法更加独特和健壮。图像的特征点也称为感兴趣点，挤出点和感兴趣点。它表示基于所述特征点的位置的图像特征是表示图像特征的最简单和最有效的方法之一。实际上，特征点用于指示图像特征的位置，并且还指示特征点的外围具有某些规则特征。在[33]中，作者的观点是暂时将细节分为两类。一种是窄特征点，另一种是广义特征点。窄特征点表示图像的边缘，交叉点等，并且位置本身通常是现有属性有意义的点。1.3研究内容本文基于对Moravec和FAST等算子进行特征点提取的与匹配，并且剔除误匹配点得到高精度同名点，根据高精度同名点计算得到单应矩阵H，最后进行影像的拼接及其后期处理。利用Moravec，FAST，SIFT，Harris等算子进行特征点提取，利用相应的匹配算法得到初始同名点，再利用RANSAC剔除误匹配点得到高精度同名点，根据高精度同名点计算得到单应矩阵H，最后进行影像的拼接及加权融合处理根据不同的算子发现Moravec算子功FAST算子虽然操作简单方便快捷，但特征点选取会比较的差别，并且图像局部可能存在的相似性，会有一对多甚至多对一的现象产生，Harris算子对于阈值反应过于强烈所以我们采用SIFT算子进行特征点的提取，并利用欧式最短距离进行匹配，由于在进行特征点匹配时会因为某些问题得到了误匹配点，这时我们引入RANSAC方法剔除这些误匹配点并得到更精确的同名点，这样我们在待匹配影像中得到了高精度的同名点数据，并根据高精度同名点计算得到单应矩阵，再使用单应矩阵来进行图像的拼接，由于直接拼接存在着相应的误差，即在图像拼接处存在着某些“拼接缝”的现象，我们采用加权融合方法得到拼接效果更好的拼接影像。2算法描述及特征点匹配2.1特征点提取描述特征提取是图像处理的主要操作。也就是说，对图像执行第一操作。如果这是较大算法的一部分，则算法通常仅检查图像的特征区域。作为特征提取的前提，通常由高斯模糊核在尺度空间中平滑输入图像。特征提取是图像处理中一重要操作，就是图像的一个操作处理。如果他是属于较大算法一部分，那么食欲这个法通检查图像的区域。成为特征提前提操作输入图像通常由高斯模糊内核在比例空间中平滑然后，经过少部导数运算计算图像的一个或多特征点边缘。一般来说，边的形状可以是任意的，也可以包括交点。任何对象都包含许多功能，如交叉功能，模糊，内角，方向，清晰度，对比度等，可以提取有关对象的大量有用信息。当处理对象的图像时，各种对象中的像素总数要少得多，有效地减少了信息中的信息量，同时保持了对象在图像中的重要特征信息，大大增加了图像处理所需的计算量。边缘:边缘是构成两个图像区域之间的边界（或边缘）的像素。一些常用的算法将点连接到更高的梯度以更完整地描述边缘。这些算法也可以对边缘施加一些限制。部分边缘是一维结构。角度:角度是图像中的点状特征，在局部部分具有二维结构。区域检测可以被认为是折叠图像然后对折叠图像执行角度检测。长条状物体称为脊。实际上，凸脊可以被看作是一维曲线，它表示的对称轴，并且还存在于每个脊局部的像素的脊的宽度。脊柱摄影通常用于航空摄影，以区分用于区分船只和医疗照片的道路。一般采用的是自动剔除差错功能的稳健估计法。优点有:不需要很精确的初始值并可在较大范围内寻找特征;可用一些快速算法,且出错和失去匹配的可能性较小。缺点是:精度较低,为粗一级的影像匹配。一般为基于灰度影像匹配提供初始值。基于特征匹配，通过提取原始图像中的点特征、行特征、面部区域特征等突出特征作为匹配基元来进行特征匹配。基于特征的图像匹配分为三个步骤：在第一步中，在图像上提取特征（例如角特征，边缘特征，区域特征等）。在第二步中，参数化地描述所提取的特征（例如颜色特征）。第三步是根据特征的参数值搜索同名特征，然后获取同名图像点。特征的相似性可以用边缘线的形状和边缘13的灰度来衡量，梯度变化的正负参数都可以。根据图像信息处理的另一种方法，特征点检测一般分为：基于模板的方法:基于模板的方法主要使用参数模型或模板来检测特征点。常用于检测特定类型的特征点，因为你需要创建一个不同的参数，型号，模板是普遍较快的计算速度。缺点是它不适合具有更复杂形式的模板。边缘为基础的方法:基于边缘的方法是对多边形的顶点的边缘使用点，或者使用对象具有大曲率细节。细节上有一组对象的边缘提取算法的检测结果的影响显著边缘需要一定程度，并改变角的方向。空间转换方法基于:的空间转换方法使用空间变换来获得易于识别的特征点，然后检测转换空间中的极值点。通常，空间分为比例空间，频率空间和小波空间。标度空间指的是在曲线标度空间或近似标度空间中检索的绝对值的绝对值是最小值或最大值的点。频率空间用作计算的局部相位或用作特定相位最大值的特征点。小波变换使用小波系数或模数的局部最大值来使用最适合极值点检测的尺度。#nbsp，＃nbsp;角点检测是包括模式识别和运动检测在内的许多图像处理过程的核心。例如，后者主要依赖于执行空间分析的角点，通常是(可能是实时的)视频或图像的时间流。因此，高效的角点检测是满足相关应用实时性要求的关键。本文考虑了Harris提出的角点检测算法，该算法的主要工作流程是由基本算子组成，这些算子用3×3矩阵的近似来表示。相应的数据访问模式遵循一个模板模型，众所周知，该模型需要仔细的内存组织和管理。2.2特征点提取算子2.2.1Moravec算子该算法检测图像中的每个像素，使用像素周围的邻域作为窗口，并检测该窗口与其周围的其他窗口之间的相关性。该相关性被测量为两个窗口（SSD）之间的差异的平方和.SSV值越小，相似性越大。当像素位于边缘时，周围窗口在垂直于边缘的方向上非常不同并且更加平行于边缘。如果像素是在所有方向上变化的特征点，则并非所有周围窗口都非常相似。Moravec算法的主要思想是基于图像的四个关键区域的最小梯度来创建像素和相邻像素的灰度响应。有些要点非常重要，非常特别和优秀。我们称他们为兴趣点。Step2：阈值时固定的，所以，我们就以此为参考把大于之歌数值的一切数字点记作候选点。而这个所谓的基础点就要是那些在脱氨上比较突出且有明显特征的点，包括上面说的那些候选点，原则上来说不能包含有过多的不是兴趣点的点。Step3：那么在这些候选点又会有那么一些点在这些点中显得更加重要且突出，我们就把这种点看做是兴趣点。在一个可以除了上文说的那些具有十分明显特征的兴趣点删除去掉所有不是最大兴趣值的候选点，只保留兴趣值的最大者，这个像素我们就可以将他选取过来。Moravec角点检测算法缺点：1.对边缘点的反应比较强烈如果边缘方向超过八个方向，则将其视为一个角。2.不具备旋转不变性可能会出现原来的一条边缘在这8个方向之上而旋转之后却不在了，也有可能是相反的情况。2.2.2FAST算子将上带有人才出，先人们用他们的智慧开发了一个个优秀的特征提取算法。各种加工合成的算法很多，却会浪费我们很多时间，但是就值个过程而论，人们已经不会单单满足于此，接下来进行诸如配准、提纯、融合等后续算法都要进行推进。然而时间的拖慢，实物的瞬息万变，让我们呢不能观测到一个物体实时的信息。EdwardRosten和TomDrummond两位大神经过研究，历数载经得出了这一算法。1、从图中我们可以看出，如果我们把点当做中心，r为3的一个模拟圆那么这个圆是就可以出现4*4个像素点。2、给定一个固定的数作为阈值。计算p1、p9与点p的两个像素之间的差值，若果他们的绝对值都普遍小于这个给定的数值，那么我们就不能将点P做为兴趣点来做参照，我们就要进行删除；不然，就只能把这些还不太正规的兴趣点做为特征点，再进行下一步的检测和审查；3、如果我们设点P是兴趣点，那么我们就把3p1、p9、p5、p13的数值和点p的之间的差做计算，若它们少说3个比阈值高，则当做候选点，4、若这些数值中至少有9个数超过了给定的数值，就可以进行使用；不然就要进行删除。5、对上图进行非极大值抑制上面的算法同样有一些不可忽视的缺点：1.我们现在给定一个区间n<12n<12那我们就不可以使用这个算法来筛选非角点上的点；2.通过排查和检测我们发现筛选出来的点不是最具有代表性的那个点，这是因为他们的先后顺序取决于系统选择到他们的时间的先后顺序；3.角方向上的点集被删除掉了；4.量很多的一些兴趣点扎堆挤在了一起。2.2.3SIFT算子SIFT算法是一种提取局部特征的算法，在尺度空间寻找极值点，提取位置，尺度，旋转不变量。本文对普通的SIFT做了改进，我们采用了forstner征提取算子优化了SIFT特征点的匹配。SIFT算法在1999年创建基于DGlowe提出的第一个缺点和2004年的完美总结，实验证明了SIFT2005年描述大肠杆菌的脸颊和施密特性能的优越性，当前流行的马赛克区域最形象算法。2006年10月，以不同的方式理查德的果冻滑雪呈现，图像预处理图像配准的新理论登记图像之前提升形象，一个点的特征点，然后清晰明确地从游戏图像的精度不同改进。一种使用概率模型完成对齐图像拼接以获得正确顺序的噪声检测图像以实现自适应图像之间的自动拼接的方法，并提出了一条新的发展路径和方向。能谱技术这种方法是用于去除基于重影图像拼接技术的能量值，并且通过比较实验结果计算出的斜率值的好方法很大程度上表明，有可能消除关注人眼针迹的图像的特征之后的图像之间的幽灵。局部特征检测和描述算法，如尺度不变特征变换(SIFT)算法，是计算机视觉中最常用的技术之一。它们主要用于从图像的低水平(像素)信息中检测和提取高水平信息。这些算法计算量大，其纯软件实现远远不能达到实时性能，特别是在计算能力有限的嵌入式系统上。本文提出了一种适用于实时图像处理的SIFT算法的专用集成电路(ASIC)实现。在高斯尺度空间生成步骤中，除了常用的子表达式消去算法外，还采用了多种技术来大幅度降低硬件复杂度:无多倍性的多重常数乘法、高斯掩模的对称性。通过对SIFT128个值的重新排列，实现了一种新的多端口存储器，减小了内存大小。在此基础上，提出了一种新颖的动态窗口连续监测机制。该方法不仅提高了SIFT实现的性能，而且保持了与软件实现完全相同的特征提取精度。主要特点有：如尺度不变特征变换(SIFT)，被广泛应用于自动驾驶汽车和人机交互等领域。它们通常是计算密集型的，在传统的单核处理器上需要很长的处理时间。筛选方法的不完善问题,（1）构建Hessian矩阵#nbsp是确定H矩阵的矩阵：#nbsp，判定值是一个唯一的矩阵H，符号判定结果可被用于所有点的分类，加或如何确定的判定是否是极值点减去值。冲浪算法代替像素图像L阶高斯滤波器，特别地，函数f（X，Y）在H矩阵在太将所述（X，Y）的值作为由所述铁心之间的卷积计算的二次偏导数的选择的第二函数计算三个矩阵元素L.L.k，并计算H矩阵：＃nbsp;L是计算的。在误差的实际值和硼比例变化权重的近似值之间引入适当的平衡。判别矩阵H可表示为：（2）构建尺度空间（2）建立尺度空间#nbsp，并且可以从等式（4）看到该图像在扩展空间图像的不同分辨率下的表示。可以通过高斯核G（rho）的卷积来实现不同分辨率下的图像j（X）的表示，高斯核G（rho）是图像的尺度。它通常用高斯标准差表示[6]。这种方法主要用于实现选择算法，但每个层的形状取决于该层中的先前的图像，并且图像复位的大小上，以便增加SURF算法应用程序核心的图像大小，计算大的计算量使用SURF算法的SIFT算法金字塔原理可能会有所不同。覆膜算法尺度空间图像同时允许，无需对图像处理进行二次采样，从而提高了算法的性能。图1（a）也是使用图像迭代高斯函数平滑子层层次的各种英寸和透射（1）的图示，其产生传统方法中所示的金字塔结构。（1）（b）说明Surf算法仅更改滤镜大小而不更改原始图像。图1（a）是如图所示构建金字塔结构的传统方法。图像大小改变，操作（1）重复使用功能高斯平滑子层。图1（b）显示surf算法保持原始图像不变，只改变过滤器的大小。（3）精确定位特征点#nbsp（3）的确切位置细节#nbsp，低于预定极限值的任何值将被丢弃更极端的特征点的检测降低最终一些细节最强，已经发现数量太多增加。三次检测处理，通过使用对应于检测过滤器的大小，尺度层图像的分辨率，如第三滤波器也下列九个像素一八点的两个本身残留在图像9的上方尺度层的故事特征点检测尺度层在比较点时，26个点的总像素的特征值也用'X'表示。如果可以确定多于2个周围像素，则该点是该区域的特征点。检测过程使用与比例层图像分辨率相对应的大小的滤波器来检测3次，在图2中，如果标记为'm'的像素的特征值大于周围的像素，可以确定该点是该区域的特征点。（4）主方向确定（4）两周方向判定#nbsp半径6S计算出的旋转不变中心作为第一特征点，以确保O，Y方向上，Haar小波（Haar小波上升一侧长度4S）响应（特征点S位于的刻度值）并且Z中的点对分配给响应值的加权因子高斯权重的响应很小。这些响应特征点的贡献远离特征点，这是60岁。响应于在新矢量的范围内形成的步骤，选择通过整个圆形区域特征点的主方向的长矢量。因此，单独计算特征点以获得每个特征点的主要方向。以半径6S计算的旋转不变中心作为第一个特征点，保证了Haar小波(Haar小波在O和Y方向上均上升1响应值(特征点S的标度值)和Z点对赋给响应值的加权因子高斯权值的响应较小。这些响应特征点的贡献还很遥远特征点。这是60年前的照片。根据新向量范围内所形成的步骤，选择一个长向量通过整个圆形区域特征点的主方向。因此，特征点分别计算获取每个特征点的主方向。为了保证旋转的不变性，首先以特征点为中心，计算半径为6s(S为特征点的比例尺值)的邻域内的在z、y方向上，Haar小波(Haar小波边长4s)响应，并对这些响应值赋高斯权系数，使得特征点附近的响应贡献较大，而远离特征点的响应贡献较大响应贡献很小，其次是60。范围内的响应相位形成一个新的向量，遍历整个圆形区域，选择最长向量的方向作为特征点的主方向。这样，每个特征点的主方向可以通过逐个计算特征点得到。（5）特征点描述子生成SIFT(ScaleconstantFeatureTransform，尺度不变特征变换)适用于匹配同一物体或场景的不同图像。的SIFT特征对图像缩放和旋转是不变的部分不受视角和光照变化的影响。从典型特征中可以提取出大量的特征图像与此有效的算法。此外,功能是高度独特的，这允许一个单一的功能与大概率正确匹配数据库的特点，为对象和场景提供了基础识别。步骤如下:关键点检测:第一步是全面搜索在尺度空间中寻找极值点它是用高斯差分法构造的。这方法确保可以重复找到关键点。关键点定位和定位分配:一次检测到极值后，可在每个极值处进行定标可以指定候选位置和方向每个关键点的定位都基于局部图像梯度方向。（5）创建功能点描述符＃nbsp;在图的左侧部分中央黑点显示当前关键点的位置。每个小方块表示一个像素酒店尺度空间KIPO附近，梯度大小和由像素的高斯权重的在该图中，点是由2次，2是总共四个点是种子具有用于每个种子点8个的方向矢量信息。在SIFT方法中，关键点的尺度为确定何时找到局部最大点。规模主要取决于哪个八度和哪个层是一个关键点是发现。定义任意点的尺度感觉，下面的方法是使用。这里用来确定一个点的比例尺的方法类似于SIFT中使用的方法。输入图像为依次用高斯核进行平滑并采样。得到了-高斯表示法的差分减去两个连续平滑的图像。因此,所有的狗的水平是由组合平滑和子采样。对于给定的点提取类筛子特征打开，找到每个八度的位置，并比较像素在每个级别(用X标记)对应3x3区域中的26个邻居在当前和相邻的刻度上(用圆圈和X标记)在图6中)。对于相邻的26个像素大于点的像素为M，小于点的个数为N，M+N=26。如果M=26,N=0或者M=0,N=26，这个点是an极值。如果在任何水平上这个点都不是极值，那么我们就会发现最接近极值点的水平，即M与N之差的绝对值最大(例如M=1,N=25)现在缩放已经确定，局部纹理特征可以像SIFT那样计算:computerthe方向和描述符。2.2.4Harris算子任何对象都包含许多功能，如交叉功能，模糊，内角，方向，清晰度，对比度等，可以提取有关对象的大量有用信息。当处理对象的图像时，各种对象中的像素总数要少得多，有效地减少了信息中的信息量。由于使用了特征信息，对象识别，图像匹配和图像重建的角点是至关重要的。角点具有丰富的特征信息，可实现实时处理，有利于图像的可靠匹配，角点对光照条件影响很小或没有影响，因为它们具有旋转不变性。角点在计算机视觉领域中起着重要作用，如三维场景重建，运动估计，目标跟踪，目标识别，图像配准和匹配。我们都知道的一些所谓的拼接方法，例如边界，边缘，颜色等，通常描述全文的大规模存储分布，并且由于该区域的充分表示而值得测量。有几种方法可以测量，但有几种方法可以拼接Harris边缘和快速特征。Harris边缘特征的使用速度很快，但它具有节省大量时间的优点。您需要牺牲所选图像的随机性来轻松选择堆叠在一起的点集。现在可以通过降低算法的计算复杂度来解决该问题。现象在Harris空间聚类算法之后增加了亮度加权算法。与其他低级特征相比，快速特征提取方法是最快的提取速度，并且通常用于实时图像处理应用。#nbsp如果梯度方向的绝对值位于像素的两个位置，则Harris算子认为M通过计算梯度矩阵的大小来计算角位置。确定是一个角点。因为Harris算子的公式只包括图像的一阶导数，所以算子是一种简单，复杂，简单，可靠的算法。只有哈里斯算子的原算子①简单算法:哈里斯算子具有以下特征，即灰度差值和高斯滤波斜率，操作简单。2.所提取的点特征一致、合理。Harris算子:计算图像中每个点的利益值，然后选择邻域中最有利的利益。在图像纹理信息丰富的区域，Harris算子可以提取出许多有用的特征点，但在纹理信息较少的图像中，提取出的特征点较少。博士论文，哈里斯算子。3.特征点可以定量提取。Harris算子的最后一步是对所有的局部极点进行排序，并根据需要提取特定数的最佳可能收益。4.Harris角点检测对对角点指数进行非最大抑制。在确定局部最大值时，角点提取的效果完全取决于一个阈值的设置。虽然5Harris角检测采用了可调窗口的高斯平滑函数，但在实际应用中很难确定高斯窗口的大小。博士论文，哈里斯算子。如果选择小窗的高斯平滑函数，由于噪声干扰会出现很多伪边缘点，如果使用大窗的高斯平滑函数，卷积的舍入效果会偏向于角点的位置。移动它。Harris角点检测算法是由ChrisHarris和MikeStephens于1988年提出的。该算法基于Moravec算法。Moravec算法检查在图像的另一个方向发生小偏移后窗口亮度值的平均变化。#1(1)如果图像在窗口区域的亮度值是恒定的，其他方向的偏移量几乎不会改变#2;(2)当窗口穿过边缘时，边缘的偏移量基本不变，但垂直于边缘的偏移量变化较大。(3)如果窗户有孤立的点或角度，所有不同方向的偏差都会发生显著的变化。。#nbsp如Harris的检测方法被认为是移动图像窗口或高斯矩形窗口以获得从2x2矩阵M的模板窗口的原始图像导出的部分结构：它是高斯平滑滤波器，目标，消除图像中的意外点作为特征点;如果我用红色像素表示，则有三个绿色和蓝色分量，I={R，G，B}，其中I代表第一个阶数的倒数。度量函数#nbsp获得已建立的模板矩阵矩阵特征值lambda2;DET（M）是矩阵M的行列式，并且值Trace（M）是矩阵M的轨迹并且k=0.04。该点是否大于零以确定该点是否是边缘点。该方法还涉及具有旋转不变性，但是基于实际经验，确定阈值R需要大角度检测冗余。其中Cameraman图rice图算法优缺点Harris边缘特征的使用速度很快，但它具有节省大量时间的优点。您需要牺牲所选图像的随机性来轻松选择堆叠在一起的点集。现在可以通过降低算法的计算复杂度来解决该问题。现象在Harris空间聚类算法之后增加了亮度加权算法。与其他低级特征相比，快速特征提取方法是最快的提取速度，并且通常用于实时图像处理应用。没有图像比例变化的Harris角点检测器具有比类似检测器更好的图像旋转，视角变化和图像噪声稳定性，但Harris角点检测器对图像尺寸变化非常敏感。如果改变小规模，HarrisCorner的复发率会急剧下降。调整图像的比例将无法再现Harris检测器提取的特征。除了单个图像的角点检测之外，Harris算法图像序列的角点检测更好。2.3特征匹配2.3.1基于灰度区域的匹配影像匹配：以影像相关的手段由计算机来代替（或模拟）人眼进行立体观察，从而自动确定同名像点的过程。确定不同影像上的同名像点、同名特征之间的对应性关系。是自动生成数字表面模型（DSM）等空间数据产品的基础等空间数据产品的基础，也是建筑物等人工地物目标三维重建的基础。数字影像匹配中影像灰度信息,自动寻找最相似的同名目标的方法。左片上以目标为中心的目标区,右片相应位置上取扩大1倍(或更大)的搜索区,在搜索区中按先行后列顺序计算两个区域中各相应位置之间的相关系数,其中最大值所对应的位置即为同名目标,称为“二维的影像匹配法”;如果先将右片影像按核线进行重采样,就可以作沿着核线的一维的影像匹配。后一种方法可大量缩减运算工作量。基于灰度影像匹配可达到很高的精度,但它没有充分利用影像所包含的全部信息,对初始值要求高,且需解决质量控制和成果自动诊断等问题。相似性测度可以采用归一化相关系数(如以特征点周围的灰度值作为匹配实体的情形)，也可以采用经过设计的度量函数,然后再结合其他各种约束性条件。匹配特征点是特征匹配方法中较简单并且有效的匹配方法，在数字摄影测量(如相对定向、DEM生成等)、计算机视觉(如3维场景恢复、运动目标检测等)许多领域都是一个非常重要的基本过程。灰度匹配采用的相似性度量函数有很多，较为常用的有相关函数、协方差函数、差平方和、差绝对值和等测度函数[34]。2.3.2基于特征匹配采用的是自动剔除差错功能的稳健估计法。优点有:不需要很精确的初始值并可在较大范围内寻找特征;可用一些快速算法,且出错和失去匹配的可能性较小。缺点是:精度较低,为粗一级的影像匹配。一般为基于灰度影像匹配提供初始值。图像匹配的关键问题之一，是要选择最有效的特征或描述代表原始图像。由于机器人的运动，那些提取位置标志的区域将在像素级内改变。因此，选择的描述或特征相应于比例、旋转和视角的变化应该在一定范围内保持恒定不变，在本文中，我们使用社会上通常采用的四个特征，简单地描述如下：GO：渐变的方向。已经证明光照和旋转的变化可能对它有更少的影响。ASM和ENT：角二阶矩和熵，这是两个纹理描述符。H：色调，用来描述图像的基本信息。匹配问题的另一个关键问题是选择一个好的匹配方法或算法。通常近邻方法（神经网络）是用来测量两部分之间的相似性。但我们在实验中发现，神经网络不能充分展现个体描述或特征对相似性度量的作用。在数字影像匹配中,立体像对上利用影像分析法提取点、线、面特征,找出两片间相匹配的同名特征,实现自动立体量测的方法。左、右片特征点之间的匹配方法有多种,一般采用的是自动剔除差错功能的稳健估计法。优点有:不需要很精确的初始值并可在较大范围内寻找特征;可用一些快速算法,且出错和失去匹配的可能性较小。缺点是:精度较低,为粗一级的影像匹配.欧几里得最近距离是最常见的距离之一用于图像匹配的方法。为了简单的利益计算时，本文还采用欧几里德距离以匹配特征点。欧式距离匹配方法的工作原理如下:计算最近邻距离和秒数最近邻距离，得到之间的系数将系数与标度因子进行比较。如果系数小于给定的比例尺因子，即配对系数是实现。这种规模的因素是固定数量ð0:60:8Þ这是由经验决定的。不过，使用固定不提供特征点匹配的比例因子一个普遍的适用性。考虑到各种图像的变化(如不同的光照、对比度、纹理)，使用固定比例因子可能无法提供具有良好的匹配精度。因此，为了增加的普遍性算法设计了一种自适应尺度提取方法因素，这是更灵活的各种图像。它可以描述如下:步骤1:首先假设特征点Pi在图像I1中我们计算欧几里德最接近的距离dnt和second然后计算图像I2中最近距离dnst它们之间的比值Ti。步骤2:重复步骤1，直到图像I1中的所有特征点通过计算，我们可以得到N。然后计算平均值总而言之;助教¼ð1nNÞPN我¼1ðtiÞ。(N是图像I1)中的特征点。第三步:实验表明Ta一般要大一点比平常。所以一个常数Mð0:10:3Þ中减去从Ta的平均值。最后我们可以得到最终的比例尺因子T¼TaM。2.3。设计特征点的双向匹配两个注册的图像将具有相同的or特征点描述符中的相似信息。图像配准的一个重要步骤是建立两个图像的一一对应点。作为在3.1节中描述了改进的SURF描述符具有特征点的信息，包括尺度，旋转,颜色等。常用的匹配方法特征点包括相位相关、Hausdorff距离、马氏距离，欧几里德最接近的距离，等。从过程中提取的描述符通过冲浪时，我们可以发现提取的描述符是通过特征点的邻域信息，得到欧式最近的距离满足匹配。的方法中通常使用单向匹配欧几里得距离最近的。2.3.3匹配约束1)核线约束如果立体像对中两幅影像间的相对方位已知，那么对其中一幅影像上重叠范围内的某一点，其在另一张影像上的相应核线就可以计算出来，而且该点的同名像点(共轭点)如果存在，也必定位于该条相应核线上。这样影像匹配问题就从一个2维问题转化为1维问题。这种从2维到1维的约束条件称为核线几何约束(epipolargeometryconstraint)。[36]这一约束不仅缩小了搜索空间，简化了匹配算法，提高了匹配速度,而且还可以增加可靠性。几乎所有的商业化数字摄影测量软件系统及数字摄影测量工作站都具有核线几何纠正和核线影像生成的功能模块。2)灰度相似性约束计算灰度相似性的方法有很多，如CC(CrossCor-relation)、NCC(NormalizedCrossCorrelation)、ZNCC(Zero－meanNormalizedCrossCorrelation)、FNCC(FastNormalized-CrossCorrelation)等。下边是计算立体像对上匹配点之间的灰度区域相关系数[37]。该限制条件用于数字摄影测量图像匹配的研究和生产。内核约束的使用可以减少点匹配到一维搜索的二维搜索，即，将平面区域减少为线段，这极大地提高了匹配效率并降低了不匹配的可能性。3)双向一致性约束影像匹配常规的做法是对左像上选定的点，在右像上寻找其可能的匹配点，这种策略可能会导致匹配的不对称。双向一致性约束是指将对左像上的点在右像上寻找其匹配点的过程时，针对右像上的点也同样对称地进行一遍。2.4误匹配点消除2.41景象误匹配分析Ｉ２（ｘ，ｙ）＝ｇ（Ｉ１（ｆ（ｘ，ｙ）））。（１）式中：ｆ是一个二维空间的坐标变换；ｇ是一个一维的灰度变换；ｘ、ｙ为像素坐标由式（１）得：基准图与实时图正确匹配点之间存在一一对应关系；但是因为实际中地形、地貌有时候会出现相似的地方，造成多个相似特征点，除匹配点对应出错外，也会出现一对多、多对一现象。由于基准图的地理坐标位置（或与目标的相对位置）是事先知道的，那么实时图中横纵坐标与地理经纬度坐标之间也存在唯一的对应关系；如果拟合出这种对应关系，则不满足对应关系的点也属于误匹配点。2.4.2RANSAC误匹配消除诸如经典最小二乘的模型参数估计方法可以基于给定的目标方程来估计和优化模型参数，以最大化对所有给定数据集的适应。这些方法不包括检测和排除异常数据的方法，并且始终具有足够大的精确数据值，以忽略给定数据集的大小并消除异常数据的影响。然而，在许多实际情况中，无法建立平滑假设，并且数据可能包含无法纠正的严重错误数据。此时，不使用模型参数估计方法。例如，如果给出7个点（参见图1），则制定最佳拟合直线段的方法，使得从所有正确点到直线的距离不超过0.8。显然不可能以与最小二乘法相同的方式进行拟合。\

图1RANSAC代表RANdomSAmpleConsensus，该算法通过基于包含异常数据的样本数据集收集有效样本数据来计算数据的有效数学模型参数。它最初由Fischler和Bolles于1981年提出。#nbsp在测量数据中正确包含RANSAC算法的异常假设，即作为数据集，异常数据（数学模型不能应用于数据的远程正常范围之外的异常值）该模型可在此描述）。这些不寻常的数据可能是由于测量不正确，假设不正确或计算错误造成的。描述以下RANSAC基本概念：#nbsp，考虑最小样本集（1）的潜在模型（初始化模型参数所需的N个样本的最小数量）和P（n）样本数（P）>N是P的随机子集，M是M的随机子集。②电流ISC=S样本集P\SM误差模型S*，阈值t和S设定。＃NBSP;③＃（S*）≥N是使用正确模型参数S的*（内点指示符）的集合构成一致集S（共识集）的点集。该法则用于重新计算新模型M*，随机提取新S并重复上述过程。④完成一定数量的样本后，如果算法能找到一致的，则选择由同一组内部和外部判断的相同集合获得的最大样本，算法将被终止。可以使用两种算法优化策略。①当选择特定程序或随机选择的源是完全随机的时，替代子集S在选择S时受到某些样本的已知特征的限制，②模型M*的S*通过计算P*是一致的可以将所有样本添加到S*，模型M*小于t的误差，然后可以重新计算M*。＃？RANSAC算法包括三个输入参数。1确定样本是否满足模型的误差容限t。t需要手动干预作为适当的预定阈值，以将不同输入数据的噪声方差视为估计的中间点，并且该参数对RANSAC的性能具有显着影响。主要是由于外部随机采样点的影响，测试参数直接影响模型参数的样本集SC的数量，从而影响算法的效率。通过表征，均匀集通常应足够大以获得表征数据集P的正确模型，并且使用足够一致的样本可以使得重新估计的模型参数更准确。＃nbsp;RANSAC算法主要用于计算机视觉。例如，在立体视觉领域，同时解决了一对摄像机的匹配点问题和基矩阵的计算。＃nbsp;二，删除不一致的应用程序RANSAC＃nbsp;在特征点配对中，模型是从一个平面中的特征点到另一个平面中的特征点的投影关系。反应是投影矩阵H.H是包含八个自由度的3×3矩阵，可以从至少四个对的匹配点在两个平面中计算的，但在同一平面上的三个点应该不共面。图2和图3是当通过手动选择和Harris角位置和匹配点选择的两个图像的匹配点手动选择修改的外分支到显示实验失配去除RANSAC，的结果。两幅图中的绿点是RANSAC认为正确匹配的点对，红点是不精确点对。

图2

图33基于单应矩阵的图像拼接算法3.1单应矩阵下面来证明不在同一个平面上的点也满足同一个F约束。平面和都已经存在，F表示平面上的点都满足的基础矩阵。下面证明点A也满足同一个约束。由于A点投影时一定能够经过平面上的一点（这里刚好是B点），由于A点也在平面上，因此平面上的像点必然也在直线上。则有根据式可知：也就是A点的两个像点也满足F约束。单应矩阵在计算机视觉中的解决方案在相机校准过程中起着重要作用。单应矩阵包含相机的内部参数矩阵，旋转矢量和平移矢量。计算机视觉的单应性重要性通过相机校准方法解决，包括相机单应矩阵变换向量和旋转向量的参数。我们设置三维空间（均匀坐标系）与Q=XYZ1]T[XY1]T映射矩阵H单应性设置（S）是比例系数。Q和Q之间的关系是Q=SHQ＃NBSP;点映射过程表示转换坐标集物理W=[RT]，R是平移向量，可以通过反向旋转指向物理变化.T是平移向量。然后投影过程是Q=sMWQ，因为它是由摄像机获得的内部参考矩阵M，因此单应矩阵H=SMW＃1NBSP;单应矩阵:的CvFindHomography（）具有OpenCV计算功能，将计算出的点击源图像平面的位置与目标图像平面中的飞越点击的位置相关联。您可以使用OpenCV的视图字段，多个图像，计算单应矩阵，并解决相机的内部参数（内部参数不可变为摄像机的视野）。#nbsp，＃nbsp，＃nbsp，＃nbsp，坐标系的定义：世界坐标系世界坐标系世界坐标系图像坐标系由相机捕获的图像通过高速图像采集系统以标准电视信号的形式转换为数字图像并输入到计算机。每个数字图像是计算机中的M*N阵列，并且M行和N列图像中的每个元素（称为像素，像素）的值是图像点的亮度（或灰度）。（u，v）仅表示数组中的像素数和行数，因此不使用实际的单个数。相机坐标系＃nbsp;摄像机坐标系的原点是摄像机的光学中心，x和y轴平行于图像的X和Y轴，z轴是摄像机垂直于图像平面的光轴。作为图像坐标系原点的光轴和像平面的交点称为相机坐标系。Ou摄像机坐标系xyOu摄像机坐标系xyv图像坐标系3.2单应矩阵求解假设在齐次坐标中，p（XIYi，1）用于透视变换H，通常使变换矩阵H的P'（XI'Y'，1），即P'=H*p，有八个矩阵是免费的，因此至少可以解决四个特征点。可以建立四个特征点臂方程。接下来，对于n个特征点（冗余确定的方程）的情况，可以将Pof=H*变换为方程（p）=0轴次方向的解的解。另一方面，ax=0||转换非线性优化问题2分钟||Ax（通过最小二乘拟合冗余确定的方程得到的近似解）。在齐次坐标中，假设一点p(xi,yi,1)经过H矩阵的变换变为p(xi',yi',1)，即p'=H*p，通常，对于透视变换，H矩阵有8个自由度，转化为min||Ax||2的非线性优化问题（超定方程，通过最小二乘拟合得到近似解）。

对于某一点(xi,yi)，其变换可表述为

p'=H*p，代入展开可得：

(1)

那么可得：

(2)

进一步变换为：

(3)

这样便可构造系数矩阵：

(4)

通过系数矩阵我们可以构造出齐次线性方程组(Ax=0)：

(5)

即：

(6)

[V,D]=eig(A'*A)

(7)

采用RANSAC算法得到高精度同名点，并以高精度同名点作为计算单应矩阵H的依据，我们可以直接利用单应矩阵，以左影像为参考影像，右影像为拼接影像直接进行图像的拼接。直接拼接即通过设定一个参考影像，计算参考影像与拼接影像之间的单应矩阵，然后通过拼接影像的R，G，B三通道的值，与单应矩阵进行拼接，由于在拼接过程中，像素在图像中不可再分，所以与单应矩阵的乘积往往会有小数，这是我们采用取整的方法得到转换后的影像，得到拼接影像。4基于特征点的图像拼接技术研究4.1图像融合算法在本文上述小节中，我们得到了初始同名点，并采用RANSAC算法得到高精度同名点，并以高精度同名点作为计算单应矩阵H的依据，我们可以直接利用单应矩阵，以左影像为参考影像，右影像为拼接影像直接进行图像的拼接。直接拼接即通过设定一个参考影像，计算参考影像与拼接影像之间的单应矩阵，然后通过拼接影像的R，G，B三通道的值，与单应矩阵进行拼接，由于在拼接过程中，像素在图像中不可再分，所以与单应矩阵的乘积往往会有小数，这是我们采用取整的方法得到转换后的影像，得到拼接影像。4.2基于低层特征的拼接方法我们都知道的一些所谓的拼接方法，例如边界，边缘，颜色等，通常描述全文的大规模存储分布，并且由于该区域的充分表示而值得测量。有几种方法可以测量，但有几种方法可以拼接Harris边缘和快速特征。Harris边缘特征[50]的使用速度很快，但它具有节省大量时间的优点。您需要牺牲所选图像的随机性来轻松选择堆叠在一起的点集。现在可以通过降低算法的计算复杂度来解决该问题。现象[52]在Harris空间聚类算法之后增加了亮度加权算法。与其他低级特征相比，快速特征提取方法是最快的提取速度，并且通常用于实时图像处理应用。由于最佳阈值的选择是FAST特征检测中的一个重要问题，因此稳健阈值选择算法的组合为FAST特征提供了最佳阈值，而FAST本身不足以支持角度变化[53]。SURF基于尺度空间理论提取特征点，但与SIFT不同，它使用Hessian矩阵来估计不同尺度空间的最大值。Bind等人[55]提出了使用基于SIFT和SURF的特征检测算子获得互补优势的图像拼接.Kang和Zhu[56,57,58]提出了Harris角和SIFT的组合您已使用执行图像针迹的功能匹配。图像融合技术得到了广泛的应用。根据融合处理的不同阶段和数据提取的程度，现有的图像融合算法通常分为以下三个层次:像素，特征层和决策层。4.3加权融合在4.1小节中我们直接进行拼接得到拼接影像，拼接后的图像往往在拼接处存在着拼接缝，图像间亮度不均衡的现象，所以我们采用图像融合的方式消除此类现象。图像融合在现实世界中有着广泛的应用，现有的图像融合算法通常在特征级，像素级和决策级进行。在图像拼接中，由于存在着拼接缝，和亮度不均衡的问题，我们需要采用一种平滑过渡的方式，将拼接处的断裂，亮度不均的问题解决，常常采用像素级别进行融合，像素级别融合图像的RGB信息经过某种方式平滑过渡，得到更好的视觉效果，目前来说，图像融合算法常常采用平均值融合，加权融合，基于HIS变换的图像融合等。本文主要介绍图像加权融合。图像加权融合法，是以对重叠区域的像素值加权后平均，如公式所示：f其中w1，w2。分别是参考影像图影像及其待拼接影像中重叠区域中RGB的权值，并且存在着w1在选择权值的大小有以下方法：（1）帽子加权平均法权值采取帽子函数：w其中widthi，heighti（2）渐入渐出法假设f1，f2为两幅待拼接的两幅影像，将两张图像在空间叠加，则融合后的像素ff其中d1，d2表示权重值，且存在着d1+d2=1，ddxr，xl，xi分别代表着重叠区域右边界，重叠区域左边界，当前像素的横坐标，此种方法仅仅作用于了图像的x方向，并可以在x方向上作平滑处理，未对y由于该方法原理简单，效果较好所以常常用作于图像拼接的后期处理的图像融合当中，本文同样采用该方