全景图像拼接无人机影像序列技术研究与实现

ClassifiedIndex:U.D.C:SouthwestofScienceandTechnologyMasterDegreeThesisResearchandRealizationofImageSequenceMosaicforGrade:2012Candidate:PanAcademicDegreeAppliedfor:

Supervisor:Prof.LiLei- 无人机遥感技术已成为灾后监测、环境勘测等领域获取遥感数据的重要，它、准确的获取目标区域的高分辨率影像。但受到无人机飞行高度、相机焦距等的影响，单张影像覆盖的目标区域范围较小，本文通过研究无人机影像序列拼接技术来扩大监测范围。研究SURF算法解决存在平移、旋转、缩放、噪声等多种变换的无人机影像序列特征提取问题。通过对比分析的方式重点研究SURF算法比SIFT算法快速的原因。通过分析Harris、SIFT和SURF算法提取特征的实验效果表明，SURF算法提取的特征点稳定且分布均匀合理，该算法鲁棒性高且运算速度相对较快。采用最近邻算法实现特征粗匹配，分析并选择变换作为影像拼接的变换模型，提出一种双4-RANSAC算法计算变换参数，同时剔除误匹配点对以实现特征精匹配。双4-RANSAC算法是一种改进的RANSAC算法，它首先任选4对匹配点计算模型参数，再增加4对匹配点检验当前模型，若存在一对为非内点则重新选点和计算模型。理论分析和实验结果表明，本文双4-RANSAC算法提高了RANSAC算法的运算效率。研究并改进变换实现两帧和多帧无人机影像序列融合与拼接。首先分析直接平均法和渐入渐出法，接着重点研究变换融合法，提出一种基于NCC（归一化相关系数）的改进融合算法实现低频系数融合。该算法首先将像素扩展到其mn邻域，再计算对应邻域的NCC值，若该值大于某一设定阈值则融合系数为输入系数的平均值，若该值小于设定阈值则融合系数为输入系数的最大值从评价和客观评价两方面分析融合结果表明，本文基于NCC的改进融合算法用于低频系数融合效果更优，本文改进变换的影像融合与拼接效果更好。：影像序列拼接SURF双4-RANSAC算法变换基于NCC的融合UAVremotesensingtechnologyhas eanimportantaccessfordisastermonitoring,environmentalsurveysandotherfieldstogetremotesensingdata.Itcantimelyandaccurayobtainhigh-resolutionimagesofthetargetarea.Withaffectedbythealtitude,thecamerafocallengthandsoon,asmallertargetareaiscoveredbythescopeofasingleimage.ThispaperexpandsthemonitoringscopebyresearchingtheUAVimagesequencemosaictechnology.ForUAVimagesequenceswithmanydeformationsoftranslation,rotation,scale,noise,etc.,SURFalgorithmisresearchedtosolvetheproblemoffeaturepointsextracting.Bythemethodofcomparativeysis,thispaperfocusonresearchingthereasonswhichtheSURFalgorithmisfasterthantheSIFTalgorithm.ThefeatureextractingexperimentalresultsofHarris,SIFTandSURFindicatethatthefeaturepointswithextractedbySURFisstableandwell-distributedreasonably,andtheSURFalgorithmisrobusthighlyandrelativelyNearestneighboralgorithmisusedforfeaturepointscoarsematching.transformationisysedandchosenasthetransformationmodelofimagemosaic.Dual-4-RANSACalgorithmisproposedtocalculatethehomographyparametersandtoexcludethemismatchingpointsinordertoachieveprecisematching.Dual-4-RANSACalgorithmisakindofimprovedRANSACalgorithm.Itfirstlychooses4pairsofmatchedpointstocalculatethemodelparametersandthenincreases4pairsofmatchedpointstotestthemodel.Ifthereisapairofmatchedpointsisnoninteriorpoint,thealgorithmreselectthepointsandcalculationmodel.ThetheoreticalysisandexperimentalresultsindicatethatDual-4-RANSACalgorithmwithproposedinthispaperisfasterthantheRANSACalgorithm.ImagefusionalgorithmbasedonwavelettransformisresearchedandImprovedfortwoframeandmulti-frameUAVimagesequencefusionandmosaic.Firstly,thedirectaveragemethodandfade-outmethodareysed,andthenthepaperfocusonthewavelettransformfusionmethod.TheimprovedweightedfusionalgorithmbasedonnormalizedCross-Correlationisproposedtofusionthelowfrequencycoefficientsofwavelet positioninthispaper.Thealgorithmexpandsthepixeltoitsm×nneighborhoodfirstly,andthencalculatetheNCCvalueofthecorrespondingneighborhood.IftheNCCvalueisgreaterthanapredeterminedthreshold,thefusioncoefficientistheaveragevalueofinputcoefficients.IftheNCCvalueissmallerthanthepredeterminedthreshold,thefusioncoefficientistheumvalueofinputcoefficients.TheysisoffusioneffectfromthetwoaspectsofsubjectiveevaluationandobjectiveevaluationindicatethattheimprovedweightedfusionalgorithmbasedonNCCisbetterforlowfrequencycoefficientfusionandtheimprovedwavelettransformimagefusionandmosaicisbetterinthispaper.:sequencemosaic;SURF;Dual-4-RANSACalgorithm;Wavelettransform;WeightedfusionalgorithmbasedonNCC 绪论 研究背景与意义 国内外研究现状 国外研究现状 国内研究现状 主要研究内容 组织结构 UAV影像序列拼接技术 系统组成 实现流程 影像配准技术 基于灰度信息的影像配准 基于变换域的影像配 基于特征的影像配准 影像融合技术 影像融合层次 影像融合方法 本章小结 基于双4-RANSAC算法的UAV影像序列配准 UAV影像特征提取 Harris算子 SIFT算法 SURF算法 特征提取实验与结果分 特征提取算法对比试 特征提取实验结果分 RANSAC算法UAV影像匹配 最近邻匹配 RANSAC算法 双4-RANSAC算法UAV影像匹配 双4-RANSAC算法原理 双4-RANSAC算法效率分析 特征匹配实验与结果分 特征匹配算法对比试 特征匹配实验结果分 本章小结 基于改进变换的UAV影像序列融合与拼 UAV影像序列拼接模型 影像融合质量评价 基于空间域的UAV影像融合 直接平均法 渐入渐出法 基于变换的UAV影像融合 4.4.1变换 4.4.2变换融合步骤 改进融合规则的变换融合 基于NCC的改进融合法的低频域融合 基于区域绝对值最大值法的高频域融合 本章小结 影像序列融合与UAV拼接实验 5.1低频域融合实验 影像融合实验 UAV影像序列拼接实验 本章小结 参考文献 攻 期间的与内容相关的学术及研究成果 绪论无人机（UAV，UnmannedAerialVehicle）是一种获取航空影像数据的重要工具，它具有机动灵活、起降简单、操作安全、成本低、时效性强等诸多优点。无人机遥感技术已经普遍应用到航测遥感领域，它获取的影像数据是传统航空遥感和遥感的一个重要补充[1]。目前，无人机技术已经广泛应用于环境监测土地利用灾后应急响应森林病虫害监测等许多领域。无人机影像序列拼接技术就是把不同时间获取的相互有区域的影像序列合成一幅更大视野的无缝高分辨率影像的过程2。研究背景与意义我国的自然发生频繁，且具有种类多、分布范围广等特点，这些不仅造成众多的人员伤亡以及的经济损失，还给社会、经济、环境等各方面带来了长期的影响。因此，及时、准确、全面的掌握灾后情况等已成为我国亟需解决的问题。无人机遥感具有传统航空遥感、遥感所不具备的诸多优点：无人机体积小、适应性强、起降简单；获得的影像分辨率高；成本低、简单；操作简单、安全，所以无人机遥感是获取影像数据的一种有效的、必不可少的补充。目前，无人机技术已成为灾后监测、环境勘测等领域获取遥感数据的重要之一，如：2008年的南方雪灾“5.12”，2010年的玉树、舟曲泥石流，2013年的雅安，2014年的康定等。这些引起的山体滑坡、泥石流等会造成交通道路阻塞，严重影响了抗灾、救灾的进度。发生后，为了及时、准确的掌握灾区情况，无人机遥感技术被广泛应用其中。无人机可以越过地面阻碍，及时、快速、准确的获得灾区的高分辨率影像，为抗灾救灾提供真实可靠的信息3。无人机在获取影像时是处于低空飞行状态，目前又受到数码相机焦距及高分辨率的限制，使拍摄得到的单张影像视野很小，若仅通过一张影像的分析很难掌握整个受灾区域的情况。此时，就需要依靠无人机影像序列拼接技术来扩大视野。这样，源影像的细节信息得以保留的同时，可以更方便、更直观的分析和处理整个检测区域。因此，研究无人机影像序列拼接技术具有十分重要的意义。国内外研究现状鉴于影像序列拼接技术在各领域的广泛应用，国内外许多研究者都对其进行了深入的研究，近几十年的研究也取得了不少成果，使影像序列拼接技术趋于成熟。国外研究现状1996年，RichardSzeliski基于变换的图像拼接模型[4]是经典的影像拼接算法，该算法能够求出存在平移、旋转、仿射等变换的影像变换矩阵，但它需要提供一个合适的初值并且需多次迭代才能求出稳定的解。2000年，Peleg在改进变换模型的基础上提出一种自适应的图像拼接模型5。影像序列拼接技术包括影像配准和影像融合两个关键技术，影像序列配准技术的提高在很大程度上决定了影像拼接技术的发展，所以它一直是影像拼接领域的研究重点。通常将影像配准技术分为：基于灰度信息的影像配准、基于变换域的影像配准和基于特征的影像配准6。基于灰度信息的配准方法简单直观，但一般的影像间均会存在较大的色彩灰度差异，此时该类方法的稳定性差、配准精度低。基于变换域的配准方法也有较多研究，但是其计算量大。1975年，Kuglin和Hines相位相关法[7]首先利用Fourier变换将影像转换到频率域，然后根据互功率谱求解影像间的平移量完成配准，但该算法无法配准存在旋转、仿射等变换的影像。1987De.Castro和C.Morandi对相位相关法改进后提出了扩展相位相关法8，此算法可以配准存在旋转和平移的影像。1993年，Djamdji等利用变换实现了图像的多尺度配准9。1996年，Reddy和Chatterji采用的快速Fourier变换配准了存在平移、旋转、缩放等多种变换的图像[10]。基于特征的配准方法鲁棒性高、计算速度较快，对于复杂变形的影像配准一般均采用该类方法，该配准方法包括特征提取和特征匹配两部分。1981年，Moravec角点检测算法是特征点提取中的经典算法。1988年，Harris和Stephens对Moravec算法改进后提出了Harris角点检测算子[11。近年来尺度不变特征提取算法也被广泛应用于无人机影像拼接中，如著名的SIFT（ScaleInvariantFeatureTransform）算法12、SURF（SpeededUpRobostFeature）[13算法等，SIFT算法对存在平移、旋转、尺度缩放、亮度差异、光照变化等多种变形的影像均具有良好的鲁棒性，但它的运算效率较低、实时性差，SURF算法是一种加速的SIFT算法，它在特殊性、可重复性和鲁棒性上均能跟SIFT比拟，并且该算法大大提高了运算效率。另外，RANSAC算法14在影像配准过程中常用来剔除误匹配点对。国内研究现状，国内研究者对影像拼接技术方面的研究也取得了一些成果。1997年，王等通过归一化相关系数和序贯相似度来度量影像的相似程度，并基于模拟退火算法搜索最佳匹配点，实现了高精度的影像配准和影像拼接15。1998年张祖勋等多级影像整体概率松弛匹配算法[16]实现了不同传感器、不同空间分辨率的影像配准。2001年的漆驰等提出了一种解决图像拼接过程中计算量与拼接精度的方案[17]。同年，华技大学的陈永强提出，首先模拟出变形图像之间的变换参数，其后基于相关法检测特征点，经过几何校正后完成拼接工作[18]。2002年，杜威、将纹理与全景图结合起来用于构造动态场景，扩展了图像拼接的应用领域19。2005年，，维、提出一种图像快速自动拼接方法[20]，该方法很好的平衡了图像拼接过程中的速度和精度要求。2009年，张剑清等提出利用蚁群算法21实现避屋、树木等地物的镶嵌线自动选择，实现了正射影像的无缝镶嵌。2011年，等[22]采用SIFT算法提取无人机影像特征、利用分块拼接的方法减小误差的，达到了较好的拼接效果。2011年，等[23]提出一种基于拼接线的方法实现了无人机影像序列的拼接。2013年，李劲澎24在影像拼接过程中采用集群并行计算技术实现了快速拼接和三维点云的生成。主要研究内容本文通过特征匹配的方式实现影像序列拼接，需要研究的内容主要包括特征提取、特征匹配、误匹配处理、影像间变换模型与矩阵参数计算、影像融合等。主要研究内容如下：无人机影像序列的特征提取技术针对无人机影像序列间存在平移、旋转、缩放、光照及视角等差异，本课题需要研究一种能适应各种变形的、强鲁棒性的算法来提取影像特征。同时，为了实现影像序列的快速拼接，也要求特征提取速度较快。本文着重研究了SURF特征提取算法，该算法对影像间的多种变形均有较好的鲁棒性，它能够实现包含平移、旋转、缩放、光照、遮挡及视角等变换的影像特征提取，并且该算法效率较高、时效性良好。无人机影像序列特征匹配与误匹配处理技术SURF算法提取后的无序特征点，研究一种算法来准确找出影像特征点间的一一对应关系。SURF算法提取特征后得到的每一特征点均有一个唯一的64维特征向量描述符，本课题先采用欧式距离作为度量准则、基于最近邻匹配算法实现特征粗匹配，再采用本文双4-RANSAC算法提纯匹配点对以达到特征精匹配。影像间的几何变换模型与变换矩阵参数计算针对无人机影像序列间存在平移、旋转、缩放等各种变换和变形，本课题分析并选择含有8个参数的变换模型来描述影像间的各种变换关系，影像间的数学关系采用Homography单应性矩阵描述。对于变换单应性矩阵的参数估计，本课题在深入研究RANSAC算法的基础上提出了一种双4-RANSAC算法对其进行计算，双4-RANSAC算法既可以提纯粗匹配点对，又能够计算变换的单应性矩阵参数，并且比RANSAC算法效率更好。影像融合与无人机影像序列拼接，针对无人机影像序列存在亮度差异、配准误差等导致拼接时出现的重影和结构接缝等问题本文研究和发展了基于变换的融合方法对已配准的无人机影像序列进行融合，该算法可以实现影像的多分辨率、多尺度融合。基于变换的影像融合规则分为高频系数融合和低频系数融合本文提出一种基于NCC的融合法对低频系数融合规则进行改进，实验证明该算法能保留的融合影像信息它可以在较少丢失细节信息的基础上有效的实现影像间的无缝连接。对于融合影像和拼接影像的质量评价问题，本文研究并采用评价和客观评价相结合的方式进行分析评价是利用人的眼睛、思维等来判断，客观评价则是对亮度信息、标准差、信息熵、清晰度这四个指标的参数进行分析。，组织结构本文各章节的主要内容安排如下：第一章绪论。主要说明无人机影像序列拼接技术的研究背景与意义，研究和总结国内外影像序列拼接相关技术的发展历史及研究现状，给出的主要研究内容和结构安排。第二章UAV影像序列拼接主要技术。首先给出本文无人机影像序列拼接的系统组成流程然后重点分析影像配准和影像融合这两个最为关键的技术，具体为依据处理信息分类的三种影像配准方法和依据处理层次分类的三种影像融合方法。第三章基于双4-RANSAC算法的UAV影像序列配准。首先着重研究SIFT算法和SURF算法的实现步骤，其中SURF算法又是的主要研究方法，通过对比说明SURF算法在提取特征上的速度优势；然后利用欧氏距离作为度量准则、采用最近邻算法进行SURF特征粗匹配；接着提出一种双4-RANSAC算法代替RANSAC算法实现基于变换模型的特征精匹配。实验证明SURF算法既有SIFT算法良好的鲁棒性和性也有比SIFT算法更快的运算速度，本文双4-RANSAC算法比RANSAC算法效率更高。第四章基于改进变换的UAV影像序列融合与拼接首先分析UAV影像拼接常用的几何变换模型及影像质量评价，本文选择能反映各种变形的变换模型实现影像坐标系的统一。然后研究了直接平均值法、渐入渐出法和基于变换的融合法来处理拼接接缝并着重研究和改进了基于变换影像融合的低频系数融合规则，提出一种基于NCC的改进融合算法用于分解的低频域融合。第五章主要对直接平均法、渐入渐出法和基于改进变换的影像融合算法进行试验并通过评价和客观评价相结合的方式对融合结果进行分析。最终采用基于改进变换的融合方法解决影像拼接时由于光照、亮度等差异引起的接缝问题，实现两帧及多帧无人机影像序列的无缝拼接。最后的结论首先对前几章的主要内容进行总结再分析了本研究的不足以及对无人机影像序列拼接技术未来的研究内容和方向做出展望。UAV影像序列拼接技术无人机影像序列拼接技术涉及到图像处理、计算机图形学等领域的综合应用，研究者们已引入多种数学工具来分析处理该项技术。本章以影像拼接技术的基本流程为中心，分析其所涉及到的主要技术，着重研究影像配准和影像融合这两大关键技术。系统组成无人机影像序列拼接主要涉及到影像预处理、影像配准和影像融合。影像预处理：由于飞行姿态、飞行高度等的影像，机获取的影像一般会有畸变、亮度差异等变形。对待拼接影像序列进行直方图均衡化、平滑滤波、增强变换、几何畸变校正等基本处理，可为影像拼接的下一步做好准备。影像配准(imageregistration)：影像配准是影像拼接的一个关键步骤，其基本思想是：首先找出基准影像与待配准影像中的感点或感区域的对应位置，再依据对应关系建立影像间的几何变换模型，最后将待配准影像通过插值技术重采样转换到基准影像的坐标系中，以此完成影像配准并找到影像间的区域精确配准的关键问题之一就是选择一个适当的数学模型，使其能很好的表达影像间的变换关系。影像融合(imagefusion)：影像融合是影像拼接的又一个关键步骤。两幅影像在配准后就确定了它们之间的变换关系，此时就可以利用影像融合技术将统一坐标系下的两幅影像进行无缝地融合，使影像拼接的结果更加自然。融合算法是对影像区域进行的处理，该处理是为了消除光照、亮度等差异造成的拼接影像色度的不连续性。UAV影像序列拼接的系统组成如图2-1所示。基准基准影影像融影像配待配准影拼接影图2- UAV待配准影拼接影Fig.2- ThesystemcompositionchartofUAVimagesequence变换模变换模Homography矩实现流程特征点粗匹SURF特征提待拼接的无人机影像序本文设计的无人机影像序列拼接主要包括特征提取、特征匹配、影像变换模型与参数计算、影像融合、融合质量评价，其具体实现流程为：首先是无人机通过数码相机得到待拼接的无人机影像序列然后就是进行以下的处理了；SURF特征提取：首先，利用积分图像来构建多尺度的空间影像；然后，在尺度空间上利用hessian矩阵快速检测极值点并剔除不稳定点以精确定位特征点；接着，为每一特征点计算其主方向以使算法具有旋转不变性；最后，利用每一特征点周围的邻域信息为其生成64维特征向量描述子，此时就完成了基于SURF算法的特征提取。特征点匹配：匹配分为粗匹配和精匹配，特征点粗匹配是利用欧氏距离度量、采用最近邻匹配算法完成的，在特征点粗匹SURF特征提待拼接的无人机影像序最最近邻算欧氏距离度构造特征点描述计算特征点主方检测特征构造尺度空特征点精匹双4-RANSAC算影影像融建立几何变换模影影像质量评拼接影基 变换的融高频：基于基 变换的融高频：基于区域最大值法融低频：基于NCC的改 融评客观评Fig.2- TherealizationprocesschartofUAVimagesequence：对以提纯匹配对，并且该算法处理误匹配的效率比RANSAC算法更高。影像变换模型与参数计算本文分析并选择具有8参数的变换模型描述影像间的各种变换关系，影像间的数学关系描述采用33的Homography单应性矩阵描述，矩阵参数的估计仍采用本文双4-RANSAC算法实现。基于改进变换的影像融合变换是一种多尺度的分解方法，其融合分为高频系数融合和低频系数融合，本文高频系数采用基于区域的绝对值最大值法实现，低频系数融合则采用本文基于NCC的改进融合法完成该融合算法可以在较少丢失信息的基础上有效的实现影像间的无缝连接。影像融合质量评价：从和客观两方面来评价融合的影像，：评价就是利用人眼和思维来判断，客观评价则通过亮度信息、标准差、信息熵、清晰度这四个指标完成。以上处理完成后就可得到影像序列拼接的全景结果影像，其具体实现流程如图2-2所示。影像配准技术经过众多国内外研究者的不断努力，目前已有多种方法实现影像配准。如图2-3所示，影像配准按不同的标准可以分为不同的类型。本文将无人机影像序列的配准算法分为基于灰度信息的配准、基于变换域的配准和基于特征的配准进行分析25。图图像配准算法分按全局与局部划按配准的四要素划从自动化的角度划全点搜索空特征空搜索策相似性度刚性变仿射变点特区域特…穷尽搜动态规…互相关函…手半自图2- 影像配准方法分Fig.2- Theclassificationofimage基于灰度信息的影像配准基于灰度信息的配准算法主要用于特征不明显的影像，其基本思想25为：算法认为基准影像和待配准影像的对应点及该点的周围区域一般存在相似甚至相同的灰度，选择适当的搜索方法找到影像间的最优变换参数，可以使影像间的相似性度量函数达到最大值。该类配准算法简单直观、可用于不同并且对于影像间存在缩放、遮挡等复杂情况时该算法不适用，这些缺点限制了其应用范围。下面介绍几种常用的基于灰度信息的配准算法：互相关法Rosenfeld等人互相关法[26](CC)是根据特征点邻域像素灰度值的互相关系数作为匹配原则，而不是直接利用特征点邻域的灰度值进行度量，算法思想为：在基本影像和待配准影像中以特征点为中心，选取一个大小为(2N+1)×(2N+1)的邻域相关窗口，然后以基准影像中的每一特征点为参考，在待配准影像中搜索与之对应的匹配点，匹配依据是计算相关窗口间的相关系数：CC

[I1(x,y)I2(x,x,

x,x,I(x,21x,I(x,22式中，I1I2分别表示两影像的特征点在大小为W的相关窗口区域内的像素灰度值，该参考点的匹配点是相关系数CC达到最大值时所对应的特征点。归一化相关系数归一化相关系数法[27（NCC）同互相关法类似，也是通过计算特征点邻域像素灰度值的互相关系数来估算变换参数的，对其归一化后可以弥补互相关法对光照变化敏感的不足。计算公式为：[I1(x,y)I1][I2(x,y)I2 [ [I(x,y)I2 [I(x,y)I212x,x,

x,

(2-其中，W表示相关窗口的大小，I1I2分别代表两影像中特征点相关窗口区域内的像素灰度值，I1I2分别表示I1I2特征点相关窗口区域内的像素灰值。如果选定窗口的相关系数达到最大就认为这两小块影像，按此方法继续搜索其它重合区域，就可以找到影像的共同区域以完成拼接。序贯相似检测算法Barnea等人序贯相似检测算法[28]（SSDA）的最大优点是具有较快的运算速度，其相似性准则为：E(u,v)|T(x,y)TI(xu,yv)I(u,v)

(2-其中，uX轴上的步长，vY轴上的步长，T(x,y为模板影像T中的像素值，I为影像均值，T为模板均值。该方法先累加计算两影像中某一点距离差的绝对值，认为累加时增长最慢的点为匹配点，否则就为非匹配点。互信息法Viola等人将互信息引入影像配准领域，后来王提出了基于互信息的影像配准29，交互信息I表示为：I(a,b)H(a)H(b)H(a,

(2-其中，H(a)为随量A的熵，H(b)为随量B的熵H(abAB的联合熵：H(a)p(a)lnH(b)p(b)lnH(a,b)p(a,b)lnp(a,

(2-(2-(2-式中，p(aA的边缘概率密度函数，p(bB的边缘概率密度函数，p(ab)为A、B的联合概率密度分布。当两影像的交互信息值最大时就认为这两影像是匹配的。基于变换域的影像配准傅立叶变换傅立叶变换（FourierTransformation是最具代表性的变换域配准方法，该变换首先对影像进行傅立叶变换，然后再把频率域中相位差的峰值作为重叠位置，该方法需要较高的度。相位相关技术7是傅立叶变换的最基本方法，它用以确定灰度影像f1(x,y

f(x,y的相似度或相异度30

f2x,y

f1(xyxy方向分别2x0、y0后的图像，即：2f2(x,y)f1(xx0,yy0F1(uvF2uv分别为f1f2的傅立叶变换，则有： F(u,v)F(u,v)ej(ux0vy0

(2-(2-f1(x,y

f2x,y的互功率谱为：F(u,v)F*(u, e |F(u,v)F*(u,v)

j(ux0vy0

(2-2式中，F*表示F2的复共轭。对(2-9)式进行Fourier反变换就可以在点(x0y0处得到一个脉冲函数，该函数仅在平移量处有峰值1，其它地方的值均为0。2对数极坐标法相位相关法仅能配准具有平移关系的影像，对于包含旋转、缩放等复杂情况下的配准，Reddy等人10提出了解决方法：算法首先把旋转、尺度变换关系转换为平移变换关系，再用相位相关法求得旋转及尺度变换，最后就是在直角坐标系下求解平移量。基于的方法理论在影像配准领域应用较多，如文献[31]中介绍的基于变换的配准方法，利用变换配准影像时，特征点的提取和匹配可以在高分辨率和低分辨率影像中完成，这样就保证了配准精度。基于特征的影像配准前面分析的两种配准算法都要用到影像的所有信息，其实现过程计算量大。基于特征的影像配准方法仅需利用影像的显著特征，这就大大压缩了影像的信息量从而使得运算量明显降低，且该类方法对旋转、尺度缩放、噪声等多种变形均有较强的鲁棒性。基于特征的影像配准流程如图2-4所示：特征提取常用的特征包括点特征、线特征和面特征，实际应用需要根据影像的类型、应用领域等选择适当的特征。①点特征点特征一般为物体轮廓的拐点、多条线段的交叉点等，在无人机影像中一般为房屋、道路的交叉口等，这些点含有的大量信息能充分代表影像的局部特征。常用的点特征提取算法如HarrisSIFT算子以及SURF算子。基准影基准影变影换像配模变准型换后参与的数重影估采像计样待配准影图待配准影 TheflowchartofUAVimageregistrationbasedon②线特征线特征包括影像中物体的轮廓线、道路、海岸线等，它能够充分反映影像的纹理信息、结构信息。线特征的检测一般采用Sobel算子、Canny算子等提取边缘或轮廓信息实现。由于到的影像序列基本都有噪声，影像中的边缘及轮廓等信息一般很难完整提取。此外，由于影像序列获得的时间等因素不同，就可能出现线元特征在一帧影像中能检测但在相邻的另一帧却检测不到，此时无法进行特征匹配，所以线特征用于影像配准通用性低。③面特征面特征在无人机影像中一般选取森林、湖泊、建筑等对比度较高的封闭区域，在实际应用中也常选用具有旋转、尺度不变特性的封闭区域重心。面特征的检测通常采用适当的分割算法来实现，如区域生长法[32]、动态阈值法等[33]。特征匹配特征匹配是指利用松弛法34、Hausdorff距离35及相关度量方式等方法，在不同的影像序列上找到同一特征在影像空间上的一一对应关系。变换模型在找到待配准影像特征集的一一对应关系后，就可以建立反映影像间存在的平移、旋转、缩放、角度等各种变换的数学模型。图像重采样在选取适当的模型并求出其变换参数后，就可以对待配准影像进行重采样，使它的坐标转换到基准影像的坐标系下，以此实现坐标系的统一，也就实现了影像的最终配准。在影像配准、影像融合等重采样时，需要用到插值技术[36]来解决浮点坐标位置的像素灰度级赋值问题，如常用的最近邻插值[37](nearestneighborinterpolation)、双线性插值38(bilinearintrpolation)、双立方插值39(cubicconvolutioninterpolation)等。影像融合技术无人机由于其飞行姿态不稳定获取的影像一般会存在差异直接拼接会因为颜色、亮度差异造成颜色接缝；另外，配准误差或者影像形变的存在也会造成重影和结构接缝。此时，需要进行影像融合消除这些接缝。影像融合[40]是将已配准影像进行无缝的连接形成一幅视觉上保持一致的全景影像，这个融合处理是在待拼接影像的区域内进行的。影像融合层次根据处理阶段的不同可将影像融合分为[41]：像素级融合、特征级融合和决策级融合，UAV影像的三个融合层次如图2-5所示。影描解提图2-提Fig.2- ThreelevelsofUAVimage像素级影像融合应用最广泛、层次最低，它直接处理待融合影像的初始数据，得到的融合结果影像包含了源融合影像中几乎所有像素点的信息，因此它较少丢失原始数据信息。这种融合方法能提供比特征级和决策级融合更多、更可靠的信息，它更有利于对融合结果影像做进一步的分析和处理，如特征提取、目标识别等。像素级融合使人们更容易观察影像，它也很适合计算机的检测和处理。像素级融合是特征级融合和决策级融合的基础，它也是目前的研究热点之一，本文用于影像拼接的融合也是基于像素级的融合方法进行的。特征级影像融合[42]首先从源融合影像中提取各自的特息再综合的分析和处理这些特息它所处的层次是在像素级融合之上决策级融合之下的中间层次。典型的特息包括：点、线、光谱、纹理等。特征级融合所得到的特征空间包含的数据信息量往往比融合前原始影像中包含的数据信息量少得多，但信息的大量压缩也加快了处理速度、实时性变好，便于影像融合的实时处理。常用的特征级融合算法有联合统计、带约束的高斯-马尔可夫估计、广义卡尔曼滤波、神经网络融合等。决策级影像融合是最次的融合它是对来自待融合影像中得到的数据信息进行逻辑或统计推理的过程，其推理的结果给控制决策提供了依据。决策级融合43过程为：首先对每一帧待融合影像的同一物体分别建立初步的并处理这些决策，再通过决策级的融合处理获得最终的联合。对于影像信息的表示形式有较大差异或者涉及到影像的不同区域时，往往只能用决策级融合的方式进行融合。决策级影像融合的数据量最少、实时性最好。但是，采用决策级融合方法的代价也是最高的，因为该融合方式对于影像的预处理和特征提取要求很高，并且影像的信息损失也最多。决策级融合可以采用统计方法、逻辑推理方法等，常见的如D-S（Dempster-Shafer）推理、推理、表决法、神经网络、模糊推理、聚类分析等。影像融合方法、像素级影像融合分为空间域法和频率域法[44]，基于空间域的影像融合方法是直接对配准后的待拼接影像各像素进行简单的平均平均或像素选择等操作来得到全景影像；基于频率域的影像融合方法是先把待融合影像分成高频子影像和低频子影像，再用适当的规则分别对两个频段的子影像进行融合理，最后反变换得到融合结果影像。、像素灰度值选取融合法像素灰度值选取融合法是一种空间域融合算法它分为灰度值选和灰度值选小法。设f代表待融合影像f1、f2的融合结果，则有像素灰度值 f(x,y)max(f1(x,y),f2(x,像素灰度值选小法：

(2-融合法

F(x,y)min(f1(x,y),f2(x,

(2-融合法是一种简单的直接对像素灰度进行操作的空间域融合算法，又被称为羽化或alpha融合，它将配准影像的每个像素值分别乘以适当的权值后相加该算法得到的拼接影像区域像素灰度值是输入影像像素灰度值的和。设f代表待融合影像f1、f2的融合结果，则融合法的数学描述为：f1(x, (x,y)f(x,y)f(x,y)f(x,y)(x,y)

(2-1 2 f2(x, (x,y)f其中，1、2分别是f1f212=1，01<1，02<1。选取不同的权值又可以将融合法细分，如直接平均法、渐入渐出等，具体内容在第四章有介绍。多分辨率塔式融合法多分辨率塔式融合法是一种多尺度、多分辨率的频率域融合算法，常用的金字塔有高斯金字塔、金字塔[45]等，其融合的大体步骤为：①对待融合影像进行金字塔分解得到不同尺度、不同分辨率的空间子影像；②运用不同的融合规则融合分解得到的金字塔系数，把融合得到的系数作为融合结果影像的金字塔系数；③金字塔反变换重构融合结果影像。图2-6所示为塔式影像融合算法示意图。分 影分影重金字分金字分

融金字融

融合后的金字

的影图2- 多分辨率塔式影像融合Fig.2- Multi-resolutionpyramidimagefusion塔式分解融合方法可以保留原始影像的细节信息、突出重要信息，对于影像拼接则可以明显削弱拼接痕迹，但它是一种冗余分解，并且它的分解是无方向的，无法完整提取出影像的结构信息。另外，该分解获得的各层影像数据具有相关性，数据的相关性在金字塔重建时很容易引起算法的不稳定，使得融合结果影像高频信息丢失、边缘模糊。基于变换的融合法变换46是一种跟金字塔相似的多尺度、多分辨率的频率域融合算法，但分解不会像金字塔分解那样导致数据量增大，它的分解是非冗余的。基于变换的影像融合步骤[47]为：①对已配准的待融合影像进行分解得到高频子影像和低频子影像；②运用不同的融合规则融合分解得到的系数，把融合得到的系数作为融合结果影像的系数；③反变换重构融合结果影像。基于变换的融合法比多分辨塔式融合法更紧凑，数据无冗余也无相关性，而且具有方向信息。关于变换融合法的具体内容将在第四章进一步讨论。本章小结本章主要分析和研究了UAV影像序列拼接涉及到的主要技术。首先，给出本文UAV影像序列拼接的系统组成流程。然后，重点分析了影像序列拼接的两大关键技术：影像配准和影像融合。影像配准算法分为基于灰度信息的配准、基于变换域的配准和基于特征的配准。影像融合分为像素级融合、特征级融合和决策级融合，本章从空间域和频率域两方面说明了一些常用的像素级融合方法。对于无人机影像序列拼接，本文采用基于特征的影像配准算法和基于像素级的影像融合算法实现。4-RANSACUAV影像序列配准基于特征的影像序列配准算法具有速度快、精度高等诸多优点，已成为目前国内外研究者的讨论热点，本章的配准也是基于特征实现的。本章首先分析Harris角点检测算子，该算法实现简单，但其对尺度变化非常敏感。因此，本章紧接着研究SIFT算法，该算法对平移、旋转、缩放、放射、遮挡等变化均具有较好的鲁棒性，但它也存在计算量大、效率低的缺点。针对该SIFT算法对比分析的方式，重点研究了SURFSURF算法既能快速提取影像中的海量特息，又能从包含信息量少的影像中提取有效特征完成配准，且其速度较SIFT算法更优。关于特征点的匹配问题：首先利用欧式距离作为度量准则、采用最近邻算法实现粗匹配；再采用本文双4-RANSAC算法来剔除误匹配点对从而实现特征点的精确匹配，以保证整个影像配准的精度，为实现影像序列的无缝拼接做好准备。本文的4-RANSAC算法是一种改进的RANSAC算法，该算法可以提高精匹配阶段的效率。UAV影像特征提取Harris算子Harris算子原理Harris算子是C.G.Harris和M.J.Stephens在1988年角点提取算子，它是一种改进的Moravec算子，该算子启发于信号处理中的自相关函数。设I为影像在像素点(x,y位置的灰度值，则在(x,y处偏移(uv)后的自相关函数可描述为：E(u,v)w(x,y)I(xu,yv)I(x,x,式中，w(x,y)为(uv)处的高斯窗口系数。对于局部微小的移动量(uv)，可近似描述为：

（3-E(u,v)u,v

vv

（3-其中，M是点(xy的自相关矩阵，它是一个22的矩阵，可由影像的导数求得：I IIMw(x,y)

xI I

（3-x,

y12为矩阵M的特征值，通过计算M矩阵的特征值可以确定平坦区、边缘和角点。图3-1为Harris角点判断示意图：2>>1和2相当1~1>>1,2M的特征如果1和2都很小，图3- Harris角点判断示意Fig.3- TheHarriscornerjudgingHarris算子首先计算每个像素沿各个方向灰度变化的平均值，并将最小值作为对应像素点的角点响应函数，其定义为：RdetMktraceM

（3-其中det(M)==I2I2(II

（3-1 x xtr(M)=+=I2+I （3- 式（3-4）k（常取值0.04~0.06）是一个经验值。如果检测点(x,y)的R值大于设定阈值且该像素点是其邻域最大值时，就认为当前检测的点(x,y是一个角点。Harris算子特点Harris算子是一种有效的点特征提取方法，其优点在于：①仅利用了灰度一阶导数及滤波，算法简单、计算量小；②在影像存在灰度变化、旋转和噪声等影响时，Harris算子仍能保持良好的稳定性；③可根据实际需求定量提取角点，使用灵活方便；④检测到的角点分布均匀，能达到像素级的定位精度。但该算法有一个极大的缺点限制其使用范围，那就是不具有尺度不变性，对存在尺度缩放的影像变化敏感。SIFT算法SIFT算子(Scale-InvariantFeatureTransform)BritishColumbia大学DavidG.Lowe1999年首次提出，并在2004年完善的一种局部特征描述算子[12]，该算法对尺度、噪声、光照及视角差异等复杂变化均有稳定的鲁棒性，其实现步骤如图3-2所示。图3- SIFT算法特征提取步骤Fig.3- ThefeatureextractionstepsofSIFT尺度空间关键点检测Koenderink和Lindeberg的研究成果证明：高斯卷积核是实现尺度变换的唯一线性变换核。一幅二维影像I(x,y的尺度空间L(x,y,)定义为：L(x,y,)G(x,y,)I(x,式中，*为卷积操作，G(x,y,为高斯函数：

(3-G(x,y,)

e(x2y2)/2

(3-(x,yI(x,y的空间像素坐标，σ是尺度因子。σ的大小决定了影像的平滑程度：尺度越大越平滑，反映影像的全局概貌特征；尺度越小平滑的程度就越弱，反映影像的细节特征。高斯差分DOG（Difference-of-Gaussian）是Lowe另一思想，它可以使SIFT算法在尺度空间变换中检测到稳定的特征点。高斯差分函数是由两个不同尺度的高斯核函数做差得到，DOG算子的计算公式为：D(x,y,)(G(x,y,k)G(x,y,))I(x,L(x,y,k)L(x,y,式中，k为尺度变化因子。

(3-3-3展示了SIFT尺度空间及DOG空间的构造过程，图中的左边区域表示高斯金字塔，右边区域表示高斯差分金字塔，一般构造的高斯金字塔为4组5层。为了能够检测到的关键点，高斯金字塔最底层的影像是将输入的原始影像放大2倍，对下面一层的影像进行高斯平滑后可得到上一层的影像,上一组影像在xy轴上进行降采样可得到下一组影像。上一组影像的中间层子抽样可得到下一组影像的第一层。建立高斯金字塔模型后，本组影像的高斯差分金字塔模型可由组内相邻尺度空间的高斯金字塔影像相减得到。图3- SIFT算法的尺度空间构造Fig.3- ThescalespaceofSIFTSIFT算法的关键点[12是DOG影像的局部极值点（极大值或极小值为了使检测到的关键点稳定，DOG空间的每一像素点不仅要与其所在尺度平面3×3邻域的8个像素点比较，也要与其同组相邻上下层对应的3×3邻域的18个像素点比较，若该像素点比这26个点都大或者都小，才能判定为候选特征点。图3-4为特征点检测过程，图中的黑色×为检测点，绿色圆点为需要比较的26个点。图3- DOG尺度空间极值点检Fig.3- DetectionextremainDOGscale消除不稳定特征点为了精确定位极值点位置以达到亚像素精度，算法首先利用三维二次函数来精确获得关键点的位置及尺度，同时过滤掉候选特征点中的低对比度点（噪声敏感区域内的点）和不稳定的边缘响应点。如此，就可以进一步提高算法的抗噪声能力和影像匹配的稳定性。①删除低对比度的候选点设X代表(x,y,)，将尺度空间函数D(x,y,)在局部极值点(x0,y0,)处通过 公式展开：D(x,y,)D(x0,y0,)

X1X2

2DXS2

(3-对（3-10）式两边求导并让其为0，得：2D1X

(3-X2将式(3-11)代入式(3-10)得：D(X)D(X)

(3-若该点的DX)0.03，则认为它是低对比度的极值点，将其舍去。②过滤不稳定的边缘点由于高斯差分函数对边缘和噪声响应强烈，在影像边缘和噪声区域内会产生大量不稳定的极值点，需要对关键点进一步筛选来去除边缘效应。在DOG函数中，通常这种极值点在该点切线方向有很大的主曲率而在法线方向有很小的主曲率，算法利用这个特点来剔除边缘极值点，通过2×2的Hessian矩阵求取DOG算子的主曲率： DxyH D

(3- yyDOG函数两个方向上的主曲率与H矩阵的两特征值成正比，为了方便计算提高效率，算法通过计算H矩阵的两特征值之比代替直接求解DOG函数的主曲率。设α为矩阵H的最大特征值，β为其最小特征值，则有：Tr(H)DxxDyy

(3-Det(H)DD

)2

(3-xx α=γβ，那么：Tr(H

( ( (3-Det(H

γ=1（α=β）(3-16)可以取得最小值，γ越大则上式的值越大。这样，可以通过式(3-11)来判定该候选点是否为边缘点：Tr(HDet(H

( (3-式中，γ（一般有γ=10）是一个经验值，若候选点主曲率的比值大于10时，则认为该候选点的边缘响应很强，予以删除。SIFT算法通过上面两步就可精确的定位特征点。确定特征点主方向SIFT算法在高斯空间上利用特征点的局部邻域像素梯度信息为每一特征点分配一个主方向，以使算法在特征描述时具有旋转不变性，从而满足存在旋转变化时的影像配准。梯度表示：gradI(x,y)I,I

(3-xy 梯度幅值：(L(x1,y)L(L(x1,y)L(x1,y))2(L(x,y1)L(x,y梯度方向：L(x,y)L(x (x,y)tan-1L(x,y)L(x L代表该特征点所在高斯金字塔中某一层的尺度。

(3-SIFT算法采用梯度直方图统计法来计算关键点的主方向[12：首先，根据公式(3-19)、(3-20)计算以特征点为中心的邻域范围内所有像素的梯度信息，再根据梯度信息统计创建梯度方向直方图。将取值范围0～360分为36柱，对每10度区间内的所有像素点梯度幅值做高斯处理，把得到的值加到对应柱上形成36个方向的梯度方向直方图，示例如图3-5所示。算法将直方图中的主峰值（幅度值最大）方向规定为主方向，高于主峰值80%时为辅方向。图3- 统计梯度直方图计算主方Fig.3- Statisticsgradienthistogramtocalculatemain生成特征点描述符上述步骤处理后的特征点已具备了唯一的位置、尺度和方向信息，这些信息使其对平移、旋转和缩放具有较强的鲁棒性，接下来就可以利用该信息确定一个局部特征区域，并描述该区域以生成一个不随光照、视点等因素变化的唯一特征点描述子。生成特征点描述符的步骤[12为：首先，将影像坐标轴旋转到该特征点的主方向上以获得旋转不变性；其次，以红色的特征点为中心取8×8邻域的正方形目标窗口，每小格表示该特征点所在尺度空间邻域内的一个像素，黑色箭头的方向则为该像素点的梯度方向，箭头的长度为该像素的梯度模值，如图3-6左图所示，红色圆圈代表高斯作用的范围，离红色的特征点距离越近，对特征点的影响就越大；然后，在4×4的子区域内计算所有像素点的8个方向的梯度方向直方图，再将每个梯度方向的值累加得到一个点，一共就生成了16个点，如图3-6右图所示，每个特征点就得到16×8=128维的向量描述符；最后，将特征向量进行归一化处理，使最终得到的特征描述子具有光照不变性。图3- SIFT生成特征描述Fig.3- ThefeaturedescriptorofSURF算法SIFT算法虽然鲁棒性好，但它构造了128维向量描述子，导致其运算量非常大，在影像特征提取阶段耗时较长。针对该问题，HerbertBay等人于2006年底提出了SURF算法13，该算法在保持SIFT算法高鲁棒性的同时明显加快了检测速度。SURF算法和SIFT算法思路相似，但具体的实施方法有较大差异，表3-1对两种算法的关键技术进行了比较分析。表3- SURF与SIFT的关键技术对比Tab.3- ThekeytechnologycomparisonbetweenSURFandSURF算 SIFT算法特征检 用不同的方格滤波器与影像做卷 高斯函数和不同尺度的图像做卷积x、yx、y方向响应直方图

计算点圆（半径为6邻域

计算特征点矩形邻域内的梯度方向描述

20σ×20σ邻域分4×4的子区域，计算每一子区域5×5个采样点的haar响应Σdx，Σdy，Σ|dx|，Σ|dy|，4×4×4=64维描述符

16×16像素邻域分成4×4的子区域，计算每一子区域8个方向的灰度直方图8×4×4=128维描述符SURF算法是一种加速的SIFT算法，该算法也对尺度、噪声、光照及视角差异等复杂变化均具有稳定的鲁棒性，其实现步骤如图3-7所示。图3- SURF算法特征提取步骤Fig.3- ThefeatureextractionstepsofSURFSURF算法比SIFT算法快速的原因之一就是使用了积分图像48分图像能明显提高框状卷积滤波器的计算速度，对于影像I(ij中的点X(x,y)的积分图像是从图像原点到该像素点所围成的矩形区域内所有点的像和，即ixjI(X) I(i,i0

(3-利用积分图像可以快速的求解出任意矩形区域的像素和，且其运算时间不受矩形尺寸的影响。如图3-8中利用积分图像计算矩形区域ABCD内的像素值之和，可直接利用顶点A、B、C、D的积分图像值做3次加/减运算得到：=I(A)-I(B)-I(C)+I

(3-DDC图3- 积分图像计算矩形区域内的像素Fig.3- TheIntegralimagetogetallpixelsumofrectangular图像大小改变但时间恒定的特点明显提高了SURF算法速度，对于大尺寸的影像优势更突出，SURF算法就是利用该性质来加速了原图像与盒子滤波的卷积运算。构造尺度空间 图3- SIFT和SURF尺度空间构造对比Fig.3- ThescalespacecomparisonbetweenSIFTand为了实现尺度空间上的特征点检测，SURF算法也需要像SIFT算法一样建立尺度空间，但构建尺度空间时采用的方法不同。SIFT使用二阶高斯函数作为滤波器得到多尺度空间函数LxxLxyLyySURF使用盒子滤波器得到多尺度空间函数DxxDxyDyy3-9给出了SIFT算法和算法在尺度空间构造上的差异，左图的SIFT算法通过保持高斯滤波器的尺度不变、不断改变图像的大小来计算卷积得到，而右图的SURF算法则是保持图像不变、不断扩大框状滤波器的尺度来计算卷积得到。a）x方向b）y方向c）xy图3- 二阶高斯滤波器与盒子滤波器对比Fig.3- Thecomparisonchartbetweentwo-orderGaussfilterandSURF算法利用了方块滤波和积分图像，其计算耗时与图像尺寸无关，故在特征检测时SURF算法比SIFT算法效率更高。图3-10是二阶高斯滤波和盒子滤波对比图，盒子滤波是经过重的：x、y方向的黑域权重为-2，白域的权重为1，其他区域为0；xy方向的黑域的权重为-1，白域的权重为1，其他区域为0。Foreachnew6Boxfilter6Boxfilter 图3- SURF构造尺度空Fig.3- ThescalespaceofSURF尺度空间包含多层，每层的盒子滤波尺寸是成倍变化的。图3-11以一44层的尺度空间金字塔构造为例详细说明了SURF特征尺度空间的构造过程，第1组空间最下层的滤波器模板尺寸是9×9（=1.2）像素，后续每向上层依次增加个像素。后面、、组的滤波器尺寸分别是、、，每组最下层的滤波器尺寸与上一组第二层的一致。每层尺度由下式计算得到：approx

（3-快速Hessian检测极值点对于在尺度空间下的局部极值点检测，SIFT算法通过判断Hessian矩阵的行列式det(H值实现，SURF算法则采用快速Hessian矩阵实现。用多尺度空间函数DxxDxyDyy表示简化后的Hessian行列式如式(3-24)所示，如果该点行列式的值det(Happrox)为正，就认为是局部极值点，否则就不是。式中，为系数（本文中=0.9

（3-接着，SURF算法还需要像SIFT算法一样在3×3×3的立体邻域内抑制非极大值，找到候选极值点并记录其位置和尺寸，同时还要利用极值点邻域像素插值找到图像空间和尺度空间中的亚像素精度特征点，剔除低对比度的点以最终得到稳定的特征点。但框状滤波器没有边缘响应，所以SURF算法比SIFT算法又少了一步剔除边缘响应敏感点的运算。确定特征点主方向a）x方向响应模板b）y方向响应模板图3-12 HarrFig.3- Harr为了保持特征提取的旋转不变性，SURF算法也需要跟SIFT算法一样为特征点确定一个主方向，但是使用的方法上有差异。SURF算法计算主方向的过程为：首先，对以特征点为中心、6（为特征点所在的尺度）为半径的圆形邻域内的所有像素，用尺寸为4的Haar模板（如图3-12）所示计算其在x和y方向上的响应，并用高斯模板对得到的响应结果做处理使其更加符合实际。图3- 主方向计算示Fig.3- Thecalculationexampleofthemain然后，以特征点为中心、圆心角为60度的扇形区域为单位，以5度为步长对响应图像进行旋转搜索，同时在同一坐标系下绘制圆域内同一像素点的x、y方向的响应。在60度扇形区域内累加计算x方向和y方向上的haar响应值生成一个新的矢量，将获得最长矢量的方向定义为主方向，如图3-13所示。生成特征点描述符在构造特征点描述子时，SURF也需要跟SIFT算法一样，首先将坐标轴旋转至此特征点的主方向上以保持其旋转不变性；然后，沿着主方向选取一个以特征点为中心、20σ为边长的正方形邻域；之后，将该区域均匀的分成4×4=16个子块在每个子区域内用2σ的Haar模板以5×5的间隔采样，分别计算沿x、y轴方向的响应dxdy，此dxdy是经过以特征点为中心、3.3σ为方差的高斯处理的，目的则是提高算法对几何变换的鲁棒性；最后，分别累加每个子区域的dxdy、|dx||dy|，就形成了该子区域的一个4维向量描述子vdxdy|dx||dy|，如图3-14所示。图3- SURF生成特征描述符Fig.3- Thefeaturedescriptorof这样，每个特征点就得到一个44464维的描述向量，将特征向量归一化后可使算法具有良好的光照和亮度适应性。如果在对子区域dxdy|dx||dy|求和时，分别考虑dy>0dy≤0dx>0dx≤0这四种情况，就可以得到844128维的特征向量描述子。特征提取实验与结果分析上述三个特征提取算法：Harris算子、SURF算法和SIFT算法，前一个算法与后两个算法在处理存在亮度变化、旋转、缩放等影像时效果有较大差异，后两个算法对平移、旋转、尺度缩放、亮度差异等变形均具有良好的鲁棒性。为了验证算法的这些特性，本试验选择原影像、亮度差异明显、旋转角度明显和缩放明显的四组影像分别进行特征提取。SIFT算法和SURF算法的主要差异是时间效率不同，所以本实验通过统计其检测到的特征点数及各阶段的耗时情况来对比分析。在相同的实验环境下，通过比较分析三种算法的效果和效率，找出更适合无人机影像序列的特征提取算法。特征提取算法对比试验为了分析和验证上述三种算法的鲁棒性，本试验选择四组影像进行特征提取：第一组是无人机拍摄的原始影像，第二组是具有明显亮度差异的影像，第三组是具有明显旋转变化的影像，第四组是具有明显缩放的影像。原始影像特征提取实验结果如图3-15所示，其中3-15（a、3-15（b）为原影像；3-、3-15（d）Harris角点检测的结果；3-15（e、3-15（f）算法检测的结果；3-15（g、3-15（h）SURF算法检测的结果。a）图 b）图图1-Harris检 e）图1-SIFT检 g）图1-SURF检测图2-Harris检测 f）图2-SIFT检测 h）图2-SURF检测图3-15 原始影像特征提取Fig.3- Thefeatureextractionoforiginal亮度变化明显的影像特征提取实验结果如图3-16所示，其中3-16（a、3-16（b）为亮度变化明显的影像，它们是分别在原影像3-15（a）3-15（b）的基础上降低亮度和增加亮度得到；3-16（c、3-16（d）Harris角点检测的结果；3-16（e、3-SIFT算法检测的结果；3-16（g、3-16（h）SURF算法检测的结果。a）图 b）图图1-Harris检 e）图1-SIFT检 g）图1-SURF检测图2-Harris检测 f）图2-SIFT检测 h）图2-SURF检测图3-16 亮度变化明显的影像特征提取Fig.3- Thefeatureextractionofobviousbrightnessdifference旋转变化明显的影像特征提取a）图 b）图图1-Harris检 e）图1-SIFT检 g）图1-SURF检测图2-Harris检测 f）图2-SIFT检测 h）图2-SURF检测图3-17 旋转变化明显的影像特征提取Fig.3- Thefeatureextractionofobviousrotationdifference实验结果如图3-17所示，其中3-17（a、3-17（b）为明显旋转的影像；3-17（c、3-17（d）为Harris角点检测的结果；3-17（e、3-17（f）SIFT算法检测的结果；3-17（g、3-17（h）SURF算法检测的结果。缩放变化明显的影像特征提取实验结果如图3-18所示，其中3-1（a、3-18（b）为明显缩放的影像，3-18（a）3-15（a，图3-18（b）3-15（b）缩小到60%得到；3