基于SIFT的低空遥感图像拼接

1、基于SIFT的低空遥感图像拼接李新 葛小燕（桂林理工大学，机械与控制工程学院，广西 桂林市，541004）摘要：遥感图像信息的处理对地质灾害预警分析有着重要的作用，SIFT(Scale Invariant Feature Transform)算法应用在多幅遥感图像拼接中，一定程度上解决了一般图像拼接方法在变化的尺度和光照情况下特征点匹配不稳定的问题。本文阐述了图像拼接的一般流程，详尽叙述了SIFT算法原理，分析了图像拼接各步骤算法原理，采用RANSAC算法来减少特征点错配并估计出图像序列的投影矩阵，最后运用渐入渐出加权平均法处理图像融合。通过Matlab实验证明，SIFT算法应用在低空遥感图像

2、拼接中，具有较好的稳定性。关键字：SIFT算法；低空遥感影像；图像拼接中图分类号：TP751.1Remote Sensing Image Mosaic Based on SIFTLI Xin GE Xiao-yan(Dept of Mechanical and Control Engineering Institute, Guilin University of Technology，Guilin, 541004,Guangxi)Abstract: Information processing of remote sensing image play an important role in

3、geological disasters analysis of early warning, SIFT ( Scale Invariant Feature Transform ) algorithm has been used in remote sensing mosaic, solved the matching instability problem of traditional image mosaic method in scale and varying illumination. This paper described the general process of image

4、 mosaic, analyzed the principle of SIFT algorithm and every step of image stitching algorithm in details, using the RANSAC algorithm to reduce the matching errors and estimate the initial matrix of image sequence, finally using average-consensus method to deal with image fusion. The experiment prove

5、d that, SIFT algorithm used in image mosaics of Low Altitude Remote Sensing , with better stability.Keyword: SITF, Remote Sensing, Image Mosaic;0引言遥感图像的处理普遍应用于资源和地形勘察勘探、植被、海洋生物资源调查、军事侦察、环境监测、规划、管理和灾害预警等多个领域，因此将多幅遥感图像拼接为全景遥感图像对处理遥感图像信息有着重要的作用和意义1。遥感图像拼接是将同一拍摄设备在不同时间内，拍摄到的同一场景，有重叠部分的一系列图像进行配准、融合，形成一幅含

6、有所有待拼接图像信息的全景图片。1图像拼接流程基于特征的图像拼接主要由特征点提取、特征点匹配、求解投影矩阵和图像融合四步组成2如图1所示，图像拼接的主要技术难点在特征点匹配和图像融合。图像配准的关键所在就是找到待配准图像中的特征点与所匹配的参考图像中特征点位置的变换关系，根据这种变换关系计算出与之对应的图像序列的参数值，依据这些参数找到图像之间信息相同的部分进行配准，之后将待配准图像的坐标与参考图像的坐标合并在一个坐标系下，以此构成一幅完整的图像。基金项目：广西空间信息与测绘重点实验室主任科研基金（No.1103108-27）作者简介：李新(1973-)，女，广西桂林人，硕士，副教授，硕士生导

7、师，研究方向：图像处理与模式识别E-mail: Lx1973；葛小燕(1986- )，女，河南鹤壁人，硕士研究生，从事图像处理与模式识别的研究，Email:图像预处理参考图像待配准图像特征提取特征点匹配求解投影矩阵特征提取图像融合图1基于特征的图像拼接流程图Fig.1 Image mosaic moflowchart based on feature基于图像特征的匹配算法有很多种算子，这其中有Harris算子、MSER算子、SURF算子以及SIFT算子。利用SIFT算法提取的特征点具有的特点是3，该特征在图像进行一些仿射变换、尺度或视角的变化后仍旧保持稳定，有利于匹配两幅具有差异图像的特征。2

8、 SIFT算法原理SIFT算法的特征检测是在不同尺度空间进行的，因此首先构建尺度空间。由于高斯核具有线性、平移不变性、旋转不变性和子集特性等特性，因此高斯核是唯一可以构成多尺度空间的核4。一个图像的尺度空间，是由原始图像与一个可变尺度的二维高斯函数卷积运算得到的，如式（1）： （1）接着在图像二维平面空间和DoG(Difference -of-Gaussian)尺度空间中同时检测局部极值以作为特征点，将待检测的点与其所在阶层的像素点进行比对，如果是极值，则认为是SIFT 候选点。DoG函数公式如式（2）： （2）然后特征点定位。由上一步产生的DoG算子对噪声和边缘比较敏感，因而需对在所构建的尺

9、度空间中检测的极值点再一步精确定位5。通过尺度空间DoG函数的曲线拟合以及计算二阶Taylor展开式，去除不稳定的极值点。同时设置阈值将关键点保留剔除其余点，对于所产生的边缘响应点利用Hessian矩阵方法计算并剔除。最后为特征点分配主方向。为特征点分配主方向的步骤为：首先确定计算关键点直方图的高斯函数权重函数参数6,7，生成含有3b柱的方向直方图，设置梯度范围0-360度，其中每10度一个柱。然后对方向直方图进行两次平滑，求取关键点方向。最后对方向直方图的Taylor展开式进行二次曲线拟合，精确关键点方向。至此图像的特征点提取完成，每个特征点都具有平移、缩放和旋转不变性3特征点匹配在两幅图像

10、生成特点后，选取待配准图像的一个点，从参考图像中找到与该点欧氏距离最近的前两个特征点，算出它们与图所取点的距离最近的与距离次近的，二者比值若小于我们给定的某个阈值，则认为匹配。欧氏距离表示如式（3）： （3）欧式距离中和 是两个特征向量。距离比表示为，降低这个距离比例的阈值，会减少匹配点的数目，但会使匹配点更加稳定。4求解投影矩阵在对图像进行融合前，需先计算出图像变换矩阵H的初始矩阵，图像变换矩阵有8个参数，各参数分别代表了相机尺度旋转变量，水平和垂直位移8。得到的投影变换公式如式（4）： （4）公式中h为图像变换矩阵的参数，和分别是匹配的特征点对的坐标。本文采用RANSAC方法剔除误匹配特征

11、点求得图像见的坐标变换关系，该方法重复N次随机采样，通过寻找匹配误差的最小值得到一组与H一致的数目最多的内点9，并从这些内点中重新计算出精确的H 初始值。从而通过变换矩阵，找到待匹配图像中的特征匹配点和对应的参考图像中的特征匹配点的坐标相对位置。5 图像融合得到图像间变换矩阵后，根据坐标转换关系，将待配准图像变换到参考图像上，实现图像拼接。拼接后需选择适当的图像融合技术，以消除图像拼接后在强度或颜色上不连续以及拼接缝隙，从而实现图像拼接处的平滑过渡。本文使用图像融合技术是渐入渐出算法10，其原理为：图像重叠区域的像素点的灰度值由待匹配图像和参考图像中对应的特征匹配点的灰度值加权平均得到，如式（

12、5）： （5）其中d由重叠部分的宽度决定，满足，width表示重叠区域中的点到两幅重叠区域左右边界的宽度之和。在重叠部分中，由1慢慢减小到0，由0慢慢增大到1，由此实现在重叠部分由渐近的平滑过渡到。6实验结果实验平台为Window xp操作系统，编程环境为Matlab7.1，实验选取了两张相邻的有重叠区域的由无人机采集的遥感图像，两图大小均为387259像素，如图2和图3所示 图2 待拼接图像 图3参考图像Fig.2 Unmosaic image Fig.3 Reference image 图4 SIFT配准图像Fig.4 Image of SIFT 图5两幅图像拼接 图6多幅遥感图像拼接Fi

13、g.5 Mosaic image Fig.6 Remote senging mosaic imageSIFT算法提取两幅图的特征点并匹配，检测到的匹配结果如图4所示。图5为本文方法实现的两幅遥感图像的拼接结果图，图6为多幅遥感图像的拼接效果图。从实验结果中可以看出本文提出的方法可以完成多幅遥感图像序列的拼接操作，融合算法较好的处理了图像亮度不同的问题。7 结论本文主要研究了基于SIFT特征的低空遥感图拼接方法，通过实验表明SIFT算法是相对比较稳定的匹配算法，特征点的匹配对图像变化信息比较敏感，有效的提高了匹配的精度；特征点的检测和描述过程对噪声、亮度变化、图像形变等都有较好的鲁棒性。使用SI

14、FT 算法在低空遥感图像拼接中具有一定的实用价值。参考文献1 郭东.面向灾害勘察的无人机遥感图像配准技术研究D.成都电子科技大学.20112 张锐娟. 图像配准理论及算法研究D. 西安电子科技大学.2009 3 白玉滨.基于局部特征的遥感图像配准D.南京理工大学.20094 朱利成,姚明海.基于SIFT算法的目标匹配和识别J.机电工程,2009,26(4):73-75.5 李寒，牛纪桢， 郭禾.基于特征点的全自动无缝图像拼接方法J.计算机工程与设计，2007,28(9):2083-20856 陈信华.SIFT特征匹配在无人机低空遥感影像处理中的应用.地矿测绘J,2008,24(2):10-12.7 李玲玲,李翠华,曾晓明,李保. 基于Harris-Affine和SIFT特征匹配的图像自动配准J. 华中科技大学学报(自然科学版). 2008,36(8):13