基于MATLAB的图像融合算法

1、基于MATLAB勺图像融合算法毕业设计基于MATLAB勺图像融合算法摘要图像融合能够将不同类型传感器获取的同一对象的图像数据进行空间配准。并且采用一定的算法将各图像数据所含的信息优势或互补性有机的结合起来产生新的图像数据。这种新数据具有描述所研究对象的较优化的信息表征，同单一信息源相比，能减少或抑制对 被感知对象或环境解释中可能存在的多义性、不完全性、不确定性和误差，最大限度的利 用各种信息源提供的信息。图像融合分为像素级、特征级、决策级三个层次，其中像素级图像融合能够提供其它 层次上的融合处理所不具有的更丰富、更精确、更可靠的细节信息，有利于图像的进一步 分析、处理和理解，它在整个图像融合技

2、术中是最为复杂、 实施难度最大的融合处理技术。 本文的研究工作是围绕像素级图像融合展开的，针对像素级图像融合技术中需要解决的关键问题，研究了多种像素级图像融合方法。本论文的主要的研究内容有：首先介绍了图像信息融合的概念、优势、发展历史和应用领域，并介绍了图像融合的 三个层次及常用的空域图像融合方法，空域融合方法有像素平均法、像素最大最小法、像 素加权平均法，频域融合方法包括图像的多尺度分解、图像的小波变换、基于小波变换的 图像融合方法。图像的预处理有滤波（邻域平均滤波法、中值滤波法 ）和图像配准。最后，对于图像融合系统来说，融合图像质量的评价显得特别重要，本文探讨了图像 融合质量的评价问题，总

3、结了融合效果的主、客观评价标准，作为本课题性能分析的判断 标准。关键词：图像配准；图像融合；空域融合法；小波变换；评价标准毕业设计MATLAB-based image fusion algorithmAbstractThe same object gotten from different sensors can be registered spatially by mage fusion. The information advantages or the complements of all the image data can be combined to produce new ima

4、ge data using some fusion algorithms. The new data can describe the optimized information of the studied object. Compared with single information source, the new data can reduce or restrain the ambiguity, the incompleteness, the uncertainty and the error, which may appears in the explanation of the

5、studied object or the environment, and make full use of the information provided by all kinds of resources.Image fusion consists of such three levels as the Pixel level , the feature level and the decision level ， among which the Pixel level image fusion can Provide moreabundant, accurate and reliab

6、le detailed information tha t doesn t exist on the other levels and It is the most complicated in the whole image fusion techniques and also is the most difficult to implement in the fusion Processing techniques. this dissertation Progresses mainly around the Pixel level image fusion and proposes a

7、variety of Pixel level image fusion techniques according to the key Problems in the Pixel level image fusion techniques.The major research and findings are as follows:First we introduce the concepts , advantages, developments and applications. Three levels of image fusion and image fusion techniques

8、 in common use are also reviewed. Airspace Image Fusion such as simple fusion method (pixel average, maximal or minimal pixel selection), Frequency-domain image fusion methods include the multiresolution image fusion techniques based on multi-scale pyramid decomposition, and the image fusion method

9、based on wavelet transformImage Pre-processing like Filter processing(neighborhood average filter, median filtering method) and Image Registration. in the end, evaluation for fusion image is vital to fusion system. This dissertation probes into the image fusion quality assessment and deduces a set o

10、f indexes as the criteria to analyze the performances of this discussion.Keywords: Image Registration ； Image Fusion ； Airspace integration method; Wavelet Transform ； Evaluation criteria毕业设计目录 TOC o 1-5 h z 第一章绪论6图像融合的概念6图像融合的主要研究内容 7图像融合的层次7图像融合算法的发展 10图像融合的步骤 10图像融合技术的发展现状 11本文的研究工作11第二章图像预处理11图像

11、的校正11图像滤波技术12邻域平均法 13中值滤波 13图像配准14图像配准概述 14毕业设计 TOC o 1-5 h z 手动图像配准 15基于图像特征的匹配算法 16第三章图像融合17加权平均融合法 17像素灰度值选大/小融合方法 18主分量融合法18IHS 变换法20小波变换融合法22小波的定义及特点22基于小波变换的图像融合方法原理 27图像融合规则及融合因子28第四章图像融合效果评价29主观评价29客观评价29基于光谱特征的评价29基于信息量的评价30基于统计特性的评价 31基于信噪比的评价 32毕业设计 TOC o 1-5 h z 总结与展望33谢辞34参考文献35毕业设计第一章绪

12、论图像融合技术(Image Fusion Technology)作为多传感器信息融合的一个非常重要的分 支一可视信息的融合，近 20年来，引起了世界范围内的广泛关注和研究热潮。图像融合 就是通过多幅图像冗余数据互补得到一幅新的图像，在这幅图像中能反应多重原始图像中 的信息。图像融合的目的是充分利用多个待融合源图像中包含的冗余信息和互补信息，融 合后的图像应该更适合于人类视觉感知或计算机后续处理，减少不确定性。图像融合技术 在遥感、医学、自然资源勘探、海洋资源管理、生物学等领域占有极其重要的地位，对于 国防安全和经济建设具有十分重要的战略意义。图像融合的方法与具体的处理对象类型、处理等级有关。这

13、主要是各类图像的解析度 不同、表现的内容不同，相应的处理方法也要根据具体情况而定。本章首先介绍了多传感器图像融合的基础理论及发展现状，在此基础上介绍了像素级图像融合方法的原理及应用，最后，给出论文的内容安排。1.1图像融合的概念图像融合是二十世纪70年代后期提出的新概念，是多传感器信息中可视信息部分的 融合，是将多源信道所采集的关于同一目标图像经过一定的图像处理，提取各自信道的信 息，最后综合成统一图像或综合图像特性以供观察或进一步处理。它是一门综合了传感器、图像处理、信号处理、显示、计算机和人工智能等技术的现代高新技术。由于图像融合系 统具有突出的探测优越性(时空覆盖宽、目标分辨力与测量维数

14、高、重构能力好、兀余性、 互补性、时间优越性及相对低成本性等 )，在技术先进国家受到高度重视并己取得相当的 进展。图像融合的形式大致可分为以下 3种：(l)多传感器不同时获取的图像的融合；(2)多传感器同时获取的图像的融合；(3)单一传感器不同时间，或者不同环境条件下获取的图像的融合。图像融合能够充分利用这些时间或空间上冗余或互补的图像信息，依据一定的融合算法合成一幅满足某种需要的新图像，从而获得对场景的进一步分析、理解以及目标的检测、识别或跟踪。以两个传感器 A、B为例，其信息构成的示 意图如图1-1所示。冗余信息毕业设计图1-1多源图像的信息构成通过图像融合可以强化图像中的有用信息、增加图

15、像理解的可靠性、获得更为精确的 结果，使系统变得更加实用。同时，使系统具有良好的鲁棒性，例如，可以增加置信度、 减少模糊性、改善分类性等。图像融合的层次可分为：像素级、特征级和决策级。目前，将图像融合技术应用于数字图像处理的主要目的有以下几种：(1)增加图像中有用信息的含量，改善图像的清晰度，增强在单一传感器图像中无法看见/看清的特性；(2)改善图像的空间分辨率，增加光谱信息的含量，为改善检测/分类/理解/识别性能获取补充的图像信息；(3)通过不同时刻的图像序列融合来检测场景/目标的变化情况；(4)通过融合多个二维图像产生具有立体视觉的三维图像，可用于三维重构或立体投影， 测量等；(5)利用来

16、自其它传感器的图像来代替/弥补某一传感器图像中的丢失/故障信息。显然，图像融合技术不同于一般意义上的图像增强，它是计算机视觉、图像理解领域 的一项新技术。图像融合的主要研究内容图像融合的层次图像融合是采用某种算法对两幅或多幅不同的源图像进行综合处理，最终形成一幅新的图像。它可以强化图像中有用信息，增加图像理解的可靠性，获得更为准确的结果。在 各种融合应用中，由于应用目的、所处理的输入数据及融合处理前对数据预处理程度不同， 使得融合系统在不同层次上对多源数据进行处理，每个层次表示不同的数据抽象级别。根 据抽象程度可将图像融合系统分为三级：像素级、特征级和决策级。融合的层次不同，所 采用的算法、适

17、用的范围也不相同。下图示意了在图像处理全过程中，图像融合所处的位 置与层次。毕业设计图1-2三个不同层次上的多源图像融合示意图（i）像素级图像融像素级图像融合是在严格配准的条件下，对各图像传感器输出的信号，直接进行信息 的综合与分析。像素级图像融合是在基础层面上进行的信息融合，其主要完成的任务是对 多传感器目标和背景要素的测量结果进行融合处理。像素级图像融合是直接在原始数据层上进行的融合，该层次的融合准确性最高，能够提供其它层次上的融合处理所不具有的更 丰富、更精确、更可靠的细节信息，有利于图像的进一步分析、处理与理解。像素级图像 融合是目前在实际中应用最广泛的图像融合方式，也是特征级图像融合

18、和决策级的基础， 但缺点是预处理的信息量最大，处理时间较长，对通信带宽的要求高。在进行像素级图像 融合之前，必须对参加融合的各图像进行精确的配准， 其配准精度一般达到像素级，因此, 像素级融合是图像融合中最为复杂且实施难度最大的融合。像素级图像融合通常用于：多源图像复合、图像分析和理解。图1-3像素级数据融合原理示意图毕业设计(2)特征级图像融合特征级图像融合是对源图像进行预处理和特征提取后获得的特征信息(如边缘、形状、轮廓、区域等)进行综合。特征级融合属于中间层次的信息融合，它既保留了足够数量的 重要信息，又可对信息进行压缩，有利于实时处理。它使用参数模板、统计分析、模式相 关等方法完成几何

19、关联、特征提取和目标识别等功能，以利于系统判决。一般从源图像中 提取的典型特征信息有：线型、边缘、纹理、光谱、相似亮度区域、相思景深区域等。在 特征级图像融合过程中，由于提取的特征直接与决策分析有关，因而融合结果能最大限度 地给出决策分析所需要的特征信息。尽管在模式识别、图像处理和计算机视觉等领域，已 经对特征提取和基于特征的图像分类、分割等问题进行了深入的研究，但是这一问题至今 仍是困扰计算机视觉研究领域的一个难题，有待于从融合角度进一步研究和提高。图1-4特征级数据融合原理示意图(3)决策级图像融合决策级图像融合是一种更高层次的信息融合，其结果将为各种控制或决策提供依据。 这种方法是首先对

20、各个源数据进行处理，分别得出判断和识别的结果，融合中心将这些结 果按照一定的准则和每个数据源决策的可信度进行协调，以取得最优的决策结果。决策级 融合方法主要是基于认知模型的方法， 需要大型数据库和专家决策系统， 进行分析、推理、 识别和判决。此种融合实时性好，并且有一定的容错能力，但其预处理代价较高，图像中 的原始信息的损失最多。数据1数据2数据n毕业设计图1-5决策级融合原理示意图图像融合的三个层次与多传感器信息融合的三个层次有一定的对应关系，在实际应用中，应根据数据融合特点、原始数据特点、可用资源及目标要求，选择适当的数据融合层 次及融合方法，才能构成高效的数据融合系统和获得最优的融合效果

21、。图像融合的三个层 次不仅能够独立进行，而且它们有着密切相关性，还可以作为一个整体同时进行分层次融 合，前一级的融合结果可作为后一级的输入。图像融合算法的发展对图像进行融合处理的目的主要有锐化图像、改善几何矫正、色彩矫正、改善分类特 性、弥补某种图像中丢失的数据、检测或观测大地环境的变化等等。其采取的融合方法主 要有IHS（明度-色度-饱和度:Intens让y-Hue-saturation）变换、平均、加权平均、差分及比率、 高通滤波等。这些方法在进行融合处理时都不对参加融合的图像进行分解变换，融合处理 只是在一个层次上进行的，因此均属于早期的图像融合方法。到80年代中期，人们又提出了基于金字

22、塔的图像融合方法，其中包括拉普拉斯金字塔、梯度金字塔、比率低通金字塔等，并开始将图像融合技术应用于一般图像（可见光图像、红外图像、多聚焦图像、遥感图像等）的处理。90年代，随着小波理论的发展与广泛 应用，小波变换技术为图像融合提供了新的工具，使图像融合技术的研究呈不断上升趋势， 应用的领域也遍及到遥感图像处理、计算机视觉、自动目标检测、城市规划、交通管制、 机器人导航、决策支持系统、大型经济信息、医学图像处理等。图像融合的步骤对于某个具体的图像融合系统而言，它所接受的信息可以是单一层次上的信息，也可 以是几种层次上的信息。融合的基本策略就是先对同一层次上的信息进行融合，从而获得 更高层次的融合

23、后的信息，然后再进行相应层次的融合。因此，图像融合本质上是一个由 低（层）至高（层）对多源信息融合、逐层抽象的信息处理过程。一般情况下，由于各个成像传感器所在的平台各异，且成像模式不同，同时还会受到 各种环境因素的影响，对同一场景或目标所成的多源图像间会出现位移、畸变以及噪声污 染等问题，因此，多传感器图像在融合之前必须进行一系列的预处理。源图像经预处理后,接下来就是根据具体的应用目的不同， 采用不同的融合算法对多个源图像在不同的层次上 进行融合处理，同时还要对融合结果进行质量评价，形成具有反馈的系统，从而有利于选 择最为合适的融合方式以得到最优的融合结果。最后，将得到的融合结果应用于各种不同

24、 的场合。由于像素级图像融合在整个图像融合技术中是最为复杂、实施难度最大的融合， 因而本论文重点对它进行探讨和研究。毕业设计融合后图像图1-6 图像融合人般步骤图像融合技术的发展现状1979年，Daily等人9首先把对雷达图像和Landsat-Mss图像的复合图像应用于地质 解释，其对图像的处理过程可以看作是最简单的图像融合。1981年，Laner和Todd对Landsat-RBV和Mss图像数据进行了融合试验。至U 80年代中后期，图像融合技术逐渐开 始引起人们的关注，陆续有人将图像融合技术应用于遥感多光谱图像的分析和处理。90年代开始，图像融合技术开始成为遥感图像处理和分析中的研究热点之一

25、。对遥感图像进 行融合处理的目的主要有锐化图像、改善几何矫正、色彩矫正、改善分类特性、弥补某种 图像中丢失的数据、检测/观测大地环境的变化等等。这个时期人们采用的融合方法主要有 IHS变换、平均、加权平均、差分及比率、主分量分析 （PCA）、高通滤波等。这些方法在 进行融合处理时都不对参加融合的图像进行分解变换，融合处理只是在一个层次上进行。到80年代末，人们才开始将图像融合技术应用于一般图像处理（可见光图像、红外图像等）。90年代后，图像融合技术的研究呈不断上升趋势，应用的领域也遍及遥感图像处 理、可见光图像处理、红外图像处理、医学图像处理等。尤其是近几年，多传感器（多源）图像融合技术己成为

26、计算机视觉、自动目标识别、机器人、军事应用等领域的热点研究问 题。本文的研究工作本文的研究基于MATLAB的图像融合算法。涉及图像融合前的预处理，滤波去噪和 图像配准，采取手动配准获取精准的配准图像，在空域内的像素级图像融合采用简单直接 的加权平均法，在频域内的小波变换融合，最后对融合结果进行评价。第二章图像预处理图像传感器在获得原始数据的过程中存在不同的干扰，使得获在取的图像中往往存在或多或少的噪声。为了避免噪声的传播扩散，使后面图像融合的质量和性能下降，必须在 融合前对源图像进行几何校正、去噪和增强处理。止匕外，在进行像素级融合前，还必须对 源图像进行有效而精确的配准处理，以去除不同传感器

27、的系统误差和偶然误差，这些为图 像融合所做的准备统称为图像预处理。2.1图像的校正毕业设计图像校正主要分为两类：几何校正和灰度校正。(1)几何校正图象几何校正的思路是通过一些已知的参考点，即无失真图象的某些象素点和畸变图象相应象素的坐标间对应关系，拟合出上述多项式中的系数，并作为恢复其它象素的基础。几何校正的基本方法是：首先建立几何校正的数学模型；其次利用已知条件确定模型 参数；最后根据模型对图像进行几何校正。具体操作通常分两步：对图像进行空间坐标变换；首先建立图像像点坐标(行、列号)和物方(或参考图) 对应点坐标间的映射关系，解求映射关系中的未知参数，然后根据映射关系对图像各个像 素坐标进行

28、校正；确定各像素的灰度值(灰度内插)。图2-1几何校正处理过程(2)灰度校正根据图像不同失真情况以及所需的不同图像特征可以采用不同的修正方法。通常使用的主要有三种：(1)灰度级校正。针对图像成像不均匀如曝光不均匀，使图像半边暗半边亮，对图像 逐点进行不同程度的灰度级校正，目的是使整幅图像灰度均匀。(2)灰度变换。针对图像某一部分或整幅图像曝光不足使用灰度变换，其目的是增强 图像灰度对比度。(3)直方图修正。能够使图像具有所需要的灰度分布，从而有选择地突出所需要的图 像特征，来满足人们的需要。2.2图像滤波技术在图像采集、传输过程中，由于输入转换器、周围环境、电压波动等多种因素的影响， 图像不可

29、避免地含有各种各样的随机干扰信号，这些信号就是我们所讲的噪声，它们或与 图像内容有关，或无关。但相同的是都会导致图像失真，使图像模糊，甚至掩盖图像的重 要特征，给后续的图像分析和处理带来不利影响。图像噪声的种类很多，分类的标准也不少。例如，按其产生的原因可分为外部噪声和 内部噪声；按噪声服从的分布将其分为随机噪声(高斯噪声)和椒盐噪声；根据噪声与信 号之间的关系分为加性噪声和乘性噪声等。针对不同的噪声，其去噪方法大致可分为以下 两大类：(1)空域滤波去噪是指在空间域内对图像像素的灰度值直接运算处理的方法。常用的空间滤波去噪方法主要有均值滤波、中值滤波、维纳滤波以及空间域低通滤波法，其中，维 纳

30、滤波是一种自适应的滤波方法，比一般的滤波器具有更好的选择性，可以更好地保护图毕业设计像边缘，尤其对加性高斯白噪声的抑制效果很好。在此简单介绍两种空域滤波法：(2)变换域去噪是指在图像的某种变化域内，对源图像经过变换后的系数进行相应处 理，然后再进行反变换达到图像去噪目的的一种方法。常用的去噪方法主要有频率域低通 滤波法和基于小波变换法，其中小波去噪的方法大致可分为基于小波变换模极大值原理、 相邻尺度间小波系数相关性以及阈值法三大类。目前，基于小波变换的去噪方法尚处于不 断发展的阶段，总体来说，去噪效果较好但计算非常复杂，不同的重构方法对信号重构的 误差影响很大，也会影响到去噪的效果。2.2.1

31、邻域平均法可用于消除随机相邻域平均法按g(x,y) f(x, y) h(x,y)直接对图像作低通滤波处理。加噪声。常用的h(x,y)(低通滤波器的脉冲响应函数)有1 11 2 111,-1101112 1, 2 4 2161 11 2 1这里的作用域为3X3,共有9个像素灰度参加运算，用运算结果代替中心像素 (x,y)的 像素灰度。根据需要，可选用5X5, 7X7等不同作用域的。矩阵中心的元素值占的比例越小，平滑 作用越强，会使图像越模糊；h(x,y)的作用域越大，平滑作用越强，亦导致图像越模糊。原则：使矩阵的元素之和与其前面的系数相乘的结果为 1,以在平滑过程中处理结果 的像素灰度不超过允许

32、的像素最大灰度值。用这种方法作平滑处理，图像四周围边缘的像 素需特殊处理。两种特殊处理办法(对3X3的情形)：把原图像从MX N转化为(M+2) X (N+2),所加大的两行和两列的像素灰度均取 0, 然后对加大后的像素平滑处理，结果又舍去所加的两行的零灰度信息，仅取 MXNo 不处理原始图像4个边缘的像素，使处理后4个边缘的像素灰度保持原始灰度，或人为 地赋予特殊灰度。2.2.2中值滤波作为抑制噪声的非线性处理方法，中值滤波是从一维信号处理的中值滤波技术发展而来的。其原理是在图像画面中开一个一维的小窗口， 它应该包含奇数个像素，按像素的灰度 值从小到大排列起来，然后用中间灰度值来代替原排列的

33、中间像素的灰度值。窗口然后从 左到右移动，直到边界。窗口下移一行，再从左到右进行。经过中值滤波变换后，某象素 的输出等于该象素邻域中各象素灰度的中间灰度值。其操作流程如下所示：50； 60, 300, 100, 12。80, 190,、毕业设计；一一顺序排列象素灰度值 50,60,100,120,300,J用中间灰度值100代替原中间灰度值300,50,60,100,100,120,80,190，、一，右移窗口得50, 60, 100, 100, 120, 80, 190,、；一一顺序排列象素灰度值 60. 80. 100. 100. 120，中间灰度值100与原中间灰度值100相同，不用换5

34、0 , 60, 100, 100, 120, 80, 190,、 J右移窗口得50 , 60, 100, 100, 120, 80, 190,这样对图像灰度的跳跃有平滑效果。考虑到一般图像在两维方向上均具有相关性，因此，活动窗口一般选为两维窗口(如3X3, 5X5或7X 7等)，窗口形状常用：5 5方形5 5十字形3 3方形5 5圆形2.3图像配准图像配准概述图像配准(或图像匹配)是评价两幅或多幅图像的相似性以确定同名点的过程。图像 配准算法就是设法建立两幅图像之间的对应关系，确定相应几何变换参数，对两幅图像中的 一幅进行几何变换的方法。像配准的一般过程是在多源图像数据经过严密的几何纠正处理、

35、改正了系统误差之 后，将影像投影到同一地面坐标系统上，然后在各影像上选取少量的控制点，通过特征点 的自动选取或是计算其间的相似性、粗略配准点的估计位置、精确确定配准点以及估计配 准变换参数等处理，从而实现影像的精确配准。按照配准算法所利用的图像信息，可以分为以下两类(1)基于灰度的图像配准方法。该类方法直接利用整幅图像的灰度度量两幅图像之间 的相似性，然后采用搜索方法寻找使相似性度量最大或最小值点，从而确定两幅图像之间 的变换模型参数。该方法不需要对图像作特征提取，直接利用全部可用的图像灰度，提高 了配准算法的估计精度和鲁棒性，但是由于匹配点周围区域的点的灰度都参与计算，因此,其计算量大，速度

36、慢。(2)基于图像特征的图像配准方法。将从图像灰度中提取出来的某些显著特征作为匹配 基元，用于匹配的特征通常为点、线、区域等。算法过程主要分为特征提取和特征匹配。 在特征匹配前，首先要从待匹配的多幅图像中提取出灰度变化明显的点、线、区域等特征,组成特征集。然后，在各幅图像所对应的特征集中利用特征匹配算法尽可能的将存在匹配 关系的特征对选择出来。对于非特征像素点利用插值等方法处理， 推算出对应的匹配关系，毕业设计从而实现多幅图像之间逐像素的配准。由于提取了图像的显著特征，大大压缩了信息的数 据量，同时较好的保持了图像的位移、旋转、比例等方面的特征，因此，该方法在匹配时 计算量小、速度快，是较为实

37、用的方法。按自动化程度可以分为人工、半自动和全自动三种类型 。手动图像配准我们可以利用Matlab自带的图像处理工具箱来完成配准需要。图像处理工具箱(Matlab Image Processing Toolbox )提供了一套全方位的参照标准算法和图形工具， 用于进行图像处理、分析、可视化和算法开发。可用其对有噪图像或退化图像进行去噪或 还原、增强图像以获得更高清晰度、提取特征、分析形状和纹理以及对两个图像进行匹配。利用Matlab Image Processing Toolbox中的图像配准工具实现线性正投影、仿射、投影、多项式、分段线性、局部加权平均配准的过程。(1)手动选择匹配点对该工具

38、箱提供的配准方法均需手工选择图像间的匹配点对( control points pair ), 均属于交互配准方法。假设input image (输入图像)为欲进行配准的图像，base image为配准是的参考图像。以下是我参考matlab帮助给出了简介。.线性正投影(linear conformal ):最简单。平面映射成平面。当输入输入图像与参考图像对比，只是存在全局的平移、旋转、缩放或其三者组合的差别时(正方形仍对应正方形)，选择此配准方法。此方法至少需要2对匹配点。.仿射(affine ):将平行线转换成平行线。当输入图像形状存在切变现象(正方形对应平行四边形)，选此法。至少需 3对匹配

39、.投影(projective )：将直线映射成直线。如果输入图像呈现倾斜，翘起现象，选此法。至少需 4对匹配点.多项式(polynomial ):将直线映射成曲线。如果输入图像出现不规则曲变，采用此法。Matlab中提供有2、3、4次幕的实现,分别至少需要6, 10, 10对匹配点。选此法。至少需要4对匹配点.分段线性(piecewise linear )如果输入图像的各个局部之间的退化模式明显不一样,.局部加权平均(local weighted mean )与分段线性一致，但效果较之好。至少需要6对价t荐12对)匹配点(2)手动配准的基本过程如下图所示：毕业设计图2-1手动图像配准一般流程2

40、.3.3基于图像特征的匹配算法Harris角点检测算法角点是二维图像亮度变化剧烈或图像边缘曲线上曲率极大值的点，它决定了目标的轮廓特征，被广 泛应用于摄像机标定、虚拟场景重建、运动估计、图像配准等计算机视觉处理任务中，这些点在保留图像图形重要特征的同时，可以有效地减少信息的数据量,使得实时处理成为可能。Harris角点检测算法基本原理描述如下：建立下面矩阵 M：TF)2其中I (x, y)是亮度值，这里用灰度表示。通过分析上面矩阵可以看出如果在一 点上矩阵M的两个特征值很大，则在该点向任意方向上的一个很小的移动都会引起灰度 值的较大变化。这也就说明该点是一个角点。计算角点的函数如下：(2.2)

41、2R detM k(traceM )其中k参数设为0.04 (Harris设定的最优参数)毕业设计B=(？, C=，D=T 则矩阵m AB-L表示图像i在x方向的导数)x正则对应点为角点，若为负则是,表示图像在y方向的导数。求出R的值，若为 y般边界点。该算法易受噪声的影响。为了减小噪声的干扰，在 对图像进行偏导计算以后用高斯滤波器对数据进行平 滑。按此方法求出的角点数量很多。为了减少匹配计 算量，可以对想要获得的角点数量进行限制。限制方 法是确定一个阈值，仅仅选取 R值大于这个阈值的点 作为角点。这个阈值根据需要的检点数量来确定。第三章图像融合常用的像素级图像融合方法有：(l)空域融合方法：

42、加权平均法；像素灰度值取大/小法；主分量法(PCA)。(2)变换域融合方法：IHS变换法；小波变换法加权平均融合法空域法是把图像看作是平面中各个像素组成的集合，然后直接对这一二维函数进行相应的处理。加权平均方法将源图像对应像素的灰度值进行加权平均，生成新的图像，它是最直接 的融合方法。其中平均方法是加权平均的特例，使用平均方法进行图像融合，提高了融合 图像的信噪比，但削弱了图像的对比度，尤其对于只出现在其中一幅图像上的有用信号。假设参加融合的两个图像分别为 A B,图像大小为MX N,经融合后得到融合图像 C, 那么，对A B两个源图像的像素灰度值加权平均融合过程可以表示为：C(n1,n2)=

43、 1A(il,n2)+ 2BW,n2)(2-1)式中：n1表示图像中像素的行号，nl=l, 2, 3,.M;n2表示图像中像素的列号，n2=1, 2, 3,.N;1表小加权系数1;2表示加权系数2;通常1 +必2=1。毕业设计图像灰度值的平均可看作是灰度值加权平均的特例，即1 = cD 2=0.5。加权平均法的优点是简单直观，适合实时处理。但简单的叠加会使融合图像的信噪比 降低；当融合图像的灰度值差异很大时，就会出现明显的拼接痕迹，不利于人眼识别和后 续的目标识别过程。像素灰度值选大/小融合方法假设参加融合的两个原图像分别为 A、B,图像大小为M X N,经融合后得到的融合图像 为F,那么：基

44、于像素的灰度值取大图像融合方法可表示为F(m, n) Max A(m,n), B(m,n)基于像素的灰度值取小图像融合方法可表示为F (m, n) Min A(m, n), B(m, n)式中：m为图像中像素的行号，n=1,2,M;n为图像中像素的列号，n=1,2,N;即在融合处理时，比较源图像 A、B中对应位置(m,n)处像素的灰度值的大小，以其中 灰度值大/小的像素(可能来自图像A或B)作为融合后图像F在位置(m,n)处的像素。这种 融合方法只是简单地选择参加融合的源图像中灰度值大/小的像素作为融合后的像素，该融合方法的适用场合非常有限。简单的图像融合方法具有实现简单，融合速度快的优点。但

45、 在多数应用场合，这些简单的图像融合方法的局限性是显而易见的，无法获得满意的融合 效果。3.3主分量融合法主分量(PCA)变换，又称K-L变换，它是一种基于目标特性的最佳正交变换。在进 行许多问题的分析时，多个变量的情况是经常遇到的。变量太多，无疑会增加分析问题的 难度和复杂性，而且在许多实际问题中，多个变量之间具有一定的相关性。能否在各个变 量之间相关关系研究的基础上，用较少的新变量代替原来较多的变量，而且使这些较少的 新变量尽可能多地保留原来的变量所反应的信息，主分量分析就是实现这个目标的一种强有力的方法，它是把原来多个变量化为少数几个综合指标的一种统计分析方法，从数学角 度来看，这是一种

46、降维处理技术，用较少的几个综合指标来代替原来较多的变量指标，而 且使这些较少的综合指标既能尽量地反映原来较多指标所反映的信息，同时它们之间又彼此独立。针对主成分分析的特性，将其应用于图像融合，可以把多波段的图像信息最大限 度的表现在融合后的新图像中。图像 PCA变换的结果在舍弃相关性较差的次要成分后进 行反变换所恢复出的图像是原图像在统计意义上的最佳逼近。(1)主分量分析原理各源图像的原始数据可表示为：X11X12.X1nXX21X22.x2 n.Xm 1.Xm2.XmmXik m n毕业设计其中，m和n分别为源图像个数（或称变量数）和每幅图像中像素数；矩阵中的每一行 向量表小一幅源图像。一般

47、图像的线性变换可以用下面的式子表示：Y TX式中X为待变换图像数据矩阵，Y为变换后的数据矩阵，T为实现这一线性变换的变 换矩阵。如果变换矩阵T是正交矩阵，并且它是由源图像数据矩阵 X的协方差矩阵C的 特征向量所组成，则上式的线性变换称为 K-L变换，并且K-L变换后的数据矩阵的每一 行向量为K-L变换的一个主分量。（2）主分量变换的过程用于图像的K-L变换的过程如下：根据原始图像数据矩阵X,求出它的协方差矩阵C:X的协方差矩阵为：-1C X X X Xl Ci i 1，J m nn求出协方差矩阵的特征值和特征向量，并组成变换矩阵，具体如下: 写出特征方程：(I C)Uc的各个特征值f(1,2,

48、m),并将其按m的顺序排列，求得各特征值相对应的单位特征向量（经归一化）U f ：UJUmJ得到变换矩阵T :T UT ,其中Um*n ,是以各个特征向量为列构成的矩阵,式中：I为单位矩阵，U为特征向量。 解上述的特征方程即可求出协方差矩阵且U矩阵是正交矩阵，即U矩阵满足：UTU UU T I （单位矩阵） 将变换矩阵T代入Y=TX ,将得到K-L变换的具体表达式： TOC o 1-5 h z U11U21.Um1U12U22Um2TYX U X.U1mU2m.umm式中Y矩阵的行向量YJ为第J个主分量。经过K-L变换后，得到一组 m个新的变量，它们依次被称为第一主分量，第二主分 量，第m主分

49、量。在PCA反变换时，只需运用到前 m个主分量，这也正是主分量名称 的由来。PCA变换用于图像融合的基本原理是：首先计算参加融合的两幅源图像的协方差矩毕业设计阵，然后求其特征值对应的特征向量，最后利用与最大特征值相对应的特征向量来确定两 幅图像的加权系数。图3-1基于PCA变换 的图像融合方法PCA融合算法的优点在于，它适用于多光谱图像的所有波段 （IHS变换只能用3个波 段），但其不足之处在于，由于 PCA融合算法中只是用高分辨率图像简单替换低分辨率图 像的第一主成分，故低分辨率图像第一主成分分量会损失一部分反映光谱特性的信息，使 得融合后图像的光谱畸变严重。用 PCA方法确定加权系数优于加

50、权平均融合方法中提到 的根据像素灰度值自适应确定加权系数的方法，得到的融合图像效果相对较好，但是对比 度的提高没有显著的效果。3.4 IHS变换法IHS分别表示强度I（Intensity）、色调H（Hue）和饱和度S（Saturation）,它们是从人眼 中认识颜色的三个特征。强度是光作用在人眼所引起明亮程度的感觉，确定像素的整体亮 度，与物体的反射率成正比。而色调和饱和度又统称为色度，反映颜色信息。色调反映了 颜色的类别，饱和度则是彩色光所呈现彩色的深浅程度，这两个分量与人感受彩色的方式 是紧密相连的。IHS变换有效地将RG颜色信息表示成强度和色度信息，因此可以分离出大 部分光谱信息，有利于

51、图像光谱信息的保持。IHS变换是指将RGB（Red-Green-Blue,红-1录-蓝）三原色信号表示的彩色图像转换为 I（亮度），H（色调）和S（饱和度）三个分量来表示图像信息。通常的色彩显示是通过RGB（红绿蓝）信号的亮度值所确定的，RGB彩色坐标系统中R G B呈非线卜t关系，使调整色调的 定量操作较为困难。而IHS彩色坐标系统中，三个分量具有相对的独立性，可以分别对他 们进行控制，并且能够准确定量地描述颜色特征。 同时，图像从RGB转换到IHS这一彩色空 间变换有效地分离了代表空间亮度信息的I分量和代表光谱彩色信息的H和S分量。IHS变换的形式有多种，都是基于不同的彩色空间模型建立的，

52、它们之间主要的不同毕业设计在于亮度分量上。在此介绍Harrison和Jupp于1990年提出的变换模型，它是目前在多光谱 图像融合领域中最常见的变换模型。正变换公式如下所示：IViV2131611.32.60H tan 1 也Vi.212120将多光谱图像RG通道进行IHS变换，变换后的I分量与PAN1:色图像进行直方图匹配，用 匹配后的图像替换原图像的I分量再反变换，反变换如下式： TOC o 1-5 h z 11.3611,3. 612-J36Vi Scos(H) V2 Ssin(H)传统的基于IHS变换法的图像融合步骤：将多光谱的彩色图像由RGB转换为IHS格 式，而后将全色图像与多光谱

53、的I分量进行直方图匹配，再将匹配后的全色图像替换掉 多光谱图像的I分量，最后将替换后的多光谱图像进行HISRG能换生成融合图像。算 法融合流程如下图：融合流程图毕业设计基于IHS变换的融合方法特点是：算法简单易于实现，图像的高频细节信息保留较 好但光谱信息损失较大。因为IHS变换法很好的保留了全色图像的高空间分辨率的细节信 息，所以在一般的地质遥感工作领域中普通的IHS变换法可以满足基本要求，但是对于 一些大面积、低分辨率卫星图像，多光谱图像所提供的彩色信息在解译工作中则变得更为 重要。比如土地利用、植被监测等项目更注重遥感图像的色彩信息，所以普通的IHS方法并不能很好的满足要求。基于此我们针

54、对传统IHS变换法中多光谱信息损失严重的缺点提 出了改进方案。3.5小波变换融合法小波”就是小区域、长度有限、均值为 0的波形。所谓 小”是指它具有衰减性；而 称之为 波”则是指它的波动性，其振幅正负相间的震荡形式。与 Fourier变换相比，小波 变换是时间（空间）频率的局部化分析，它通过伸缩平移运算对信号（函数）逐步进行多尺度细化，最终达到高频处时间细分，低频处频率细分，能自动适应时频信号分析的要求，从 而可聚焦到信号的任意细节，解决了Fourier变换的困难问题，成为继Fourier变换以来在科学方法上的重大突破。有人把小波变换称为数学显微镜”。小波的定义及特点（1）连续小波设为（t）

55、一平方可积函数，即L2（R）,若其傅里叶变换（）满足条件（J-d（2-1）R则称（t）为一个基本小波或小波母函数。并称式（2-l）为小波函数的可容许性条件。将小波母函数（t）进行伸缩平移，设其伸缩因子（尺度因子）为a,平移因子为p,平移伸缩后的函数为a,/t）,则有a,r(t)心(1),a 0,T Ra称a,（t）为连续小波基函数。将任意空间中的函数在小波基下展开称这种展开为函数的连续小波变换Wvelet Transform ,简称 WT）表达式为：(ContinueWTfG C f(t), ”(t)f(t) (-)dta毕业设计其逆变换为： TOC o 1-5 h z 1 da1 tf(t)

56、 - -y WTf(a,)()dC 0 a 0, a a2升士(a )其中：Cda0 a(2)离散小波变换DWT连续小波变换中，尺度与时间都是连续变换的，小波基函数a/(t)具有很大的相关性，因此信号f的连续小波变换系数 WTf(a,Q的信息量是冗余的。减小小波变换系数兀余度1的做法是将小波基函数 aT(t) 丁 (t T),a 0,r R的a, ”艮定 在一些离散点 a1上取值，一种最通常的离散方法就是将尺度按幕级数进行离散，即取 am端(m为整数,a。# 1 , 一般取 a0=2)。对于位移的离散化，通常对进行均匀离散取值，以覆盖整个时间轴。为了不丢失信 息，我们要求采样间隔p满足 Nyq

57、ulst采样定理，即采样频率大于等于该尺度下频率通带的二倍。当a =20=1时，a,T(t) = (t ),则每当m增加一倍，对应的频带减小一半，可见采样频率可以降低一半，也就是采样间隔可以增大一倍，因此，如果尺度m=0Wc的问隔为Ts,则在尺度为2m时，间隔可以取2mTs,此时凡Jt)可以表示为(t) -1-(m,n(t)2m (m t 2 n Ts2m)I；,(3nTs)；m,n Zm为了简化起见，把t轴用Ts归一化，于是上式就变为 m,n(t) 2 (2 mt n) o 任意函数f的离散小波变换为：WT f (m,n) f (t) m,n(t)dtR设函数族(j) H , H为Hilbe

58、rt空间，如果存在常数0A&B4,使得则称jjz为一个框架)其中 A,B分别称为框架的下界和框架的上界。当A=B时，则称该框架为紧框架，也就是说离散小波序列jk , 7构成一个, j,k z毕业设计框架。由框架概念可知离散小波的逆变换近似为f(t) :f, j,k； j,k(t)-WTf(j,k)j,k(t)j, kAB j,k当A=B时,1f(t) -WTf(j,k)j,k(t)A j,k(3)多分辨率分析多分辨率分析(Multi-resolutionAnalysis , MRA)即“用多个分辨率提取出包含相应细节的近似信号来进行分析”。它是计算机视觉中常用的图像处理方法，提供了不同尺 度下

59、分析函数的一种手段。经过多分辨率分析后的信号，其高频包含了低频所不具有的细 节信息，而小波分析正是要提取这些细节信息，因此， Mallat于1989年将多分辨率分析 引入小波领域，建立了多分辨率分析与小波分析之间的联系，解决了小波领域的许多问题。 多分辨率分析可以形象地表示为一组嵌套的多分辨率子空间，小波变换是一种多分辨率分析的强有力工具。图3-3嵌套的多分辨率子空间假设原信号的频率空间为V。，经第一级分解后V。被分解成两个子空间：低频的Vi和高频的W经第二级分解后Vi又被分解为低频的V2和高频的W2。上图是对V。空间的三级分 解示意图。这种子空间的分解过程可以记为：V。Vi W,Vi V2

60、W2,V2 V3 W3,.,Vn 1 Vn Wn其中符号表示两个子空间的“正交和”；Vj代表与分辨率2-j对应的多分辨率分析子空间；与尺度函数相对应的小波函数的伸缩和平移构成的矢量空间Wj是Vj的正交补空问；各Wj是反映Vj i空间信号细节的高频子空间，Vj是反映Vj i空间信号概貌的低频子空毕业设计问。由式（3-1）可得各子空间之间的以下特性：V0 V1 W1 V2 W2 W1 . VN WN WN 1. W2 W1这个结果说明，分辨率为20=1的多分辨率分析子空间V0可以用有限个子空间来逼 近。由以上分析，可以采用一对 FIR滤波器来实现上述的多分辨率分解。设 G和H分别为 理想的低通和高