像素级图像融合

1、山东大学（威海）毕业论文毕业设计（论文）设计(论文)题目像素级图像融合方法姓 名：李桂楠学 号：201100800668学 院：机电与信息工程学院专 业：自动化年 级2011级指导教师：孙甲冰山东大学（威海）毕业论文目录目 录摘 要9Abstract10第一章 绪 论11.1课题背景及来源11.2图像融合的理论基础和研究现状11.3图像融合的应用21.4图像融合的分类2第二章 像素级图像融合的预处理32.1图像增强32.2图像校正42.3图像配准4第三章 像素级图像融合的方法综述53.1加权平均图像融合方法53.2 HIS空间图像融合方法53.3 主成分分析图像融合方法73.4 伪彩色图像融合

2、方法8第四章 基于小波变换的像素级图像融合概述144.1 小波变换的基本理论144.2 基于小波变换的图像融合 154.3基于小波变换的图像融合性能分析16第五章 像素级图像融合方法的研究总结与展望21参考文献24谢 辞36山东大学（威海）毕业论文摘要摘 要近些年，随着科学技术的飞速发展，各种各样的图像传感器出现在人们的视野前，这种样式繁多的图像传感器在不同的成像原理和不同的工作环境下具有不同功能。而因为多传感器的不断涌现，图像融合技术也越来越多的被应用于医学、勘探、海洋资源开发、生物学科等领域。图像融合主要有像素级、决策级和特征级三个层次，而像素级图像融合作为基础能为其他层次的融合提供更准确

3、、全面、可依赖的图像信息。本文的主要工作是针对像素级的图像融合所展开的。关 键 词图像融合理论基础、加权平均、图像融合方法、小波变换、IAbstractIn recent years, with the rapid development of science and technology, all kinds of image sensor appear in front of the people's field of vision, image sensor in a wide range of this style in different imaging principle

4、and under different working conditions have different function. And because of multiple sensors, image fusion technology is also more and more been used in medical, exploration, Marine resources development, biological sciences, and other fields, and image fusion for national security more strategic

5、 significance to construction and economic development. Therefore, the study of image fusion is and its important theoretical significance and application prospects.Image fusion is divided into pixel level, feature level and decision level three different levels, image fusion at pixel level and as a

6、 basis for other levels of fusion provide more accurate, comprehensive, image information can be lazy, is advantageous to the image analysis and further research. The research work of this article is the surrounding image fusion at pixel level.Key words image fusion, weighted average, pseudo color i

7、mage fusion method and wavelet transformII山东大学（威海）毕业论文绪论第一章 绪 论1.1课题背景及来源在现代化的农业、生活、资源管理开发、国防等方面的实际应用中，图像融合被广泛的开发应用，是较为常用的图像信息融合技术，它可以对源图像中的像素进行逐个的信息融合，尽可能保留源图像中的重要信息以得到对图像更精确、更丰富的描述。为了特征级和决策级的研究提供帮助。本章主要工作是对图像融合的理论和发展做出介绍，并在该基础上分析图像融合在实际应用前景。1.2图像融合的理论和现状图像融合是对不同传感器所收集到的一幅或者多幅源图像进行融合，用融合技术合成同一幅包含了多

8、幅源图像优点、内容更加全面丰富的图像，其最早产生于20世纪70年代末，而该技术随着实际应用中的所占比例的增大在其后的时间内有了很大的发展。虽然图像融合技术越来越多地在实际生活中得到应用，但因为该技术所覆盖领域的广泛性和该技术的多样性，研究结果只是反映了特定的方面，而不是形成完整的体系。总而言之，其中仍有很多问题有待我们的解决和探讨。1.3图像融合的应用多传感器技术的提高和电子科技技术方面的提高，图像融合技术越来越多的被用于实际应用中。在民用方面，图像融合在应用于各个领域。遥感方面，随着遥感技术的发展，在同一地区可使用越来越多不同的传感器，因此能获得不同时间段的各类遥感图像信息，国土资源规划等方

9、面都有效的利用到该技术。在医学领域，多模医学图像融合技术已经被广泛的用于医疗诊断中，根据不同影像设备可反应出人体体征情况各有不同，弥补了原来医学单一成像的缺点。在军事领域，随着传感器的种类不停增多，可得到的战场信息战况越来越丰富，而有关于战场图像信息的分析也需要越来越准确，而多传感器图像融合技术则成为控制战争态势的有效利器。1.4图像融合的分类（1）按信息表征层次分类 像素级图像融合：根据某个融合规则直接对源图像灰度进行融合。像素级图像融合是最低层次的融合，但其保留信息的能力要强于决策级和特征级。但像素级融合对配准精度的要求也更高。特征级图像融合：在像素级的基础上提取其特征信息进行综合性分析和

10、融合处理。特征级融合首先从各个多传感器图像中提取原始信息特征，去掉其中的虚无用特征。特征级图像融合能压缩信息，还能保留图像的复合特征，可以直接为决策级融合分析提供帮助。决策级图像融合：是最高层次的融合，从源图像中获取特征信息并进行预处理，得出各自的决策，合并成一个全局性的联合决策。决策级图像融合有较高的实时性和容错性，但是在处理过程中损失的图像信息量大，预处理的要求也比较高。（2）按图像源分类同类传感器图像融合：对同一传感器在不同成像模式下获得图像进行融合。异类传感器图像融合：将不同类型的并且彼此相互独立传感器收集到的图像进行融合。遥感图像融合：对多遥感器所获得的图像进行融合。（3）按融合方法

11、分类 基于空间域的图像融合：在像素级别上对图像直接进行处理。其算法有：加权平均法、主成分分析法、HIS空间法、伪彩色法等等。 基于变换域的图像融合：首先对多幅源图像进行图像变换，之后在对其获得的系数按准则进行融合，再对其进行逆变换得到融合结果。常用算法有：傅里叶变换，多尺度分解等等。 21山东大学（威海）毕业论文系统总体方案第二章 像素级图像融合的预处理像素级图像融合是最底层的图像融合，它可以获得另外两个层级不能获得的细微的源图像信息，因为要精确要像素级别，所以在图像融合前要进行预处理，例如图像的增强、校正、配准等。2.1图像的增强图像增强是一类图像预处理的技术，其目的是为了获得效果更明显、对

12、研究内容更加有用的图像信息。图像增强的主要方法有：1.空间域增强2.频率域增强。（一） 空间域增强1.线性变换和非线性变换在对图像的像元进行灰度值的变换以后，我们将会得到可视度更高、分辨率更为清晰的图像。根据变换函数分类，当变换函数为线性或者分段函数时，称其为线性变换。灰度变换的过程可以表示为：g(x,y)=Th(x,y),射映射为T，则输入图像中的每个像素的灰度值f（x，y）可以通过该映射，经过变换后得到输出图像的灰度值h（x，y）。简单的线性变换公式课定义为：，其中，n和m分别为输入图像亮度分量的最大和最小值，d和c分别是输出图像亮度分量的最大和最小值。如图1所示，在线性变换后其灰度范围明

13、显扩大，由m,n扩展为c，d。变换后的图像中相邻像素灰度的差值增加，将有效改善图像视觉效果。线性变换效果图如下：非线性变换则可以理解为，变换函数是非线性的，则为非线性变换，它是有选择的对某一灰度范围进行扩展。指数变换和对数变换都是比较常用的非线性变换。指数变换一般公式为： 对数变换一般公式为： 其中，和分别表示变换前和变换后每个像元的灰度值。a、b、c为参数。 图4 非线性灰度变换2.空间增强为了达到强化图像特征信息的目的，则采用空间增强。领域处理：对于某一图像（i，j），对于该图像像元的集合i+m，j+n（m、n为任意整数）称为该像元的领域。由图可知g(i,j)可由f（i，j）确定，它们分别

14、为处理前和处理后的像元值，这种处理称为领域处理。领域运算的计算表达式为： 为对像元的运算法则。 卷积运算：在空间域上对图像做加权求和的过程。需选定一个模板。 在运算前，需选定一个大小为的运算模板。并建立一个和模板大小相同的活动窗口，再将模板与窗口的对应的灰度值做对应运算。得到新的窗口中心灰度值。其公式为： 将模板和窗口作相同移动后再按上式计算得出新的灰度值。根据该公式进行类推，最后获得目标图像。平滑：传感器在成像过程会存在各种客观原因造成的误差，图像在形成过程中会出现“噪声。”平滑的目的是为提高图像质量而进行的处理。锐化：锐化可突出边缘和线状口信息。（二）频率域增强在图像处理过程中，像元的灰度

15、值随着位置变化的频繁程度用频率来表示，属于空间频率。对于边缘、线条、噪声等特征，在短像元距离内灰度值变化频率较大，而在长像元距离内灰度值逐渐变化。频率域增强的过程如下：（三）彩色增强1.伪彩色增强一副黑白的图像在经过一定规则的变换后得到彩色图像的过程为伪彩色增强。2.假彩色增强假彩色增强与伪彩色增强不基本相似，而它与伪彩色增强不同在于它与原波段的真实颜色不相同，它呈现出来的颜色并不是物体的真是颜色。（四）图像运算为了达到图像增强的目的，可对图像运用代数方法进行运算。1.加法运算是指两幅大小相同的图像对它们的像元的灰度值进行相加。若设加法运算后的图像为，两幅图像分别为，则加法运算公式为: 2.差

16、值运算差值运算是指两幅同样大小的图像对它们的灰度值进行相减。若差值运算后的图像为,两幅图像为和，则差值运算公式为： 3.比值运算比值运算是针对两幅大小相同的图像，对它们对应的像元进行除法运算。若比值运算后的图像为,两幅图像为，则比值运算公式为： 2.2图像校正1.准备工作：对源图像包含的数据信息进行收集整理；2.输入原始数字影像；3.建立校正变换函数。（1）多项式校正法；（2）共线方程校正法。2.3图像配准 （1）对图像灰度信息进行配准 该方法在图像灰度上对图像的相似程度进行统计，主要有互相关法、序贯相似度检测匹配法和交互信息。 对于一幅图像I和一个模板T，二维交叉相关函数定义为： 为图像上进

17、行了相似程度为(u,v)的位移。序贯相似检测法相对来说是更容易实现的方法，其准则定义为：其中，分别为模板和图像窗口的均值。交互信息I由A、B的个体熵式中，dn; p(m,n)dmdn;p(m)和p（n）为随机变量M和N的边缘概率密度，p(m,n)为M和N的联合概率密度分布。（2）对变换域进行图像配准相位相关是重要的配准方法之一，在对图像运用傅里叶变换时。设两幅图像，是两幅图像的平移量，则：而它们之间的傅里叶变换满足下式：（3）基于特征的图像配准方法 1.特征提取，根据图像性质提取对配准有用的特征信息。 2.特征匹配，将两幅图像中提取的特征作对应。 3.图像转换，利用特征信息进行转换后获得目标图

18、像。山东大学（威海）毕业论文系统软件设计第三章 像素级图像融合的方法综述3.1加权平均图像融合方法设有两幅图像分别为A和B，它们融合后的图像为F，则： (3-1)式中，（x,y）为图像中某一像素的位置，是权重系数，它们满足：。最简单的加权平融合方法就是采用平均权值（）3.2 HIS空间图像融合方法在HIS中，对于HIS，它表示的是表色系统。由这三个分量构成的HIS模型可以准确表示彩色图像，I、H、S分别表示亮度、色调和饱和度，且互相独立另外一种系统是由R、G、B组成的空间。以Landsat TM多光谱图像与全色Pan图像的融合为例，HIS空间图像融合步骤一般为：1.对图像的RGB空间中的R、G

19、、B变换，得到I、H、S三个分量；2.再将亮度分量I按规则融合，得到新的亮度分量；3.再将、H、S反变换回RGB空间，完成融合过程。3.3 主成分分析图像融合方法主成分分析图像融合方法对图像作多维正交线性变换，实现图像的相关和降维。对n个波段的多光谱图像进行PCA变换时，对应n个波段图像同一位置处的像素灰度构成了一个n维矢量数据，若各波段图像大小为，则共有个维矢量，这些矢量数据的协方差阵可计算为：，其中，。其中让的特征值和特征向量使，其中，为的n个特征值，U的列向量为对应的特征向量。而主成分分量y可由x求得，即：，其中， 、分别是第一和第二主成分，以此类推。3.4 伪彩色图像融合方法 使用伪彩

20、色的意义在于人眼对色彩的分辨要比灰度敏感很多，而且可分辨的色彩种类也较灰度来说多很多。而对于人眼的该特征，通过某种彩色化处理将蕴含在各源图像中的灰度细节信息以彩色方式表征出来，可使人眼对图像有更丰富的感知。第四章 基于像素级小波变换的图像融合方法概述小波变换是法国工程师在1974年提出来的一门新兴理论，是一种新发展起来的数学工具，小波变换是在傅里叶变换的基础上建立起来的。图像的小波变换反映了在经过小波分解后各个频率段信号重新形成的图像。利用小波分解的方向性可获得人眼辨析度更高的图像。但小波基和分解层数的选取仍是分解过程中有待解决的问题。本章的主要工作就是通过实验的方法,得出最佳小波基函数和分解

21、层数。 4.1 小波变换理论将一个基本的小波函数进行伸缩和平移变换可以得到对应小波函数，而小波变换是将信号投影到小波函数上，在将其分解后可得到一系列叠加在一起的小波函数设G为理想状态下的低通滤波器，H为理想状态下的高通滤波器，用它们对源信号多分辨率分解，则两个支路输出必为正交，且带宽减半而不会引起信息丢失。因此，可在一级滤波后加入降二采样之后用G和H对低频分量进行滤波，然后再降二采样，重复该过程就是对源信号进行了多分辨率分解，如下图2所示： 图2 图像的小波变换：这里运用到了Mallat快速算法对而为图像进行小波分解。按照二维Mallat算法在尺度j一1上有如下的分解公式： （4-3） 相应的

22、重构公式如下： （4-4）图像经过小波分解后可获得低频近似分量、水平的高频近似分量、垂直的高频近似分量以及对角的高频分量,四个分量用LL、LH、HL、HH来表示,而分解后的框架如下图所示， 图 我们也称之为塔形框架。4.2 基于小波变换的图像融合频率域对于图像融合来说比空间域更为有效。将图像进行N层的小波分解,可获得一个高频带和一个包含近似分量的低频带。小波分解也被称为小波金字塔分解，因为随着层数的增多而数据尺寸在变小，最后形成塔状结构。（1）图像的小波分解小波分解是对函数在伸缩和平移后形成的空间，对其投影后构成了对信号的多尺度分析。定义下面的符号：所张成的闭包，即 （4-5） 是由子空间构成

23、的多分辨率空间，则有如下性质1.单调性： （4-6）2.伸缩性： （4-7） 3.平移不变性： （4-8）4.直和分解： （4-9）5.Riesz基存在性：存在使得是的Riesz基。 (2)基于小波变换的融合方法小波变换的步骤为下： 对将图像作多尺度分解； 各个分解层通过图像特征信息获得图像的小波系数； 变换,得到融合图像。基于小波变换的图像融合过程如下图所示： 图3 基于小波变换的融合过程4.3 基于小波变换的图像融合性能分析（1）对一个小波基按不同层数融合。将两幅对多聚焦图像,使用同一小波基函数按照不同分解层数采用Matlab7.0编程进行仿真实验,实验结果如图4所示。图4 图像的熵、均值

24、、标准差和空间分辨率的计算结果如表1所示： 表1多聚焦图像不同分解层数融合实验数据将前视红外图像与微光夜视图像,使用同一小波基函数按照不同分解层数采用Matlab7.0编程进行仿真实验,实验结果如图5所示。 图5 前视红外图像与微光夜视图像不同分解层数融合结果图像的熵、均值、标准差和空间分辨率的计算结果结果如表2所示： 表2 前视红外图像与微光夜视图像不同分解层数融合实验结果将两幅遥感图像,使用同一小波基函数按照不同分解层数采用Matlab7.O编程进行仿真实验,实验结果如图6所示。 图6 遥感图像不同分解层数融合结果图像的熵、均值、标准差和空间分辨率的计算结果结果如表3所示：通过上述三组实验

25、的结果分析可知,对于按照同一小波基进行融合的图像,空间分辨率会随着层数的增加而增大,说明了图像的清晰度跟层数增加成正比;而融合图像的熵在4-6层时达到最大值。（2）不同小波基按同一层数融合同一实验环境下,分别用harr、db、sym、coif等函数在小波分解后进行融合。多聚焦图像的融合结果如图7所示。 图7 图像的熵、均值、标准差和空间分辨率计算结果如表4所示： 表4 遥感图像的融合结果如图8所示：图8 遥感图像不同小波基融合结果图像的熵、均值、标准差和空间分辨率计算结果如表5所示：试验结果表明:对遥感图像来说,融合后图像的熵值、均值、标准差以及分辨率总体变化不大。山东大学（威海）毕业论文第五章 像素级图像融合方法的研究总结与展望图像融合是数据融合的一个重要分支，它涉及到数学、计算机、军事、地理资源勘探等方面。而图像则数据的一种体现形式。本文的研究重点则是像素级图像融合的方法及性能评价。其中包括了图像融合的概念、意义、发展历史和前景、图像融合的目的和意义，图像的小波变换、基于小波变换的图像融合方法