像素级图像融合

东风-.z.毕业设计〔论文〕设计(论文)题目像素级图像融合方法姓名：李桂楠学号：201100800668学院：机电与信息工程学院专业：自动化年级2011级指导教师：*甲冰-.z.目录摘要9Abstract10第一章绪论11.1课题背景及来源11.2图像融合的理论根底和研究现状11.3图像融合的应用21.4图像融合的分类2第二章像素级图像融合的预处理32.1图像增强32.2图像校正42.3图像配准4第三章像素级图像融合的方法综述53.1加权平均图像融合方法53.2HIS空间图像融合方法53.3主成分分析图像融合方法73.4伪彩色图像融合方法8第四章基于小波变换的像素级图像融合概述144.1小波变换的根本理论144.2基于小波变换的图像融合154.3基于小波变换的图像融合性能分析16第五章像素级图像融合方法的研究总结与展望21参考文献24辞36-.z.摘要近些年，随着科学技术的飞速开展，各种各样的图像传感器出现在人们的视野前，这种样式繁多的图像传感器在不同的成像原理和不同的工作环境下具有不同功能。而因为多传感器的不断涌现，图像融合技术也越来越多的被应用于医学、勘探、海洋资源开发、生物学科等领域。图像融合主要有像素级、决策级和特征级三个层次，而像素级图像融合作为根底能为其他层次的融合提供更准确、全面、可依赖的图像信息。本文的主要工作是针对像素级的图像融合所展开的。关键词图像融合理论根底、加权平均、图像融合方法、小波变换、-.z.AbstractInrecentyears,withtherapiddevelopmentofscienceandtechnology,allkindsofimagesensorappearinfrontofthepeople'sfieldofvision,imagesensorinawiderangeofthisstyleindifferentimagingprincipleandunderdifferentworkingconditionshavedifferentfunction.Andbecauseofmultiplesensors,imagefusiontechnologyisalsomoreandmorebeenusedinmedical,e*ploration,Marineresourcesdevelopment,biologicalsciences,andotherfields,andimagefusionfornationalsecuritymorestrategicsignificancetoconstructionandeconomicdevelopment.Therefore,thestudyofimagefusionisanditsimportanttheoreticalsignificanceandapplicationprospects.Imagefusionisdividedintopi*ellevel,featurelevelanddecisionlevelthreedifferentlevels,imagefusionatpi*ellevelandasabasisforotherlevelsoffusionprovidemoreaccurate,prehensive,imageinformationcanbelazy,isadvantageoustotheimageanalysisandfurtherresearch.Theresearchworkofthisarticleisthesurroundingimagefusionatpi*ellevel.Keywordsimagefusion,weightedaverage,pseudocolorimagefusionmethodandwavelettransform-.z.第一章绪论1.1课题背景及来源在现代化的农业、生活、资源管理开发、国防等方面的实际应用中，图像融合被广泛的开发应用，是较为常用的图像信息融合技术，它可以对源图像中的像素进展逐个的信息融合，尽可能保存源图像中的重要信息以得到对图像更准确、更丰富的描述。为了特征级和决策级的研究提供帮助。本章主要工作是对图像融合的理论和开展做出介绍，并在该根底上分析图像融合在实际应用前景。1.2图像融合的理论和现状图像融合是对不同传感器所收集到的一幅或者多幅源图像进展融合，用融合技术合成同一幅包含了多幅源图像优点、内容更加全面丰富的图像，其最早产生于20世纪70年代末，而该技术随着实际应用中的所占比例的增大在其后的时间内有了很大的开展。虽然图像融合技术越来越多地在实际生活中得到应用，但因为该技术所覆盖领域的广泛性和该技术的多样性，研究结果只是反映了特定的方面，而不是形成完整的体系。总而言之，其中仍有很多问题有待我们的解决和探讨。1.3图像融合的应用多传感器技术的提高和电子科技技术方面的提高，图像融合技术越来越多的被用于实际应用中。在民用方面，图像融合在应用于各个领域。遥感方面，随着遥感技术的开展，在同一地区可使用越来越多不同的传感器，因此能获得不同时间段的各类遥感图像信息，国土资源规划等方面都有效的利用到该技术。在医学领域，多模医学图像融合技术已经被广泛的用于医疗诊断中，根据不同影像设备可反响出人体体征情况各有不同，弥补了原来医学单一成像的缺点。在军事领域，随着传感器的种类不停增多，可得到的战场信息战况越来越丰富，而有关于战场图像信息的分析也需要越来越准确，而多传感器图像融合技术则成为控制战争态势的有效利器。1.4图像融合的分类〔1〕按信息表征层次分类像素级图像融合：根据*个融合规则直接对源图像灰度进展融合。像素级图像融合是最低层次的融合，但其保存信息的能力要强于决策级和特征级。但像素级融合对配准精度的要求也更高。特征级图像融合：在像素级的根底上提取其特征信息进展综合性分析和融合处理。特征级融合首先从各个多传感器图像中提取原始信息特征，去掉其中的虚无用特征。特征级图像融合能压缩信息，还能保存图像的复合特征，可以直接为决策级融合分析提供帮助。决策级图像融合：是最高层次的融合，从源图像中获取特征信息并进展预处理，得出各自的决策，合并成一个全局性的联合决策。决策级图像融合有较高的实时性和容错性，但是在处理过程中损失的图像信息量大，预处理的要求也比拟高。〔2〕按图像源分类同类传感器图像融合：对同一传感器在不同成像模式下获得图像进展融合。异类传感器图像融合：将不同类型的并且彼此相互独立传感器收集到的图像进展融合。遥感图像融合：对多遥感器所获得的图像进展融合。〔3〕按融合方法分类基于空间域的图像融合：在像素级别上对图像直接进展处理。其算法有：加权平均法、主成分分析法、HIS空间法、伪彩色法等等。基于变换域的图像融合：首先对多幅源图像进展图像变换，之后在对其获得的系数按准则进展融合，再对其进展逆变换得到融合结果。常用算法有：傅里叶变换，多尺度分解等等。-.z.第二章像素级图像融合的预处理像素级图像融合是最底层的图像融合，它可以获得另外两个层级不能获得的细微的源图像信息，因为要准确要像素级别，所以在图像融合前要进展预处理，例如图像的增强、校正、配准等。2.1图像的增强图像增强是一类图像预处理的技术，其目的是为了获得效果更明显、对研究内容更加有用的图像信息。图像增强的主要方法有：1.空间域增强2.频率域增强。空间域增强1.线性变换和非线性变换在对图像的像元进展灰度值的变换以后，我们将会得到可视度更高、分辨率更为清晰的图像。根据变换函数分类，当变换函数为线性或者分段函数时，称其为线性变换。灰度变换的过程可以表示为：g(*,y)=T[h(*,y)],射映射为T，则输入图像中的每个像素的灰度值f〔*，y〕可以通过该映射，经过变换后得到输出图像的灰度值h〔*，y〕。简单的线性变换公式课定义为：，其中，n和m分别为输入图像亮度分量的最大和最小值，d和c分别是输出图像亮度分量的最大和最小值。如图1所示，在线性变换后其灰度范围明显扩大，由[m,n]扩展为[c，d]。变换后的图像中相邻像素灰度的差值增加，将有效改善图像视觉效果。线性变换效果图如下：非线性变换则可以理解为，变换函数是非线性的，则为非线性变换，它是有选择的对*一灰度范围进展扩展。指数变换和对数变换都是比拟常用的非线性变换。指数变换一般公式为：对数变换一般公式为：其中，和分别表示变换前和变换后每个像元的灰度值。a、b、c为参数。图4非线性灰度变换2.空间增强为了到达强化图像特征信息的目的，则采用空间增强。领域处理：对于*一图像〔i，j〕，对于该图像像元的集合{i+m，j+n}〔m、n为任意整数〕称为该像元的领域。由图可知g(i,j)可由f〔i，j〕确定，它们分别为处理前和处理后的像元值，这种处理称为领域处理。领域运算的计算表达式为：为对像元的运算法则。卷积运算：在空间域上对图像做加权求和的过程。需选定一个模板。在运算前，需选定一个大小为的运算模板。并建立一个和模板大小一样的活动窗口，再将模板与窗口的对应的灰度值做对应运算。得到新的窗口中心灰度值。其公式为：将模板和窗口作一样移动后再按上式计算得出新的灰度值。根据该公式进展类推，最后获得目标图像。平滑：传感器在成像过程会存在各种客观原因造成的误差，图像在形成过程中会出现"噪声。〞平滑的目的是为提高图像质量而进展的处理。锐化：锐化可突出边缘和线状口信息。〔二〕频率域增强在图像处理过程中，像元的灰度值随着位置变化的频繁程度用频率来表示，属于空间频率。对于边缘、线条、噪声等特征，在短像元距离内灰度值变化频率较大，而在长像元距离内灰度值逐渐变化。频率域增强的过程如下：〔三〕彩色增强1.伪彩色增强一副黑白的图像在经过一定规则的变换后得到彩色图像的过程为伪彩色增强。2.假彩色增强假彩色增强与伪彩色增强不根本相似，而它与伪彩色增强不同在于它与原波段的真实颜色不一样，它呈现出来的颜色并不是物体的真是颜色。〔四〕图像运算为了到达图像增强的目的，可对图像运用代数方法进展运算。1.加法运算是指两幅大小一样的图像对它们的像元的灰度值进展相加。假设设加法运算后的图像为，两幅图像分别为，则加法运算公式为:2.差值运算差值运算是指两幅同样大小的图像对它们的灰度值进展相减。假设差值运算后的图像为,两幅图像为和，则差值运算公式为：3.比值运算比值运算是针对两幅大小一样的图像，对它们对应的像元进展除法运算。假设比值运算后的图像为,两幅图像为，则比值运算公式为：2.2图像校正1.准备工作：对源图像包含的数据信息进展收集整理；2.输入原始数字影像；3.建立校正变换函数。〔1〕多项式校正法；〔2〕共线方程校正法。2.3图像配准〔1〕对图像灰度信息进展配准该方法在图像灰度上对图像的相似程度进展统计，主要有互相关法、序贯相似度检测匹配法和交互信息。对于一幅图像I和一个模板T，二维穿插相关函数定义为：为图像上进展了相似程度为(u,v)的位移。序贯相似检测法相对来说是更容易实现的方法，其准则定义为：其中，分别为模板和图像窗口的均值。交互信息I由A、B的个体熵式中，dn;[p(m,n)]dmdn;p(m)和p〔n〕为随机变量M和N的边缘概率密度，p(m,n)为M和N的联合概率密度分布。〔2〕对变换域进展图像配准相位相关是重要的配准方法之一，在对图像运用傅里叶变换时。设两幅图像，是两幅图像的平移量，则：而它们之间的傅里叶变换满足下式：〔3〕基于特征的图像配准方法1.特征提取，根据图像性质提取对配准有用的特征信息。2.特征匹配，将两幅图像中提取的特征作对应。3.图像转换，利用特征信息进展转换后获得目标图像。-.z.第三章像素级图像融合的方法综述3.1加权平均图像融合方法设有两幅图像分别为A和B，它们融合后的图像为F，则：(3-1)式中，〔*,y〕为图像中*一像素的位置，是权重系数，它们满足：。最简单的加权平融合方法就是采用平均权值〔〕3.2HIS空间图像融合方法在HIS中，对于HIS，它表示的是表色系统。由这三个分量构成的HIS模型可以准确表示彩色图像，I、H、S分别表示亮度、色调和饱和度，且互相独立另外一种系统是由R、G、B组成的空间。以LandsatTM多光谱图像与全色Pan图像的融合为例，HIS空间图像融合步骤一般为：1.对图像的RGB空间中的R、G、B变换，得到I、H、S三个分量；2.再将亮度分量I按规则融合，得到新的亮度分量；3.再将、H、S反变换回RGB空间，完成融合过程。3.3主成分分析图像融合方法主成分分析图像融合方法对图像作多维正交线性变换，实现图像的相关和降维。对n个波段的多光谱图像进展PCA变换时，对应n个波段图像同一位置处的像素灰度构成了一个n维矢量数据，假设各波段图像大小为，则共有个维矢量，这些矢量数据的协方差阵可计算为：，其中，。其中让的特征值和特征向量使，其中，为的n个特征值，U的列向量为对应的特征向量。而主成分分量y可由*求得，即：，其中，、分别是第一和第二主成分，以此类推。3.4伪彩色图像融合方法使用伪彩色的意义在于人眼对色彩的分辨要比灰度敏感很多，而且可分辨的色彩种类也较灰度来说多很多。而对于人眼的该特征，通过*种彩色化处理将蕴含在各源图像中的灰度细节信息以彩色方式表征出来，可使人眼对图像有更丰富的感知。第四章基于像素级小波变换的图像融合方法概述小波变换是法国工程师在1974年提出来的一门新兴理论，是一种新开展起来的数学工具，小波变换是在傅里叶变换的根底上建立起来的。图像的小波变换反映了在经过小波分解后各个频率段信号重新形成的图像。利用小波分解的方向性可获得人眼辨析度更高的图像。但小波基和分解层数的选取仍是分解过程中有待解决的问题。本章的主要工作就是通过实验的方法,得出最正确小波基函数和分解层数。。4.1小波变换理论将一个根本的小波函数进展伸缩和平移变换可以得到对应小波函数，而小波变换是将信号投影到小波函数上，在将其分解后可得到一系列叠加在一起的小波函数设G为理想状态下的低通滤波器，H为理想状态下的高通滤波器，用它们对源信号多分辨率分解，则两个支路输出必为正交，且带宽减半而不会引起信息丧失。因此，可在一级滤波后参加降二采样之后用G和H对低频分量进展滤波，然后再降二采样，重复该过程就是对源信号进展了多分辨率分解，如下列图2所示：图2图像的小波变换：这里运用到了Mallat快速算法对而为图像进展小波分解。按照二维Mallat算法在尺度j一1上有如下的分解公式：〔4-3〕相应的重构公式如下：〔4-4〕图像经过小波分解后可获得低频近似分量、水平的高频近似分量、垂直的高频近似分量以及对角的高频分量,四个分量用LL、LH、HL、HH来表示,而分解后的框架如下列图所示，图我们也称之为塔形框架。4.2基于小波变换的图像融合频率域对于图像融合来说比空间域更为有效。将图像进展N层的小波分解,可获得一个高频带和一个包含近似分量的低频带。小波分解也被称为小波金字塔分解，因为随着层数的增多而数据尺寸在变小，最后形成塔状构造。〔1〕图像的小波分解小波分解是对函数在伸缩和平移后形成的空间，对其投影后构成了对信号的多尺度分析。定义下面的符号：所张成的闭包，即〔4-5〕是由子空间构成的多分辨率空间，则有如下性质1.单调性：〔4-6〕2.伸缩性：〔4-7〕3.平移不变性：〔4-8〕4.直和分解：〔4-9〕5.Riesz基存在性：存在使得{}是的Riesz基。(2)基于小波变换的融合方法小波变换的步骤为下：对将图像作多尺度分解；各个分解层通过图像特征信息获得图像的小波系数；变换,得到融合图像。基于小波变换的图像融合过程如下列图所示：图3基于小波变换的融合过程4.3基于小波变换的图像融合性能分析〔1〕对一个小波基按不同层数融合。将两幅对多聚焦图像,使用同一小波基函数按照不同分解层数采用Matlab7.0编程进展仿真实验,实验结果如图4所示。图4图像的熵、均值、标准差和空间分辨率的计算结果如表1所示：表1多聚焦图像不同分解层数融合实验数据将前视红外图像与微光夜视图像,使用同一小波基函数按照不同分解层数采用Matlab7.0编程进展仿真实验,实验结果如图5所示。图5前视红外图像与微光夜视图像不同分解层数融合结果图像的熵、均值、标准差和空间分辨率的计算结果结果如表2所示：表2前视红外图像与微光夜视图像不同分解层数融合实验结果将两幅遥感图像,使用同一小波基函数按照不同分解层数采用Matlab7.O编程进展仿真实验,实验结果如图6所示。图6遥感图像不同分解层数融合结果图像的熵、均值、标准差和空间分辨率的计算结果结果如表3所示：通过上述三组实验的结果分析可知,对于按照同一小波基进展融合的图像,空间分辨率会随着层数的增加而增大,说明了图像的清晰度跟层数增加成正比;而融合图像的熵在4-6层时到达最大值。〔2〕不同小波基按同一层数融合同一实验环境下,分别用harr、db、sym、coif等函数在小波分解后进展融合。多聚焦图像的融合结果如图7所示。图7图像的熵、均值、标准差和空间分辨率计算结果如表4所示：表4遥感图像的融合结果如图8所示：图8遥感图像不同小波基融合结果图像的熵、均值、标准差和空间分辨率计算结果如表5所示：试验结果说明:对遥感图像来说,融合后图像的熵值、均值、标准差以及分辨率总体变化不大。-.z.第五章像素级图像