多聚焦图像融合算法的研究

分类号：********UDC：******-***-(20**)****-0密级：公开编号：********************大学学位论文多聚焦图像融合算法研究论文作者姓名：申请学位专业：申请学位类别：论文提交日期：

多聚焦图像融合算法研究摘要光学成像系统焦距确定后，只有成像在景深区间内的空间点能够清晰成像。实际应用中对某个场景的物体成像时，由于被照场景中各物体与成像镜头的物距各异，所成的像不是全都清晰的。为了获取清晰的全场景图像，需要对场景中不同的物体分别聚焦，获取每个物体的图像，并将其融合在一起，即多聚焦图像融合技术。研究了多聚焦图像融合的基本理论，特别是空间域和变换域的融合方法；阐述了有关小波变换（WT）的融合理论，该办法通过对原始图像实施小波分解，将解析后的低、高频区域作相应的变换，高低频区域分别使用不同的融合规则，然后用修正后的小波子区域融合成新图像。设计了计算机模拟实验，对几种基于小波的多聚焦图像融合算法进行了模拟并给出了结果评价，实验结果证实了文中方法的有效性。关键词：多聚焦图像融合；小波变换；图像重构；质量评价；融合规则Theresearchonmulti-focusimagefusionalgorithmAbstractAfterdeterminingthefocallengthoftheopticalimagingsystem,onlywhenimaginginthespacepointofthedepthoffocuscanbeclearlyimaged.Intherealprocessoftheimage-forming,becauseofthedifferenceoftheobjectdistancebetweenthethingsandimaginglensinthescenewhichbefocused,theimage-formingtocertainsceneisnotallclear.Toobtainclearpanorama,wecanrespectivelyfocusonthedifferentobjectsinthescene,getalltheimagesoftheobjectandmixthemtogether,thisisso-calledmulti-focusimagefusiontechnology.Thebasictheoryofmulti-focusimagefusion,especiallythespatialdomainandtransformdomainfusionmethod;Expoundedaboutthewavelettransform(WT)fusiontheory,theapproach,theoriginalimagebywaveletdifferentiation,willberesolvedafterthelow-frequencyregionforthecorrespondingconversion,high-frequencyregionsareusingdifferentfusionrules,thencorrectedwaveletsub-regionalintegrationintoanewimage.Designofcomputersimulationexperiments,severalfusionalgorithmbasedonwaveletmulti-focusimagesaresimulatedandgivestheresultsoftheevaluation,experimentalresultsconfirmedthevalidityofthemethod.Keywords:multi-focusimagefusion;wavelettransform;imagereconstruction;qualityevaluation;fusionrule目录 论文总页数：33页TOC\o"1-4"\h\z\u1引言 引言1.1课题研究背景及意义随着经济的发展，科技的日新月异，各种不同传感器的使用范围逐渐扩大。不同传感器的成像机理、使用功能、工作范围、运行环境等要求不尽相同，用以完成不同的工作。现在多数集成系统，集成了大量的传感器，系统获取信息方式多样化，收集的数据量也急剧上升，以前处理信息的手段已不再合适，必须寻找新方法、开发新技术解决遇到的新问题。所谓的图像融合的基本意思是指利用多数传感器图像的数据、信息归纳，即是将源图像中的可利用的信息加以合成，因而使取得的图像更加清晰[[] VarshneyP.K.MultisensorDataFusion[J].Electronics&CommunicationEngineeringJournal,1997,9(6):245-253]。它的基本思想是采用一定的算法，把同一场景中不同图像传感器取得的图像融合成新的图像，使融合的图像信息更丰富、识别性更好，更符合人机视觉特征。多源图像相比单一图像的融合效果更好，是因为有信息的冗余、互补性等优点。多源图像融合能够获取多方面的信息，能够增加系统运行的平稳度和容错性、可信度；减少了信息传输量，对传感器的性能、通信系统条件有所下降。近年来，图像数据与信息的融合得到了大量的实际应用，科研成果已涉及到计算机视觉、目标识别等范围。其中在军事方面，精确制导、自主式炮弹、侦察设备等领域图像融合技术已成为最具影响力的新科技；其民用领域，图像融合可用于金属探伤、产品设备检测等方面；在医学方面，适用在医学图像成像的判断、MRI、CT、CAS等；还用于信息加密、智能交通、安全监控、[] VarshneyP.K.MultisensorDataFusion[J].Electronics&CommunicationEngineeringJournal,1997,9(6):245-2531.2图像融合技术的研究现状及问题信息融合技术开端于1970年左右的美国。此后，信息融合的技术飞速前进，并成为多种科技相互结合的新学科。图像融合应用最早的是法国的Daliy等人将合成的图像对地质实行了一定程度上的解释；进入80年代，一些学者和科研人员渐渐重视图像融合技术，并将其用于剖析和处理各种不同的问题；到了90年代后期，遥感卫星的成功发射图像融合技术从此有了牢固的工程基础，并逐渐成为研究的热门。近年来，图像融合技术已成为计算机视觉、自动控制、机器人、目标跟踪等领域的关键技术之一。在遥感、GIS、反恐检查、军事建设以及农产评估、医学成像解析、环保、灾害检测等领域有重大的意义。目前，美国、英国、德国等国家大力开展了图像融合的相关研究，其中的一些研究成果多次在学术上亮相。国内相关方面的研究开展的缓慢，但是不少学者致力于图像融合的探究。当前看来，国内的研究水平与世界相比相差甚大，国内研究大都处在初始阶段的理论研究。因为纷繁多变的数据信息和使用目标的差异，难以组建一体、完善的图像融合系统，每种方法各有优缺点。虽然在模型和算法方面取得了一定的成果，但是没有形成系统的图像融合技术理论，仍有许多问题亟待解决，以下几个方面的关键技术还需要进一步解决：(1)图像融合的基础理论系统有待完善。合理吸收、利用各种方法的优点，构建优良的理论框架。以后在探索更高效的方法，同时完善理论系统；(2)图像的配准占据至关重要的位置。配准一般采用特性配准与选取、建立映射、插值等方式。当前，图像融合的相关研究大都集中于像素级上，其配准精度直接作用于后续步骤的处理。(3)融合措施难以达到实际情况的需要。传统的融合方法与数据关联需要丰富的先验知识，计算机上还可能会出现N-P完全复杂性问题。因此，设计算法时不仅需要思索融合的效果以及效率，还应考虑及时性与可靠信任度。这也是需要积极开展探索的重要方面。(4)寻找新方法提升图像融合的效率。近年，PCNN、进化算法、模糊集理论等融合措施博得了优良的成效。利用智能融合法，提高算法的功能需要更加深化的探究。(5)没有完善的质量评价框架。质量评估已经成为评判一个融合算法功能优劣的紧要依据。某些客观评价指标（清晰度、熵、RMSE、PSNR等）有时会与主观视觉发生偏差。此外，不同的算法适合不同的评价标准，并不适合所有的评价指标。因此，探讨完备的质量评估体制具有重大意义。(6)融合的多聚焦图像的质量难以保证。在多聚焦图像数据方面，图像易受背景、噪声等外界因素的干扰，并且不同传感器所获得的图像信息差异较大，这些对融合的性能都会产生一定的影响。1.3图像融合的层次图像融合的处理分为:像素级、特征级、决策级。初始图像的融合主要处于像素级，是对源图像中包含的各种信息数据实施直接处理。大量研究集中在像素级层次的图像融合，其结果精准性较高，可以解决细节方面的信息处理；但处理的信息量最多，较高的设备要求。在图像融合时，源图像需要先做一系列的处理，便于后续工作的开展。其过程结构如图1-1所示。图像图像1图像2图像N图像配准图像配准图像配准像素级图像融合特征提取特征分类决策和解释图1-1像素级图像融合特征级层次的图像融合，即从图像中提炼特色信息开展归纳与解析[[] 郭雷,李晖晖,鲍永生.图像融合[M].北京:电子工业出版社,2008.02]。特征级层次的融合保存了大量原始图像的数据信息，还能够压缩信息。经过特征级层次的融合，能够发掘原始图像中的一些隐藏信息，增强可信度；图像经过特征级层次融合处理后，数据量相比较源图像有一些降低，处理过程极大提升了融合的效率。因此，特征融合的举措致力于图像数据信息的提炼与恰当融合规则[] 郭雷,李晖晖,鲍永生.图像融合[M].北京:电子工业出版社,2008.02图像图像配准图像1图像2图像N图像配准图像配准特征级图像融合特征分类决策和解释特征提取特征提取特征提取图1-2特征级图像融合图像1图像2图像N图像配准图像配准图像配准决策级图像融合决策和解释特征提取特征提取特征提取特征分类特征分类特征分类决策级层次的图像融合是依照众多原始图像中的数据信息实行一定的逻辑或归纳推理的历程;最好的决策一般依照某些规则和决策的信任度做出，可用的融合决策是多方面的[[] 敬忠良,肖刚,李振华.图像融合:理论与应用图像1图像2图像N图像配准图像配准图像配准决策级图像融合决策和解释特征提取特征提取特征提取特征分类特征分类特征分类[] 敬忠良,肖刚,李振华.图像融合:理论与应用[M].北京:高等教育出版社,2007.10图1-3决策级图像融合表1-1三种层次图像融合的比较特点像素级融合特征级融合决策级融合信息量最大中等最小信息损失最小中等最大容错性最差中等最好抗干扰性最差中等最好传感器依赖度最大中等最小算法难易最难中等最易预处理最小中等最大分类性能最好中等最差已有研究理论表明，像素级融合在预处理和信息损失等方面性能较好，而另外两个层次的融合效能表现平平。像素级层次融合在图像处理上最为繁琐困难，多聚焦图像融合其结果是获得的数据信息资源最丰富、识别性最好。1.4论文的内容结构安排论文各章节内容简介如下：第一章：引言。从总体上简述了课题背景与意义，大致概述了图像融合的研究中面临的问题与需要改进的地方，简述了融合的不同层次的特点及一般过程。第二章：简述了图像融合常见的一般方式。本章首先简述了图像融合的理论基础；接着叙述了常用图像融合的根本算法。第三章：详细概述了基于小波变换（WT）的多种融合措施，简述了常用的图像融合中系数选择的处理办法。第四章：简述了融合图像的质量评价指标。介绍主客观两方面的评价原理措施，着重介绍了客观评价。第五章：介绍本文的理论模拟实验及其结果并加以解析评价。第六章：对论文的总结及后期展望。2多聚焦图像的融合算法2.1多聚焦图像成像理论基础多聚焦图像是指当拍摄一幅清晰的目标空间图像时，因为没有办法使目标空间中的全部实体清晰成像，所以需要拍照各个目标获得许多幅清晰的图像。依照光学成像理论，当物体处在物平面内的时候，则成像结果是清晰的；反之，成像模糊。当目标的离焦程度相比较景深较小的时候，则认为目标映射生成的像是清晰明亮；即光学成像系统对同一空间里面的不同目标难以成全部清楚明晰的像。图2-1物体成像原理图物体所生成的像清晰与否与系统景深的大小严密联系；景深范围内的物体，成像清晰；反之，所成的像模糊。光学成像系统中，具有优秀聚焦度的目标产生的像是真切清晰的，距此目标确定界限以外的其他目标所产生的像都带有模糊、朦脓感。为了全清楚的场景图，在多聚焦图像的成像机理基础上，对获取的众多图像利用融合措施实行处理能够取得相对清晰的图像。2.2多聚焦图像的融合方法多聚焦图像融合占据图像融合领域中举足轻重的位置，其包罗的算法层出不穷不胜枚举。当前，融合方法可以分为两种不同类型：基于空间域和基于变换域的融合措施。空间域内融合是在像素空间上开展实施，不用执行其他的改变；变换域上的融合首先对需要融合的众多原始图像实行转换，再对转换后图像实行重新组合。这两类算法不完全独立，可以相互结合。变换域上的融合是当前重点研究对象。2.2.1一般常用的融合算法简介IHS彩色空间的融合算法彩色空间的图像融合[[] 赵巍,毛士艺.一种给予假彩色的像素级多传感器图像融合算法[J].电子学,2003,31(3):368-371]通常分为两种不同的方法：一种基于IHS空间，即将不同的图像从RGB彩色空间转变到HIS彩色空间，在IHS空间上对图像展开融合处理，[] 赵巍,毛士艺.一种给予假彩色的像素级多传感器图像融合算法[J].电子学,2003,31(3):368-371[] 兰凤,郭丹.利用Matlab软件对医学彩色图像的空间转换[J].科技创新与应用,2015,29IHS颜色模型常用的有圆柱体、球体、单六棱锥等。IHS模型定义了三个独立的属性，即亮度I，色度H，饱和度S。IHS模型有两个独特的优点：=1\*GB3①I、H分量彼此独立，I亮度分量与彩色信息无任何联系；=2\*GB3②H和S分量与人的眼睛感触色彩的方法息息相关。从RGB到IHS转换方式有很多种，由立方体RGB到柱体HIS转换最常用见，分线性与非线性的。RGB到IHS线性转换 IK1K2 H=tan-1K1K2逆变换： RGB=1非线性变换 I=R+G+B3S=1-3min⁡(R,G,B)对S的计算还可使用下式: S=maxR,G,B-minR,G,B 当H∈0, R=I×1+ScosHcos当H∈2π R=I×1-SG=I×1+S当H∈4π R=3I-B+GG=I×1-SB=I×前面叙述的两类转换模型首要的分别是饱和度S的表达方式上差别，在基于HIS空间的融合领域内各有特点。基于IHS空间的图像融合方法步骤如下：(1)根据理论，首先让多源图像实施线性HIS空间转变，取得H、I、S的不同表达式子； I0K10K20(2)而后将经校正和配准的图像，依据式（2-9）中的I0采取直方图匹配的措施，经过一定融合，使In取代(3)最终对各异分量I0、H、S实行HIS反转换到RGB结构空间，取得成果 RnGnB在上述第二步中，可以使用不同的融合方法。其算法流程如图2-2所示。全色图像全色图像预处理多光谱图像IHS空间转换提取I分量直方图匹配用直方图匹配后的全色图像替换多光谱图像的I分量后转换到RGB空间融合结果图2-2基于IHS空间融合方法为了更加清楚的表示色度和饱和度的变化情况，则有： R =1111式中φ=In-I0,将δ代入 H =cos-1R-G+饱和度为: S'=1-3min从以上式子可以看出，在通常情况下I0≠In，显示融合图像的色度H ∆S== =-I0-min由（2-14）可知，φ是导致彩色畸变的关键因素。通常情况下I0≠In,φ≠0。饱和度值的改变导致图像的颜色失真，所以IHS空间上的融合方法比较浅易、容易完成，但有一定限制性；第一，替换分量In与原I分量具备莫大的关联，一些个别地方或许不太适用，融合效果不好；其二，该算法适合多光谱图三个频带的使用，如若多于三个频带难以实现Brovey变换算法Brovey图像融合的方法相对较浅易。该算法分开计算像素空间的色彩和亮度分量，它的优点是转换过程快速简单，数据信息取得保留，结果图的视觉质量得到有效提升。Brovey图像融合的算法为： Rn=R×PR+G+B式中R、G、B分量代表图像的三个各异的频带，P表示0.5um到0.75um左右的单波段。使用Brovey方法对图像实施融合处置，需要满足非常高条件，同时也只能对三个不同频带实行处理。加权平均图像融合算法图像融合最简便的算法是对源图像直接实施加权平均，其举措使图像的对比度出现一定大小的下降，增大了信噪比，且使图像的边缘模糊。该措施简略、速率快，但在很多应用中的融合效果尚能令人满意。设P、Q表示U×V大小的源图像，Y为融合结果图，则上述过程是： Yi,j=ω1上（2-16）式中，i=1,2,...,U，代表像素的行号;j为像素的列号，j=1,2,…,V;ω1、ω2为加权系数，ω1+ω加权系数由原图像的相关系数确定。相关系数定义： coe=m=1UP,Q分别为图像P、Q则权值表达式为: ω1=1-coe加权平均算法原理上是对像素实施平展、光滑的处理，减小了噪声，对比度同样出现了降低，并且图像的边沿容易出现朦胧，纹理不清晰，况且可能会产生重影。这主要是由于单一像点的灰度值，难以很好表现出该点的清晰或者模糊特性。若所需融合的图像拥有很大差别的灰度值，则显露突出的拼接印迹，不适合识别和接下来的操作。采用PCA算法的图像融合方法PCA（PrincipalComponentAnalysis）又称主分量分析、Hotelling变换、K-L变换等。在归纳推理的结论上，从中能够得到PCA算法取得的融合成果是源图像最好的近似。PCA算法分析步骤：(1)假设拥有k幅各异的图且各图有l个子带，将图像看成矩阵，则有： A=a11⋯a(2)生成建立变量的协方差矩阵：P=p(3)求P的特征值λ1 X1=x11(4)获取主成分： Yr=X1rPCA算法的图像融合步骤：(1)率先计算融合的k波段图像B的相关矩阵；(2)依据相关矩阵由此可以取得特征值、特征向量的表达式；(3)按大到小顺序排列特征值λ1≥λ2≥…≥(4)由公式Zj=r=1ktrXrj，j=1,2,…,k；可以取得各个相异的主成分图像，Zj表示第j个主成分，k的值是所有频带和，r表示输入频带数，tr(5)第一主分量与配准图像A实施匹配，实现过程可采取各种不同的方法；(6)用匹配后生成的A图像，同时结合剩余其他主分量实行逆转换，取得融合成果。其流程图2-3如下所示。AA图像B图像空间配准对B图像做直方图匹配A图像主分量变换匹配后的B图像替换第一主分量并做逆主分量变换融合后图像图2-3基于PCA算法的图像融合方法流程图PCA变换结果图的效果决定于匹配生成的替换图像与第一主分量的近似水平，变换后的第一主分量包含了大量区块的信息，第一主分量近似等于各原频带的加权和，表征总辐射强度，噪声削弱，图像细致特征加强[[] 许亚军.多传感器图像小波融合理论与应用研究[D].江苏:江苏科技大学[硕士论文],2008]。PCA变换算法没有融合频带数量的限定。原始图像的高频特性得到遗留，[] 许亚军.多传感器图像小波融合理论与应用研究[D].江苏:江苏科技大学[硕士论文],200智能图像融合算法(1)PCNN融合方法ANN（ArtificialNeuralNetwork）表示一个数据信息处理的方式与生物神经系统相类似的新型计算模型，自适性、自组织性较好，具有抗噪声，抗损坏，容错性好等优点，可以完成复杂的实时运算。下面单一的介绍了ANN融合法子，常规步骤见下文：=1\*GB3①图像预处理，遵循源图像性质采选不同的措施滤波（中值、均值方式等），取得滤波后的图像；=2\*GB3②图像的聚类分析，使用自适应ANN对各个图像归一化，取得分类成果；=3\*GB3③图像的模糊分类，该过程使每幅图像的像素点都归属于不同函数矢量组。=4\*GB3④最后实施图像融合，采选合适方法对模糊化后图像实行融合，再聚类解析取得融合成果。原理过程如图2-4所示。图像图像A预处理聚类分析图像B聚类分析预处理图像N聚类分析预处理融合聚类分析融合图像图2-4ANN图像融合原理框图(2)基于模糊理论的图像融合方法模糊推理是建立于模糊逻辑基础上、处置不确定性信息的推理归纳方法，在图像处理、目标识别、智能信息解析、计算科学等领域大量应用。模糊逻辑是一种用模糊集和隶属函数等精确数字言语来描述模糊概念的方法，与非模糊方法比，具有易于理解、灵活性好、对非精确数据包容以及基于自然语言语义等优点。该法子能够改良融合算法性能，以最佳的方式保留原始图像信息。利用模糊逻辑可以建立一个适应任何输入、输出，与其他自适应技术相结合的自适应模糊逻辑系统。模糊理论的图像融合方法：将原始图像用大小相同的矩阵表示，像素灰度在其中呈现出一些数学模型的分布，进而求解该分布模型，然后对该分布实行逆转换，取得融合结果。模糊集理论中各种类别的算法为图像融合开拓了广阔的路径。选择常用的三角函数模式来表示隶属度；图像A的灰度级为S，用大小K×L的矩阵表示，定义为模糊点集矩阵，表示为mnamn，m=1,2,3,…,K；n=1,2,3,…,L[[] 李涛,田岩,柳健[] 李涛,田岩,柳健,唐东峰.一种基于模糊集和小波变换的图像融合方法[J].华中科技大学学报（自然科学版）,2005,3:24-26 amn=Fxmn式中，xmn是m,n处像素的灰度值；一般R取值x设图像U有p个不同灰度值，Ejk代表点j,k的3×3邻域，步骤=1\*GB3①从U上取得像素j,k，求解出邻域Ejk内最大、最小灰度Qj,k、qj,k；②计算出模糊度矩阵，当xmax=xmin时经过上述计算，取得[0,1]上模糊度矩阵。原始图像fx、fy执行小波解析（WT）Tj=Wfk后，获取低频率子带TkL，akx（k=1,2；x=H,V,D），对于TkH（k=1,2 TFHx,y=上式中，T1H的隶属度是a1H。当a1H=a2H=0时=3\*GB3③对处理过后的低、频分量实行反转换，则取得成果图像。2.2.2图像的变换域融合方法变换域内融合方法的基本原理过程简述：先对原始图像作转换，获取图像变化后的高低频系数，然后在变换域中依照某些算法处理相关的解析系数，再作相应逆转换即得融合结果。基于多分辨率图像融合算法的中心思想是平均图像中的清楚与朦胧区块，即使源图像中分明、朦胧的区块在融合结果中变得相对朦胧、分明。图像经由自底向顶分化思想产生多级不同分辨率的结构，每层级经由滤波生成后续层级图像。多分辨率图像的融合成果中不存在块效应。基于多分辨率的融合原理如图2-5所示。图像图像A图像B图像N多尺度分解新的系数多尺度重构融合结果图系数A系数B系数N融合算法图2-5基于多分辨的融合过程简图金字塔融合方法图像的塔型分解是多尺度的分化措施，在各种不相同的尺度级上对源图像实施融合，在有差异的分化层级上可应用各种各样的融合方式，这样可能取得更好效果的图像且适合后续其他步骤的处理[[] AdelsonEH,SimoncelliE,HingoraniR.OrthogonalPyramidtransformsforimagecoding[J].Proc.SPIE,1987,845:50-58]。基于金字塔分解的图像融合方式如下：首先对原始图像实行塔形转换，接着选取某些恰当融合方法对转换过后的系数实施处理，后续将更新的系数实行反转换，取得融合成果。塔型分化方式囊括了Laplacia塔型算法、梯度塔型算法、对比度塔型（ContrastPyramid）算法[] AdelsonEH,SimoncelliE,HingoraniR.OrthogonalPyramidtransformsforimagecoding[J].Proc.SPIE,1987,845:50-58[] PeronaP,MalikJ.Scale-spacetheoryandedgedetectionusinganisotropicdiffusion[J].IEEETrans.onPatternAnalysisandMachineIntelligence,1990,12(7):629-639=1\*GB3①Gaussia塔型结构是一个在尺寸上逐层减半的图像集合；每个层次的图像是前一级与窗口函数Hi,j实行卷积，再执行隔行隔列的降采样所取得的结果[[] 朱瑞辉,范国滨[] 朱瑞辉,范国滨,万敏.一种基于多分辨率分析的图像融合方法[J].光学与光电技术,2007,5:82-84 G 1≤a≤N,0<m<Pa,0<n<Q式中，Gam,n为第a层级Gaussia塔型子图像，G0表示Gaussia塔型的最底层次，N为顶层的解析层号，Pa,Qa代表a层级子图的列,行数；Hi,j为则由G0,G1,…,GN构成了Gaussia金字塔。利用插值法将 Ga‘m,n=4i=-2 Ga''i+m2=2\*GB3②Laplacia金字塔变换建立在Gaussia金字塔的基础上的。Laplacia金字塔的第a层图像 La=Ga由L0,L1,…,LN构成Laplacia金字塔。遵照（2-27） Ga=La按照上式的规律实施推导，可以返回到Gaussia塔型，进而能够推出最开端的图像。=3\*GB3③对比度金字塔算法：首先对图像实施Gaussia塔型解析，再将各层执行插值运算，得出变大后的结果Ga‘。则对比度金字塔分解表示为： Ca=GaI为单位灰度值图像，由C0,…,CN组建对比度金字塔（ContrastPyramid），则重建获取的 Ga=Ca按照上述方法实施推导，可返回到先前Gaussia塔形分解，最后取得原图像。=4\*GB3④梯度金字塔算法：对图像实施Gaussia塔型解析，再用梯度滤波器将各个有差异的分化层（除顶层外）实行不同的处理，即可取得梯度塔型分解： Gab=dGab是a层级、b方向的Grad塔型图，Ga表示Gaussia塔型的a层级图，db代表b方向上的Grad滤波算子；b表示四个不同方向的梯度滤波，即0°水平线、45°对角线、90°垂直线、135其中：d1=1-1，d2=120-110，由梯度金字塔重构源图像：1)依据方向梯度金字塔（PyramidofOrientedGradient）图则可以创建如下式（2-32）表征的方向Laplacia塔型图， Lab=-182)将方向Laplacia塔型图像转变为FSD（filter-subtract-decimate）Laplacia塔型图像， La=b=13)依据（2-33）式，将FSD（filter-subtract-decimate）Laplacia塔型图转变成Laplacia塔型图，得到式（2-34）， La≈1+H*4)借鉴（2-28）式表征的Laplacia塔型变换成果重新构建源图像 Ga=La在图像塔型分化的过程中，能够允许在不同分辨率、解析层上开展图像的融合；其中，Laplacia、对比度金字塔（ContrastPyramid）是根据Gaussia塔型解析衍生而来的。图像的塔型解析是一种带有瑕疵的方法，转换历程中缺乏方向性、高频数据信息丢失量较大、层级间数据具有重复性等；并且失掉了局部的细节处特征，招致成果的对比度下落。基于小波变换的算法小波变换作为一类近年兴起的数学技术，是以FFT为根据的空频域解析方法[[] 杨福生.小波变换的工程分析与应用[M].北京:科学出版社,1999]。小波分化是类似传统金字塔变换的图像处理措施，良好的空、频局域性，图像中高频信息可以良好的保留；填补了塔型[] 杨福生.小波变换的工程分析与应用[M].北京:科学出版社,1999在图像处理中，小波变换（WT）一些优点简述如下：(1)空频域部分区块特性优良；(2)拥有正交基，因此图像的数据信息经转化后不增大；(3)可以分化成拥有三个不同方向（0°,45°,90°）的分块，采选恰当随着对小波理论研究的加深，各种算法层出不穷，在图像处理中小波解析（WT）所取得的效果甚佳。近年来，小波变换（WT）的融合法子被大批量的运用，已成为探索重点。3小波变换融合算法3.1小波变换概述上世纪80年代初期，小波解析思想最早出现于人类视线中，由Morlet等人提出。1989年，Mallat统一了此前各异的小波构建方式，给出了一般方法和快速的算法，提到了多分辨率解析的概念，并应用于图像处理[[] [] 刘卫光,李跃,范文新.图像信息融合与识别[M].北京:电子工业出版社,2008.07塔形变换的明显特征就是分化得到的数据有重叠，还存在相互关联。小波变换（WaveletTransform,WT）是新概念技术，图像所包含的数据量经过转换后不会增大；同Fourier变换比较，局部化特性优良。小波变换是空间频率的局部化解析，通过其平移伸缩变化达到在图像的低频的频率细分和高频时间细分，可以处理任意细节信号，弥补了Fourier变换难以同时开展，时频变换的缺点；因此，小波分化又被称为解析信号的“数学显微镜[[]对信号(函数)逐步进行多尺度细化，达到高频处时间细分，低频处频率细分，能自动适应时频信号分析的要求，从而可聚焦到信号的任意细节。]”，在生活实际和高新技术等[]对信号(函数)逐步进行多尺度细化，达到高频处时间细分，低频处频率细分，能自动适应时频信号分析的要求，从而可聚焦到信号的任意细节。3.2小波变换分析小波变换（WT）是一种崭新的转换解析方式，它完美承载Fourier变换思想，若改变频率的大小，“时间-频率”窗口跟随做出相应变动，不失为一种实用的完备工具[[]ToetA,RuyvenLJ,ValetonJM.Mergingthermalandvisualimagesbyacontrastpyramid[J].OpticalEngineering,1989,28(7):789-792]。小波的分化实际是一系列滤波的过程，没有继续细分和进一步量化分化[]ToetA,RuyvenLJ,ValetonJM.Mergingthermalandvisualimagesbyacontrastpyramid[J].OpticalEngineering,1989,28(7):789-792一般步骤简述如下：(1)让配准完备的多聚焦源图像执行小波解析，则可以取得原始图像的低、高频信息；(2)采选恰当的融合规则对低高频区块实施融合，进而获取所需求的各种成分子块；(3)用已经处理完成的子块，进行重塑，即得融合成果。小波变换的图像融合，过程如图3-1所示。图像1图像1图像2LLHLLHHH融合规则融合图像MLLLLLHHHLLHLLHHH变换小波变换图3-1小波变换的融合过程一定区间内的函数ϕt可以用来构造各种各样的小波。设ϕt Iϕ=-∞+∞ϕω为ϕx的Fourier变换，ϕt是平方可积的实数空间L2R，则ϕt基本小波ϕt可通过不同的尺度变化运算生成一系列小波基函数ϕ ϕm,nt=1上式中，m为缩放参数，表征基函数的尺度；n为平移参数，表示沿x轴方向移动的位置；m,n∈R且m≠0。当x,m,n连续变化时，取得连续小波 ϕm,nt=1参数m取离散值m0i，参数n取离散值jn0 ϕi,jt=m3.2.1连续小波变换函数fx，ϕx是平方可积函数，定义函数fx Wfm,n=f,是fx的连续小波变换（CWT）连续小波的逆变换为： fx=1I3.2.2离散小波变换在实际生产使用中，连续小波要实行取值分散的离散化处理。设ϕx满足允许条件，令ϕsx W =-∞+∞ft为ft的卷积型小波变换（WT）。若s的取值是不连续离散性的，则Wfs,x为离散小波变换（DWT）3.3二维离散小波变换及其Mallat算法图像是二维信号，对它实行DWT时，必须使小波解析由一维扩展到二维矩阵形式，因此一般选择的是二进制DWT快速算法[[] [] 晁锐,张科,李言俊.一种基于小波变换的图像融合算法[J].电子学报,2004,32(5):750-753小波分解是逐层进行的。二维矩阵式图像通过小波解析的历程之后，生成低频和高频子块区域。每一个层次的分化，原图像全被划分成四个有所差异的频带（ll,hl,hh,lh）集合；而后，接下来的层次分化只是将低频子图块ll展开划分；因此，对二维矩阵式图像实行R级次的小波分化，则可以取得（3R+1）个频率子带，包括1个低频和3R个高频子带[[] 章毓晋.[] 章毓晋.图像处理和分析教程[M].北京:人民邮电出版社,2009.11原图原图LL2LH2HL2HH2LH1HL1HH1LLLHHLHH图3-22-D图像的二级小波分解图示Mallat快速算法的根本理论基础是使用滤波器对图像实施小波解析，再用重构滤波器对变化后的图像执行重建[[] [] YockyDA.ImageMergingandDataFusionbyMeansoftheDiscrateTwo-dimensionalWaveletTransform[J].JournalofOpticalSocietyofAmerica,1995,12:1834-1841二维Mallat算法对图像Fi,j Fpm,n=i∈Z则图像的重构过程为： F++ +m∈Zn∈ZGp上两式中，用Fp表征分化后的低频子频带，GpH,GpV,GpD表示（0°,45°,90°3.4图像融合的离散多小波变换3.4.1多小波概念简述多小波基可以是将r个小波基函数通过尺度转变取得[[] 王卫卫,水鹏朗,宋国乡.小波域多聚焦图像融合算法[J].系统工程与电子技术,2004,26(5):[] 王卫卫,水鹏朗,宋国乡.小波域多聚焦图像融合算法[J].系统工程与电子技术,2004,26(5):668-671 ϕt=k=0m-1Ik、J3.4.2多小波变换用矢值滤波器实行离散多小波变换（MWT）[[] 程正兴.小波分析算法与应用[M].西安[] 程正兴.小波分析算法与应用[M].西安:西安交通大学出版社,1998SaSDMWT融合算法的一般步骤如下所述：(1)首先将源图像执行预滤波，以便获得矢量图像。(2)然后，将矢量图像实行DMWT分化。因有多个尺度函数，故1个子图像经分化后生成P2个子块。在后续解析的过程，只是将低频区块分化，不改变高频区域。如果对图像实行H级次的DMWT分化最后能够产生P2(3H+1)个子块[[] 田军,李应岐,方晓峰.一种基于Contourlet变换和视觉感知特性的图像分割方法[J].微电子学与计算机,2008,03:67-70(3)融合处理不同的解析层。(4)将更新过后的图像实行反转换，用以重塑。(5)后滤波处理重塑的图像，获取融合图像。后滤波是预滤波的逆过程。随着探索的深入，各种多小波构造方法的持续改进，图像处理的应用范围则会愈来愈宽广。离散多小波变换的重要性质如下：=1\*GB3①拥有对称性，能够减少重构误差的产生；=2\*GB3②短支撑的尺度函数，可以减少误差，适合边界问题的处理；=3\*GB3③具有二阶或以上的消失矩；=4\*GB3④具有正交性。上述性质是单小波所不完全具有的，因此多小波的优势明显，在应用中更加方便、精确[[] [] 那彦,史林,杨万海.基于成像机理的多小波多聚焦图像融合[J].系统工程与电子技术,2004,26(11):1549-15513.5小波包算法小波分化是使用滤波器对图像实施离散小波解析（DWT），其过程仅仅是将低频区块继续下一尺度的分化，然而高频区块则不再解析。但小波包分析[[] 王海晖,彭嘉雄.基于小波变换的图像融合研究[J].中国图像图形学报,2004[] 王海晖,彭嘉雄.基于小波变换的图像融合研究[J].中国图像图形学报,2004,09(8):1002-1007从个别视角可以看出，正交小波变换（OWT）的多分辨率解析将尺度空间V实行分化，即V0=V1⊕用Sin表示尺度子空间Vi Si0=V则用Sin表示的 Si+1n=S3.5.1小波包的定义定义子空间Sin,Si使sn s2nu=在式（3-13）中，aj与bj分别代表为低、高通滤波器系数 bj=-1j当n=0时，式（3-13）变化为： s0u=2通过与方程式（3-16）相比较： ϕu=2j∈Z则s0u,s1u可以变换成为ϕu和ψu。s0u=ψu确定的OWP（Orthonormalwaveletpackets）是经由（3-15）方程式构建而成的序列snu，则可知小波包变换（WPT）是小波变换（WT）的常规表达形式[[] 王娜,郑德忠,刘永红.[] 王娜,郑德忠,刘永红.双树复小波包变换语音增强新算法[J].传感技术学报,2009,07:983-9873.5.2小波包的分解与重构算法假设qinx qinx=分解算法：由kmi kmi,2n=lcl小波重构算法：由kmi,2n, kmi+1,n=lam3.5.3小波包的融合思想小波包变换（WPT）[[] 刘斌,彭嘉雄．基于小波包变换的区域图像融合方法[J].计算机工程与应用,2004,21(1):36-39]的简要融合思想：首要将已经配准的原始图像实行分化，其不宜解析过多层数；分化后取得不同频带的子块能够构建矩阵，选取各种合适的融合算法对组建[] 刘斌,彭嘉雄．基于小波包变换的区域图像融合方法[J].计算机工程与应用,2004,21(1):36-393.6各种方法比较(1)浅易的融合算法，能轻易实现、速率高；在个别场合，图像融合效果较好。(2)图像的塔型分化一个多分辨率的过程，强调主要特征和细节信息；但增加了数据量，有无方向、冗余性、不稳定性等不足。(3)小波分化的过程具有方向性、数据信息不会重叠、且不增加数据量的优点。相比于塔形分化，小波解析（WT）拥有更佳的融合结果，更接近标准化；小波解析（WT）是广义的金字塔分解。(4)神经网络法对灰度相差大的图像效果较好，随着理论研究的深入，神经网络的应用越来越被重视。综合各种方法，由此得出各种各样的融合方式表现出来的综合效果都有一定程度的差异。总观各种多样的融合算法的发展历程，到现阶段还没有出现标准完备的算法，也未建立起统一的模型框架。小波变换（WT）的理论最为完善，融合效果较好，拥有优良的应用前景，而神经网络应用于图像融合范围更加宽广。3.7多聚焦图像融合的规则人们在运用图像融合的实际过程中，采选不同融合算法所造成的影响，将直接作用于最后得到的成果。因此，理应选择恰当的算法，取得最完美的结果。3.7.1低频系数融合规则(1)直接平均法 Fx,y=F(2)选择系数绝对值大者 Fx,y=FFx,y表示待融合的低频系数，Fux,y,Fvx,3.7.2高频系数融合规则(1)选择系数大者 gm,n=g(2)选择系数绝对值大者 gm,n=ggm,n代表待融合的高频子带，gum,n,gVm,n(3)选择局部区域能量较大者=1\*GB3①计算参加融合的源图像上的局部区域能量； EAσx,y=EAσx,y,EBσx,y是以(x,y)为中心的图像U,V局部区域能量；DUσ,DVσ为图像U,V的高频系数=2\*GB3②计算局部区域的匹配度KUVσ。 KUVσx,y==3\*GB3③确定融合算子假设KUVσ DFσx,y=若KUVσD Rmaxσx,yD Rminσx,y=实际的执行融合处理过程中，为了获得更好成果，在各个不同解析层运用具有差异的算法；同一分化层的不同局部区域也可采用不同的融合规则，源图像中细节信息可获取更有效的显示，使融合成果图像效果更优。4多聚焦图像融合质量的评价随着图像融合处理在实际生产生活中的普遍运用，各式算法也取得了高速发展，不同的融合措施，其效果各异。在评估质量时，需遵循实时情况采选合适质量评判举措。而今，评价方式分为两方面：定性（主观）评价与定量（客观）评价[[] UlugM.E,et[] UlugM.E,etal.Quantitativemetricforcomparisonofnightvisionfusionalgorithm[J].Proc.SPIE,2000,4051:80-884.1融合图像质量的定性评价质量的定性评价，即人们常规认为主观评价，是让不同的人作为评估者，照其结果给出一个合情合理的判断[[] 阳方林,郭红阳,杨风暴.像数级图像融合效果的评价方法研究[J].测试技术学报,2002,16(4):276-279]。此办法对某些图像能够快速准确、直观的开展评估；由于是以人作为观察者，外界因素对其影响较大，所得评估成效可能有较大差异[] 阳方林,郭红阳,杨风暴.像数级图像融合效果的评价方法研究[J].测试技术学报,2002,16(4):276-2794.2融合图像质量的定量评价质量的客观评判是遵循融合图像的统计特征或融合图像与标准图像的差异来度量融合效果的优劣，能够填补主观评判中各种不确定因素带来的缺憾[[] [] 催岩梅,倪国强等.利用统计特性进行图像融合效果分析及评价[J].北京:理工大学学报,Feb2000,20(1):102-106在此假设R表示标准图，F代表实际融合处理的结果，大小表示为U×V的矩阵。(1)熵值依据前人经验知晓：融合前后的图像，其熵值将产生一些改变。信息熵HF HF=-j=0上（4-1）式中，PFj表示灰度大小为j(2)标准差标准差表示一组数据平均值分散程度的一种度量[[] 刘贵喜[] 刘贵喜,陈文锦,刘纯虎.基于方向对比度和区域标准差的图像融合方法[J].仪器仪表学报,2005,26(6):628-631 std=1U×Vx=0 K=1U×Vx=0K为均值，表示图像像素值的平均。依照数学统计原理可知，若标准差值愈大，则表明灰度值越不集中。(3)RMSE（均方根误差/标准偏差） RMSE=x=0U-1上述（4-4）式中，Ri,j,Fi,j表示在坐标点i,j灰度值；由（4-4）式中的统计学理论可知道，RMSE的值愈(4)PSNR（峰值信噪比）图像峰值信噪比（PSNR）定义： PSNR=10log10JJmax为图像中最大灰度等级。PSNR越大，(5)平均梯度（清晰度）平均梯度表示图像边界的灰度有着分明差别，其计算公式为： Grad=1U×V由式（4-6）联系数学原理可知，Grad值愈大，则结果的质量愈清楚(6)空间频率（SpaceFrequency）图像的行频率定义： RF=1U×Vx=0U-1图像的列频率定义： CF=1U×Vx=0U-1M×N表示图像的大小。图像的空间频率： SF=RF2+(7)对比度变化对比度定义为： Cont=1U×Vx对比度差值: ∆C=CR-CCR图像的质量评判一直是重点关注对象，是个繁琐且还未得到有效处理的问题。现实应用中，应将主客观评判标准相结合，综合不同的评判成果做出最终评判。5理论模拟实验结果及分析依照本文阐述的方法，验证其可靠性与实用性，实验采用小波解析的算法[[] 陈武凡.小波分析及其在图像处理中的应用[M].北京:北京科学出版社,2002:86-102][] 陈武凡.小波分析及其在图像处理中的应用[M].北京:北京科学出版社,2002:86-1025.1不同小波分解方法比较本次实验采用2层小波解析，小波基函数为“sym4”[[] 周品[] 周品,李晓东.MATLAB数字图像处理[M].北京:清华大学出版社,2012.08图5-1近聚焦图像图5-2远聚焦图像图5-3标准图像图5-4直接平均图5-5低频系数取大图5-6低频系数取小图5-7高频系数取大图5-8高频系数取大图5-9高频系数取大表5-1采用不同融合规则的质量评价RMSEEntropyGradPSNR标准差对比度变化标准图像7.10805.007545.4776方法16.89337.09734.707028.527844.314224.4909方法28.37247.11844.727826.839344.693324.8700方法37.83907.11844.783327.411144.219724.3964方法44.43567.09955.055532.357244.612124.7888方法56.50017.12555.070229.038044.988825.1655方法65.79757.11155.138030.031544.514224.69095.2不同分解层数的比较本次实验采用3层小波解析[[] 陈木生,狄红卫.多聚焦图像融合的最佳小波分解层研究[J].光电工程[] 陈木生,狄红卫.多聚焦图像融合的最佳小波分解层研究[J].光电工程,2004,31(3):64-67[] 张涛,齐永奇.MATLAB图像处理编程与应用[M].北京:机械工业出版社,2014.04图5-10直接平均图5-11低频系数取大图5-12低频系数取小图5-13高频系数取大图5-14高频系数取大图5-15高频系数取大表5-2三层小波分解的质量评价RMSEEntropyGradPSNR标准差对比度变化标准图像7.10805.007545.4776方法17.01517.10944.864528.375744.517024.6937方法27.73167.14234.874427.531044.707424.8841方法37.62737.12694.881527.648944.466624.6433方法43.51617.10325.218234.375144.941225.1179方法54.78757.12085.228031.694245.130325.3070方法64.61887.11905.233032.005844.890525.0672上述实验中，低频子块采用了3种不同的办法，高频子块选取了2种融合方式。根据表5-1、5-2可得出，分化层数增加，熵值也逐渐增大；融合规则中高频系数取绝对值大者（方法4、5、6），RMSE的值相比于其他方法要小；平均梯度Grad的值比标准图像与其他方法要大，PSNR、标准差、对比度变化的测量值相比于其他方法要大，说明其融合质量效果要好于其他的方法（1、2、3）。两表中熵值（Entropy）大小相差不是很大，故不太适合用于本实验的评价。表5-1、5-2中的对应方法相比较，三层小波解析融合效果总体比两层要好；低频系数采用直接平均法（方法1）所得图像融合效果更好。综合所有，得出上述3层小波分解实验方法4的融合效果最佳。(1)实验成果显示3层小波解析熵值（Entropy）较大，表明结果的信息量有所扩充；(2)所有方法结果显示标准差一定程度减小，表示结果图的灰度值分布相比更加集中；(3)依据表5-2中方法（4、5、6）显示的数据可以得出，平均梯度（Grad）值变大，表明结果更加清晰；(4)依据表5-2中方法（4、5、6）显示的数据可以得出，RMSE值相比其他方法较小，表示结果图质量更好；(5)表5-2中方法（4、5、6）显示的数据表明，PSNR值较大，表示融合效果好。5.3不同目标图像比较采用不同的源图像进行实验，避免可能出现的偶然性，证明算法的可行性。图5-16方法1图5-