基于多尺度变换的图像融合

前言（1）选题背景和其研究意义近年来，互联网技术和信息科学都有极大的发展，这有利于人们使用计算机去处理图像.与此同时，图像获取来源[1]不再局限于普通成像设备，其中数字成像设备已有大规模的更新换代，这进一步丰富了图像获取来源.但是却导致图像的信息量和信息的丰富度剧增，所以我们必须淘汰掉以往的图像处理方法.于是，可获得不同图像的优势特点与互补度的新技术或新方法就尤为重要，它能对所处理的物体有更全面、更清楚和更准确的了解，便于在当代技术下的图像处理.图像融合作为新研究的热点和重点，可以有效地解决这一问题.实际上，图像融合技术[2]的目的就是使融合后的图像拥有更加多样和全面的信息，它能将采集到的同一环境中不同图像中的信息结合在一起.通过该技术可获得综合图像，此图像是在各种成像设备下、各种成像角度下、各种聚焦度下等对同一物体的描述.简言之，经过图像融合后，可便于人利用图像进行决策，同时利于机器去探测和处理图像信息.图像融合技术在许多领域都呈现出强大的应用潜力[3].在军事领域中，获取清晰且完整的检测目标和背景信息是军事防御的前提，该技术将包含高分辨率、良好图像质量和丰富背景细节的同一情形下的图像进行融合，然后清晰地显示出信息（比如隐藏在遮挡物后面、掩护在周边环境等的信息），最后为完美防御提供很佳的前提条件.而在计算机视觉领域中，对图像信息的要求极高，尽管现代光学成像系统已有较大的发展，但自身仍有限制，会导致计算机视觉处理效果不佳，图像融合可汇集并表达出同一场景下的多个图像，显示出足够完整的图像信息，以利于计算机识别和处理.那么在检测领域中，不利的环境条件（例如烟、尘、云、雾、雨等）会影响检测结果，如果将具有不同优点（表达能力强、图像质量佳……）的图像进行融合，就可解决恶劣环境的问题，从而获得较清晰的图像，真正做到精准检测……按照不同种类的源图像来分析，常见的图像融合有医学图像融合[4]、多聚焦图像融合[5]、遥感图像融合[6]等，这些源图像经过融合后都有一定的应用价值.对于医学图像，若是只依靠一种成像设备去呈现人体的同一组织，则无法详细全面地展示人体组织；通过图像融合后，该人体组织的外部和内部图像信息会更加丰富，可以方便医学诊断和治疗.至于多聚焦图像，由于同一场景的聚焦点不同，图像是模糊的，无法完全清晰；将相同成像情景下的多聚焦图像融合，可得到全面清晰的图像，便于利用图像展开地物分析.而对于遥感图像，全色图像虽拥有高分辨率，但缺失获取地物色彩能力，而多光谱图像虽分辨率低，但可获取地物色彩；两者融合后的图像是彩色且高分辨率的，会便于遥感探测；对于红外光和可见光像等图像，单一图像必然无法涵盖所有信息，融合图像的图像信息则是多样且互补的，利于其他领域的应用.（2）国内外研究现状图像融合技术从二十世纪七十年代提出到现在，在国内和国外都受到重大关注.很多研究者在图像融合的方法、手段、处理准则等都有自己独到的见解，形成了不同的图像融合方法[7]，常见的有以下几类:1.加权平均法.其特点是速度快，可完整保障图像的结构，但是不适用于像素值差异较大的情况.张莉[8]等在CT与MRI的医学图像融合算法中利用该方法，但其未考虑灰度值差异较大部分，直接将值平均化，最终可能融合出模糊图像；李敏[9]等提出基于邻域方差加权平均的图像融合算法，但只针对图像在某一特定局部邻域内的像素，适用性不强.2.基于PCNN的方法.其特点是图像适用性弱，在红外光与可见光的融合中有较好的效果，但无法有效融合多聚焦图像.张军英[10]等研究了基于脉冲耦合神经网络的方法，该方法对目标的识别有局限性，只有保证图像目标的标志性，人眼才能够将其与背景分离.3.基于金字塔变换的方法.该方法在金字塔逆变换过程中，无法全面准确地复原出图像信息，甚至会融合出质量极差的图像.1980s，学者们开始研究基于金字塔多分辨率分解的图像融合.在这段期间，Burt和Adelson[11]的成效比较显著.但因为金字塔变换[12]本身存在冗余性，如果将它应用到图像融合中，得到的融合图像无法获取到源图像的细节信息.4.基于小波变换的方法[7].20世纪90年代以后，Mallat[13]参考了Burt和Adelson的成果，然后提出了Mallat小波变换快速算法，该算法能够有效利用小波变换去处理图像融合问题，同时速度变换，也有一定的现实意义.经变换后虽可细分出多个不同频率子图，但是它难以反映图像基本元素的奇异性，还缺乏对稀疏表示的能力.5.多尺度变换[12,14]的方法.它不仅吸收了小波变换，同时可真正地实现各向异性（尺度和方向上），效果比较优异.Mallat[13]、Burt[15]、Adelson[11]、Marr[16]、Donoho[17]等都对多尺度分析进行了大量的研究，但他们研究的方向数有限，无法表示出图像基本元素线或点，从而丢失信息，达不到视觉要求.于是，便有了我们所常见的高维度多尺度变换[5,14,18]，脊波变换、轮廓波变换、曲线波变换、非下采样轮廓波变换和剪切波变换以及非下采样剪切波变换等几种.1998s，为增强边缘信息的表达能力，EmmanuelJCandes[19]提出了脊波变换.之后EmmanuelJCandes[20]和DavidDonoho[21-22]又在1999年提出了基于瘠波变换的曲线波（Curvelet）变换[18].该变换的数字操作过程步骤较多，过于复杂.故在2002年，Candes[23]等人便提出可简单的实现且容易理解的快速曲线波变换算法.但该变换在图像融合过程中和Ridgelet变换联系甚少，因此Candes和Donoho[24]提出了全新的曲线波变换算法，以增加和Ridgelet变换之间的关联度.在此之后，于2002年，MNDo[25]和MartinVetterli[26]提出轮廓波（Contourle）变换.可是轮廓波变换的下采样会导致图像融合效果不佳，故A.L.Cunha和J.P.Zhou[27-28]以及M.N.Do[29]等便在Contourlet变换的基础上对采样过程等进行改进，提出非下采样轮廓波（NSCT）变换.NSCT因自身结构和图像方向表示欠佳，故计算费时，不利于实时处理.2007年，Guo[30]等就提出剪切波变换[31-33]，该变换能很好得运用于图像处理领域.同样地，在克服剪切波变换不足的基础上，2008年，Easley[34]提出了非下采样剪切波变换(NSST)[35]，相比于其他多尺度分解工具，NSST算法具有优良的多尺度多分解特性和更好的融合效果.与发达国家相比，国内研究者在多尺度变换的图像融合技术中接触时间少、研究时间短，但是这很快便引起国内专家学者们的关注与重视，纷纷投入到这方面的研究[36-37]，并取得丰硕的科研成果.苗娜等[10]研究了结合NSST和SLIC的多聚焦图像融合算法，但该方案仅适用于多聚焦图像之间的融合，在其他种类和特征的源图像融合中效果并不是很理想；王志社[33]等研究了采用非下采样剪切波变换以及稀疏表示的图像融合方法，最终提升了视觉效果以及运算效率等；刘健[38]等展开了基于非下采样剪切波变换结合隐马尔可夫树模型的算法研究，但是因为子带内及子带间的联系较少，所以导致图像信息缺失；邓立暖和尧新峰[39]提出基于非下采样剪切波变换的图像融合方案，虽能基本实现图像融合，但在一定程度上改变了源图像的结构信息，无法在源图像信息之间达到平衡；刘栋等[40]提出了非下采样剪切波变换的图像融合算法，虽然达到了良好的融合结果，但是计算耗时量却很大……尽管现在已有不少学者提出了图像融合方案，但是图像在融合[10,38-40]之后，还是依然会存在融合效果差、边缘信息有所缺失、源图像的结构信息扭曲、融合适用性弱等问题.此外，再从图像色彩上进行分析:一方面，若源图像均为灰度图像，那么融合图像将无法获取色彩；另一方面，若源图像都为彩色图像，需处理的图像信息较多，融合方案必然复杂.这样看来，可以将灰度图像和彩色图像进行融合，既可以获取色彩，又可以将算法简便化.所以，本文将灰度图像和彩色图像进行基于多尺度变换的融合，先在IHS空间将色彩信息从图像总体信息中剥离，又选取NSST为多尺度分解工具，通过分解灰度信息得到高低频分量.接下来，结合小波变换，对低频分量再一次细化处理，又得到高低频分量；高频分量结合梯度计算，选取合适的高频系数.最后，通过NSST逆变换，再展开IHS变换，实现图像的最终融合.这样一来，既提升图像的融合效果，又尽量避免边缘信息缺失的问题.（3）本文主要内容本文主要内容的是基于多尺度变换的灰度图像和彩色图像融合算法.首先，在亮度色度饱和度的空间上处理源图像中的彩色图像，提取出分量、分量、分量.其次，依次对彩色图像的分量和灰度图像进行非下采样剪切波变换，分解出各自的一个低频图像和多个高频图像；对于低频图像，利用小波变换实现进一步细化处理，再把低频分量又分解为一个低频图像和三个高频图像，低频图像再依据方差值取值（值大就取较大值，值相等时取两者平方之和的开平方值），高频图像则依据模值取大方法，之后展开小波重构复原信息；至于多个高频图像，利用全局梯度的公式分别计算它们的梯度值，之后梯度值大时取较大值，但若相等则取两者平方之和的开平方值的一半，以此获取到多个融合后高频分量.最后，将融合后低频分量和高频分量进行NSST逆变换得到亮度分量，然后接着把分量、和分量进行亮度色度饱和度逆变换，以此融合出彩色图像.本文通过以上的理论和步骤实现灰度图像和彩色图像的融合，并且进行了多组图像融合以及不同算法方案的对比实验.不仅可从主观视觉效果和客观评价指标参数突出本文融合方案的优势；而且该算法还增强了子带以及子带之间的联系，保证了图像信息的完整性，获取到源图像丰富的图像信息，边缘信息也得到较好保留，进而提升了融合效果；此外也增强了源图像的适用性，医学、遥感以及多聚焦的图像都可融合.（4）本文章节分析各章主要内容如下：前言.首先，介绍了图像融合的背景以及其研究意义.其次，归纳和总结了目前国内和国外图像融合技术的发展情况与研究现况，染后提出了有关多尺度变换的图形融合技术的自我想法和创新点.最后，概述了本文主要做的研究工作和论文结构安排.1基础理论知识.主要内容为融合算法所运用的理论知识，以及图像融合的质量评价手段.首先，介绍了基于多尺度变换的图像融合方法的基本知识.其次，具体阐述了本文运用的多尺度变换基础知识与方法，包括图像的高频和低频分量、小波变换和非下采样剪切波变换三个小部分；接下来，着重阐述彩色图像融合中所使用的亮度色度饱和度（IHS）变换；最后，对图像融合质量评价方法进行介绍，其中包括主观评判法和客观评判法两个方法.2基于多尺度变换的图像融合算法.首先，介绍了基于多尺度变换的高频融合过程和低频融合过程；其次，详细描述本文图像融合算法的具体流程；最后，研究图像的融合结果，从三个不同图像集（医学、遥感、多聚交）具体分析，再通过图像融合质量评价方法进一步得出图像融合的分析结果.3结论与展望.对所有实验结果进行了总结，通过实验结果评价所提出的图像融合算法，并指出下一步工作.

1基础理论知识1.1基于多尺度变换的图像融合图像融合技术中，基于多尺度变换的方法能够实现在多尺度空间上提取图像信息，同时该方法会考虑到多尺度以及多方向上的因素，此外其能解决小波变换中的局限性，会根据源图像的需求去改变基函数的支撑区间.图1-2为基于多尺度变换的图像融合方法的过程图.图1-1基于多尺度变换的图像融合方法Fig.1-1ImageFusionmethodbasedonMulti-scaletransform由图1-1可清楚地了解到多尺度变换的图像融合方法.其具体有以下步骤：首先，从数量上来看的话，进行融合的源图像应该是两张及两张以上；从色彩上来看的话，进行融合的源图像既可以都是灰度图像，也可以都是彩色图像，甚至还可以是灰度图像与彩色图像的结合.其次，选取恰当合适的多尺度分解手段，常用的有瘠波变换、轮廓波变换、非下采样轮廓波变换、剪切波变换、非下采样剪切波变换等.在此之后，源图像就会被拆分为多个不同的子带系数，一般将这些系数概括为低频子带系数和高频子带系数，接下来便可依据图像特征选取不同的融合规则进行组合，进而去融合相应的子带图像，传统方案的有模值取大规则、平均取值规则、方差取值规则和局部信息规则等，当然近年来也产生了稀疏表示、梯度分析、字典学习等新规则.最后，进行多尺度重构，即将融合之后获取到的融合系数展开系数重构，得到最终的融合图像.1.2多尺度变换基础理论1.2.1图像的高频和低频分量空间频率就是图像的频率，空间频率也是亮度在单位长度中周期性变化的次数的表达.它是灰度变化强度的一个指标，是二维空间灰度值的梯度.在特殊情况下，如果只考虑图像的一行或一列信息，那么该图像就可以被视为一维空间中的信号.但在实际情况下，图像是二维空间的信号，那么图像的高低频分量就是度量该二维空间中各个位置之间的空间频率的参数值.图像的高低频分量图详细可见图1-2.图1-2图像的高低频分量Fig1-2Thehighandlowratecomponentofanimage（1）图像的高频分量在图像中，灰度值发生强烈变化的部分就是高频分量，也就是我们常说的边缘或者轮廓等细节信息.如果我们现在去看一张有一行字的纸，那么我们首先会关注到纸上的这一行字，而不是关注其他部分.在这个例子中，白纸上的文字就是图像中的高频分量，足以说明人们在观察图像时，在低频和高频分量中，会更加关注高频分量.（2）图像的低频分量按照之前对图像中的高频分量的叙述，对应的，灰度值度变换平缓的部分就是图像中的低频分量.但由于低频分量只是图像的大部分信息，缺少图像的高频分量，故而仅依据低频分量时只可以模糊地看出图像的大体信息.通过高频分量中所举的白纸文字的例子，便能知道白纸的图像信息大多都是在低频分量中展示的.这样看来，若是想要综合度量某一个图像的信息，便可以首先依据其中的低频分量.1.2.2小波变换的基础知识图像经小波变换之后，通常除少数系数外，大部分系数都为零或接近于零.这样处理之后，就很有利于做图像的压缩编码，从而使得在计算机上处理图像更为容易.此外，小波变换[5]（WT）是一种不同的变换分析方法，它是一个迅速发展的数学领域的全新版块.(1)连续小波变换的基本原理在一个很小范围内产生的波便是小波.小波函数的具体数学定义为：函数为一平方可积函数，即具备条件，若其傅立叶变换满足条件： 这时，则称为一个基本小波函数或小波母函数，并称上式为该小波函数的满足式.之后再将基本小波函数进行伸缩处理和平移处理，便能够得到对应的函数族： 则称为具有尺度参数和平移参数相关的小波基函数.其中，为尺度参数(也称为伸缩参数)，则为平移参数.需要特别注意的是，和都是连续变化的值.接着将任意空间的函数在小波基下展开，得到函数的连续小波变换CWT，其表达式为： (1-1)式中，为小波基函数的共轭函数.(2)离散小波变换的基本原理不论在哪一方面，理论分析和理论研究方法不同于现实中的应用.在计算机应用中，必须离散化连续小波，这里的离散化是针对连续连续信号、尺度参数和连续平移参数，而不是针对时间变量的，是通过对连续小波基函数进行离散化处理得到的.将尺度参数按照幂级数进行离散化，即取(其中为整数，，一般取)，对应的位移参数间隔取值为，从而可以得到离散小波函数：归一化时间，可得到：总结下来的话，任意函数的离散小波变换为： (1-2)(3)小波重构在小波分解之后，图形会分散为多个小分量，此后要想复原为总信息，还必须展开对应的逆变换，也就是利用信号的小波分解的系数还原出原始信号.通常情况下，这一过程被称为小波逆变换，也常常被称为小波重构[41].图1-3是三层小波分解图，在这一幅图中为原始信息，表示近似信息，表示细节信息.由该三层小波分解图就可见重构过程为：；；.接着，小波变换可运用在图像融合技术中，图1-4为一个运用实例.图1-3小波分解图Fig.1-3Waveletdecompositiongraph (a)原始图像 (b)二次小波变换后的图像图1-4小波变换实例Fig1-4ExampleofWaveletTransform1.2.3非下采样剪切波变换的基本知识非下采样剪切波变换[38,46]在剪切波变换以及非下采样轮廓波变换的基础上提出的，它不仅吸收了小波理论的最新研究成果，而且在尺度分解工具上有了一定的改进.该变换是在传统仿射系统的基础上结合几何和多尺度，剪切波中放射系统的表达式为 (1-3)其中：，放射系统中用基函数进行旋转、剪切和平移变换，形成Parseval框架并构成了仿射系统.和两个矩阵共同决定剪切波(Shearlet)的处理方式，为各向异性膨胀矩阵，其主要目的是为了控制变换的尺度，结合了多尺度；为剪切矩阵，其主要目的是为了变换的方向，结合了几何变换.、和分别表示分解的尺度参数、方向参数和平移参数.和通常取，.同样地，剪切波变换要是想运用于图像处理中，也应该将其离散化，相关的表达式如下所示：此外，剪切波的Fourier变换可表示为NSST变换继承了NSCT变换的部分内容：一、下采样不再出现在其变换过程中；二、非下采样金字塔分解(NSP)仍然保留.但丢弃了NSCT中的非下采样方向滤波器组(NSDFB)，而是采用了特定的剪切滤波器(ShearFilter,SF).(1)非下采样金字塔分解（NSP）NSP[45]取消了对低通滤波器和高通滤波器的下采样过程，采样过程中去掉下采样，然后再对上一层的低频和高频图像进行滤波分别得到之后的低频和高频图像.首先，高通和低通滤波器需要满足公式 (1-4)其中，和分别为低通分解滤波器和低通重建滤波器，和分别为高通分解滤波器和高通重建滤波器.图像经过NSP分解后形成大小相同的低频和高频图像，为捕获图像中的奇异点，低频图像反复进行次NSP分解，最终形成大小相同的1个低频图像和个高频图像.图1-5是NSP一级分解重建示意图，频域划分示意图如图1-6所示.图1-5NSP1级分解重建示意图Fig1-5FirstClassDecompositionandReconstructionofNSP图1-6频域划分示意图Figure1-6DiagramofFrequencyDomainDivision(2)剪切滤波器(shearfilter,SF)剪切滤波器[6,45]实现了多方向分解子带.一般情况下，剪切波变换(Shearlet)中的SF是在伪极化网格中来进行的，仍然包含下采样等操作；而非下采样剪切波变换过程中，为了避免因为下采样环节导致出现图像失真的现象，运用了二维卷积运算，将其从伪极化网格系统中映射到笛卡尔坐标系，保证了图像的平移不变性，并有效避免了吉布斯现象，避免图像中因突变信息而到图像产生不连续信息.图1-7和图1-8分别为NSST的分解过程图和NSST的频域支撑基.图1-7NSST的分解过程图Fig.1-7NSSTdecompositionprocessdiagram图1-8NSST的频域支撑基图Fig.1-8NSSTratedomainsupportbasemap1.3亮度色度饱和度（IHS）变换RGB空间是生活中最常用的一个模型，其基础颜色为是红、绿、蓝，之后三种颜色按不同比例混合得到最终色彩.RGB颜色空间最大的优点就是便于分析与处理.但是缺点很多：一、三原色的相关度极强，任意颜色必定影响最终颜色.二、观测点侧重部分不同，同一颜色会有较大不同.因此，如果使用RGB空间处理图像，就会造成合成图像的彩色信息丢失、清晰度低、图像视觉效果差、画面的分辨率降低或变形.所以，可以利用线性变换或非线性变换，则可以从RGB颜色空间推导出其他的颜色特征空间[47].这样一来，便有不少学者提出了亮度色度饱和度空间.亮度色度饱和度变换是一种RGB颜色转换系统，通常在计算机上量化颜色时使用，可以有效地解决RGB空间在计算机应用中的诸多缺点.基于在亮度色度饱和度变换空间的图像融合算法应用的IHS[48-50]模型是由Harrison和Jupp[51]在1990年提出的.其中，IHS分别为亮度、色度、饱和度.由RGB空间到IHS色彩空间的转换，常用的有坐标变换法和几何推导法以及标准模型法等.其中几何推导法[6]最为经典且具有较高的分辨率和逆向还原准确的特性，所以本文采用该方法进行亮度色度饱和度变换.具体公式如下： (1-5) (1-6) (1-7) (1-8)1.4图像融合质量评价方法图像融合后，需要有相应的方法去测试图像融合的质量.这样一来，建立统一的图像融合质量评价标准是图像融合技术研究过程中的必不可少的一个步骤.总的来说，图像融合质量评价方法主要有两种：主观评价法，客观评价法.主观评判法的主要评判者是人.简而言之，就是依靠人评价融合图像效果.一般情况下，我们会召集许多人，然后让他们对融合后的同一幅图进行观察，此后做出等级评价.然而，人是有情感的，无法做到绝对的公正，故而这种方法存在着很多主观的原因，导致在评价结果的过程中必然会存在着其他因素，导致等级评价产生偏差.客观评判法的主要评判原则是一些公式等依据性条件，它不同于主观评判法，是绝对客观的，不掺杂主观人为因素.利用图像表征图像性质的各种参数值进行处理给出相应评价，是图像融合图像质量评价的重要手段.在前提情况下，先设图像、图像的大小为，、分别为图像、图像像素点的灰度值.那么，各评价指标[5,12,52,53]的定义及表达式如下：1)均值.图像的均值能反映一幅图像的平均亮度.其表达式为 2)标准差.的取值越大，融合后图像的灰度级别就越多，层次就越丰富.其表达式为 3)平均梯度.平均梯度在一定程度上可以改进图像质量的程度，其值的大小能够反映出图像细节及纹理特征的细微变化程度，所以能较好地体现图像的清晰程度.其表达式为 (1-9)其中，、分别为像元在、方向的一阶差分.4)熵.熵值反映融合图像平均信息量的多少，熵值越大，信息量越丰富.其表达式为 其中，是图像中灰度值为的概率，是图像中的灰度级数.5)空间频率.空间频率的值代表着图像空间里的总体活跃程度高低.数值越大，就说明融合后图像的效果更好.其表达式为 (1-10)其中，、分别为像元在、方向的一阶差分.6)交叉熵.交叉熵用来度量两幅图像间的差异，交叉熵越小融合效果越好.其表达式为 其中，、分别表示R、F图像中灰度值为的像素个数与总像素量之比.7)互信息.对于一幅图像，互信息值越大,说明图形包含的信息更加丰富.其表达式为 其中， 需要注意的是，、分別为源图像和的归一化直方阁，为融合图像的归一化直方图，、、代表灰度值，収值范围是.此外，图像和或的联合直方图表示为或，它们的表达式分别为 8)清晰度.清晰度表征图像对微小细节反差表达的能力，可用来评价图像的清晰程度.一般情况下，图像的清晰度值越大，图像融合效果就越好.其表达式为 (1-11)9)边缘信息评价因子.值越大，表明源图像的边缘细节信息得到了更好的保持.其表达式为 其中，边缘评价因子中的、表示图像a、b的某些显著特征，如方差、边缘信息；、则分别代表源图像a、b分别融合图像f的协方差；那么、、分别表示a、b、f的均值；至于、、分别为、、f的方差.10)边缘强度ES.ES值越大，表明源图像的边缘细节经图像融合后未发生较大的缺失.其表达式为 (1-12)11)扭曲程度.扭曲程度较好地突出了融合之后图像的光谱失真程度.其值越大，说明融合图像在光谱信息上失真度越大.其表达式为

2基于多尺度变换的图像融合算法本文主要研究的是基于多尺度变换的灰度和彩色图像的融合算法，这是一个改进算法，主要结合了非下采样剪切波变换、小波变换和梯度计算.实际上，针对非下采样剪切波变换、梯度计算以及小波变换，许多的学者都已展开了一系列的研究，且卓有成效.比如他们均是基于非下采样剪切波进行多尺度分解，但是在低频分量时则采用梯度、PCNN或模值取大等方法处理，高频分量则采用小波变换、图像特征、平均取值法等方法处理.其中，与本文最为接近的方案是:利用非下采样轮廓波变换，再结合小波变换和梯度计算方法，但是该方案的融合图像质量差，未准确考虑灰度值巨变的情况，同时某些情况下会导致边缘图像信息丢失，此外源图像适应性差.本文算法却是与众不同的，把非下采样剪切波作为分解手段，之后再结合高频梯度计算和低频小波变换，实际上就是一种新的融合算法.本文方案的具体实现如下：选取NSST为多尺度分解工具，同时结合亮度色度饱和度变换，将源图像分解出多个高频和一个低频图像.针对低频图像，采用小波变换进行处理，经该变换后再次将源图像分解为高低频分量.当中的低频子带依据方差值的大小取值，方差值大时系数取较大值，方差值相等时系数取两者平方之和的开平方值；而高频子带则使用模值取大（系数的绝对值大的话就取大值）的原则处理而.针对多个高频图像，采用梯度计算（全局梯度）的方法依次进行处理，再根据梯度值的大小和相应取值原则去选取合适系数，相应取值原则为：梯度值大时取较大值，但若相等则取两者平方之和的开平方值的一半.最后，展开非下采样剪切波逆变换和亮度色度饱和度逆变换复原图像系数，以此获取融合图像.图2-1为本文图像融合方法流程图.由该流程图可以大致看出这种新算法的流程，图中标蓝部分是本章研究的重要内容，也是算法改进和方案优异性提高的主要部分.图2-1本文图像融合方法流程图Fig2-1Flowchartofimagefusionmethodinthispaper2.1基于多尺度变换的高低频融合过程2.1.1低频融合过程(1)原理本文对图像进行非下采样剪切波变换，得到了多个高频和一个低频分量.传统的低频融合规则[54]只考虑视觉效果等，忽视了细节特征.如模值取大法和梯度加权法以及空间频率加权法等方法，虽然基本能够较好保留源图像的轮廓信息，但最终的融合效果却不尽如意.实际上，图像中的低频系数中含有较多的细节信息，这就要求我们更好得去表达图像的低频子图.在小波变换[56]中，采用该变换处理低频融合图像，将小波变换分解出来的高频和低频系数进行不同的组合，进一步去处理源图像的低频融合图像，可以更好且更深地处理图像的大部分信息，从而得到质量更高的融合图像.王健[57]等研究了小波方法与非下采样shear变换相结合的图像融合算法，但是该算法只适用于部分图像的融合，同时分解效果也不佳.所以，本文提出了小波变换结合NSST变换的图像融合算法，以此来提升图像融合适应性和多尺度分解能力.在本文中，先对源图像的低频图像进行小波变换，分解出高频分量和低频分量，之后再通过各自的特定取值方法进行处理.其中，高频分量通过模值取大方法去融合，低频分量则依据方差值大小取值，相应取值原则为：方差值大时取较大值，方差值相等时取两者平方之和的开平方值，得出融合后的新高低频分量，最后再展开小波逆变换，得到最终的低频分量.图2-2[58]为小波变换步骤图.图2-2小波变换步骤图Fig2-2Wavelettransformstepdiagram由图2-2，可知小波变换可以将低频图像再次分解为低频图像和高频图像，之后又可以对高低频图像分别进行细化处理，从而使最终融合图像包含更多源图像的具体信息，提升对整副图像综合度量.(2)融合过程具体步骤输入：图像和图像的低频图像和，分解层数输出：低频融合图像步骤一根据源图像的特征，选取合适长度以及恰当阶数的滤波器，再利用公式(1-1)、公式(1-2)和小波变换的基本原理，分别对图像的低频图像和图像的低频图像进行层小波分解；以此得到和的低频子图、，高频图像以及.步骤二针对步骤一得到的和的低频子图、，先计算出、的方差值和，再利用特定原则获取融合分量，其中的特定原则为步骤三针对步骤一得到的和的高频分量以及，结合模值取大原则，最终得到融合系数，使用的具体模值取大原则如下：步骤四利用步骤一中选取的滤波器以及步骤二与步骤三中的和的融合系数、，同时依据小波逆变换的原理，展开小波重构，最终得到低频融合图像同时将其输出.2.1.2高频融合过程(1)原理目前常用的高频系数融合规则[59]包括模值取大、能量取值和方差计算等，但它们的效果都很不佳.有的无法排除孤立噪声，从而导致选择出不恰当的系数；而有的则只考虑了局部范围的图像，未做出整体考虑，无法都顾及到每个像素所包含的独立信息.全局梯度的方法相较于传统方法，一方面可以有效保留图像的大致信息，另一方面也能够全面得去考虑图像多个子图信息.故而，本文对于多个高频子带采用梯度计算[60]（全局梯度）的方法展开处理，该方法顾及到每一范围的子带都，未忽略任何一个像素中所包含的独立信息，真正地做到图像的整体考虑，此外也能够更加细致仔细得获取到源图像中的信息，完整得表达图像.在数学领域中，梯度是表示某一函数在该点的方向导数沿着该方向取得最大值.假设二元函数在平面区域D上具有一阶连续偏导数，则对于函数上的每一个点都有一个向量那么这个向量就是二元函数在点的梯度值，符号记作或，其中称为（二维的）向量\t"/item/%E6%A2%AF%E5%BA%A6/_blank"微分算子或Nabla算子.同样地，图像也可以看成是一个二维函数，其中是离散的.本文计算图像梯度时，用、分别表示该图像在和方向的梯度，具体表达式如下： (2-1) (2-2)之后为让梯度由一个值表示，便采用了以下公式，具体如下： (2-3)这样一来，就可用一个值方便地表示图像某个像素点的梯度值.之后再进行梯度值比较，依据特定原则选取图像的系数，得到最终的高频融合图像.(2)融合过程具体步骤输入：图像高频图像和图像高频图像输出：高频融合图像.步骤一采用公式(2-1)、公式(2-2)和公式(2-3)，依次去计算源图像的高频图像和的梯度值，然后分别将它们记为和.步骤二依据步骤一得到的梯度值和，然后再利用特定的取值原则，依次去选取高频图像和的系数.特定的取值的具体原则如下：步骤三根据步骤二得到最终的高频融合图像，并输出该融合图像.2.2图像融合算法具体流程输入：彩色图像和灰度图像输出：融合图像步骤一根据公式(1-5)、公式(1-6)、公式(1-7)和公式(1-8)，对彩色图像展开亮度色度饱和度变换，将彩色图像分解为三个分量，它们分别是、、分量.步骤二根据公式(1-3)和公式(1-4)以及非下采样剪切波变换的原理，再选取合适的金字塔分解滤波器和参数恰当的剪切波滤波器，分别去对彩色图像中的分量和灰度图像进行非下采样剪切波变换变换，得到各自所对应的高低频系数元胞数组和.步骤三利用小波变换的方法处理步骤二中高低频系数元胞数组和中的低频分量和，得到融合分量；采用梯度计算（全局梯度）的方法去处理和中的高频分量和，得到融合分量.步骤四把低频分量和高频分量结合，得到全新的高低频系数；再对进行NSST逆变换，得一个到分量.步骤五将和彩色图像中的未使用过的、分量一起展开亮度色度饱和度逆变换，得到最终的融合图像并将其输出.2.3图像融合结果及分析本文在MATLAB的编码环境下，按照具体的图像融合方案编写算法运行程序，详细可见附录A.其中，代码中的NSCT变换、NSST变换以及小波变换的滤波器和分解尺度因为源图像的特征而有所不同，详细参数信息可见下文中的各图像实验结果与分析中（2.3.1、2.3.2、2.3.3）.本文算法定义为SWG（基于非下采样剪切波变换，同时低频结合小波变换，高频结合梯度计算），为检验本文所提出算法的图像融合质量的好与坏，将本文方法与另外4种融合方法进行了对比.基于非下采样轮廓波分解，并结合平均取值法融合高频和低频系数（CAA）；基于非下采样剪切波分解，也结合平均取值法融合高频和低频系数（SAA）；基于非下采样剪切波分解，但低频使用小波变换，高频使用平均取值法（SWA）；基于非下采样剪切波分解，低频使用平均取值法小波变换，高频则使用梯度计算法（SAG）.为了验证本文融合方案能够适用于不同种类的图像，故又选取了三组不同类型的源图像展开图像实验.它们依次为医学图像（“Medical”，256256）、遥感图像（“RemoteSensing”，256256）以及多聚焦图像（“MultiFocus”，512512）.评估融合方法性能的重要原则可见1.4，本实验一方面利用主观评价（人眼观测图像得出分析），另一方面又用客观评价作为辅助来验证算法的可行性.选取的四个指标分别为图像清晰度（ImageDefinition，ID）、平均梯度(AverageGradient，AG)、空间频率(SpatialFrequency,SF)、边缘强度(EdgeStrength，ES).ID彰显了图像对微小细节反差的表达能力，AG则体现图像中的微小细节反差和纹理变化特征，SF表示图像中的空间像素总体活跃度，ES突出图像的边缘细节.它们具体实现可根据本文1.4中的公式(1-9)、公式(1-10)、公式(1-11)、公式(1-12).对于融合图像来说，这些评价指标都是参数值越大，表明图像融合得越好.2.3.1医学图像（“Medical”）实验结果及分析在图像集中，源图像1是体现人体组织血流和代谢功能的计算机断层成像彩色图像，源图像2是对软组织和血管清晰的核磁共振灰度图像.代码中相关变换的参数信息为:方法CAA的NSCT变换，有金字塔滤波器maxflat和方向滤波器dmaxflat7，分解尺度为4（分解方向数）.方法SAA、SWA、SAG、SWG中的NSST变换，有金字塔滤波器maxflat和方向滤波器shear_parameters（其dcomp为［3,3,3,3］，dsize为［200,200,200,200］），分解尺度为5（分解方向数）.方法SWA和SWG中的小波变换，小波基函数为db4，分解层数为4.运行代码后，可得到相应的融合结果图和评价指标参数表.图2-3是该图像集的实验效果图，最优方法的融合图像外框呈红色以便于观察.表1-1则该图像集的评价指标参数表，最优指标由粗体标示同样便于观察.由图2-3，可以看出一、通过NSCT算法基本能将源图像进行融合.二、NSST相较于NSCT的话，效果较好，左侧的边缘信息保留得比较好.三、NSST+小波变换当然更好，整个外部和内部的图像信息都更加丰富.四、经NSST+梯度计算处理之后，边缘信息表达得更加清晰，尤其是内部信息.五、本文方法不仅在颜色上，还是在整体都更好，清晰度也有很大提升，能够有效得融合医学图像.再由表1-1，将本文方法SWG与CAA、SAA、SWA和SAG相比，四个指标的参数值都增大，细节信息得到较好保留，信息突变部分也未造成信息缺失，故而本文方法SWG能将计算机断层成像彩色图像和核磁共振灰度图像完美融合.(a)源图像1(b)源图像2(c)CAA(d)SAA(e)SWA(f)SAG(g)SWG图2-3“Medical”实验效果图Fig2-3"Medical"experimentaleffectdiagram表1-1“Medical”评价指标参数Table1-1"Medical"evaluationindexparametersMethod图像清晰度ID平均梯度AG空间频率SF边缘强度ESCAA7.11755.859626.858160.3358SAA7.22146.000927.558161.9728SWA8.0756.903929.912572.072SAG9.76417.815336.48279.3271SWG10.11868.2937.298584.98192.3.2遥感图像（“RemoteSensing”）实验结果及分析在“RemoteSensing”的图像集中，源图像1是城市部分景象的多光谱彩色图像，源图像2是同一景象的全色灰度图像.代码中相关变换的具体参数信息为:一、方法CAA的非下采样轮廓波变换，滤波器有金字塔滤波器maxflat和轮廓波方向滤波器dmaxflat7，分解尺度为4（分解方向数）.二、方法SAA、SWA、SAG、SWG中的非下采样剪切波变换，滤波器有金字塔滤波器maxflat和剪切波方向滤波器shear_parameters（其dcomp为［3,3,3,3］，dsize为［200,200,200,200］），分解尺度为5（分解方向数）.三、方法SWA以及SWG中的小波变换，小波基函数为coif4，分解的层数为5.同样地，运行代码后，可得到相应的融合结果图和评价指标参数表.图2-4是该图像集的实验效果图，最优方法的融合图像外框呈红色.表1-2则该图像集的评价指标参数表，最优指标由粗体标示.由图2-4，可以看出一、源图像经NSCT变换后能够有效进行融合，但是效果不佳，比较模糊.二、NSST变换后，清晰度有所提升，左侧和上侧的边缘信息更加丰富.三、NSST+小波变换效果更佳，上下左右的图像信息都更加丰富.四、经NSST+梯度计算处理后，图像整体的清晰度增强，尤其是高桥附近的图像信息.五、本文方法，使图像更亮，小的建筑物都能够清晰得表达出来，遥感图像能够有效融合.由表1-2可值，最终图像的清晰度ID值增大，对微小细节反差表达的能力得到了提升；平均梯度AG值也增大，更加突出图像细节及纹理特征的细微变化程度；空间频率SF也一样，参数变大，这说明融合图像空间里的总体活跃程度有所提高；边缘强度ES同样变大，使图像的边缘细节变得更加丰富.表1-2“RemoteSensing”的评价指标参数Table1-1Evaluationindexparametersof"RemoteSensing"Method图像清晰度ID平均梯度AG空间频率SF边缘强度ESCAA10.54768.297218.641181.9758SAA10.6198.55318.987685.2959SWA10.75888.693419.168586.9863SAG19.327215.127834.8053147.336SWG19.377215.186734.8588148.1557(a)源图像1(b)源图像2(c)CAA(d)SAA(e)SWA(f)SAG(g)SWG图2-4“RemoteSensing”的实验效果图Fig2-4ExperimentaleffectDiagramof"RemoteSensing"2.3.3多聚焦图像（“MultiFocus”）实验结果及分析在“MultiFocus”的图像集中，源图像都是两个杯子图，源图像1是左侧杯子模糊但右侧杯子清晰的彩色图像，源图像2则是左侧杯子清晰但右侧杯子模糊地灰度图像.代码中相关变换的具体参数信息为:一、方法CAA的非下采样轮廓波变换，滤波器有金字塔滤波器maxflat和轮廓波方向滤波器dmaxflat7，分解尺度为4（分解方向数）.二、方法SAA、SWA、SAG、SWG中的非下采样剪切波变换，滤波器有金字塔滤波器maxflat和剪切波方向滤波器shear_parameters（其dcomp为［3,