基于稀疏表示的图像融合

基于稀疏表示的图像融合哈尔滨工程大学计算机学院2016.11.12研究背景及意义传统的图像融合方法图像的稀疏表示理论一种基于字典学习的图像融合总结一研究背景和意义1图像融合的定义

信息融合技术是指利用计算机技术，对按时序获得的若干传感器的观测信息，在一定准则下加以自动分析、综合，以完成所需的决策和估计任务而进行的信息处理过程。

图像融合作为多源信息融合的一个重要的分支，是综合了图像处理、计算机视觉和模式识别等多学科的处理技术。其主要思想是将不同模式下的同一场景的图像信息，通过合适的融合规则，获得更为精确、全面、可靠的图像表达。2图像融合主要应用1）多聚焦图像融合

因为成像系统有限的聚焦范围，因此在同一幅图像中，往往会出现除聚焦良好的物体外，距离该物体前后的所有目标都会不同程度的呈现出模糊。源图像A源图像B融合后的图像C2）多传感器图像融合

在医学领域，CT能够扫描出骨骼致密的结构，有良好的视觉效果，但对软组织分辨率不高。MRI对软组织能够提供详细的信息，分辨力较高，但是对致密结构的分辨率低。那么，如果能把CT图像与MR图像进行融合，就能够提供更加全面的、更加准确的医学影像信息。CT图像MRI图像融合后的图像3）时间序列图像融合

在交通领域，数据和图像的融合对于交通安全监控起着重要的作用。由于受到环境条件以及检测器的固有特性等因素的限制，如果只利用单个类型的检测器进行图像信息的采集，获得的数据往往并不完善。通过多层次的处理数据和图像融合技术，获得的信息会更加丰富，更加准确。4）遥感多源图像融合

在遥感领域中，三个传感器提供的颜色信息包括红色、绿色和蓝色光谱波长，这些传感器仅具有少量的像素，并且小的目标物和细节是被隐藏的，这些小的目标物和细节能够采用不同的传感器来观察得到，这类传感器具有大量的像素但是不具有颜色信息，然而通过融合技术可以实现同时具有高空间分辨率和颜色信息的独特的图像，也就是遥感图像的融合技术。二传统的图像融合方法

目前的图像融合技术大致可以分为两大类：基于空间域的图像融合和基于变换域的图像融合。 1）基于空间域的图像融合是直接在图像的像素灰度上进行融合，融合成灰度值。包括最大值/最小值选取、加权平均、基于统计的图像融合以及基于神经网络的图像融合。 2）基于变换域的图像融合是对待融合的源图像进行图像变换，然后对变换后的系数应用一定的融合规则进行融合，包括IHS变换、PCA变换以及小波变换等。

在许多的算法中，这两种方法是相互结合的。目前，基于变换域的图像融合方法是研究的热点。1基于IHS变换的图像融合 IHS变换（强度-色度-饱和度变换）是把具有红，绿，蓝通道的多光谱图像或者全色图像变换到强度，色度和饱和度三个独立分量。

强度I分量是亮度的测量，0表示黑色（没有亮度），1表示白色（全亮）。

色度H是颜色，饱和度S是颜色的数量，0表示灰色（没有颜色），1表示全色。以亮度I，色度H，饱和度S作为彩色图像的三个属性具有两个基本优点： 1）能够从标准的RGB图像中有效的分离出空间信息（I）和光谱信息（H,S）。 2）H分量和S分量的处理方式与人眼感受色彩方式接近。

以全色图像和多光谱图像融合为例，来给出基于IHS变换的图像融合步骤： 1）将全色图像与多光谱图像进行配准和重采样，使多光谱图像与全色图像具有相同的像元分辨率和空间几何位置，然后将多光谱图像的三个波段映射到RGB空间，然后进行IHS变换，得到相应的强度I,色度H和饱和度S三个分量。 RGB到HIS变换公式如下所示：

2）将全色图像与多光谱图像经过IHS变换后得到的I分量经过直方图匹配，用全色图像代替I分量，得到新的I分量。 3）用得到的新的I分量代替多光谱图像的I分量，并和多光谱图像的H分量，S分量一起进行IHS逆变换，最后得到融合结果图像。 IHS到RGB的逆变换公式如下所示：IHS变换的不足：1）该融合算法要求替代I分量的图像与I分量之间有较大的相关性。但是在许多的实际场合，这种要求并不能得到满足，如果二者的相关性很低，则很难得到理想的融合效果。2）扭曲了源图像的光谱特性，产生了光谱退化的现象。2基于小波变换的图像融合

由于小波变换具有良好的时域和频域特性，可以将输入图像变换为一系列不同方向以及不同分辨率的子带图。此类子带图往往可以分为高频子带图和低频子带图。

一般来说，小波变换得到的高频子带图表示了原始图像中的细节信息，如边缘、纹理和突变等；低频子带图往往反映了图像中的近似信息，如轮廓区域等。因此可以根据小波变换后得到的图像的不同性质，采取不同的融合规则对其进行融合，从而最后得到的融合图像中将会体现原始图像在不同频率域下的不同特征。

小波变换具体融合过程如下： 1）利用小波变换将多个待融合图像进行变换，从而获得原始图像的高频子带分量和低频子带分量； 2）将上一步得到的高频分量和低频分量利用合适的融合规则进行融合，分别得到不同分类的融合子带图序列； 3）利用小波逆变换对融合得到的子带图序列进行重构，从而获得融合图像。第三步融合得到的高频子带分量和低频子带分量可以经过下式得到最终融合后的图像：3图像融合的评价指标1）主观评价

图像的主观评价是站在观察图像者的角度上，用人眼对图像的视觉效果做出相应的评价。人眼在观察融合图像时会由于个人的视觉差异，知识背景以及心理因素的影响而得到不同的评价结果，具有片面性和可重复性等缺点。因此，不能单依靠主观评价来衡量融合图像。2）客观评价

客观的评价是通过建立相关模型来对融合图像和参考图像等进行比较，以反映融合方法性能的客观价值，它能够有效地克服主观评价中个人的主观臆断，能更好的评价融合图像的质量。目前，图像融合的客观评价指标并没有一个统一的标准，因为有些融合图像本身就不存在有标准图像，所以无法有一个准确的图像作为质量好坏的参考。

根据待融合图像有无标准参考图像，可以将客观评价指标分为两大类：一类是无需参考图像的评价指标，主要有信息熵，互信息量，空间频率，结构相似度，平均梯度；另一类是需要参考图像的评价指标，主要有交叉熵，均方根误差，相关系数。三图像的稀疏表示 1稀疏性理论的提出及图像融合的应用

近年来，通过研究脑神经发现，当有信号(图像、声音等)刺激大脑时，人类大脑只利用一小部分神经元对输入的信号进行表示，既只提取了信号的关键特征，对冗余复杂的信号进行了简单的表示，学术界将人类大脑的这一功能特征称为稀疏表示。

图像融合是把来自不同传感器的多幅图像融合为一幅图像，来获取对场景更为准确和清晰的表示，从而更加适合人类的视觉感知和后续的图像处理。

传统的图像融合方法随着数据量的不断增大，给信号的存储和传输带来了巨大的压力，而压缩感知理论所提出的新的数据获取方式有效地解决了这一问题。因此，压缩感知理论的研究受到了越来越多的关注。稀疏性是目前压缩感知理论中应用最广泛的信号结构。2稀疏表示理论的基本原理

2.1稀疏性的基本原理：

稀疏表示理论的主要思想是利用少量的字典原子来线性描述自然信号。由于其能很好的稀疏表示自然图像，因此近年来稀疏表示已经被广泛地应用于各个领域。

设矢量空间F的维数为M，是线性空间F中的一组向量，且满足 1）线性无关； 2）F中任何一个向量x∈F都可由线性表示，即

其中，是x在矢量向量的展开系数。令则上式可以表示为：其中称为稀疏系数

称为字典矩阵，为字典原子。 1）若m<n，则称D为欠完备字典，即x有可能无法由字典有效的表示； 2）若m=n，则称字典D为完备字典； 3）若m>n，则称字典D为过完备字典，且θ有无穷多解。

2.2稀疏度：

在使用过完备字典对信号进行表示的时候，对于某一特定的信号能否较好地进行稀疏表示通常可以用稀疏度来度量K。而系数的稀疏度通常采用0-范数来定义，即在一个系数向量中不为零的系数数量越少，信号越稀疏。在式x=Dθ表示为当θ中的大部分值为零且只有少部分数值K为非零时，称式x=Dθ为信号的稀疏表示数学表达式。则稀疏表示问题可以描述为：

其中，其中K为稀疏度。

2.3稀疏性的意义

一个K稀疏的信号能够通过保留非零系数的值和位置来进行有效的压缩,这一过程称作变换编码

从一般的角度来考虑，稀疏性（或可压缩性）已经并且继续在很多科学领域中起着重要的作用: 1）稀疏性导致有效的估计，例如，通过阈值或者收敛算法的估计质量取决于我们所希望估计的信号的稀疏性。 2）稀疏性导致高效的压缩，例如，变换编码的精度取决于我们所希望编码的信号的稀疏性。 3）稀疏性导致降维并且进行有效的建模。

2.4稀疏表示的概念

现实世界中的信号很少本身就是真正稀疏的，绝大多数都是可压缩的，即自然信号能够表示成或者近似表示成字典中的少量几个原子的线性组合。

稀疏表示最重要的思想是：在一个足够大的训练样本空间内，对一类目标，可以由训练样本中的同类样本子空间来线性表示，所以在当目标是整个样本空间中进行表示时，其表示系数是稀疏的。

稀疏表示所解决的问题是寻找信号的最紧凑的表示，该表示是信号在过完备字典中的原子的线性组合，因此设计更好的适合源图像的过完备字典是一个主要的任务。与基于变换域或空间域进行处理的方法相比，稀疏表示则为更有效的信号建模提供了更佳的性能。

稀疏表示主要研究三个方面的内容： 1）解决优化问题的追踪方法。如匹配追踪（MP）和正交匹配追（OMP）。2）字典的设计。如K-SVD方法。3）稀疏表示针对不同任务的应用，如信号的修复，去噪，分类，融合等。

2.5稀疏线性表示的求解

稀疏信号可以表示成基或过完备字典中的几个基原子的线性组合，一个有效的稀疏线性表示可以由贪婪算法（如MP算法、OMP算法）或凸优化的方法来进行正确的和有效的计算。

即使这个问题在一般的情况下是一个NP-难问题，只能在理想状况下可以重构出稀疏系数，在许多应用中所得的信号是具有一定的多样性，而且得到的稀疏字典中的原子永远只是近似的稀疏表示输入信号，不能完全稀疏表示输入的信号。因此在一般的求解过程中往往会引入一个松弛变量ε，即使得最后重构得到的信号满足一定的误差，该问题可以表示为：

其中λ对稀疏性起到了一个权衡的作用，若λ很大则意味着稀疏性误差会很大；若λ很小，那么重构信号后最终误差就会很小。

信号在过完备字典上的稀疏表示问题可以描述如下：

给定一个N×M的矩阵A，包含过完备字典的元素在它的列中，通常M>N，对于给定信号

的稀疏表示问题是找到一个M×1的稀疏表示矢量x，使得y=Ax，并且

最小，即

由于其组合优化的本质，上式是一个NP-难问题，可以通过迭代的MP或OMP算法来找到该问题的子优化问题，通过把0-范数用1-范数来代替，即上式可由下式代替，且两者的解是等同的。对于信号，稀疏表示理论表明，存在一个字典，对于任何信号x∈T，存在D中原子的一个线性组合可以很好的近似表示它。即

其中θ包含x在D上的系数，常解如下优化问题：

其中，表示θ中非0成分的个数。上述优化问题是一个NP-难问题，并且只能通过测试列的所有可能的组合来解决。因此，通常考虑用近似解来代替，最简单的方法是匹配追踪（MP）和正交匹配追踪（OMP）。

3过完备字典的构造

在稀疏表示方面，主要关注的是在给定一个字典下分解信号的追踪算法，即，构造字典，稀疏分解模型的建立。字典的构造主要目的是为了更好地提取出图像的结构特征，但是字典构造方式不同，结构特征的提取程度也不一样；建立稀疏分解模型主要是为了能够用较少的系数获取完整的图像信息，如果能够把稀疏表示特性灵活的运用到图像融合中，这样不仅可以增加融合图像的结构信息，而且还可以保证融合效果。

在过完备稀疏表示模型中，最基本的问题是字典的选择，在选择时需尽可能的符合信号自身的内在结构，设计的字典为了更好的适应上述模型，它可以从一个指定的一组线性变换中得到，或者在一个训练信号集中得到适应的字典。

具体可分为两种类型： 1）基于解析字典的方法。它是通过选择一个指定的变换矩阵来构建字典，它构造起来比较简单，所以已充分的运用在研究中，此外，在许多情况下，它也是稀疏表示评价中的简单而又快速的算法，此类方法主要有：傅立叶变换、小波变换、曲波变换以及Gabor变换等，但研究表明，通过这种方法构造的字典过分的依赖图像的几何结构特征，这将导致图像不能很好的稀疏表示，影响重建信号的准确性。 2）基于字典学习的方法。它是根据一系列训练样本来推断字典，该学习的字典一般用矩阵来明确的表示。它能够更加准确的提取出样本数据中复杂的图像特征，更好的稀疏表示图像的各种特征，具有很好的自适应性，常用的字典学习的算法有：PCA、MOD、K-SVD算法等。在生成的学习字典进行图像的稀疏表示时，不需要图像的先验知识就能够有效地捕获图像的几何结构的特征，这些方法都有一个共同的目的：找到一个字典，实现训练信号的稀疏表示。

4基于稀疏表示的图像融合算法

基于稀疏表示的图像融合算法主要是充分运用图像的稀疏表示，对源图像进行稀疏处理，但是由于稀疏表示是全局性的考虑图像，而图像融合中，主要是对源图像的互补信息进行融合，需要考虑图像的局部结构特点和信息，所以在融合处理前需要对源图像进行局部化处理，而一般选择的方式为分块处理，即对源图像采取一定的分块方式进行分块，对分块后的图像在一个过完备字典下结合稀疏分解算法求解稀疏系数，仅仅采用图像少量的非零元素进行融合，就可以得到一幅质量高，信息丰富的图像。基于稀疏表示的图像融合一般有四个核心步骤：分块处理、图像的稀疏分解、字典的构造、融合规则。

5基于稀疏表示的多聚焦图像融合算法 1）假设一幅图像I通过滑动步长为1进行n×n的重叠的分块，假设第j块图像转换成列向量形式，用表示，则

可以表示为：

其中，

它是通过稀疏分解模型求得的所对应的稀疏系数。假设一幅图像的图像块共有J块，构成了矩阵V，则矩阵可以写成：S为稀疏矩阵，则公式可以写为V=DS 2）假设有两幅待融合图像A和B，大小都为M×N，通过滑动步长为1进行n×n的重叠的分块。 3）把所有图像块转化成列向量，构成了样本矩阵，分别用表示。对于样本矩阵中的第j列分别用表示。 4）采用OMP算法求得稀疏系数，当满足逼近误差条件后停止迭代，便可求出所对应的稀疏系数，根据融合规则对稀疏系数进行融合得到最终的融合稀疏系数，通过这样的方法求得最终的稀疏系数，融合图像可以通过下式表示： 5）将融合图像的各个列向量按原来重叠分块时的顺序重新排列成源图像像素位置的值，最后的到重构图像F。四基于字典学习的图像融合

许多信号可以在特定的基上进行稀疏表示，如可以在小波基上表示自然信号，Garbor基上表示声音信号等。但是对于一些复杂的类信号，不可能找到一个可以有效的表示整个类信号的基，那么就必须使用过完备字典。利用包含典型信号原子的过完备字典，信号能够描述成这些原子的稀疏线性组合。过完备字典的选择对于稀疏表示具有很重要的作用，其是否可以更好的稀疏表示源图像，对融合结果有着很重要的影响。

选择过完备字典的方法主要有两种： 1）使用一个预先设定的变换矩阵，如过完备小波变换，轮廓波变换，曲线波变换，离散余弦变换，短时傅里叶变换等。此类稀疏字典基本都是固定的，但不同的自然图像会包含不同的性质，若是用固定的稀疏字典去稀疏表示，并不能使不同种类的图像达到较好的稀疏效果。 2）基于训练的方法来设计字典，比如MOD，PCA和K-SVD。此类方法根据图像自身的特性，通过学习或训练字典中的原子，使其能更加稀疏的表示原始图像。因此，基于训练的方法所得到的字典通常比固定的字典具有更加优越的性能。1K-SVD算法 K-SVD算法是Aharon和Elad在2006年开发出来的，是一种基于学习的字典训练方法，在字典的更新过程中采用了奇异值分解（SVD）和K均值聚类算法，故称为K-SVD算法。 K-SVD算法训练字典在每次迭代中，经历了两个不同的阶段：一个是稀疏编码阶段，其本质固定字典D，利用OMP、BP之类的算法对其进行求解，得到稀疏系数θ，且每个稀疏系数矢量的非零个数不超过K；第二个阶段是更新字典原子阶段，该阶段循序地更新每一个字典原子，改变其系数的值，使得字典能够更好地表示信号。2K-SVD算法描述输入参数：数据样本输出结果：字典D算法过程：

①初始化：设置初始字典

②重复以下过程直到满足收敛（即最后的误差小于逼近误差ε） 1）稀疏编码：对于每个样本，i=1,2….,N，可以使用贪婪算法（MP、OMP）进行计算下式来求得其稀疏表示 2）字典更新：对中的每一列k=1,2,…,K进行如下更新： a.计算误差矩阵

b.保留和中的非0位置，中只保留和

中的非0位置的值相乘得到的项，得到 c.运用SVD分解选取更新的字典的列作为矩阵U的第一列，更新系数向量