非负矩阵分解在图像融合中的应用研究1课件

1、非负矩阵分解在图像融合中的应用研究主要内容1.绪论3.图像融合的常用方法研究5.基于信息熵约束和NMF的红外和可 见光图像融合2.图像融合的研究内容和评价方法4. 基于非负矩阵分解的图像融合算法简介第一章 绪论1.1 图像融合的概念图像融合是一门综合了多传感器、图像处理、信号处理、计算机视觉和人工智能等多种学科的现代高新技术。图像融合可以将两幅或多幅图像的信息综合到一幅图像中，使一幅图像能够更完整、更精确地体现两幅或多幅图像中的信息，使人们能够更加准确地加以判断或改善单一成像系统所形成的图像质量。负责人：吴俊超、刘刚 1.2 图像融合的作用 图像增强 特征提取 去噪 目标识别与跟踪1.3 图像

2、融合的目的图像融合不是简单的叠加，它产生的是新的蕴含更多有价值信息的图像，即达到l+12，甚至是远大于2的效果。图像融合既可以融合同种传感器得到的图像，也可用来融合不同类型传感器得到的图像。 2.1.2 特征级图像融合 特征级图像融合属于中间层次，它先对来自各传感器的原始信息进行特征提取（特征可以是边缘、方向等），然后对特征信息进行综合分析与处理。提取的特征信息一般应是像素信息的充分统计量，然后按特征信息对多传感器图像数据进行分类、汇集和综合。典型的特征信息有线型、边缘、纹理、光谱、相似亮度区域、相似景深区域等，最后实现特征的融合与分类。特征级融合处理的结构如图2.2所示。 2.1.3 决策级

3、图像融合 决策级图像融合是一种高层次融合，其结果为指挥控制决策提供依据。在这一层次的融合过程中，首先对每幅传感器图像分别建立对同一目标的初步判决和结论，然后对来自各传感器的决策进行相关处理，最后进行决策级的融合处理，从而获得最终的联合判决。决策级图像融合结构图图2.3所示。 对图像的观察者而言，图像的含义主要包括两个方面：一是图像的逼真度，另一个是图像的可懂度。所谓图像的逼真度是描述被评价图像与标准图像的偏离程度，通常使用归一化均方差来度量，而图像的可懂度则是表示图像能向人们提供信息的能力。 2.2.1 基于图像自身特性的评价指标 为了定量评价融合图像的效果和质量，在许多时候，由于没有标准图像

4、，需要对单个图像的效果进行估计，以下三个评价指标可以定量评价融合图像的效果和质量。 2.2 图像融合的性能评价2.2.2基于于融合图像和源图像之间关系的评价指标 在融合时，存在有参与融合的源图像或者有标准的参考图像，这就可以通过融合图像和源图像或者标准图像之间的一些关系来评价融合图像的效果。评价图像融合效果的指标还有：2）互换信息量MI（Mutual Information）3）均方误差MSE（Mean Square Error）4 ) 均方根误差RMSE（Root Mean Square Error）5 ) 信噪比PSNR ( Signal-to-Noise Ratio)评价指标的选取 图像

5、融合效果指标的选取主要是根据融合目的进行选取，图像融合的目的主要有：去噪、提高分辨率、提高信息量、提高清晰度。基于于融合图像和源图像之间关系的评价指标3.1.1 简单的图像融合方法加权平均法像素灰度值选大(小)图像融合算法3.1.2 基于塔形分解的图像融合方法基于拉普拉斯塔形分解的图像融合方法图像的对比度金字塔变换和比率金字塔变换3.1.3 基于小波变换的图像融合方法实验结果与分析1)多聚焦图像的融合2)医学图像融合3)红外与可见光图像融合多聚焦图像的融合多聚焦图像的融合多聚焦图像的融合多聚焦图像的融合实验结果表明基于塔形分解和小波变换的融合图像的清晰度要好于基于简单图像融合方法的融合图像，而

6、且综合性能指标也比较好。其中拉普拉斯塔形分解融合方法图像熵值明显高于其它融台方法，其标准差、平均梯度等性能也很好。采用小波变换融合方法其综合性能指标与拉普拉斯塔形分解融合方法的性能较为接近，融合的效果也比较好。因此，对多聚焦图像采用拉普托斯塔形分解融合方法及小波变换融台方法效果较好。医学图像融合医学图像融合红外与可见光图像融合红外与可见光图像融合红外与可见光图像融合红外与可见光图像融合实验结果表明采用比率塔形分解融合方法、小波变换融合方法显示图像信息熵、均值、标准差和平均梯度等性能都比较好。另外，实验数据也显示采用灰度值选大融合方法均值明显高于其它融合方法，但其它三个指标却低于比率塔形与小波变

7、换分解融合方法。因此，对红外和可见光图像融合采用比率塔形分解融合方法、小波变换融合方法综合性能指标高，图像融合效果较好。第四章 基于非负矩阵分解的图像融合算法简介4.1 非负矩阵分解的理论基础 非负矩阵分解(Non-negative Matrix Factorization)是目前国际上提出的一种新的矩阵分解方法。它是在矩阵中所有的元素均为非负数约束条件之下的矩阵分解方法。该方法在各个科学研究领域中都得到非常重视，这是因为：一方面，科学研究中的很多大规模数据分析方法需要通过矩阵形式进行有效处理，而NMF思想则为人类处理大规模数据提供了一种新的途径；另一方面，NMF算法相较于传统的一些算法而言，

8、具有实现上的简便性，分解形式和分解结果上的可解释性，以及占用存储空间少等诸多优点。 在科学文献中，讨论利用矩阵分解来解决实际问题的分析方法很多，如PCA(主成分分析)、ICA(独立成分分析)、SVD(奇异值分解)、VQ(矢量量化)等。在所有这些方法中，原始的大矩阵V被近似分解为低秩的V=WH形式。这些方法的共同特点是，因子和日中的元素可为正或负，即使输入的初始矩阵元素是全正的，传统的秩削减算法也不能保证原始数据的非负性。在数学上，从计算的观点看，分解结果中存在负值是正确的，但负值元素在实际问题中往往是没有意义的。例如图像数据中不可能有负值的像素点；在文档统计中，负值也是无法解释的。正是如此，N

9、MF方法在解决实际问题时受到特别的关注。负责人：李帆、陈浩宇 NMF是一个很有效的算法，它力图在大规模的矩阵数据中发现具有解释功能的关系，相比当前的其它算法来说，使用NMF算法是非常精确和快速的。在众多应用中，NMF能被用于发现数据库中的图像特征，便于快速自动识别应用，下面是一些具体描述：文本聚类语音处理机器人控制生物医学工程和化学工程图像分析此外，NMF算法在环境数据处理、信号分析与复杂对象的识别方面都有着很好的应用。4.2.1 非负矩阵分解理论描述己知非负矩阵V，寻找非负矩阵因子W和H，使得： 即给定n维数据向量的集合 ，其中m为集合中数据样本的个数，这个矩阵可以分解为矩阵 ，和矩阵 的乘

10、积。一般情况下r的选择要满足(n+m)rnm，从而W和H将会小于原始矩阵V,这样就得到原始数据矩阵的一个压缩模型。如果假设 和 是矩阵V和H所对应的列向量，则上式还可以写成列向量的形式： 。也就是说，每一个样本 可近似地看作非负矩阵W的列向量的非负线性组合，组合系数是 的分量。所以矩阵形可以看作对数据矩阵V进行线性逼近的一组基，而H则是样本集V在基W上的非负投影系数。通常可以用少量的基向量组来表征大量的数据向量，如果我们寻找合适的基向量组，使其能够代表数据之间潜在的结构关系，则会获得很好的逼近与表示效果。4.2.2目标函数对于NMF问题的求解常用的两种目标函数分别为： 式可解释为在 上加上泊松

11、噪声高斯噪声从而产生了 ，即NMF迭代算法可表示成： ( (其中 代表了噪声)，选取离散possion噪声作为占的具体表达形式，得出迭代算法为：其中式4一(4)(b)是对W的列的归一化，以避免矩阵分解中的Scaling问题。算法使得 经过迭代趋于零，从而得到了 。在每步迭代过程中采用交替梯度投影方法，即，首先固定H，对目标函数W针对缈采用梯度下降法进行迭代；然后变换W和H的角色，固定W,对目标函数针对H采用梯度下降法进行迭代，同时在算法中引入惩罚函数，以保持W的每一列的元素和为l。该算法的收敛性在已有文献中已经得到证明。由于这种算法是收敛的，且较易设计开发，实际应用效果很好。在算法的每一步迭代

12、过程中，W和H的新值是通过当前值与一些因子的乘积来获得的。在实际应用中，只要根据迭代规则重复迭代，算法一定会保证收敛到某个局部最优解。4.3 基于非负矩阵分解的图像融合算法 图像融合中，参与融合的观测图像本质上就是真实图像通过不同传感器所成的像。此过程中，同时也引入了热噪声或者其他类型的噪声。 在NMF算法中，假设V=WH+（为噪声），通过迭代算法使得噪声趋于收敛，这一过程恰恰与图像融合的过程相吻合。 所以有理由假设观测图像V可以表示为真实图像W的加权图像与噪声之和，故NMF用于图像融合能够获得较好的效果。 由NMF算法理论可知，该算法可获得原始数据V的基于部分的表示形式WH。 其中W的列数即

13、特征基的数量r是一个待定量，直接决定算法得到的特征子空间的维数。对于特定的数据集，其内部的特征空间的维数是确定的。 所以，可以将非负矩阵分解算法应用到多传感器图像融合中。 对于通过同一个传感器或不同传感器获得的K幅大小m*n的观测图像 ,可理解为部分区域受噪声污染严重，而部分基本没有噪声污染。这样通过NMF算法对K幅观测图像进行融合，就得到一幅各个区域都清晰的融合图像。 在应用NMF算法进行图像融合过程中，需对融合的K幅大小m*n的图像矩阵 进行变换，先将 的逐个元素按照行优先的方式存储到一个列向量中，得到k个列向量v1，v2，v3，vk，其中 然后将这K个列向量排列成一个mn*k的新矩阵 ，

14、V中的每一列代表一幅观测图像的信息。 设每个区域都清晰的融合图像为W，则这种运算可以表示为： ，V可以看作是对W进行现行混合而得到的一个矩阵。 对此观测矩阵V，进行非负矩阵分解，按 进行迭代分解，就得到唯一的特征基W ，W包含了参与融合的k幅图像的完整特征。将特征基W还原到源图像的像素级上，就得到了比源图像效果更好的图像。这幅图像就是利用非负矩阵分解算法的得到的融合图像。第五章 基于信息熵约束的NMF算法 在多传感器图像融合中的，红外图像和可见光图像融合是一个重要的研究方向。可见光传感器和红外传感器工作在不同的波段，二者输出的图像具有不同的灰度特征，在红外图像中出现的特征不一定出现在可见光图像

15、中。 融合的目的就是使融合图像尽可能多的包含源图像的信息。也就是说，要求融合图像的信息量最大，是可见光和红外图像融合的一个非常重要的目标。5.1 基于信息熵约束的NMF算法负责人：盛世岳、马雄将融合图像的信息熵最大化作为一个附加的约束条件，引入到NMF算法中来，称为ENMF设特征基矩阵W中一列所构成的特征图像的逐像素的信息熵为 ，将 按行优先方式排成一个列向量 。由于NMF中的约束条件是最小化，而图像的信息熵目标要求是最大化，故采用信息熵的倒数 来表示信息熵约束条件。算法介绍将4-(3)式的目标函数修改为新的目标函数：其中， 是调整参数。对应的NMF迭代算法中4-(4)修改为：对于同一场景的红外和可见光图像，取r=1，利用5- (2)式的