【矩阵分解理论在数字图像处理中的应用探究9000字（论文）】

矩阵分解理论在数字图像处理中的应用研究TOC\o"1-3"\h\u9408前言 515880一、矩阵的分解 67984（一）矩阵的和分解 625194（二）矩阵的积分解 623449（三）矩阵分块 6678二、基于非负矩阵分解的图像表示研究现状 81061三、矩阵分解理论在数字图像处理中的应用 1320583（一）数字图像处理简介 136994（二）矩阵的奇异值分解原理 1414531矩阵的奇异值 1458122矩阵的奇异值分解（ 147947（三）奇异值分解的图像性质 154278四、结语 17摘要：本文以矩阵与图像处理的知识为基础，结合一些已有的图像变换和图像加密的方法，针对图像变换和图像加密的方法做一些深入的研究和改进，争取能在图像变换和图像加密的方法上有所突破。关键词：矩阵理论；图像处理；图像加密前言在我们人类获取的信息中，大约有60%的信息来源于视觉，而视觉所见的每一个静态画面都是一幅图像。“一幅图像胜过千言万语（Apictureisworthathousandwords）"，这个谚语说明图像不仅具有直观、生动、信息量大等特点，也反映出图像在信息的传播和获取中发挥的巨大推动作用。随着图像采集设备尤其是智能手机的广泛普及，以及互联网技术的飞速发展，人们可以随时随地的将其所见所历捕捉到图像中，然后通过一些流行的图像分享网站和社交网站来分享它。据统计，著名的图像分享网站Flickr上传图像总数己经超过60亿幅，Instagram也超过10亿幅，而社交网站Facebook和QQ空间，日均上传的图像数量都远远超过了1亿幅。这些浩如烟海的图像数据给实际的存储、传输以及进一步处理都造成了相当大的困难。因此，如何根据图像的内在结构和人类的视觉特性来探索高效的图像表示方法，吸引了众多研究者的目光。图像表示是计算机视觉和机器学习领域中一个非常核心的问题，它在图像分类和聚类、图像检索、人脸识别、目标检测、图像去噪等应用中起着非常关键的作用。一个好的图像表示方法不仅能发现图像潜在的数据结构，而且能有效的提高图像进一步处理的速度。传统的图像表示方法主要关注于如何提取图像的全局特征，如，颜色、纹理和形状等，然而，这些全局特征通常对图像旋转、图像缩放以及光照变化反应敏感。与之相比，局部特征，比如SIFT（ScaleInvariantFeatureTransform），LBP（LocalBinaryPattern）等，由于可以灵活地刻画图像的局部信息和细节内容，进而对图像缩放、旋转以及光照变化有着很强的鲁棒性。因此，基于局部特征的图像表示方法在最近几年引起了广泛关注，如BoW模型（Bag-of-Words）,非负表示以及稀疏表示l等。这些方法通常是利用不同的数学表示模型，提出新的图像表示方式，进而可以表达更丰富的图像语义内容。同样的，本文从矩阵分解的角度出发，围绕图像表示方法中的矩阵非负分解和稀疏分解两个重要的研究方向，展开了进一步的相关研究。一、矩阵的分解矩阵分解运用到了数学中的“分解”和“转化”的思想.由于矩阵分解的多种情况，我们运用分类讨论的思想对其进行归类讨论，大致可以分为三个方面，即和分解、积分解以及矩阵的分块分解.（一）矩阵的和分解矩阵的和分解就是指把一个矩阵分解成有某些特定属性的矩阵的和.解决矩阵的和分解问题，经常用到的方法是利用构造的思想对矩阵加以变形，定性地构造出抽象的具体表达式来.（二）矩阵的积分解矩阵的积分解是指把一个矩阵分解成具有某些特定属性的矩阵的积.解决矩阵的积分解问题，通常是利用构造的思想，结合矩阵的变形和矩阵的某些结果，定性地构造出抽象的目标表达式.矩阵论中的矩阵分解主要是指矩阵的积分解，常见的矩阵积分解有正交三角分解、满秩分解、奇异值分解等.（三）矩阵分块常见的矩阵分解形式除了和分解和积分解之外还有矩阵的分块，即把一个大矩阵看成由一些小矩阵组成，就如矩阵是由数组成的一样.特别是在运算中，把这些小矩阵当作数来处理.矩阵的分块是处理阶数较高的矩阵时常用的方法，这过程中包含着降阶的思想，即将高阶矩阵的问题化为低阶矩阵问题，它在求分块矩阵的秩与逆时起到非常重要的作用.实现该形式的关键是：通过初等变换将原高阶矩阵Ｍ化为“分块上（或下）三角矩阵”，再由低阶矩阵来处理问题。高等代数蕴含的数学思想十分丰富，它们无不渗透到了矩阵的分解理论中，在矩阵的分解应用中也有十分广泛的应用.文中仅仅介绍了几种简单的分解形式，还有很多分解方法如对角型、标准化等等.矩阵分解不仅在矩阵理论中有着比较重要的地位，而且它还渗透到许多学科，是解决许多实际问题的有力工具.随着计算机技术的发展，用计算机语言对各种分解形式进行编程，给矩阵分解带来了极大的方便.应用矩阵的分解解决问题其技巧性、灵活性都很强，要根据矩阵特点灵活选择分解方法.需要说明的是这种处理问题的方法是值得注意的，当发现用常规的方法处理问题比较繁琐或无法解决时可尝试这样的方法，寻找合适的特征矩阵将原矩阵进行分解.

二、基于非负矩阵分解的图像表示研究现状自然图像和人脸图像等图像数据的数据矩阵往往具有很高的维度，其本质在于处于该阶段的信息加工具有被动性以及缺乏先验知识的引导造成对图像表示的颗粒过细。由此，图像在进一步的处理中会造成“维数灾难”问题，限制了对这些数据进行大规模处理的可能。因此，我们需要找到这些数据的低维表示，而且所得到的低维表示应该能够很好描述图像的潜在结构。从这个角度出发，矩阵的低秩分解方法，比如，Cholesky分解、奇异值分解（SingularValueDecomposition，简称为SVD）等方法，通常被用来寻找两个或两个以上的低维矩阵，它们的乘积是对原始数据矩阵的一个很好的近似估计。近年来，来自心理学和生理学上的证据表明，图像的表示在人类大脑中可能是基于部件的（Parts-based）。基于这个理论，Lee和Seung于1999年通过引入了非负性约束，提出了一种非负的矩阵分解方法（Non-negativeMatrixFactorization，简称为NMF），将数据矩阵分解为两个非负的基于部件的基矩阵和对应的编码矩阵。由于非负约束只允许图像通过部件的加法来重构而不允许减法，因此NMF可以得到基于部件的图像表示。例如，NMF可以将一幅人脸图像，通过眼睛、鼻子、嘴巴以及其它脸部部位相加的线性组合构成。而且，在许多现实生活的应用中，数据的表示必须是非负的，比如一个文档属于某个特定主题的概率是非负的。从图1.1的左半部分的非负矩阵分解示意图中可以看出，非负矩阵分解将数据矩阵分解为两个低秩的基矩阵和编码矩阵，这两个矩阵的乘积是对原始数据矩阵的一个很好的低秩估计。基于NMF得到的编码矩阵就是图像对应的基于部件的表示，它在人脸识别和数据聚类等实际应用中，显示了比主成分分析（PrincipalComponentAnalysis，简称为PCA）rzs]和SVD等图像表示方法更优越的性能。2基于矩阵分解的图像表示研究现状事实上，非负矩阵分解有很长一段时期被称为自形式曲线区分法（<SelfModelingCurveResolution）。该方法被用来处理在化学统计学中由连续曲线构成的数据向量。直到上个世纪90年代中期，非负矩阵分解被Paatero和Tapper等人以正定矩阵分解（PositiveMatrixFactorization）的概念，正式的提了出来。具体为，该方法是一种在拜占庭算法（ByzantineAlgorithm）中有特定应用的非负矩阵分解方法，它的局限性在于无法分析收敛性。为了克服这些缺点，Lee和Seung提出了一种简单而有效的非负矩阵分解（Non-negativeMatrixFactorization,简称为NMF）方法。它的基本思想是，利用两个分解因子的更新公式，交替优化的将输入数据矩阵X分解为两个非负的低维因子w和S（即，X=WST）.更重要的是其突出强调了基于部件表示的潜在价值。经过近几年的研究和发展，NMF自身的属性被更深入的探索。比如，基于Frobenius范数的NMF等价于松弛的K-means聚类，而基于KL散度（Divergence）的NMF是和概率潜在语义索引方法（ProbabilisticLatentSemanticIndexing）等价。依据一些研究者的统计，现有的NMF算法可以粗略的分为四个大类：基本NMF、约束NMF.结构化NMF和泛化NMF。在基本NMF算法中，研究者关注的焦点为：在只引入非负约束的条件下，如何找到在实际应用中解决非负矩阵分解问题更有效和高效的方案。由于基本NMF问题是NP（NondeterministicPolynomial）困难的，并且很难通过理论推导变成凸问题。解决该问题的基本思想是，如何构造合理的目标函数，来度量原始数据X和低秩估计WST之间的近似精度。Lee和Sueng在文[36]中提出了两种基于Frobenius范数和KL散度构造目标函数的方法，该方法首先随机初始化分解因子，然后通过采用类似于EM（ExpectationMaximization）算法中使用的求解策略去交替式地优化分解因子，最后收敛得到一个局部最优解。为了进一步提高基于Frobenius范数的NMF算法效率，Stefan等人利用球面K-means对分解因子进行初始化，但该方法可能会收敛到相对较差的局部最优解。针对这一缺点，Heiler和Schnorr成功利用凸二次规划方法对分解因子进行优化求解，并且可以得到一个较为满意的局部解，但其效率远低于前一方法。结合二次规划方法，Sandier和Lindenbaum于2009年提出了基于EMD（EarthMover'sDistance）距离度量的NMF方法[[46]。该方法在处理纹理分类和人脸识别问题时，与基于Frobenius范数的NMF的方法相比，会选择更少的基来重构图像，因此达到了更好的性能。以上方法都是基于单个目标函数的算法，Zdunek和Cichocki在文中提出了依据不同的设定参数，来自由选择不同的目标函数的非负矩阵分解方法。虽然该方法有着更广的实际应用范围，尤其是针对语音识别中的“鸡尾酒会”问题，但其应用难度与基于单个目标函数的NMF算法相比相应增加。约束NMF依据在基本的NMF框架中引入约束的不同，大致可以分为四个子类：稀疏NMF、正交NMF、判别NMF和流形NMF。原始的NMF得到的基于部件的图像表示（即编码因子S）通常是稀疏的，但由于它并没有显式的控制编码因子的稀疏性，这个稀疏解是矩阵分解过程中的边际效应，而不是预期的目标，因此在一些实际应用中通过NMF得到图像表示可能并不稀疏。为了解决这个问题，Gao和Church于2005提出了基于L2范数约束的NMF算法。具体的来说，L2约束是通过最小化图像表示的能量来优化稀疏性，因此可能会得到一定稀疏程度的解而非最稀疏解。为了克服这个缺点，Hoyer提出了一种非负的稀疏编码算法（Non-negativeSparseCoding，简称为NNSC，该方法通过引入一个L：范数和L1范数相结合的稀疏约束来控制稀疏性。由于L，范数约束的特性，NNSC算法可以得到最稀疏的图像表示。正交NMF是将正交约束加于基W或编码S上的非负矩阵分解方法。最早，Lee等人利用对基的正交性约束来最小化基向量之间的冗余，随后Ding等人于2006年明确的提出了正交NMF的概念。在非负约束的条件下，正交性必然导致稀疏性。从这个意义上来说，正交NMF可以被看成是稀疏NMF的一个特例。从模式识别的角度来看，传统的NMF算法是一种非监督的方法。在许多实际的应用中，如，文本分类和数据聚类，少量有标签的数据会有助于更好的学习和挖掘未标记数据的潜在结构。因此，为了在矩阵分解过程中进一步利用数据的标签信息，判别NMF算法受到了研究者的广泛关注。Wang等人率先提出了基于Fisher约束的监督的非负矩阵分解方法，其在矩阵分解过程中通过最大化类间散度和类内散度的比值，将监督信息引入到图像表示中。为了能够有效地利用大量的未标记数据，Liu等人开发了一种半监督的非负矩阵分解算法，该方法以硬编码的方式，强制地将标签信息引入到图像表示当中。流形NMF算法关注的是，如何在矩阵分解过程中通过引入流形约束，以便挖掘原始数据固有的几何结构。具有代表性的文章有GNMF,GSNM.LLRNMF和等。这些工作都己经证明，通过保持原始数据固有的几何结构，新的数据表示性能会得到显著的提高。事实上，以上这些不同的约束是具有互补性的。比如，实际应用通常会考虑使用稀疏约束，GSNMF算法在引入流形约束的同时也结合了稀疏约束。为了有效地利用标签信息，MRDNMF也进一步引入了判别约束。结构化NMF算法的目的是为了得到具有特定属性或结构的图像表示，粗略地可以将其分为三个子类：加权NMF、卷积NMF和Tri-NMF（NonnegativeMatrixTri-factorization）。区别于约束NMF，结构化NMF不是通过引入额外的约束作为补偿项，而是直接修改标准的矩阵分解公式。加权NMF通常被用来突出不同基向量之间的相对重要性。比如，当训练样本中存在某类样本数量远远多于其它类的情况时，矩阵分解后得到的基就会存在很大的冗余，即，相较于样本少的类，更多的基会反映样本数量占优的类的特性。针对这个问题，Guillamet等人提出了一种WNMF算法来学习紧凑和判别的基，其加权的方式是强制的使每一类样本重构误差的权重与它在训练集中所占的比例成反比。但是，这种简单的策略通常会导致算法收敛速度缓慢。为了提高收敛速度，Kim和Choi基于交替非负最小二乘算法和广义EM算法，提出了一种相对快速和可缩放的加权NMF算法，该方法在减少计算复杂度的同时也提高了分类性能。卷积NMF的概念最早被Smaragdis提了出来，并且被成功地应用于源分离（SourceSeparation）问题。这种方法是一种卷积版的基本NMF算法，主要用来分析连续性数据的潜在依赖性。从计算的角度来看，卷积NMF的优化问题在求解时可以分解成一系列基本NMF问题。从某种意义上讲，传统的NMF算法属于频域分析法，而卷积NMF算法是一种时频域分析方法。然而，该方法目前仅在音频数据分析领域有成功应用。Tri-NMF是将数据矩阵分解成为三个非负的因子矩阵分解方法。没有任何额外约束的Tri-NMF算法在实际应用中是没有意义的，因为其可以被合并成只有两个因子的基本NMF方法。在有约束的条件下，如，正交约束，Tri-NMF算法可以使数据矩阵在分解过程中具有更大的灵活性，进一步可以得到拥有新特性的数据表示。泛化NMF算法是对传统的NMF算法在广义上做了进一步扩展，如，违背了非负约束、扩展了数据类型或改变了分解模式等等，其大致可以归纳为四个子类：Semi-NMF、非负张量分解、非负矩阵集分解和核NMF。传统的NMF要求输入数据矩阵的每一个元素都必须是非负的，如果不满足这个条件，分解的结果就不能保证得到非负的图像表示。为了解决这个问题，Ding等人提出了一种对输入数据的正负性不敏感的Senu-NMF的矩阵分解算法，该方法强制约束分解的编码矩阵是非负的，而对基矩阵没有限制。这种泛化后的NMF算法，可以广泛地应用于数据矩阵存在负元素的实际情况中。传统的NMF方法在处理多路数据时，通常会丢失数据原始的多路结构。相比之下，非负张量分解（Non-negativeTensorFactorization）可以用来解决这个问题。事实上，NMF是n维的非负张量分解在n=2条件下的一个特例。而且，与传统的NMF方法不同，非负张量分解通常在很弱的约束下，比如，增加张量的阶数，就会得到唯一解。但是，非负张量分解通常需要对原始的数据进行量化处理，而这样处理会丢失许多结构信息。为了解决这个问题，Li和Zhang提出了一种非负矩阵集分解方法，其在不需要量化处理原始数据前提下，就可以直接对数据矩阵进行分解。以上提到的NMF模型都是线性的，它们都不能很好的挖掘数据中存在的非线性结构，以至于在处理非线性可分数据时无能为力。为了克服这一缺陷，基于核函数的非负矩阵分解方法（核NMF）应运而生。三、矩阵分解理论在数字图像处理中的应用（一）数字图像处理简介开宗明义，数字图像处理就是用现代手段对图像进行处理。人们对数字图像都应该很熟悉。我们在计算机上看到的图像，数码相机拍到的图像，雷达图像，人体MＲI图像等等都属于数字图像。数字图像处理是指用计算机对图像进行分析处理，以达到所需结果的技术。图像处理的内容十分广泛，具体而言，可以分为：图像获取、图像增强、图像复原、图像压缩、图像分割等。这些内容都是基于矩阵的处理得到的。下面举例介绍几个重要的应用。图像获取是图像处理的第一步。图像获取有很多方法，最常用的方法就是用传感器如数字摄像机、扫描仪等设备得到。数字图像处理的定义：我们可以将一幅图像定义为一个二维函数f（x，y），这里x和y是空间坐标，在空间坐标（x，y）上的幅值f称为该点图像的强度或灰度。对于数字图像而言，x，y和幅值f都是有限的、离散的。这样一幅图像就可以用一个二维函数来表示。模拟图像不利于计算机处理，所以我们常常将模拟图像转换为数字图像。模拟图像转化为数字图像的方式是：取样和量化。我们将x，y坐标值离散化称为取样，将幅度值f离散化称之为量化。经过取样和量化的图像是一幅数字图像。数字图像的质量很大程度上取决于取样和量化的取样数和灰度级。取样和量化的结果是一个实际的矩阵。这个矩阵可以表示为：更一般的矩阵表达方式为：图像压缩的数字图像数据压缩技术的应用，其目的是减少图像遗留在数据中的多余信息，使之得到更高效的格式存储和传输数据。可以将图象数据压缩的原因在于，数据中还有多余的信息。图像数据的冗余引起的在图像中的空间冗余，时间冗余的存在下，在不同的帧中的图像序列中，不同颜色的平面或光谱带间的相关性引起的相邻像素之间的相关性引起的频谱冗余。图像压缩是有损数据压缩可以是无损数据压缩。无损图像压缩方法的行程长度编码，熵编码方法，如LZW，有损压缩方式主要是变换编码，诸如离散余弦变换（DCT）或小波变换，使傅立叶变换，量化和熵编码方法压缩和分形压缩（分形压缩）。（二）矩阵的奇异值分解原理1矩阵的奇异值设ACm×mr，r=rank（A），λi是AAH的特征值，μi是AHA的特征值，它们都是实数。且设λ1≥λ2≥…≥λr＞λr+1=λr+2=…=λm=0μ1≥μ2≥…≥μr＞μr+1=μr+2=…=μn=0则特征值λi与μi之间的关系为：λi=μi＞0，（i=1，2，…，r）。设ACm×nr，AAH的正特征值λi，AHA的正特征值μi，称αi=λi=，（i=1，2，…，r）是A的正奇异值，简称奇异值。若A是正规矩阵，则A的奇异值是A的非零特征向量的模长。2矩阵的奇异值分解（SVD）若ACm×nr，δ1≥δ2≥…≥δr是A的r个正奇异值，则存在m阶酉矩阵U和n阶酉矩阵V，满足：其中，△=diag（δ1，δ2，…δr），△为奇异对角阵。U满足UHAAHU是对角阵，V满足VHAHAV是对角阵。U的第i列为A的对应于δi奇异值对应的左奇异向量，V的第i列为A的对应于δi奇异值对应的右奇异向量。它们的每一列均为单位向量，且各列之间相互正交。若ACm×nr，δ1≥δ2≥…≥δr是A的r个正奇异值，则总有次酉矩阵UrUm×rr，VrVn×rr满足：A=Ur△VHr，其中△=diag（δ1，δ2，…δr）。奇异值分解是一种基于特征向量的矩阵变换方法。奇异值分解是现代数值的最基本和最重要的工具之一。（三）奇异值分解的图像性质每一ACm×n矩阵的奇异值（δ1，δ2，…，δr）是唯一的，它将矩阵数据的特征与分布很明显的算了出来。一般来讲，矩阵的奇异值的分解可以作这样的一种理解：可以将矩阵ACm×n当做是一种线性变换，它在根本上将m维空间的点映射到了n维的空间。ACm×n通过奇异值的分解之后，该线性变换被分割成3个部分，分别为U、△和V，其中U和V都是标准正交矩阵，因此它们相对应的线性变换，就相当于对m维和n维坐标系中坐标轴的旋转变换。若A为数字图像，则A可视为二维时频信息，可将A的奇异值分解公式写为：在当中，ui与vi各为U与V的列矢量，δi为A的非零奇异值。因此上述公式所表示的数字图像A可以看成是r个秩为1的子图uivHi相加的结果，奇异值δi为权系数。所以Ai也表示时频信息，对应的ui和vi可分别视为频率矢量和时间矢量，因此数字图像A中的时频信息就被分解到一系列由ui和vi构成的视频平面中。由矩阵范数理论，奇异值能与向量2－范数和矩阵Frobenious－范数（F－范数）相联系。λ1=‖A‖2=max（‖AX‖2/‖X‖2）若以F－范数的平方表示图像的能量，则由矩阵奇异值分解的定义知：综上所述，数字图像A在被奇异值分解之后，它的纹理与几何意义上的信息大多都集中在U、VH之中，而△中的奇异值通常代表了图像的能量信息。性质1：矩阵的奇异值代表着图像的能量信息，因此它具有很高的稳定性。设ACm×n，B=A+δ，δ是矩阵A扰动矩阵的一个。A和B的非零奇异值分别记为：δ11≥δ12≥…≥δ1r和δ21≥δ22≥…≥δ2r。且r=rank（A），δ1是δ的最大奇异值。则有：|δ1i－δ2i|≤‖A－B‖2=‖δ‖2=δ1。通过上述阐述可以得知，图像在被小的扰动所干扰的时候，扰动矩阵的最大奇异值一般情况下都大于图像矩阵奇异值的变换。因此图像奇异值的稳定性能非常强。性质2：矩阵的奇异值具有比例不变性。设ACm×n，矩阵A的奇异值为δi（i=1，2，…，r），r=rank（A），矩阵kA（k≠0）的奇异值为αi（i=1，2，…，r）。则有：|k|（δ1，δ2，…δr）=（α1，α2，…αr）。性质3：矩阵的奇异值具有旋转不变性。设ACm×n，矩阵A的奇异值为δi（i=1，2，…，r），r=rank（A）。若Ur是酉矩阵，则矩阵UrA的奇异值与矩阵A的奇异值相同。通常在F－范数意义之下，As是在空间Cm×ns（秩为s的m×n维矩阵构成的线性空间）中A的一个将秩最佳逼近。因此可根据需要保留s（s＜r）个大于某个阈值的δi而舍弃其余r－s个小于阈值的δi且保证两幅图像在某种意义下的近似。这就为奇异值特征矢量的降维和数据压缩等应用找到了依据。四、结语前面所有的讨论都已经表明，图像压缩通过奇异值来分解的办法是有效的，具备很好的实用价值，不过还有很多有待改进之处。划分子块的划分方式上，通常采取更有效的方法来完成。例如，大型矩阵，随机抽样矩阵居较小的矩阵计算的小矩阵的奇异值，反复几次，这些小的奇异值的原始矩阵奇异矩阵逼近。操作的速度的影响因素，是比较大的SVD变换操作，可以找到一个快速的奇异值分解的变换算法。此外，如果是已知的特征空间中的图像矩阵的奇异值，一般认为，较大的奇异值和其对应的奇异向量表示的图像信号，而噪声的小的奇异值反映在和它们相应的奇异向量。选择阈值低于阈值的奇异值被设置为0（截断）是根据一定的准则，那么这些奇异值和奇异向量对应的重构图像进行去噪。考虑图像局部平稳，奇异值分解的图像块消噪保持边缘细节，所以在一定程度上。如果你仔细看，SVD去噪有方向性。据SVD图像的性质，图像块旋转SVD去噪，图像划分成不同的块，然后分别为每个图像块旋转SVD的去噪，最后的总投资组合去噪图像。因此，图像的主观质量可能已大大提高。参考文献：[1]黄淑芹,徐勇,王平水.基于概率矩阵分解的用户相似度计算方法及推荐应用[J/OL].山东大学学报(理学版),:1-7(2017-10-31).[2]刘华锋,景丽萍,于剑.融合社交信息的矩阵分解推荐方法