矩阵分解及其应用

1、96矩阵论课程论文 题目： 矩阵分解及其应用 学院专业学号姓名任课老师电话 电子科学与工程学院 电子与通信工程 1216022708 李影 赵礼峰 摘要：本文主要归纳和总结了代数学中的矩阵分解理论及理论应用。根据本学期所学知识，本文把矩阵分解分为三角分解、正交三角分解、奇异值分解和满秩分解。在论文中对相关理论进行了简要的说明与描述，并在应用方面，展示了矩阵分解在一些常见领域的重要以及广泛的应用。关键词：矩阵分解，应用，三角分解，满秩分解，奇异值分解。一、 引言在有限维线性空间中，线性变换问题可以转化为矩阵问题进行讨论。因此，将一个矩阵分解为若干个特殊矩阵的乘积意味着将一个线性变换分解为若干个特

2、殊线性变换的乘积。矩阵的三角分解、正交三角分解、满秩分解及奇异值分解是将矩阵分解为形式比较简单或性质比较熟悉的一些矩阵的乘积，这些分解式能够明显的反映出原矩阵的许多数值特征，如矩阵的秩、行列式、特征值及奇异值等。另一方面，构造分解式的方法和过程也能够为某些数值计算方法的建立提供理论依据。矩阵的分解给予了我们将线性变换转化成矩阵问题讨论的方法，将以往复杂而且性质不“好”的矩阵分解成为大家所熟知并且性质“好”的常用矩阵的乘积。通过对常用矩阵的分析获取复杂矩阵的相关性质，这在实际的应用中也具有很大的意义。二、矩阵分解简介1. 矩阵的三角分解如果方阵A可表示为一个下三角矩阵L和一个上三角矩阵U之积，即

3、A=LU，则称A可作三角分解。矩阵三角分解是以Gauss消去法为根据导出的，因此矩阵可以进行三角分解的条件也与之相同，即矩阵A的前n-1个顺序主子式都不为0，即.所以在对矩阵A进行三角分解的着手的第一步应该是判断是否满足这个前提条件，否则怎么分解都没有意义。矩阵的三角分解不是唯一的，但是在一定的前提下，A=LDU的分解可以是唯一的，其中D是对角矩阵。矩阵还有其他不同的三角分解，比如Doolittle分解和Crout分解，它们用待定系数法来解求A的三角分解，当矩阵阶数较大的时候有其各自的优点，使算法更加简单方便。1) 矩阵的三角分解可以用来解线性方程组Ax=b。由于A=LU，所以Ax=b可以变换

4、成LU x=b，即有如下方程组：先由依次递推求得,，再由方程依次递推求得 ，. 必须指出的是，当可逆矩阵A不满足时，应该用置换矩阵P左乘A以便使PA的n个顺序主子式全不为零，此时有：这样，应用矩阵的三角分解，线性方程组的解求就可以简单很多了。2. 矩阵的QR分解矩阵的QR分解是指，如果实非奇异矩阵A可以表示为A=QR，其中Q为正交矩阵，R为实非奇异上三角矩阵。QR分解的实际算法各种各样，有Schmidt正交方法、Givens方法和Householder方法，而且各有优点和不足。下面介绍一下比较经典的Givens方法与Householder方法。1) Givens方法的QR分解Givens方法求

5、QR分解是利用旋转初等矩阵，即Givens矩阵来得到的，是正交矩阵，并且。的第i行第i列和第j行第j列为，第i行第j列和第j行第i列分别为和，其他的都为0.任何n阶实非奇异矩阵A可通过左连乘矩阵（乘积为T）化为上三角矩阵R，另Q=T-，就有A=QR。2) Householder方法的QR分解Householder方法分解矩阵是利用反射矩阵，即Householder矩阵，其中u是单位列向量，H是正交矩阵，。可以证明，两个H矩阵的乘积就是Givens矩阵，并且任何实非奇异矩阵A可通过连乘Householder矩阵（乘积为S）化为上三角矩阵R，则A= QR。这种方法首要的就是寻找合适的单位列向量去构

6、成矩阵H，过程和Givens方法基本相似，但是计算量要小一些。3. 满秩分解满秩分解也称最大秩分解，前面的QR分解是面对n阶矩阵的，而满秩分解可以处理长方阵。满秩分解是指，把秩为r的矩阵A分解成A=FG，其中F是秩为r的阶矩阵，G是秩为r的阶矩阵。满秩矩阵的解求可以通过初等变换法，但是必须经过多次求逆，所以就利用Hermite行标准形来完成。把矩阵A经过变换成为Hermite行标准形B，B的列为单位矩阵的前r列，另A的第列为矩阵F，B的前r行为矩阵G，则有A=FG。4. 奇异值分解矩阵的奇异值分解是线性代数中一种重要的矩阵分解，在最优化问题、特征值问题、最小二乘问题和广义逆问题及统计学问题中都

7、有重要的应用。对秩为r的阶矩阵A进行奇异值分解的步骤是：1). 求得的特征值，及对应的特征向量并正交单位化，得矩阵V，使得；2). 将V的前r列作为，令，再扩张成m阶的矩阵U；3). 那么。从计算过程中可以看出，矩阵的奇异值分解解求是由矩阵的特征值开始的，因此这种分解自然和特征值的问题有莫大联系的。三、 矩阵分解主要应用矩阵的分解还有很多的应用，比如可以用来求矩阵的秩，对于阶数偏大的矩阵，即使用初等变换的方法，也是计算量很大的，而把矩阵分解后可以使计算简单。再如，在线性代数中求矩阵的n次幂是很常见的，若是一板一眼的进行矩阵相乘，当n较大时计算量可想而知，况且，当n逐渐增大或是非纯数据间的运算的

8、情况下，根本就没有计算的可能，此时，矩阵分解方法的应用可以令问题变得简单而易懂。判断矩阵的正定性需要不断的计算行列式，计算量大而复杂，矩阵分解可以使之更简单直接。在广义逆问题中，矩阵的奇异值分解的作用一样不可代替。在证明的存在性时，首先就需要用奇异分解来得到一个结论：，由此得到的可以由表示，再去证明应该满足的条件就方便得多了。同时，在广义逆中，满秩分解有很多的应用。在证明A1的存在性时就需要用到Hermite行标准形来得到“对于任一的矩阵，总是存在非奇异矩阵Q和置换矩阵P，使”，之后才能构造来证明是存在的。用矩阵的满秩分解还能构造A+，若矩阵A有满秩分解，即，则可以证明有。矩阵的QR分解可以用

9、来解决线性最小二乘法的问题，也可以用来降低矩阵求逆的代价。矩阵的求逆是件不小的工程，尤其是当矩阵阶数慢慢变大的情况时，而用先把矩阵QR分解成正交矩阵和上三角矩阵，就容易多了，况且正交矩阵的转置就是逆，这一点是其他的矩阵分解无法比拟的。在解求线性方程组中，如果系数矩阵的阶数比较大，可以利用QR分解来使计算简单化。另外，QR分解考虑的是n阶矩阵，其他的矩阵是不能用这种方法进行分解，由于QR分解的这一前提条件，使得下面提到的满秩矩阵分解和奇异值分解就有了其特殊的意义。下面就矩阵的奇异值分解详细谈谈。定义 设是秩为的复矩阵，的特征值为.则称为A的奇异值.易见，零矩阵的奇异值都是零，矩阵的奇异值的个数等

10、于的列数，的非零奇异值的个数等于其秩.矩阵的奇异值具有如下性质：（1）为正规矩阵时，的奇异值是的特征值的模；（2）为半正定的Hermite矩阵时，的奇异值是的特征值；（3）若存在酉矩阵，矩阵，使，则称A和B酉等价.酉等价的矩阵A和B有相同的奇异值.奇异值分解定理 设是秩为的复矩阵，则存在m阶酉矩阵与n阶酉矩阵，使得. 其中，为矩阵的全部非零奇异值.证明 设Hermite矩阵的n个特征值按大小排列为.则存在n阶酉矩阵，使得. 将分块为 ，其中，分别是的前r列与后列. 并改写式为.则有. 由的第一式可得.由的第二式可得.令，则，即的r个列是两两正交的单位向量.记作，因此可将扩充成的标准正交基，记增

11、添的向量为，并构造矩阵，则是m阶酉矩阵,且有 .于是可得.由式可得. 称式为矩阵的奇异值分解.值得注意的是：在奇异值分解中是的特征向量，而的列向量是的特征向量，并且与的非零特征值完全相同.但矩阵的奇异值分解不惟一.证明2 设Hermite矩阵的n个特征值按大小排列为.则存在n阶酉矩阵，使得. 将分块为，它的n个列是对应于特征值的标准正交的特征向量.为了得到酉矩阵U，首先考察中的向量组，由于当i不等于j时有所以向量组是中的正交向量组.又 ，所以 .令，则得到中的标准正交向量组，把它扩充成为中的标准正交基，令则U是m阶酉矩阵.由已知及前面的推导可得，；，；从而 故有，即.求矩阵的奇异值分解.解 的

12、特征值为，对应的单位特征向量依次为.所以 .于是可得，.计算，则的奇异值分解为.在A的奇异值分解中，酉矩阵V的列向量称为A的右奇异向量，V的前r列是的r个非零特征值所对应的特征向量，将他们取为矩阵V1，则.酉矩阵U的列向量被称为A的左奇异向量，将U从前r列处分块为，由分块运算，有从而 .因此，有下列结果 （1）的列向量组是矩阵A的零空间的一组标准正交基； （2）的列向量组是矩阵A的列空间的一组标准正交基； （1）的列向量组是矩阵A的零空间正交补的一组标准正交基； （1）的列向量组是矩阵A的列空间正交补的一组标准正交基.在A的奇异值分解中，酉矩阵U和V不是惟一的.A的奇异值分解给出了矩阵A的许多

13、重要信息. 更进一步，由于，可借助于奇异值分解，将A表示为归纳这一结果，有如下定理. 定理 设，A的非零奇异值为，是应于奇异值的左奇异向量，是应于奇异值的右奇异向量，则. 上式给出的形式被称为矩阵A的奇异值展开式，对一个，略去A的一些小的奇异值对应的项，去矩阵为.则是一个秩为k的mn矩阵.可以证明，是在所有秩为k的mn矩阵中，从Frobenius范数的意义下，与矩阵A距离最近的一个矩阵.这在实际中应用广泛.例如，在图像数字化技术中，一副图片可以转换成一个mn阶像素矩阵来储存，存储量mn是个数.如果利用矩阵的奇异值展开式，则只要存储A的奇异值，奇异向量的分量，总计r（m+n+1）个数.取m=n=

14、1000，r=100作一个比较，mn=1000000，r（m+n+1）=100（1000+1000+1）=200100.取A的奇异值展开式，存储量较A的元素情形减少了80%.另外，可取，用逼近A，能够达到既压缩图像的存储量，又保持图像不失真的目的.由矩阵的奇异值分解可得可见，是矩阵的加权和，其中权系数按递减排列.显然，权系数大的那些项对矩阵的贡献大，因此当舍去权系数小的一些项后，仍然能较好的“逼近”矩阵，这一点在数字图像处理方面非常有用.矩阵的秩k逼近定义为秩r逼近就精确等于，而秩1逼近的误差最大.矩阵的奇异值分解不但在线性方程组，矩阵范数，广义逆，最优化等方面有着广泛的应用.而且在数字计算，

15、数字图像处理，信息检索，心里学等领域也有着极重要的应用.有兴趣的读者可参阅有关教科书，如Steven J.Leon 的线性代数.四、 总结矩阵的分解作用很广泛，在不同的领域都发挥着其独特的作用，只要应用得好，肯定可以使原有的问题简单而易于理解。我们知道，矩阵理论就其理论来说，对于除了数学专业的人而言，意义是不大的。纯理论的学习是枯燥而乏味的，只有和是具体问题的结合才会显出它的强大生命力。单看一个定理还是推论，我们会觉得它是简单而几乎没有意义的，甚至不知道怎么去理解它以及其存在的意义，当运用到实际的领域，一方面我们可以更好的了解相关的知识，重要的是解决了具体的问题。这应该就是学习的乐趣所在。在测量平差