x第五章矩阵分析及其应用.ppt

第五章 矩阵分析及其应用,虽然在微积分开端时期贝克莱将无穷小称为“上帝的幽灵”，进而导致“第二次数学危机”，直到柯西的“极限论”和戴德金等的“实数理论”的出现危机才算彻底解决。但微积分在近代社会的巨大作用我们早已深有体会，将微积分中的极限、导数、积分、级数等分析思想和方法应用于矩阵的研究，自然就在情理之中。,对于实数和复数，由于定义了它们的绝对值或模，这样我们就可以用这个度量来表示它们的大小（几何上就是长度），进而可以考察两个实数或复数的距离。,对于 维线性空间，定义了内积以后，向量就有了长度（大小）、角度、距离等度量概念，这显然是3维现实空间中相应概念的推广。利用公理化的方法，可以进一步把向量长度的概念推广到范数。,1、从向量范数到矩阵范数,一、 从向量的长度或模谈起,，当且仅当 时，等号成立。,例 1 复数 的长度或模指的是量,显然复数 的模 具有下列三条性质：,，当且仅当 时，等号成立。,显然向量 的模 也具有下列三条性质：,例 2 维欧氏空间中向量 的长度或范数定义为,定义3 如果 是数域 上的线性空间，对 中的任意向量 ，都有一个非负实数 与之对应，并且具有下列三个条件（正定性、正齐性和三角不等式）：,则称 是向量 的向量范数，称定义了范数的线性空间 为赋范线性空间。,例 4 设 是内积空间，则由,定义的 是 上的向量范数，称为由内积 导出的范数。这说明范数未必都可由内积导出。例如后面介绍的 和 。,拓扑空间,线性空间,Hausdorff空间,赋范空间,距离空间 (度量空间),拓扑线性空间,完备距离线性空间,距离线性空间,内积空间,Hilbert空间,Banach空间,欧氏空间 和,各类空间的层次关系,二、 常用的向量范数,例 7 对任意 ，由,定义的 是 上的向量范数，称为p -范数或 范数或Holder范数。,定义的 是 上的向量范数，称为1-范数或 范数或和范数，也被风趣地称为Manhattan范数。,特别地，p = 1 时，有,例 8 对任意 ，由,遗憾的是，当 时，由,定义的 不是 上的向量范数。,因为 时，取 ，则,定义的 是 上的向量范数，称为 -范数或 范数或极大范数。,在广义实数（即将“无穷”看成数）范围内，P能否取到正无穷大呢？具体而言，如何计算这种范数呢？,也就是,例 9 对任意 ，由,证明： 验证 是向量范数显然很容易。下证 。,令 ，则有,由极限的两边夹法则，并注意到 ，即得欲证结论。,解 ：,%exm501.m i=sqrt(-1);a=3*i,0,-4*i,-12; norm(a),norm(a,1),norm(a,inf),ans = 13 ans = 19 ans = 12,这些范数在几何上如何理解呢？,例11 对任意 ，对应于 四种范数的闭单位圆 的图形分别为,特别地， 范数、 范数和 范数分别为,对于任意 ，有,当 时， ；当 时由 Hermite正定知 ，即 。,由于 为Hermite正定矩阵，故存在酉矩阵 ，使得,从而有,这里 的特征值 都为正数。,此时,因此对任意 ，,这从几何上可以理解成求可逆变换 的像的“长度” 。这说明只要运算 成立即可，因此对矩阵 的要求可放宽为列满秩矩阵。,如果 ，此时 ，这就是加权范数或椭圆范数名称的由来。,一般地，由于 是Hermite正定矩阵，从而存在Cholesky分解，即存在可逆矩阵 （未必是酉矩阵），使得 ，因此,为李雅普诺夫（Lyapunov）函数，这里 是正定Hermite矩阵。大家已经知道，此函数是讨论线性和非线性系统稳定性的重要工具。,在现代控制理论中，称二次型函数,例 14 （模式识别中的模式分类问题）,模式分类的问题指的是根据已知类型属性的观测样本的模式向量 ，判断未知类型属性的模式向量 归属于哪一类模式。其基本思想是根据 与模式样本向量 的相似度大小作出判断。,最简单的方法是用两向量之间的距离来表示相似度，距离越小，相似度越大。最典型的是Euclidean距离,其他距离测度还包括,以及与椭圆范数类似的Mahalanobis距离：,这里 是从正态总体 中抽取的两个样本。,三、 向量范数的几个性质,定理15 Euclid范数是酉不变的，即对任意酉矩阵 以及任意 ，均有,这个定理的结论是显然的，因为酉变换保持向量的内积不变，自然也保持了Euclid意义下的几何结构（长度、角度或范数等）不变。,注意这个结论对无限维未必成立。另外，根据等价性，处理向量问题（例如向量序列的敛散性）时，我们可以基于一种范数来建立理论，而使用另一种范数来进行计算。,定理16 有限维线性空间 上的不同范数是等价的，即对 上定义的任意两种范数 ，必存在两个任意正常数 ，使得,向量是特殊的矩阵， 矩阵可以看成一个 维向量，因此自然想到将向量范数推广到矩阵范数。,四、 矩阵范数的概念,定义17 对 中的任意矩阵 ，都有一个非负实数 与之对应，并且具有下列三个条件（正定性、正齐性和三角不等式）：,则称 是矩阵 的（广义）矩阵范数。,例 18 对任意 ，由,定义的 是 上的矩阵范数，称为 范数。,例 19 对任意 ，由,定义的 是 上的（广义）矩阵范数，称为 范数。,例 20 对任意 ，由,定义的 是 上的矩阵范数，称为 范数或Euclid 范数或Schur范数或Frobenius范数(F范数)或Hibert-Schmidt范数。,五、 算子范数和范数的相容性,矩阵不仅仅是向量，它还可以看成变换或算子。 实际中，从算子或变换的角度来定义范数更加有用。,定义21 对 中的任意矩阵 ，用一个非负实数 表示对于任意向量 ， 可以“拉伸”向量 的最大倍数，即使得不等式 成立的最小的数 。称 为范数 和 诱导出的矩阵范数或算子范数。,由矩阵范数的正齐性可知 的作用是由它对单位向量的作用所决定，因此可以等价地用单位向量在 下的像来定义矩阵范数，即,从几何上看，矩阵范数反映了线性映射把一个向量映射为另一个向量，向量的“长度”缩放的比例 的上界。,而且考虑到矩阵乘法的重要地位，因此讨论矩阵范数时一般附加“范数相容性”条件（这里的范数一般要求是同类的）：,注意到 即,可以证明，前面给出的矩阵范数 都满足“相容性条件”，即成立,但是矩阵范数 不满足“相容性条件”。例如对于矩阵,就有,要使矩阵范数 满足“相容性条件”，则可以修正其定义为：,在“相容性条件”中，如果 而且范数 与范数 相同时，即如果有 则称矩阵范数 与向量范数 是相容的。,证明：,定理22 上的矩阵F-范数与 上的向量2-范数相容。,根据算子范数的定义，当向量范数 分别为 时，我们可诱导出相应的相容矩阵范数 。,设任意矩阵 ，则1-范数单位球,在 下的像中的任意向量 满足,从而,如果 ，则选取 ，此时由 ，得,因此,类似地可得，,实际上，这些诱导矩阵范数具有如下的表示定理。,定理23 对 中的任意矩阵 ，有,最大列和,最大行和,最大谱,证明：,所以 是半正定Hermite矩阵,因此特征值全部为非负实数。设为,并设对应的两两互相正交且2-范数都为1的特征向量为 ，那么，对于任意的单位2-范数向量 ，必成立,由于,因此有,所以,因此成立,另外，由于 ，而且,同样给出这些范数在几何上的理解。,例 24 求矩阵 的 范数（ ），并考察对应于 的三种向量范数的闭单位球 在矩阵 作用下的效果。,%exm502.m A=1 2;0 2; norm(A),norm(A,1),norm(A,inf),ans = 2.9208 ans = 4 ans = 3,定理25 上的谱范数具有下列性质：,六、矩阵范数的一些性质,(1),设有 使 ，令 ，则有,证明：,(2),(3),设有 使 ，则,定理26 上的矩阵F-范数和谱范数都是酉不变的，即对任意酉矩阵 ，恒有,令,则,即,对于谱范数的情形，利用定义即可。,对于谱范数， 这个定理的结论可以推广到列正交酉矩阵，即 的情形，此时仍然成立,利用定理26可以证明这个推广结论。,定理27对矩阵 ， 表示矩阵 的 个非零奇异值，则,%exm503.m H=hilb(20); /Hilbert矩阵 norm(H,2)； /计算H的2范数 max(svd(H)； /计算H的2范数,ans = 1.9071,长度和距离在实分析和复分析中的应用，我们已经有充分认识，而范数是长度和距离的推广，因此范数作为一种推广的度量，由于其抽象性和概括性，其应用范围自然也随之扩展。至少在矩阵分析和数值线性代数领域，范数有着深刻的应用。,2、范数的几个应用,一、谱半径与矩阵范数,根据矩阵的诱导范数的含义，结合特征值，,设 为 的任意特征对，则,从而,这说明矩阵特征值的模都不超过它的范数。,定义27 设 的特征值为 ，称,为矩阵 的谱半径。,定理28 对 的任意矩阵范数 ，恒有,当 是正规矩阵时，等号对2-范数成立。,当 是正规阵时，有特征值分解,从而,故结论成立。,证明：,%exm504.m A=-1 1 0;-4 3 0; 1 0 2; D=jordan(A) a=norm(D,inf) /最大特征值,a = 2,定理30 对 ，存在 上矩阵范数 ，对任意 ，恒有,定理29给出了矩阵谱半径的的一个上界，那么矩阵谱半径的下界呢？,注意这里的矩阵范数与矩阵 有关。,对任意矩阵 ，存在Jordan标准型,其中 ，,证明：,令 ，则,从而,易证函数 是 上的矩阵范数，这里,例31 设 为 的单位列向量 ,令 ， 则(1) ；(2) ；(3),(1) 因为 ，所以,(2) 因为秩 ，并且 是对称矩阵，所以1是矩阵 唯一的非零特征值，因此矩阵 的特征值为 ，从而,(3),二、矩阵逆和线性方程组解的扰动分析,例 32 线性方程组,的精确解为,如果系数矩阵和常数项分别有一个扰动,则扰动后的线性方程组为,它的精确解为,显然，由于原方程组本身的固有性质导致原始数据的小扰动引起解的很大变化，我们称这样的问题是病态的（敏感的）或不稳定的。,下面定量分析系数矩阵和常数项的扰动对线性方程组解的影响。,设非奇异线性方程组 ，经扰动后仍有唯一解 ，即成立,因此,两边取范数，并缩放，得,如果有 ，则,绝对误差估计式,再由 ，可得,即,因此,这里,相对误差估计式,显然在相对误差估计式中，系数 反映了方程组解 的相对误差对于系数矩阵 和常数项 的相对误差的依赖程度。 越大，方程组解的相对误差也越大。,定义33 对非奇异线性方程组 ，称数,为求解此线性方程组的条件数。,问题是非奇异线性方程组 经过扰动后未必有唯一解，也即非奇异矩阵 经过什么样的扰动后得到的矩阵 仍然是可逆的呢？扰动对逆矩阵又有何影响？,由于,两边取范数，并缩放，得,因此,下一步需要缩放 ，由于,假定 可逆，两边取范数，并缩放，得,因此,令 ，由于,即,两边取范数，并缩放，得,如果有 ，则,下一步需要缩放 。,并且 的任意特征值 ，从而 的特征值 均不为零，因此矩阵 可逆。,定理34 对 ，若 ，则矩阵 非奇异，且,从而由定理34，得,由于 ，将条件 修改为 ，此时仍有,绝对误差估计式,即,相对误差估计式,定义35 称数,为可逆矩阵 关于求逆的条件数。,定理36 设 非奇异，且 。如果扰动矩阵 满足条件,则扰动后的矩阵 为非奇异矩阵，并且,定理37 设 非奇异，且 。如果扰动矩阵 满足条件,则非齐次线性方程组 经过扰动后的方程组 有唯一解有唯一解 ，并且,%exm504.m A1=1 0.99;0.99 0.98;b1=1;1; dA=0 0 ;0 0.01;db=0 ; 0.001; %扰动 k=cond(A1) %矩阵A的条件数 Ab1=A1 b1; UC1,ip1=rref(Ab1) %内置函数rref化矩阵为最简形 UC(:,ip1)=; %删掉主元列 x1=UC1 %余下的就是原方程组的解 A2=A1+dA;b2=b1+db; Ab2=A2 b2; UC2,ip2=rref(Ab2); UC2(:,ip2)=; x2=UC2 %扰动后的方程组的解 dx=x2-x1;rx=100*norm(dx)/norm(x1) %解的绝对误差和相对误差,k = 3.9206e+004 x1 = 100 -100 x2 = -0.1000 1.1111 rx = 100.6068,则有,这就是矩阵 的秩1 矩阵分解式 。,这里,如果将矩阵 的SVD中的对角阵 分解为,三、矩阵的低秩逼近及其应用,根据矩阵 的秩1 矩阵分解式，可以说明，在所有秩为 的矩阵中，以矩阵 离矩阵 的“距离”最近，也即矩阵 是矩阵 的最佳秩 逼近，也就是包含了 中的“能量”最多。,定理38对任意矩阵 ， 为矩阵 的SVD， ，且 这里 为 的非零奇异值，则,证明： 由 知,所以,对任意满足 的矩阵 ，存在单位正交向量 ，使得其零空间为,由维数可知，存在2范数单位向量 ，使得,设 ，则,注意到 ，因此,从几何上看，用 为长、短轴作成的椭圆是所有椭圆中离矩阵 对应的超椭圆“距离”最近的；如果使用 为轴作成椭球体，则得到所有椭球体中离矩阵 对应的超椭圆“距离”最近的椭球体。按这种方式， 步之后，就得到了 的全部信息。但即使到了第 步，我们也只利用了 个数据，即矩阵的奇异值和对应的左右奇异向量。,例 39 （图像压缩）,对于一幅用 像素矩阵 表示的图像，如果传送所有 个数据，显然数据量太大。因此我们希望传送少一些的数据，并且在接收端还能重构原图像。如果我们从矩阵 的SVD中选择 个奇异三元组 来逼近原图像，即用 个数值代替像素矩阵 。那么在接收端，我们可得到,从而在接收端近似地重构出原图像。此时，图像的压缩比为,% ex710.m load clown.mat; % clown是内置的200X320像素的图像 U,S,V=svd(X); colormap(gray); k=3; %修改k值即可 image(U(:,1:k)*S(1:k,1:k)*V(:,1:k),%exm504.m(续) A1=1 0.99;0.99 0.98;b1=1;1; dA=0 0 ;0 0.01;db=0 ; 0.001; %扰动 k=cond(A1) %矩阵A的条件数 IA1=inv(A1) %原矩阵的逆 IA2=inv(A2) %扰动后的逆 dIA=IA2-IA1; rIA=100*norm(dIA)/norm(IA1) %逆的绝对误差和相对误差,k = 3.9206e+004 IA1 = 1.0e+004 * -0.9800 0.9900 0.9900 -1.0000 IA2 = 100.0000 -100.0000 -100.0000 101.0101 rIA = 101.0126,3、矩阵序列与矩阵级数,微积分的基础是数列极限的收敛理论及其衍生出来的级数理论。矩阵可看成一个“超数”，因此类比可得矩阵序列与矩阵级数，只要找到度量两个“超数”距离的适当工具。在矩阵里，这就是范数。尽管使用给定基下的分量和元素等也可以，但明显用范数记号简洁明晰，且有助于证明。,一、矩阵序列的收敛性,定义1 设有 中的矩阵序列,这里 。,如果 ，则称此矩阵序列收敛，其极限为 ，记为,根据矩阵序列收敛性的定义，可证明下列性质。,定理2 中的矩阵序列 分别收敛于 ，则,定理3 中的矩阵系列 分别收敛于 ，则,定理4 中的矩阵序列 收敛于 ，且所有 和 都可逆，则,注意定理中条件“所有 和 都可逆”必不可少，例如下面的 不可逆，虽然 可逆，且,用矩阵的范数理论来研究矩阵序列的收敛性是最常用、最简洁的方法。,特别地，若 ，则 的充要条件是,定理5 中的矩阵序列 收敛于 的充要条件是对任意一种矩阵范数 ，都有,证明：,所以,由范数的等价性，对于 上任意一个范数 ，必存在正常数 ，使,由于向量是特殊的矩阵，因此我们有,推论1 中的向量序列 收敛于 的充要条件是对任意一种向量范数 ，都有,联想到等比数列 收敛当且仅当 ，类似地，我们有,最常见的矩阵序列是方阵的幂构成的矩阵序列。,定理6 中的矩阵 是收敛矩阵，即,的充要条件是矩阵 的谱半径小于1，即,证明：,设矩阵 的Jordan分解为,则,从而由定理3可知，,这里规定 时，,由于谱半径不易计算，联系到谱半径不超过任何一种矩阵范数，实际常用范数来判断矩阵是否是收敛矩阵。只有很难找到这样的范数，才计算出矩阵的所有特征值，进而得到谱半径。,定理7 中的矩阵 是收敛矩阵的充分条件是存在一种矩阵范数 ，使得,二、矩阵级数,定义8 设有 中的矩阵序列 ，矩阵级数指的是无穷和,称矩阵级数收敛，且其和为 ，如果其部分和序列收敛于 ，即,这是因为,显然，矩阵级数 收敛时其通项 是收敛矩阵，即,这个结果与数项级数一致。,定义9 中的矩阵级数 称为绝对收敛的，如果数项级数,都绝对收敛。这里,定理10 中的矩阵级数 绝对收敛的充要条件是正项级数 收敛，这里的矩阵范数是任意的。,同数项级数相吻合的是，判定矩阵级数是否绝对收敛可借助范数理论转化为判定正项级数的敛散性。,证明：必要性。,从而,若级数 绝对收敛，则 都收敛，故,所以正项级数 收敛。,根据范数的等价性，对任意矩阵范数，正项级数 收敛。,证明：充分性。,若级数 收敛，则正项级数 也收敛，故,所以 都收敛，即 绝对收敛，因此矩阵级数 绝对收敛。,定义11 中的矩阵级数,称为矩阵 的幂级数。这里 .,由前可知矩阵的幂级数是实变量的幂级数 以及复变量的幂级数 的推广，因此讨论矩阵幂级数的收敛性问题自然就与复变量的幂级数的收敛半径联系起来。,定理12 设幂级数的收敛半径为 ，则,当 时幂级数 收敛；,当 时幂级数 发散。,证明：,设矩阵 的Jordan分解为,则,从而,其中,这里规定 时，,绝对收敛，故矩阵幂级数 绝对收敛。,则当 时幂级数,当 时矩阵 必有某个特征值 ，从而幂级数 发散，因此矩阵幂级数 发散。,绝对收敛，故矩阵幂级数 绝对收敛。,最后讨论最特殊的诺伊曼(Neumann)级数,即,幂级数 的收敛半径是 ，并且收敛于,所以我们通过类比可以得到,定理13 上的诺伊曼(Neumann)级数收敛的充要条件是 。并且诺伊曼(Neumann)级数收敛于,定理14 对 上满足 的相容矩阵范数 ，如果 ，则有误差估计式,定理14的证明需要用到上一节的定理34，即：,定理34 对 ，若 ，则矩阵 非奇异，且,证明：,所以Neumann级数收敛。则,由于 ，由题知,两边取范数，并利用引理6，得,例 15 判断方阵幂级数,收敛，并求其和。,解：方阵 的谱半径满足,所以方阵幂级数收敛，并且,4、 函数矩阵及 矩阵,从函数的眼光看，特征多项式和矩阵序列涉及的都是特殊的函数矩阵，即元素是函数的矩阵，这就自然引出对 矩阵的研究，并进而发现它能够简化Jordan标准型的繁杂计算。,一、 函数矩阵,定义1 称矩阵 为函数矩阵，也称为矩阵值函数，其中元素 为数域 上关于实数 的实函数。,特别地，当 时 是一个函数行向量；当 时 是一个函数列向量。两者统称向量值函数。,（3）矩阵函数：初等变换，相似变换，矩阵多项式，矩阵指数函数，求特征值，求主元列，等等 定义域是矩阵或向量，值域也是矩阵或向量,函数与矩阵,（2）标量函数：行列式，秩，二次型，迹，范数等 定义域是矩阵或向量，值域是数集；,（1）函数矩阵：梯度， 矩阵等 定义域是数集，值域是矩阵或向量：,定义2 称 阶函数矩阵 是可逆的，如果有 并称 为 的逆矩阵。反之亦然。,视函数为“数”，则函数矩阵的加法、数乘、乘法、转置与常数矩阵的相应运算相同；方函数矩阵的行列式计算与常数矩阵也相同。,定义3 称 阶函数矩阵 在 上是可逆的，当且仅当 在 上不处处为零，且 这里 为 的伴随矩阵。,在 上是可逆的，但在 上却不是可逆的。,定义4 设有函数矩阵 。如果函数 在 都有极限，则称函数矩阵 在 有极限，记为,如果 ，则称函数矩阵 在 连续。,显然函数矩阵求极限的加减法、数乘、乘法等运算法则与函数极限的相应运算法则相同。,定义5 设有函数矩阵 。称矩阵 可导，如果其每个元素 都是可微函数，且导数为,定义6 设有函数矩阵 。称矩阵 的导数为满足下式的矩阵 ：,联想到普通函数 的导数 也满足下式：,定理 7 设 和 都是可微矩阵，则,这里 为可微矩阵。,遗憾的是，链氏法则对矩阵值函数并不成立。例如对矩阵多项式函数 显然,上式中，要使法则成立，显然需要补充条件,如此，对多项式函数 ，才能成立链式法则,定义8 设有函数矩阵 。称矩阵 二阶可微，如果其每个元素 都是二阶可微函数，且二阶导数为,一般地，不难给出函数矩阵的高阶导数。,定义9 设有函数矩阵 。称 在 上可积，如果其每个元素 都在 上可积，且积分为,容易验证函数矩阵的积分具有下列性质：,这里 为常量矩阵。,定理 10 设 和 都在 上可积，则,定理 11 设 在 上连续，则成立微积分基本定理：,定理 12 设 在 上连续，则成立牛顿-莱布尼兹公式：,例13 设矩阵 ，证明,因为矩阵的迹是线性函数，即,例13说明对函数矩阵A(t)而言，求导和A(t)的线性函数l(A(t)可以交换运算次序，即,二、 矩阵及其标准型,定义14称函数矩阵 为 矩阵，如果元素 为数域 上关于 的多项式函数。,定理15 矩阵 可逆的充要条件是其行列式 为非零的常数，即,定义16 如果矩阵 经过有限次的初等变换化成矩阵 ，则称矩阵 与 等价，记为,定理17 矩阵 与 等价的充要条件是存在可逆矩阵 ，使得,定理18 任意 阶的 矩阵 都必定有一个与之等价的Smith标准型 这里数 称为 的秩，记为 ，非零对角元 是首一（首项系数为1）多项式，并且,例 19 求矩阵 的 Smith标准型 ，其中,解： 对矩阵 进行初等变换，可得,不满足整除条件！,即为所求的Smith标准型。,定义20 矩阵 的Smith标准型中的非零对角元 称为 的不变因子。,这说明我们可以通过先求Smith标准型，再来确定不变因子。例19就是这么做的。,定义21矩阵 的所有非零 阶子式的首一（最高次项系数为 1 ）最大公因式 称为 的 阶行列式因子。,定理22 等价矩阵具有相同的秩和相同的各级行列式因子。,定理23 矩阵 的Smith标准型是唯一的，并且,定理23说明我们可以用行列式因子来确定不变因子，从而得到唯一的Smith标准型。但行列式因子的计算复杂，所以通过初等变换求Smith标准型显然“胜出”。在线性代数中处理数字矩阵时也是如此。,定理24 矩阵 与 等价的充要条件是它们有相同的行列式因子（或相同的不变因子）。,定义25 将矩阵 的所有非常数不变因子分解为互不相同的一次因式方幂的乘积，所有这些一次因式的方幂（相同的按出现的次数计算 ）称为 的初等因子。,例如例19中 的不变因子为,因此 的初等因子为,例26 矩阵 的 不变因子为,则矩阵 的 所有初等因子为,如果知道矩阵 的所有初等因子，能否确定相应的不变因子呢？等价矩阵的初等因子是否相同呢？,下面的两个矩阵的初等因子相同，但不变因子不相同，也不是等价矩阵，因为它们的秩不相等：,定理27 矩阵 与 等价的充要条件是它们有相同的初等因子，并且秩相等。,例 28 求矩阵 的 Smith标准型 ，其中,解： 对矩阵 进行初等变换，可得,即为所求的Smith标准型。,例28 中 的不变因子为,因此 的初等因子为,反之，如果还知道 的秩为3，则可知 的三个不变因子，进而可确定 的Smith标准型，因此也可唯一确定相应的Jordan块，即：,总结,等 价,不变因子或行列式因子相同,初等因子相同,秩相同,三、Smith标准型的应用,定理29 两个数字方阵相似的充要条件是它们的特征矩阵等价。,定义30 称 阶数字矩阵 的特征矩阵 的行列式因子、不变因子和初等因子为矩阵 的行列式因子、不变因子和初等因子。,定理31 两个数字方阵相似的充要条件是它们有相同的行列式因子（或不变因子）。,不变因子或行列式因子相同,初等因子相同,与 等价,与 相似,与 的秩都为,定理32 复数域上两个数字方阵相似的充要条件是它们有相同的初等因子。,由定理32和例28可知， 初等因子 与 阶Jordan块 存在一一对应关系。因此可利用特征矩阵的初等因子求矩阵的Jordan标准型。,例33 求矩阵 的 Jordan标准型 ，其中,解： 对矩阵 进行初等变换，可得,因此 的初等因子为,从而所求Jordan标准型为,初等因子法的优缺点都是不能求出Jordan变换矩阵。,那么 的最小多项式为,定理34 矩阵 的最小多项式 是矩阵 的第 个不变因子 ，也就是说，如果有,这里 为 的Jordan标准型 中包含 的 最大Jordan块的阶数，即指标。,例 35 求矩阵 的 最小多项式 ，其中,并求矩阵 的矩阵多项式,解： 对矩阵 进行初等变换，可得,因此 的最小多项式为,由于,因此,定理36 矩阵 可对角化的充要条件是 的最小多项式没有重根。,例 37 证明幂等矩阵一定相似于对角矩阵。,证明：由于 ，因此 是 的零化多项式。由于 没有重根，因此 也没有重根。根据定理 36，结论成立。,5、矩阵函数及其计算,矩阵函数在力学、控制理论及信号处理等学科中具有重要应用。类比普通函数，矩阵函数的特殊之处在于其自变量与因变量都是方阵。对应于矩阵函数的多种表示方式(幂级数、Jordan表示、多项式表示、积分表示等)，定义矩阵函数的方式也很多。,一、矩阵函数的定义及性质,定义1 设一元函数 可展开为收敛半径为 的幂级数，即,而矩阵 的谱半径 ，则矩阵函数 即为相应的矩阵幂级数(收敛时)的和，即,在高等数学和复变函数中，有幂级数展开式：,相应地，我们有矩阵函数：,以及含参矩阵函数：,根据欧拉公式 ，可以推出：,遗憾的是，指数运算规则一般不成立：,例如，令,有,则,可以验证 确实两两不等。,那么什么条件下指数运算规则成立呢？,定理2 如果 ，那么,证明：,而,推论 设 ，则,二、矩阵函数的计算,由矩阵函数的定义，矩阵函数的计算转化为矩阵幂级数和的计算，主要就是矩阵幂的计算。,首先联想到矩阵的对角化问题，即希望利用特征值分解来计算矩阵函数。由于对角矩阵的对角元就是矩阵的特征值，而相似矩阵就是相应的特征向量构成的矩阵。这样对任意矩阵，则可以使用Jordan分解。这两种方法的计算都比较复杂，因此最后我们给出待定系数法。,Jordan分解法,计算原理 设任意矩阵 的Jordan分解为,则对于任意复系数多项式 ，有,其中,特别地，当矩阵 可对角化时，我们有下面的特征值分解法。,特征值分解法,计算原理 设可对角化矩阵 的特征值分解为,则有,例 3 求矩阵函数 、 和 ，其中,解： 求得 的Jordan分解为,其中,当 时 ，则,当 时,%exm505.m A=-1 1 0 ;-4 3 0; 1 0 2; expm(A) %调用expm函数 %expm uses the Pad approximation with scaling % and squaring.,ans = -2.7183 2.7183 0 -10.8731 8.1548 0 0.7658 1.9525 7.3891,%exm505.m（续） A=-1 1 0 ;-4 3 0; 1 0 2; syms t % 声明符号变量t S=expm(A*t)； S=simple(S) % 简化矩阵函数的结果,S = -exp(t)*(2*t - 1), t*exp(t), 0 -4*t*exp(t), exp(t)*(2*t + 1), 0 exp(t)*(2*t - exp(t) + 1), -exp(t)*(t - exp(t) + 1), exp(2*t),当 时,%exm505.m（续） A=-1 1 0 ;-4 3 0; 1 0 2; syms t % 声明符号变量t A1=sin(A*t) % 内置函数sin（A）给出错误结果,A1 = -sin(t), sin(t), 0 -sin(4*t), sin(3*t), 0 sin(t), 0, sin(2*t),%exm505.m（续） A=-1 1 0 ;-4 3 0; 1 0 2; j=sqrt(-1); %虚数单位i A2=(expm(j*A*t) - expm(-1)*j*A*t)/(2*j) %利用Euler公式，调用函数expm A2=simple(A2) % 简化矩阵函数的结果,A2 = sin(t) - 2*t*cos(t), t*cos(t), 0 -4*t*cos(t), sin(t) + 2*t*cos(t), 0 sin(t) - 2*cos(t)*sin(t) + 2*t*cos(t), 2*cos(t)*sin(t) - sin(t) - t*cos(t), sin(2*t),例 4 求矩阵函数 和 ，其中,解： 矩阵 的特征值为,对应的特征向量为,对应的特征向量为,因此相似矩阵为,从而,%exm506.m A=4 6 0;-3 -5 0;-3 -6 1; syms t % 声明符号变量t S=expm(A*t)； S=simple(S) % 简化矩阵函数的结果,S = 2*exp(t) - 1/exp(2*t), 2*exp(t) - 2/exp(2*t), 0 1/exp(2*t) - exp(t), 2/exp(2*t) - exp(t), 0 1/exp(2*t) - exp(t), 2/exp(2*t) - 2*exp(t), exp(t),%exm506.m （续） A=4 6 0;-3 -5 0;-3 -6 1; j=sqrt(-1); %虚数单位i B=(expm(j*A)+expm(-1)*j*A)/2 %利用Euler公式，调用函数expm,B = 1.4968 1.9129 0 -0.9564 -1.3726 0 -0.9564 -1.9129 0.5403,%ex506.m（续） A=4 6 0;-3 -5 0;-3 -6 1; P,D=eig(A); j=sqrt(-1); C= P*(expm1(j*D)+expm1(-1)*j*D)/2)*inv(P) +eye(size(A) %函数expm1返回e(x)-1,ans = 1.4968 1.9129 0 -0.9564 -1.3726 0 -0.9564 -1.9129 0.5403,利用幂级数求矩阵函数，要求相应的函数必须能够展开成收敛的幂级数，这个条件一般不容易满足。而根据特征值分解法，我们可以根据矩阵的谱即矩阵的特征值的集合来定义矩阵函数，这样就拓宽了矩阵函数的定义范围，尤其是对那些不能展开成收敛的幂级数的函数也可以定义出相应的矩阵函数。,一般地，如果矩阵 的最小多项式为,则对于任意复值函数 ，只要,有意义，我们就说函数 在矩阵 的谱 上有定义。,则定义任意复值函数 的矩阵函数为,定义5 设复值函数 在矩阵 的谱上有定义，矩阵 有Jordan分解,其中,例 6 求矩阵函数 和 ，其中,解： 求得 的Jordan分解为,其中,显然 和 在 都有意义，因此 和 都有意义。,%exm506.m（续） A=-1 1 0;-4 3 0; 1 0 2; F=logm(A) % 函数logm(A)返回lnA,F = -2.0000 1.0000 -0.0000 -4.0000 2.0000 0 1.3069 -0.3069 0.6931,%exm506.m（续） A=-1 1 0;-4 3 0; 1 0 2; G=sqrtm(A）,G = -0.0000 0.5000 -0.0000 -2.0000 2.0000 0.0000 0.5858 -0.0858 1.4142,需要指出的是，计算相应的矩阵函数时，涉及到的算法主要分为特征值方法（特征值分解、Jordan分解、Schur分解等）和逼近方法（泰勒逼近、pade逼近等）。考虑到计算复杂性及稳定性，具体实现时前一类方法实际采用的是Schur分解法（例如matlab中的logm函数），后一类方法实际则采是Pade逼近法（例如matlab中的expm函数）。详见Golub &Van Loan矩阵计算和Matlab帮助文档。,在定义5中，矩阵函数 只与函数 在 上的值有关，这启发我们，如果能够求出一个尽可能简单的函数 （比如复系数多项式），使得两者在 上等值，那么便有 。这就是著名的Hermite多项式插值问题。,则存在唯一的复值多项式函数 ，使得,定理7 设复值函数 在矩阵 的谱上有定义，矩阵 有最小多项式,以及,待定系数法,计算原理 设矩阵 的特征多项式为,由带余除法，设有,确定出余式,再根据Cayley-Hamilton定理，有,从而,则可由,例 8 求矩阵函数 ，其中,矩阵 的特征多项式为,因此设,则,解得,因此,注意到此例中,因此,即矩阵的高次幂都可以转化为低次幂，因此,从而矩阵幂级数求和问题转化为数项级数求和。,递推公式法,计算原理 由矩阵 的特征多项式或最小多项式得到矩阵的递推关系式，代入矩阵函数的矩阵幂级数定义形式中，从而将矩阵函数的计算转化为数项级数求和问题。 显然这种方法适用于递推关系式不太复杂的情形。,例 9 设4阶矩阵 的特征值为 ， 求,解： 由题 的特征多项式为,因此,从而,从而,三、矩阵函数的最完美定义(不要求掌握),定义10 设复值函数 在闭曲线 的内部解析，且 包围了 ，则矩阵函数为,显然这是复变函数中Cauchy积分定理的矩阵形式。,6、矩阵的微分与积分,实际使用时，矩阵函数与函数矩阵的微分、积分常常同时出现。研究矩阵函数和函数矩阵的微分、积分，这对研究微分方程组以及优化问题等都非常重要。其中尤为重要的是梯度分析的方法，张贤达在矩阵分析及应用中将之列为矩阵分析的五大分析方法之首，并有详细介绍。,定义1 设有矩阵函数 ，其中 为常数矩阵。则 是关于参数 的函数矩阵，其导数（如果存在的话）为 其积分可参照函数矩阵的积分。,一、含参矩阵函数的微分和积分,例1 矩阵 为任意常量方阵，则,例 2 已知 (1)求矩阵 ; (2)求 。,注意到 时， ，因此,解：（1）两边对 求导，得,解：（2）各元素分别对 求定积分，得,%exm507.m syms t % 函数矩阵S S=sin(2*t)+3*sin(t) 5*sin(2*t)-sin(t); 3*sin(2*t)-sin(t) 5*sin(2*t)+sin(t); DS=diff(S,t) % 调用内置函数diff求S对t的导数,ans = 2*cos(2*t) + 3*cos(t), 10*cos(2*t) - cos(t) 6*cos(2*t) - cos(t), 10*cos(2*t) + cos(t),%exm507.m（续） syms t % 函数矩阵S S=sin(2*t)+3*sin(t) 5*sin(2*t)-sin(t); 3*sin(2*t)-sin(t) 5*sin(2*t)+sin(t); syms a b % 声明符号变量a，b IS=int(S，t，a, b) % 调用内置函数int对S从a到b求定积分,IS = (cos(a) - cos(b)*(cos(a) + cos(b) + 3), (cos(a) - cos(b)*(5*cos(a) + 5*cos(b) - 1) (cos(a) - cos(b)*(3*cos(a) + 3*cos(b) - 1), (cos(a) - cos(b)*(5*cos(a) + 5*cos(b) + 1),二、函数对向量的微分,定义3 设有多元函数 。定义函数 对 的微分(即梯度)为向量,显然，梯度的各分量给出了标量函数在该分量上的变化率，从而指出了此函数的最大增长率。,例4 对双线性型,有,特别地，有,对二次型 ，有,特别地，当 对称时，有,有,例5 当 对称时，对二次泛函,因此求二次泛函 的极值问题转化为求方程组 的解，即二次泛函 的稳定(S