广义逆矩阵北京邮学北邮期末矩阵论文

广义逆矩阵的应用摘要：线性方程组的逆矩阵求解方法只适用于系数矩阵为可逆方阵,但是对于一般线性方程组，其系数矩阵可能不是方阵或是不可逆的方阵，这种利用逆矩阵求解线性方程组的方法将不适用。为解决这种系数矩阵不是可逆矩阵或不是方阵的线性方程组，我们对逆矩阵进行推广，研究广义逆矩阵，利用广义逆矩阵求解线性方程组。广义逆矩阵在数据分析、多元分析、信号处理、系统理论、现代控制理论、网络理论等许多领域中有着重要的应用，本文针对广义逆矩阵的定义、性质、计算及其在线性方程组中的应用进行研究，利用广义逆矩阵求解线性方程组的通解及极小范数解。关键词：特征值广义相关系数Moore-Penrose方程线性方程组1.引言矩阵概念和线性代数学科的引进和发展是源于研究线性方程组系数而产生的行列式的发展.莱布尼兹,微积分学的两个奠基者之一,在1693年使用了行列式,克莱姆于1750年提出了用行列式求解线性方程组的公式(即今天著名的克莱姆法则).相对比地,行列式的隐含使用最早出现在18世纪晚期拉格郎日关于双线性型的著作里.拉格郎日希望刻画多变量函数的极大值与极小值.他的方法今天以拉格郎日乘数法闻名.为此,他首先要求第一个偏导数为0,再需要关于第二个偏导数的矩阵成立一个条件.这个条件今天称之为正定或负定,尽管拉格郎日没有明显地使用矩阵.在1800年左右,高斯发现了高斯消去法,他用此方法解决了天体计算和后来大地测量(关于测量或确定地球形状或定位地球表面一个点的应用数学分支,称之为大地测量学)计算中的最小平方问题.尽管高斯的名字相伴随从线性方程组逐次逍去变量的这项技术,但从发现的早在几个世纪前的中文手稿中解释了如何用"高斯的"消去法解带有三个未知量的三个方程构成的线性方程组.多年来,高斯消去法被认为是大地测量学,而非数学,发展的一部分.首次印刷出来的高斯—约当消去法是在W.约当写的关于大地测量学的手册里.许多人错误地认为著名数学家C.约当是"高斯—约当"消去法中的约当.为了矩阵代数的丰富发展,人们既需要适当的概念,还需要适当的矩阵乘法.这两种需要在同一时间和同一地点交汇了.在1814年于英格兰,J.J.西勒维斯特首先引进了术语"Matrix",作为一列数的名称,这是胚胎的拉丁词.矩阵代数于1855年由亚瑟凯莱的工作得到了发展.凯莱研究了线性变换的合成,导致定义了矩阵乘法,使得合成变换ST的系数矩阵是S的矩阵与T的矩阵的乘积.他继续研究这些合成包括矩阵逆的代数.著名的凯莱—哈密尔顿定理断言,一个方阵是它的特征多项式的根.这个定理于1858年在凯莱的"关于矩阵理论备忘录"的著作里给出.代表矩阵的单个字母A的使用对于矩阵代数的发展是关键的.早期的公式det(AB)=det(A)det(B)提供了矩阵代数与行列式的联系.凯莱写下了"有许多事情说明关于矩阵的理论,似乎对我而言,比行列式理论重要".数学家们也试图发展向量代数,但没有任意维数的两个向量积的自然定义.涉及到非交换向量积(亦即VW×不一定等于WV×)的第一个向量代数由赫尔曼格拉斯曼在他的书"维数理论"(1844)提出来的.格拉斯曼的书也引进了一个列矩阵与一个行矩阵的乘积,导致了今天所谓的单纯的或秩1的矩阵.在19世纪晚期,美国数学物理学家W.吉布斯发表了关于向量分析的著名论文.在那篇论文里,吉布斯把一般的矩阵,他称之为并向量(dyadics),表示为单纯矩阵(吉布斯称为并向量(dyads))的和.后来物理学家P.A.M.迪拉克引进了术语"行-列"(bra-ket)来表示我们现在称之为行向量乘以列向量的纯量积,术语"列-行(ket-bra)"表示一列向量乘以行向量的积,从而导致如同上面的我们现在称做的单纯矩阵.我们现在把列矩阵和向量视为同一的习惯是由物理学家们在20世纪引进的.矩阵一直与线性变换紧密结合着.直到1900年,它们仅仅是线性变换理论的有限维的情形.向量空间的现代定义是由皮亚诺于1888年引进的.不久,其元素是函数的抽象向量空间跟着出现了.第二次世界大战后随着数字计算机的发展,矩阵,特别是矩阵的数值分析方面有新的进展.约翰冯诺伊曼和赫尔曼戈德斯坦于1947年在分析舍入误差中引进了条件数.阿兰图灵和冯诺伊曼在程序存储计算机方面是二十世纪的巨人.图灵于1948年引进了矩阵的LU分解,L是对角线上为1的下三角矩阵,U是梯形矩阵.在解一系列线性方程组时普遍采用LU分解,每个方程组有同一系数矩阵.QR分解的好处是在10年后认识到的.Q是其列为正交向量的矩阵而R是上三角矩阵,其对角线元素是正的.QR分解用于各种计算如解方程,找特征值的计算机算法中.矩阵理论在数值计算、线性规划、数据分析、科学试验、信号传输等重大领域有着极其广泛的应用。随着科技日新月异地进步，人类社会开始步入信息化、数字化时代，矩阵在生产实践中的应用越来越广泛，矩阵理论的研究也就越来越重要[1]。矩阵理论在现代统计学的许多分支有着广泛的应用，成为统计学中不可缺少的工具，而且，随着研究的深入和应用的发展，矩阵与统计学之间的关系会越来越深刻。一方面，统计学对矩阵研究提出了许多新的研究课题，刺激了有关矩阵理论研究的发展;另一方面，矩阵理论中的结果被越来越多地应用于统计学的理论研究及其应用中。近三十年，许多统计学家致力于这方面的研究，并撰写了很多这方面的论文和著作，其中很多结论在统计学的研究中发挥着很大的作用。近三十年矩阵研究中一些与统计学有密切关系的新发展，包括它们在统计中的应用，这些研究结果一开始就渊源于统计问题。本文皆在向读者介绍矩阵论中并与统计学密切有关的如下几个方面：矩阵偏序、矩阵不等式、广义逆矩阵等，这些方面与统计学息息相关，特别是在多元分析和线性模型参数估计中都有着重要的应用。广义逆矩阵是对逆矩阵的推广。逆矩阵的概念只对非奇异矩阵才有意义，但在实际问题中，遇到的矩阵不一定是方阵，即使是方阵也不一定非奇异，这就需要将逆矩阵的概念进行推广。为此，人们提出了下述关于逆矩阵的推广：该矩阵对于奇异矩阵甚至长方矩阵都存在；它具有通常逆矩阵的一些性质；当矩阵非奇异时，它即为原来的逆矩阵。满足上面三点的矩阵称之为广义逆矩阵。1903年，瑞典数学家弗雷德霍姆开始了对广义逆矩阵的研究，他讨论了关于积分算子的一种广义逆。1904年，德国数学家希尔伯特在广义格林函数的讨论中，含蓄地提出了微分算子的广义逆。美国芝加哥的穆尔(Moore)教授在1920年提出了任意矩阵广义逆的定义，他以抽象的形式发表在美国数学会会刊上。我国数学家曾远荣和美籍匈牙利数学家冯·诺伊曼及其弟子默里分别在1933年和1936年对希尔伯特空间中线性算子的广义逆也作过讨论和研究。1951年瑞典人布耶尔哈梅尔重新给出了穆尔(Moore)广义逆矩阵的定义，并注意到广义逆矩阵与线性方程组的关系。1955年，英国数学物理学家彭罗斯(Penrose)以更明确的形式给出了与穆尔(Moore)等价的广义逆矩阵定义，因此通称为Moore-Penrose广义逆矩阵，从此广义逆矩阵的研究进入了一个新阶段。现如今，Moore-Penrose广义逆矩阵在数据分析、多元分析、信号处理、系统理论、现代控制理论、网络理论等许多领域中有着重要的应用，使这一学科得到迅速发展，并成为矩阵论的一个重要分支。若A为非奇异矩阵,则线性方程组Ax=b的解为x=A^(-1)b，其中A的A的逆矩阵A^(-1)满足A^(-1)A=AA^(-1)=I(I为单位矩阵)。若A是奇异阵或长方阵,Ax=b可能无解或有很多解。若有解,则解为x=Xb+(I-XA)у,其中у是维数与A的列数相同的任意向量,X是满足AXA=A的任何一个矩阵，通常称X为A的广义逆矩阵,用A^g、A^-或A^(1)等符号表示,有时简称广义逆。当A非奇异时,A^(-1)也满足AA^(-1)A=A,且x=A^(-1)b+(I-A^(-1)A)у=A^(-1)b。故非异阵的广义逆矩阵就是它的逆矩阵，说明广义逆矩阵确是通常逆矩阵概念的推广。1955年R.彭罗斯证明了对每个m×n阶矩阵A,都存在惟一的n×m阶矩阵X，满足：①AXA=A；②XAX=X；③(AX)*＝AX；④(XA)*＝XA。通常称X为A的穆尔-彭罗斯广义逆矩阵,简称M-P逆，记作A^+。当A非奇异时，A^(-1)也满足①～④,因此M-P逆也是通常逆矩阵的推广。在矛盾线性方程组Ax＝b的最小二乘解中,x＝A^(-1)b是范数最小的一个解。广义逆的计算方法大致可分为三类：以满秩分解和奇异值分解为基础的直接法，迭代法和其他一些常用于低阶矩阵的非凡方法。本文介绍了Moore-Penrose广义逆在多元分析中的应用。多元分析的一个重要内容就是研究随机向量之间的关系。对于不同类型的矩阵A和B，讨论了随机向量和y的典型相关系数与Ax和By的典型相关系数之间的关系，从而得到了x和y的广义相关系数与Ax和By的广义相关系数之间的关系。设x,y分别为p×1和q×1随机向量，它们的方差阵和协方差阵分别为SKIPIF1<0SKIPIF1<0SKIPIF1<0从而SKIPIF1<0（1.1）矩阵V+yyVyxV+xxVxy的特征值都是非负的且都不大于1,非零特征值设为SKIPIF1<0。其中矩阵A+表示A的Moore-Penrose广义逆。由典型相关系数的定义知，SKIPIF1<0称为典型相关系数，它在典型相关分析中起着重要作用。2.广义逆矩阵广义逆矩阵的研究可以追溯到1935年的Moore的著名论个条件：SKIPIF1<0定义了A的广义逆X。但是，在此后的20年中，这种广义逆几乎没有引起×人们的多少注意，直到1955年，Penrose证明了满足上述条件的广义逆具有唯一性后，广义逆的研究才真正为人们所重视，基于这个原因人们把满足上述四个条件的的广义逆称为Moore-Penrose广义逆。本节主要介绍以下两种经常应用的广义逆：2.1广义逆A-定义2.1对矩阵Am×n,一切满足方程组SKIPIF1<0的矩阵X，称为矩阵A的广义逆，记为A-。下面的定理解决了A-的存在性和构造性问题。定理2.1设A为m×n矩阵，rk(A)=r，若SKIPIF1<0这里P和Q分别为m×m，n×n的可逆阵，则SKIPIF1<0这里B，C和D为适当阶数的任意矩阵。下面的两个定理圆满地解决了用广义逆矩阵表示相容线性方程组集的问题。定理2.2设Ax=b为一相容方程组，则(1)对任一广义逆A-，x=A-b必为解；(2)齐次方程组Ax=0的通解为x=(I-A-A)z，这里z为任意的向量，A-为任意固定的一个广义逆；(3)Ax=b的通解为SKIPIF1<0其中A-为任意固定的一个广义逆，z为任意的向量。定理2.3设Ax=b为相容线性方程组，且b≠0，那么，当A-取遍A的所有广义逆时，x=A-b构成了该方程组的全部解。下面一定理讨论分块矩阵的广义逆。定理2.4(分块矩阵的广义逆)(1)若A11-1存在，则SKIPIF1<0(2)若A22-1存在，则SKIPIF1<0(3)若SKIPIF1<0则SKIPIF1<0或SKIPIF1<0其中，SKIPIF1<02.2广义逆A+从上段的介绍知，一般来说广义逆A-有无穷多个。在这无穷多个A-中，有一个A-占有特殊的地位，它就是本节一开始提到的Moore-Penrose广义逆。定义2.2设A为任一矩阵，若X满足下述四个条件：SKIPIF1<0则称矩阵X为A的Moore-Penrose广义逆，记为A+。引理2.1(奇异值分解)设A为m×n秩为r的矩阵，则存在两个正交阵Pm×m和Qn×n，使得SKIPIF1<0其中SKIPIF1<0而SKIPIF1<0为A*A的非零特征值。定理2.4(1)设A的分解式满足上式，则SKIPIF1<0(2)对任何矩阵A，A+惟一。因为A+是一个特殊的A-，因此，它除了具有A-的全部性质外，还有以下性质：定理2.5SKIPIF1<03.随机向量的典型相关系数和广义相关系数对于不为零的常数a,b，显然，ax与by的典型相关系数和x与y的典型相关数是相同的。下面分别讨论对于不同类型的矩阵A,B,Ax与By的典型相关系数和x与y的典型相关系数之间的关系（参见文献[3]）。定理3.1设A和B分别是p×p和q×q可逆方阵，并且AV+xxVxx=V+xxVxxA,BV+yyVyy=V+yyVyyB,则Ax与By的典型相关系数和x与y的典型相关系数相等。证明：因为SKIPIF1<0SKIPIF1<0（3.1）故Ax与By的典型相关系数ρi>0满足下列方程：SKIPIF1<0（3.2）其中I是单位矩阵。下面验证SKIPIF1<0（3.3）事实上，SKIPIF1<0注意到：SKIPIF1<0，所以SKIPIF1<0同理，SKIPIF1<0这就验证了（3.3）式的成立。把（3.3）式代入（3.2）式得：SKIPIF1<0（3.4）从而证明了ρi是x与y的典型相关系数。由于广义相关系数是用典型相关系数定义的（参见文献[4]），故有推论3.1当满足（3.3）式时，随机向量x与y的广义相关系数和Ax与By的广义相关系数相同。定理3.2设A是p×p可逆阵，B是q×q可逆阵，x与y分别为p维和q维随机向量，且Vxx，Vyy也都可逆，则Ax与By的典型相关系数和x与y的典型相关系数相同。证明：由于SKIPIF1<0所以Ax与By的典型相关系数ρi>0满足SKIPIF1<0（3.5）由于A，B，Vxx，Vyy都可逆，上式易化为SKIPIF1<0（3.6）这样就证明了定理3.2。推论3.2在定理2.2的条件下，Ax与By的广义相关系数与x和y的广义相关系数相同。定理3.3设A是n×p列正交阵，B是m×q列正交阵，则Ax与By的典型相关系数和x与y的典型相关系数相等。证明：因为Ax与By的典型相关系数ρi满足SKIPIF1<0（3.7）注意到A，B都是列正交阵，据3.2知SKIPIF1<0代入（3.7）式得SKIPIF1<0（3.8）又因为对矩阵D,F，我们易证DF与FD的非零特征值是相同的。从而由（3.8）式得SKIPIF1<0这就证明了ρi是随机变量x与y的典型相关系数，定理证毕。推论3.3当A，B是列正交时，Ax与By的广义相关系数和x与y的广义相关系数相等。定理3.4设A是n×p列满秩阵，B是m×q列满秩阵，Vxx，Vyy可逆时，则Ax与By的典型相关系数和x与y的典型相关系数相等。证明：设A,B的