矩阵论的应用

1、广义逆在多元分析中的应用刘雯雯 信通院 学号：B098035摘 要：多元分析的一个重要内容就是研究随机向量之间的关系，在一元统计中，用相关系数来描述随机变量之间的关系，Hotelling1和张尧庭教授2先后定义了度量两个随机向量相关程度的数量指标，并称之为广义相关系数。这一章主要利用Moore-Penrose广义逆矩阵来引人了随机向量之间的相关系数广义相关系数，并探讨了随机向量的典型相关系数和广义相关系数之间的关系。关键词：特征值 广义相关系数 典型相关系数 正交阵 可逆矩阵1.引言方法今天以拉格郎日乘数法闻名.为此,他首先要求第一个偏导数为0,再需要关于第二个偏导数的矩阵成立一个条件.这个条

2、件今天称之为正定或负定,尽管拉格郎日没有明显地使用矩阵. 后来物理学家.迪拉克引进了术语"行-列"(bra-ket)来表示我们现在称之为行向量乘以列向量的纯量积,术语"列-行(ket-bra)"表示一列向量乘以行向量的积,从而导致如同上面的我们现在称做的单纯矩阵.我们现在把列矩阵和向量视为同一的习惯是由物理学家们在20世纪引进的. 矩阵理论在数值计算、线性规划、数据分析、科学试验、信号传输等重大领域有着极其广泛的应用。随着科技日新月异地进步，人类社会开始步入信息化、数字化时代，矩阵在生产实践中的应用越来越广泛，矩阵理论的研究也就越来越重要1。矩阵理论在现

3、代统计学的许多分支有着广泛的应用，成为统计学中不可缺少的工具，而且，随着研究的深入和应用的发展，矩阵与统计学之间的关系会越来越深刻。一方面，统计学对矩阵研究提出了许多新的研究课题，刺激了有关矩阵理论研究的发展;另一方面，矩阵理论中的结果被越来越多地应用于统计学的理论研究及其应用中。近三十年，许多统计学家致力于这方面的研究，并撰写了很多这方面的论文和著作，其中很多结论在统计学的研究中发挥着很大的作用。近三十年矩阵研究中一些与统计学有密切关系的新发展，包括它们在统计中的应用，这些研究结果一开始就渊源于统计问题。本文皆在向读者介绍矩阵论中并与统计学密切有关的如下几个方面：矩阵偏序、矩阵不等式、广义逆

4、矩阵等，这些方面与统计学息息相关，特别是在多元分析和线性模型参数估计中都有着重要的应用。广义逆矩阵是对逆矩阵的推广。广义逆矩阵是上世纪矩阵理论的一项极为重要的新发展7，广义逆的概念最早由Redholm于1908年提出的，他给出TFredholm积分算子的广义逆，Hurwitz于1912年利用有限维Fredholm积分算子的零空间给出了此类广义逆的一个简单的代数表征，Hilbert于1904年讨论广义Green函数时曾提出了微分算子的广义逆，之后许多学者研究了微分算子的广义逆，特别是Myller、westfall、Reid等。1920年，Moore首次提出了矩阵的广义逆，他利用投影矩阵定义了唯一

5、的广义逆。Bjerhammer在不知道Moore结果的情形下，重新提出了广义逆矩阵的定义，利用广义逆给出了线性方程组的解。Bott和Duffin在研究电网络理论时，引进了后来被称为Bott-Duffin广义逆。但这时期的研究工作是零散的。在Penrose1955年证明了Moore所定义的广义逆是满足四个矩阵方程的唯一的矩阵之后，广义逆矩阵得到迅速发展并在应用学科的诸多领域获得广泛的应用。近四十年来，广义逆矩阵理论在最优化、数理统计、算子理论、经济学和计算数学等众多数学分支和工程科技领域发挥了重大作用。尤其在研究最小二乘问题、病态线性、非线性问题，回归，分布估计，多元分析等统计问题，规划问题，控

6、制论，网络问题的过程中，广义逆是不可或缺的研究工具。 若A为非奇异矩阵,则线性方程组Ax=b的解为x=A(-1)b，其中A的A的逆矩阵A(-1)满足A(-1)A=AA(-1)=I(I为单位矩阵)。若A是奇异阵或长方阵,Ax=b可能无解或有很多解。若有解,则解为x=Xb+(I-XA),其中是维数与A的列数相同的任意向量,X是满足AXA=A的任何一个矩阵，通常称X为A的广义逆矩阵,用Ag、A-或A(1)等符号表示,有时简称广义逆。当A非奇异时,A(-1)也满足AA(-1)A=A,且x=A(-1)b+(I-A(-1)A)=A(-1)b。故非异阵的广义逆矩阵就是它的逆矩阵，说明广义逆矩阵确是通常逆矩阵

7、概念的推广。 1955年R.彭罗斯证明了对每个m×n阶矩阵A,都存在惟一的n×m阶矩阵X，满足：AXA=A；XAX=X；(AX)*AX；(XA)*XA。通常称X为A的穆尔-彭罗斯广义逆矩阵,简称M-P逆，记作A+。当A非奇异时，A(-1)也满足,因此M-P逆也是通常逆矩阵的推广。在矛盾线性方程组Axb的最小二乘解中,xA(-1)b是范数最小的一个解。广义逆的计算方法大致可分为三类：以满秩分解和奇异值分解为基础的直接法，迭代法和其他一些常用于低阶矩阵的非凡方法。本文介绍了Moore-Penrose广义逆在多元分析中的应用。多元分析的一个重要内容就是研究随机向量之间的关系。对于

8、不同类型的矩阵A和B，讨论了随机向量和y的典型相关系数与Ax和By的典型相关系数之间的关系，从而得到了x和y的广义相关系数与Ax和By的广义相关系数之间的关系。设x ,y分别为p×1和q×1随机向量，它们的方差阵和协方差阵分别为从而 （1.1）矩阵V+yy Vyx V+xx Vxy的特征值都是非负的且都不大于1,非零特征值设为。其中矩阵A+表示A的Moore -Penrose广义逆。由典型相关系数的定义知，称为典型相关系数，它在典型相关分析中起着重要作用。2.广义逆矩阵广义逆矩阵的研究可以追溯到1935年的Moore的著名论个条件：定义了A的广义逆X。但是，在此后的20年中

9、，这种广义逆几乎没有引起×人们的多少注意，直到1955年，Penrose证明了满足上述条件的广义逆具有唯一性后，广义逆的研究才真正为人们所重视，基于这个原因人们把满足上述四个条件的的广义逆称为Moore-Penrose广义逆。本节主要介绍以下两种经常应用的广义逆：2.1广义逆A-定义2. 1对矩阵Am×n,一切满足方程组的矩阵X，称为矩阵A的广义逆，记为A-。 下面的定理解决了A-的存在性和构造性问题。定理2.1设A为m ×n矩阵，rk (A) =r，若这里P和Q分别为m ×m，n ×n的可逆阵，则这里B，C和D为适当阶数的任意矩阵。下面的两个

10、定理圆满地解决了用广义逆矩阵表示相容线性方程组集的问题。定理2.2设Ax =b为一相容方程组，则(1)对任一广义逆A-，x=A-b必为解；(2)齐次方程组Ax=0的通解为x =(I -A -A )z，这里z为任意的向量，A-为任意固定的一个广义逆；(3)Ax =b的通解为其中A-为任意固定的一个广义逆，z为任意的向量。定理2. 3设Ax =b为相容线性方程组，且b0，那么，当A-取遍A的所有广义逆时，x =A- b构成了该方程组的全部解。下面一定理讨论分块矩阵的广义逆。定理2.4(分块矩阵的广义逆)(1)若A11-1存在，则 (2)若A22-1存在，则 (3)若则或其中，2.2广义逆A+从上段

11、的介绍知，一般来说广义逆A-有无穷多个。在这无穷多个A-中，有一个A-占有特殊的地位，它就是本节一开始提到的Moore-Penrose广义逆。定义2. 2设A为任一矩阵，若X满足下述四个条件：则称矩阵X为A的Moore-Penrose广义逆，记为A+。引理2.1(奇异值分解)设A为m×n秩为r的矩阵，则存在两个正交阵Pm×m和Qn×n，使得其中而为A*A的非零特征值。定理2. 4(1)设A的分解式满足上式，则(2)对任何矩阵A，A+惟一。因为A+是一个特殊的A-，因此，它除了具有A-的全部性质外，还有以下性质：定理2. 53.随机向量的典型相关系数和广义相关系数对

12、于不为零的常数a ,b，显然，ax与by的典型相关系数和x与y的典型相关数是相同的。下面分别讨论对于不同类型的矩阵A, B ,Ax与By的典型相关系数和x与y的典型相关系数之间的关系（参见文献3）。定理3.1设A和B分别是p ×p和q ×q可逆方阵，并且AV+xxVxx=V+xxVxxA, BV+yyVyy=V+yyVyyB, 则Ax与By的典型相关系数和x与y的典型相关系数相等。证明：因为 （3.1）故Ax与By的典型相关系数i>0满足下列方程： （3.2）其中I是单位矩阵。下面验证 （3.3）事实上，注意到：，所以同理，这就验证了（3.3）式的成立。把（3.3）式

13、代入（3.2）式得：（3.4）从而证明了i是x与y的典型相关系数。由于广义相关系数是用典型相关系数定义的（参见文献4），故有推论3.1当满足（3.3）式时，随机向量x与y的广义相关系数和Ax与By的广义相关系数相同。定理3.2设A是p×p可逆阵，B是q×q可逆阵，x与y分别为p维和q维随机向量，且Vxx，Vyy也都可逆，则Ax与By的典型相关系数和x与y的典型相关系数相同。证明：由于所以Ax与By的典型相关系数i>0满足 （3.5）由于A，B，Vxx，Vyy都可逆，上式易化为 （3.6）这样就证明了定理3.2。推论3.2 在定理2.2的条件下，Ax与By的广义相关系数

14、与x和y的广义相关系数相同。定理3.3 设A是n×p列正交阵，B是m×q列正交阵，则Ax与By的典型相关系数和x与y的典型相关系数相等。证明：因为Ax与By的典型相关系数i满足 （3.7）注意到A，B都是列正交阵，据3.2知代入（3.7）式得 （3.8）又因为对矩阵D,F，我们易证DF与FD的非零特征值是相同的。从而由（3.8）式得这就证明了i是随机变量x与y的典型相关系数，定理证毕。推论3.3当A， B是列正交时，Ax与By的广义相关系数和x与y的广义相关系数相等。定理3.4设A是n×p列满秩阵，B是m×q列满秩阵，Vxx，Vyy可逆时，则Ax与By的

15、典型相关系数和x与y的典型相关系数相等。证明：设A, B的谱分解分别为其中P1，P2，Q1，Q2都是列正交阵，1，2是主对元素大于零的对角矩阵。令i>0是Ax与By的典型相关系数，则i是下列方程的解。 （3.9）把A，B的谱分解代入上式，并注意到P1，P2，Q1，Q2的正交性，上式可化为： （3.10） 由于Vxy，Vyy，1，2 ，Q1，Q2都是可逆阵，故代入（3.10）式即得定理由此获证。推论3.4 设A是n×p列满秩阵，B是m×q列满秩阵，Vxx，Vyy可逆，则Ax与By的广义相关系数和x与y的广义相关系数相同。4.小结 本文，利用Moore-Penrose广义

16、逆矩阵讨论了它在多元分析中的一个应用-比较随机向量的典型相关系数和广义相关系数之间的关系。对于不同类型的矩阵A和B，讨论了随机向量x和y的典型相关系数与Ax和By的典型相关系数之间的关系，从而得到了x和y的广义相关系数与Ax和By的广义相关系数之间的关系。典型相关系数和广义相关系数在多元统计中发挥着重要的作用，例如，王松桂5讨论了广义相关系数与估计效率；朱显海，杨学锋6讨论了广义相关系数与估计的稳健性。正因为典型相关系数和广义相关系数在统计中有着重要的应用，本文讨论了它们之间的关系。参考文献：1.Hotelling H.,Relation Betnween Two Sets of Vriates,Biometrika，1936，36：321