多元统计课件第一章矩阵代数

1、多元统计分析多元统计分析李国柱石家庄经济学院经贸学院统计教研室石家庄经济学院经贸学院统计教研室多元分析概述 多元方法的应用 1、 数据缩减或简化 2、分类与分组 3、变量间依赖性的研究 4、预测 5、假设检验多元分析概述数据的组织阵列描述统计量样本协方差图解法矩阵代数与随机向量一、矩阵代数基础（一）定义个实数排列成的一个有 将qpp行、q列的矩阵列称为qp矩阵，常记作 qpaAij:，其中ija是第i行、第j列的元素。pqppqqaaaaaaaaaA212222111211若q=1，则称A为p维列向量，记作paaa21a若p=1，则称A为q维行向量，记作qaaa,21a若矩阵 的所有元素全为零

2、，则称 为零矩阵。若 ，则称 为 阶方阵。pAqp AA转置矩阵：将矩阵的行与列互换，记作 A对角线元素ppaaa,2211非对角线元素)(jiaij对角矩阵：对角线所有非对角线元素均为零。简记为),(2211ppaaadiagA或p阶单位矩阵：所有p个对角线元素均为1，记作IAPIA 上三角矩阵：方阵的对角线下方的元素全为 。0下三角矩阵：方阵的对角线上方的元素全为 。0则425113)23(A对称矩阵：若A是方阵，且AA 斜对称矩阵：若A是方阵，且AA例：如果451213)32(A（二）运算（二）运算1、和的运算（相同维数的两个矩阵可以相加） 若 ，则A与B的和定义为qpbBqpaAiji

3、j: )(,: )(qpbaBAijij: )(则243211115121312310)32()32(BA2、积的运算 若c为一常数，则它 与A的积定义为若 ，则A与B的积定义为qpcacAij: )(rqbBqpaAijij: )(,: )(rpbaABqkkjik: )(1注意：当注意：当A的列元素个数与的列元素个数与B的行元素个数相同的行元素个数相同时，才能进行矩阵的乘积运算。时，才能进行矩阵的乘积运算。 例 若 1102972,451213CBA和则6959475)2(1927) 1()2(3972451213) 13()32(BA262426412151) 1(11131402250

4、) 1(210324512131102) 32( ) 22(AC3、矩阵运算规律、矩阵运算规律; )(BABA（1）)(ABAB（2）2121)(ABABBBA（3）kkABBA11)(（4）cBcABAc)(（5）正交矩阵：若方阵 满足 。即矩阵的每一行均具有单位长度且行与行之间互相垂直（正交）。AIAA 投影矩阵：对称的幂等矩阵。幂等矩阵：若方阵 满足 。AA 2A如果存在矩阵 ，使得B)()()()()(kkkkkkkkkkIBAAB则称 为 的逆矩阵，并记作 。BA1A（三）（三） 矩阵的逆矩阵的逆1、定义 如果 ，就存在一个倒数 ，能使 ，这个基本的数量关系在矩阵代数中有如下推广：0

5、a1a111aaaa 的 个列向量 线性无关。即的存在等价于 仅当 时。即 是非退化方阵。Akkaaa1,21A0aaa21kkccc21021kcccA存在逆矩阵的条件是：逆矩阵具有如下的基本性质： IAAAA11(1)TTAA)()(11（2） (3) 若 和 均为 阶非退化方阵， 则 ACp111)(ACAC11AA （4） (5)若 是正交矩阵，则 ATAA1),(2211ppaaadiagA 则),(11221111ppaaadiagA（6）若 非退化（即 ） piaii, 2 , 1, 0AB1110000BABA（7）若和为非退化方阵，则 于是：22) 1(, 1) 1() 1(

6、, 33) 1(, 66) 1(,152222122121121111AAAAA故 的逆矩阵为： A152511515223161511A6312A例：设4100015251015152400006312111A则：400063012A例：设（1） ， 当且仅当 。0)(Arank0A（2）若 为矩阵 ,且 ， 则 。 Aqp0AqpArank,min)(12、 矩阵的秩的基本性质：（四）矩阵的秩（四）矩阵的秩1、定义：设 为 矩阵，如果 中不为零的子方阵最高阶数为 ，而任何 阶子方阵皆为零，则称 为矩阵 的秩，记作AAA1rrrqprArank)(（4） 。 )()(0000BrankAra

7、nkBArankBArank（5） 。 )(),(min)(BrankArankABrank（3） 。 )()(TArankArank（7） 阶方阵 是非退化的，当且仅当 （称作 是满秩的）。pApArank)(A（8） 。)()(ArankAArankT（6）若 和 为非退化方阵，则 AC)()(BrankABCrank 例：设 ， 由于 ， 所以 的秩是2。2143A0246AA20)2(2AA1的秩是1。1阶子方阵的行列式是和，而故矩阵2121A例：设一 定义 设 是 阶方阵，若对于一个数 ，存在一个 维非零向量 ，使得 ，则称 为 的一个特征值或特征根，而称 为 的属于特征值 的一个特

8、征向量。由该定义有， ，而 ，故必有 。AppxxxAAAx0 x )(IA0 x 0 IA特征值和特征向量是 的 次多项式，称为特征多项式。上式有 个根（可能有重根），记作 ，它们可能为实数，也可能为复数。若 是 的一个根，则 为退化矩阵，故存在一个 维非零向量 ，使得 即 是 的一个特征值，而 是相应的特征向量，一般都取为单位向量，即满足IApp,21i0 IAIAippix0 x iiIA)(iAix1iTixx 故 的特征值是 和 ，相应的单位特征向量为 A72215251,515221xx例 ： 设 ) 7)(2(4)6)(3 (IA于是 6223A二二 特征值和特征向量的基本性质：

9、特征值和特征向量的基本性质：（1） 和 有相同的特征值。TAA(2) 若 和 分别是 和 矩阵，则 和 有相同的非零特征值。BAqpBAABpq证明： 因为qpqpqpIBABIIBAIIAI00BAIAIIBAIIBIqpqpqp00BAIAIIBABIqpqp00BAIABIqppq所以又故有 和pq0 BAIq0 ABIp关于 的方程 和 有着完全相同的非零根（若有重根，则它们的重数也相同），故而 和 有相同的非零特征值。ABBA0 ABIp0 BAIq（3）若 为实对称矩阵，则 的特征值全为实数， 个特征值按大小依次表示为 。若 ，则相应的特征向量 和 必正交，即 。AApp21jii

10、xjx0jixx 证明 （1）设 是 的任一特征值， 是相应的特征向量，于是两边取共轭复数，并注意 为实数矩阵，得 两边左乘 得AxxxAAxxATxxxxxTTA 又因此由于 ，从而 ，故而 ，即 为实数。xxxxxxTTTAA)(xxxxTT0 x 0 xxT（2）因为 所以 而 故 由于 ， 因而有jjjiiiAAxxxx,jTijjTiiTjiiTjAAxxxxxxxx,jTiiTjAAxxxxjTijiTjixxxxji0jTixx（4）若 ，则 为 的 个特征值，相应的特征向量分别为 。),(2211ppaaadiagAppaaa,2211ApTpTT) 1 , 0 , 0(,)0

11、 , 1 , 0(,)0 , 0 , 1 (21eee（5）若 为 阶对称矩阵，则存在正交矩阵 及对角矩阵 ，使得ApT),(21pdiagTTTApppttttttA00),(),(212121),(),(221121ppptttAtAtAt上式两边右乘 ，得将 按列向量分块，并记作 ，于是有TT),(21ptttTTAT故这表明 是 的 个特征值，而 为相应的特征向量。由于 是正交矩阵，所以可以更确切地说，它们是正交单位特征向量。pitAtiii, 2 , 1,p,21Apttt,21Tp上述矩阵 可作如下分解： 称之为 的谱分解。ApiTiiiTpTTppTt tttttttTTA121

12、212100),(A 三 方阵的迹（一）定义 设 为 阶方阵，则它的对角线元素之和称为 的迹，记作 ，即 AApppaaaAtr2211)()(Atr（二）方阵的迹的性质：（1） 若 为 的特征值，则p,21AppAtr2211)(（2）（3）（4）（5）（6）若 为投影矩阵，则)()(BAtrABtr)()(TAtrAtr)()()(BtrAtrBAtrkkAtrAtr11)()(A)()(ArankAtr正定矩阵和非负定矩阵一 定义 设 是 阶对称矩阵， 是一 维向量，则xx ATApxp称为 的二次型。若对一切 ，有 ，则称 为正定矩阵，记作 ；A0 x 0 xx AT若对一切 ，有 ，

13、则称 为非负定矩阵，记作 。 表示 ； A0AxA0 xx AT0A表示 。BA BA0 BA0 BA二、正定矩阵和非负定矩阵的性质：（1）设 是对称矩阵，则 是正定（或非负定）矩阵，当且仅当 的所有特征值均为正（或非负）。AAA（2）若 ，则 。0A0TA（3）设 ，则 ，当且仅当 。0A0A0A（4） 对一切矩阵 成立。 证明 0TBBB2)()()(TTTTTTTTTTTTTTTTTTTTTTTTT（5）若 （或 ），则存在 （或 ），使得 ， 称为 的平方根。2121AAA 021A0A21AA00证明 因为 是对称矩阵，所以存在正交矩阵 和对角矩阵 ，使得 。由 （或 ） 可知， 。

14、令则有由于 的特征值 ，所以 （或 ） AT),(21pdiagTTTA0A0pii, 2 , 10(0），或TpTTAdiag21212121),(212121212121AATTTTTTATTT21Apii, 2 , 10(0），或021A0（6）设 是 阶秩为 的矩阵，则存在一个秩为 的 矩阵 ，使得 。0AprrpBTBBA r证明 因为 ，所以存在正交矩阵 和对角矩阵 ，使得 ，且 。又 。令 ， ， ，0AT),(21pdiagTTTA021p0121prr),(211rdiag)(21TTT 2111 TBTTTTTTTBBTTTTTTTTATTTTA)(000)(2111211

15、11211211111121121显然， 是秩为 的 矩阵，因此Brrp特征值的极值问题 若 是 阶对称矩阵，其特征值依次为 则 p021p1/supxxxx0 xTTAApTTAxxxx0 x/inf证明 由于 是对称矩阵，故存在正交矩阵 和对角矩阵 ，使得 。令 ，于是 ，即 ，可得 TTTTA),(21pdiagxxxyTTT/piiiTTTyA12/yyxxxx1yyT112piiyAppiiiyTTyApii12112inf/infxxxx0 x112112sup/suppiiiyTTyApiixxxx0 x故而（2）若 是 阶对称矩阵， 是 阶正定矩阵， 是 的 个特征值，则AppB1/supxxxx0 xBATTpTTBAxxxx0 x/infp21AB1p证明 存在 ，使得 ， 令 ， ，于是 为对称矩阵。021B2121BBB xy21B21211ABBA1AIABBBABIABBIA121212121211因为所以 的特征值与 的特征值相同，即为 故而1A