多元统计分析教学课件

1、多元统计分析教学课件徐江第一章 绪 论第一节 什么是多元统计分析多元统计分析是能同时处理多个指标(变量）的数理统计方法，是研究多个随机变量之间相互依赖关系及内在统计规律的一门统计学科，是进行深层次分析的一种有效工具。主要包括：聚类分析、判别分析、主成分分析、因子分 析、典型相关分析、对应分析、路经分析等。第二节多元统计分析能解决哪些类型的问题 通常多元统计分析适用于下列目的的研究：1、简化数据和数据结构。即使变量的维数降低， 寻找综合指标。2、分类和组合。一种是对研究对象分成不同的组 或类；另一种是对变量按其性质分类（组）3、变量之间的依赖性分析。变量之间是否有关， 具有什么样的依赖关系。多元

2、统计分析应用非常广泛：经济学、管理学、社会学、农学、医学、教育学、心理学、体育科学、 生态学、地质学、考古学、环境保护、军事科学、文学等。多元统计分析基础知识 附录：矩阵代数第一节 矩阵及基本运算1、矩阵的定义将np个实数 aij (i=1,2,n ; j=1,2, ,p)排成n行p列的数表，记为A，称为np阶矩阵。 a11 a12 a1p A= a21 a22 a2p an1 an2 anp 记为A=(aij)np 或A=(aij)或Anp一些特殊矩阵（1）列向量（2）行向量（3）方阵（4）对角阵（5）单位矩阵（6）转置矩阵（7）对称矩阵（8）下三角矩阵（上三角矩阵）2、矩阵的运算 （1）加

3、法 （2）数乘 （3）乘法3、矩阵的运算规律(1) A+B =(2) (A+B) = (3) (AB) =(4) A+(-1)A =(5) (AB) =(6) (A) =(7) (A+B) =(8) A(BC) =(9) A(B+C) =(10) AI = 若为方阵，满足：AA，则称为正交矩阵 4 、向量(1)向量 a=(a 1 , a2 , an)(2)内积(3)正交(4)正交向量组(5)向量的模(向量的长度）(6)单位向量(7)标准正交向量组一个结论： A是正交矩阵的充分必要条件是: A的行向量都是单位向量，且两两正交。（也即A的行向量组是标准正交向量组） 同理,对列也成立。第二节 行列式

4、、逆矩阵的秩1 、行列式(1) 行列式(2) 代数余子式(3) 行列式的性质: 若A的某行(或列)为零,则|A|=0 |A|=|A| 将A的某行(或列)乘以数 ,所得矩阵的行列式 等于 |A| 若A的两行(或列)相同,则|A|=0 若将A的两行(或两列)互换位置,所得矩阵的行 列式等于-|A| 若将A的某一行(或列)乘上一个常数后加到另 一行相应元素上,所得矩阵的行列式不变,仍等于|A|2 逆矩阵(1) 非退化阵(非奇异阵)(2) 退化阵(奇异阵)(3) 逆矩阵非退化阵及退化阵 设A为P阶方阵，若|A|0，则称A是非退化阵(非奇异阵)。若|A|=0，则称A是退化阵(奇异阵)。逆矩阵 若A是P阶

5、非退化阵，则存在唯一的矩阵B，使得AB=I，B称为A的逆矩阵，记为B=A-1。逆矩阵的求法 A11A21 Ap1A-1=（1/|A|）A*=（1/|A|）A12A22 Ap2 A1pA2p AppA*为A的伴随矩阵，它是A的各个元素的代数余子式所构成的矩阵。例题 3 -1 0求方阵A= -2 1 1 的逆矩阵 2 -1 4 (4) 逆矩阵的性质 AA-1=A-1A=I (A)-1=(A-1) 若A和B均为P阶非退化阵, 则(AB)-1= B-1A-1 设A为P阶非退化阵,b和a为P维列向量, 则方程: Ab=a的解为b= A-1 a | A-1|=|A|-1 若A 是正交阵,则A-1= A 若

6、A 是对角阵,A=diag(a11, a22, , app) ,且aij 0, i=1,2,p,则A-1= diag(a11-1, a22-1, , app-1) 3 矩阵的秩 设A为p q阶矩阵,若存在它的一个r阶子方阵的行列式（即为r阶子式）不为零,而A的一切(r+1)阶子方阵的行列式均为零,则称A的秩为r,记作rk(A)=r 。 例题 1 2 3 4 5 6 求矩阵A= 3 1 2 0 7 8 的秩 2 3 1 10 -9 5秩有如下性质： (1) rk(A)=0，当且仅当A=0 (2) 若A为p q阶矩阵， 则 0rk(A) min(p,q) (3) rk(A)= rk(A) (4)

7、rk(AB) min(rk(A), rk(B) (5) rk(A+B) rk(A)+ rk(B) (6) 若A和C为非退化阵，则rk(ABC) = rk(B) 第三节 特征根、特征向量 和矩阵的迹 1、 特征根和特征向量 设A为P阶方阵，是一个数，如果有非零列向量L，使得A L=L，就称是A的一个特征根，L是A的属于特征根的特征向量，简称特征向量。如何求一个矩阵的特征根和特征向量 由 A L=L A L-L=0 （A- I）L=0 方程| A- I|=0称为A的特征方程。 特征方程的解就是A的特征根， 记为1，2，p 。 将i代入 A L= i L （A- i I）L=0 其非零解Li就是对应

8、于特征根i的特征向量。特征根和特征向量的求法:解A的特征方程|A-I|=0的全部解就是A的全部特征根。对每一个特征根i,求出齐次线性方程组(A- i I)L=0的非零解,就是属于i的特征向量。例题 求矩阵A= 3 5 4 2的特征根和特征向量特征根的性质1.若A是实对称矩阵，则A的特征根都是实数。故可按大小次序排成1 2 p。若i j ，则相应的特征向量Li与Lj必正交（即实对称矩阵的属与不同特征根的特征向量必正交）2.A和A有相同的特征根。3.若A和B分别是p q与q p阶阵，则AB与BA有相同的非零特征根。4.若A为三角阵，则的特征根为其对角元素。5.若1 , 2 , , p 是A的特征根

9、, A可逆,则A-1的特征根为1-1, 2-1 , , p-1。 2 矩阵的迹若A是p阶方阵，它的对角元素之和称为A的迹,记为tr(A)= a11+ a22 + + app。若A是p阶方阵，它的特征根为1 , 2 , , p ,则tr(A)= 1 +2 + +p 。迹有如下关系：(1)tr(AB)= tr(BA)(2)tr(A)= tr(A)(3)tr(A+B)= tr(A)+ tr(B)(4)tr( A)= tr(A)3 一个结论 对于任一实对称矩阵A，必存在一个正交矩阵，使得A = 或 =A ，其中为对角矩阵，其对角线上的元素是A的p个特征根1 2 p 。 即 =diag(1 ,2, ,

10、p)例题 5 1 1求实对称矩阵A= 1 3 1 1 1 3 的特征根和特征向量。并求正交矩阵，使A =第四节 二次型与正定阵1、二次型：含有P个变量X1, X2, Xp的二次齐次函数Q( X1, X2, Xp)=a11X12+ a22 X22+app Xp2 +2a12 X1X2+2a13 X1X3+2ap-1,p Xp-1Xp = aij XiXj 称为二次型。其中 aij = aji 称为二次型系数。 当aij是实数时，上式是实二次型。 二次型可以用矩阵表示，即 Q=XAX其中X=（ X1, X2, Xp)，A=(aij ) p p，A为对称阵。2、正定阵 设有实二次型Q=XAX，若对任

11、何X0都有Q0，则称Q为正定二次型，称实对称矩阵A为正定阵，记作A 0。 若对任何X0都有Q 0，则称Q为非负定二次型，称实对称矩阵A为非负定阵，记作A 0。正定阵和非负定阵性质1.一个实对称阵是正（非负）定的当且仅当它的特征根都是正（非负）实数。A 0 i 0A 0 i 02.若A 0 ，则A-1 0 3.若A 0 ，则CA0 ，其中C为正数。4.若A 0 ，因它是实对称矩阵，则必存在一个正交阵，使得A =diag(1,2, , p)=其中1 ,2, , p为A的特征根的列向量为相应的特征向量， 于是 A= 。5.对于非负定阵A 0 ，由性质1，1 ,2, , p均非负，既 0，有A= ，这

12、个关系在A与的函数上也成立，记f()= diag(f(1) ,f(2), , f(p),A的矩阵函数f(A)与的矩阵函数f()有f(A)= f() 。 特别1/2= diag(11/2 ,21/2, ,p1/2) A1/2= 1/2 。 6.若A 0（0）， 则存在A1/2 0 （0） 使得A= A1/2 A1/2 第五节 消去变换（初等变换）1、换法变换：矩阵的两行互换位置。2、倍法变换：以任意数0乘矩阵的某一行。3、消法变换：以数乘矩阵的某行上的各元素再加 到另一行各元素上去。求A-1的具体作法 在n阶可逆矩阵A的后面加上一个与A同阶的单位矩阵，对这个n 2n阶的矩阵（A：I）施行行的初等

13、变换，当把A变成单位矩阵时， (I: A-1 ),后面相应的单位矩阵就变成了A的逆矩阵A-1。例题 3 -1 0求方阵A= -2 1 1 的逆矩阵 2 -1 4第六节 矩阵的分块和矩阵的微商 1、矩阵的分块 将矩阵A用若干条纵线和横线分成许多个小矩阵，每一个小矩阵称为A的子块，以子块为元素的形式上的矩阵称为分块矩阵。一个公式：若A= A11 A12 A21 A22 A11 ，A22 是方阵且是非退化阵，则 |A|=| A11 | | A22 - A21 A11-1 A12 | =| A22 | | A11- A12 A22-1 A21| 2、矩阵的微商设x=(x1, x2, xp), 分量xi

14、均为变量， y=f(x)为x的实函数，则f(x)关于的微商定义为: 若则公式：1、若x=(x1, xp), A=(a1, , ap)则2、若x=(x1, xp), 则：3、若x=(x1, xp), 则：4、若式中X为np阶阵，A为nn阶阵，则若A为对称阵，则第二章 多元正态分布第一节 基本概念 1、随机向量的概率分布 定义1、将P个随机变量X1，Xp的整体称为P维随机向量，记为 X=( X1， Xp )多维随机向量的分布函数定义定义2、设X=( X1， Xp )是P维随机向量，它的分布函数定义为： F(x)=F ( x1,xp ) =P(X1 x1, X2 x2 , , Xp xp)其中x=

15、( x1,xp )属于P维欧氏空间。离散型随机向量定义3 设X=( X1， Xp )是P维随机向量， 若存在有限个或可列个P 维列随机向量 x1, x2 ，记P（X= xk)=pk (k=1,2, ) 且满足p1+ p2+ =1 则称X为离散型随机向量，称P（X= xk)=pk (k=1,2, )为X的概率分布。连续型随机向量 设X=( X1， Xp )是P维随机向量，若存在一个非负函数f( x1,xp ),使得对一切 x= ( x1,xp )属于P维欧氏空间，有 F(x)=F ( x1,xp ) = 则称X为连续型随机向量，称f( x1,xp )为分布密度函数，简称密度函数。边际分布 定义4

16、 设X=( X1，Xp)是P维随机向量， 称由它的q个分量组成的子向量 的分布为X的边际分布。 通过变换X中各分量的次序，总可假定X（1）正好是X的前q个分量，其余p-q个分量为X（2），即:相应的取值也可以分为两部分: 边际分布函数及边际密度函数 当X的分布函数是F( x1,xp )时， X(1）的分布函数为： F( x1,xq )=P(X1x1,X2x2 ,Xqxq)=P(X1x1,X2x2 ,Xqxq,Xq+1+,Xp+)= F( x1,xq ,+, ,+ )若X为连续型随机向量，X(1)边际的密度函数f1(x1,xq)=相互独立 定义5 若P个随机变量X1，Xp的联合分布等于各自的边际

17、分布的乘积，则称X1，Xp是相互独立的。2、随机向量的数字特征（1）均值 定义6 设X=( X1， Xp )若 E(Xi)(i=1,2,，p)存在且有限，则称 E(X)=(E(X1), E(X2), , E(Xp) 为X的均值(向量）或数学期望。有时记为：均值的性质1、E(AX)=AE(X)2、E(AXB)=AE(X)B3、E(AX+BX)=AE(X)+BE(X)其中：X，Y为随机向量， A，B为常数矩阵。（2） X的方差或协方差矩阵 定义7 设X=( X1，Xp ) 称 D(X)=E(X-E(X)(X-E(X) Cov(X1, X1) Cov(X1, X2) Cov(X1, Xp) = Co

18、v(X2, X1) Cov(X2, X2) Cov(X2, Xp) Cov(Xp, X1) Cov(Xp, X2) Cov(Xp, Xp) 为X的方差或协方差矩阵（或）D(X)或X，Y的协方差矩阵定义7 设X=( X1，Xp )Y=( Y1，Yp )称 Cov(X,Y)=E(X-E(X)(Y-E(Y) Cov(X1, Y1) Cov(X1, Y2) Cov(X1, Yp) = Cov(X2, Y1) Cov(X2, Y2) Cov(X2, Yp) Cov(Xp, Y1) Cov(Xp, Y2) Cov(Xp, Yp) 为X，Y的协方差矩阵（3）相关随机向量X的相关矩阵为 r11 r12 r1p

19、 R= =(rij)pp rp1 rp2 rpprij=(4) 协方差矩阵和相关矩阵关系 令（标准离差阵）V= 则有= VR V或R=(V)-1 (V)-1(5)协方差矩阵的性质1.D(X)0,既X的协方差矩阵是非负定阵。2.对于常数向量a，有D(X+a)=D(X)。3.设A为常数矩阵，则D(AX)=AD(X)A。4.Cov(AX,BY)=ACov(X,Y)B第二节多元正态分布的定义及性质一元正态分布f(x)=二元正态分布f(x,y)=多元正态分布f( x1,xp)=记为 X Np(,)多元正态随机向量的性质1、若X=( X1， Xp )Np(,)，是对角阵，则X1， Xp 相互独立。2、若XNp(,)，A为sp阶常数矩阵，d为s维常数