配套课件-《统计分析方法及应用》

第一章

一元统计基础知识§1.1一元分布及数字特征§1.2参数估计§1.3假设检验§1.1一元分布及数字特征一、随机变量与概率分布函数二、概率分布的类型三、随机变量的数学期望和方差四、一些重要的一元分布五、其他数字特征一、随机变量与概率分布函数随机变量x的(概率)分布函数定义为F(a)=P(x≤a) 分布函数F(x)具有下述性质： (1)F(x)是非降函数，即若x1<x2，则F(x1)≤F(x2)； (2) ； (3)F(x)是右连续函数，即F(x+0)=F(x)。二、概率分布的类型1.离散型分布2.连续型分布1.离散型分布随机变量x的分布列：P(x=ak)=pk，k=1,2,⋯分布列具有如下两个性质：(1)pk≥0，k=1,2,⋯；(2) 。x的分布函数可表示为2.连续型分布若随机变量x的分布函数可以表示成

对一切a∈R成立，则称x为连续型随机变量，称f(x)为x的(概率)密度函数。对f(x)的连续点必有F′(x)=f(x)。密度函数f(x)具有如下两个性质： (1)f(x)≥0； (2) 。

三、随机变量的数学期望和方差离散型：连续型：数学期望和方差的性质数学期望的性质： (1)设c是常数，则E(c)=c； (2)E(kx)=kE(x)； (3)E(x1+x2+⋯+xn)=E(x1)+E(x2)+⋯+E(xn)方差的性质： (1)设c是常数，则V(c)=0。 (2)V(kx)=k2V(x) (3)设x1,x2,⋯,xn相互独立，则V(x1+x2+⋯+xn)=V(x1)+V(x2)+⋯+V(xn)四、一些重要的一元分布1.二项分布2.超几何分布3.泊松分布4.正态分布5.卡方分布6.t分布7.F分布五、其他数字特征1.变异系数2.中位数3.分位数4.众数5.矩6.偏度7.峰度1.变异系数变异系数：变异系数没有单位。x改变为kx(k>0为常数)后，变异系数不变。标准差(或方差)是反映随机变量绝对变异性的量，而变异系数则是反映随机变量相对变异性的量。2.中位数中位数(median)是另外一个反映随机变量取值中心位置的量。若m满足

则称m为连续型随机变量x的中位数。与均值不同，中位数在理论上总是存在的。当随机变量的分布对称时，中位数与均值(如果存在)重叠。图1.1.6中位数m在分布函数中的位置图1.1.7中位数m在密度函数中的位置3.分位数分位数(quantile)是反映随机变量取值相对位置的一个量。若

则称x1−p为连续型随机变量x的下侧p分位数，简称p分位数，称xp为x的上侧p分位数p=0.5时的分位数x0.5正是中位数m。图1.1.8x的p分位数和上侧p分位数4.众数若x是一个离散型随机变量，则使概率P(x=a)达到最大的a值称为随机变量x的众数(mode)；若x是一个连续型随机变量，则使密度函数f(a)达到最大的a值称为x的众数，记作mo。众数也是一个反映随机变量取值位置的量。随机变量的众数不一定只有一个，可能有两个或两个以上。例1.1.1正态分布N(μ,σ2)的众数、中位数和均值都是μ，三者重叠。5.矩若E|x|k<∞，则E(xk)称为x的k阶(原点)矩，记作μk；若E|x−μ|k<∞，则称E(x−μ)k为x的k阶中心矩，记作υk。一阶原点矩就是数学期望，二阶中心矩就是方差。一般低阶矩用得较多，高于四阶的矩极少使用。

若高阶矩E(xk+1)存在，则低阶矩E(xk),E(xk−1),⋯也一定都存在。6.偏度偏度(skewness)是反映随机变量分布形状的一个量，它度量了分布的偏斜程度及偏向。称

为x的偏度系数，简称偏度。对称分布的sk=0；若sk>0，则称x的分布是正偏(或右偏)的，说明分布在右方向的尾部比在左方向的尾部有拉长的趋势；若sk<0,则称x的分布是负偏(或左偏)的，说明分布在左方向的尾部比在右方向的尾部有拉长的趋势；|sk|越大，说明分布偏斜得越厉害。图1.1.9偏度sk对分布形状的影响7.峰度峰度(kurtosis)是另一个反映随机变量分布形状的量，它度量了分布尾部的厚度。称

为x的峰度系数，简称峰度。若令

，则峰度ku=E(x*4)−3同偏度一样，峰度也是一个没有单位的数值。峰度ku的取值范围是[−2,∞]。正态分布的峰度为零。若ku>0，则说明随机变量x分布的尾部比正态分布的尾部粗，并且ku值越大，倾向认为尾部越粗；若ku<0，则说明x分布的尾部比正态分布的尾部细，且|ku|值越大，倾向认为尾部越细。峰度ku可用来比较已标准化了的各随机变量的分布尾部厚度。§1.2参数估计一、统计量和抽样分布二、估计量的性质三、置信区间的基本原理四、总体均值的置信区间五、两个总体均值之差的置信区间六、正态总体方差的置信区间七、两个正态总体方差之比的置信区间一、统计量和抽样分布1.统计量2.的抽样分布1.统计量样本均值：样本方差：

样本标准差：样本变异系数样本偏度样本峰度次序统计量：x(1)≤x(2)≤⋯≤x(n)最小次序统计量：最大次序统计量：极差=x(n)−x(1) 样本中位数样本p分位数下样本四分位数：Q1=0.25样本分位数上样本四分位数：Q3=0.75样本分位数四分位数间距：Q3−Q1例1.2.1表1.2.1列出了上海财经大学统计与管理学院某年级所有修读的93名学生的《多元统计分析》期末考试成绩期末考试成绩占总成绩的60%。等资料。在后面的统计推断中，为了说明起见，我们将该组数据看成是从一个很大的总体中抽取的一个样本。表1.2.1 某年级93名学生的《多元统计分析》期末考试成绩课程序号n性别sex期末成绩x课程序号n性别sex期末成绩x课程序号n性别sex期末成绩x1女9632女9563女772男7833女10064女963男9934女6765女974男9235女8866女695男9336女8967男936男8337女8968男777男6238女7469男928男5539女6270男609男8240女8571男8510男9241女8172男9411男9342女9873男6712男7143女8374男5013男8944女9675女7414男5045女9776女9015男9246女9877女8316男4047女9578女9217男5848女6079女8118男7049女7580女9119男7050女5181女9120男7751女8382女9721男8152女8483女8822男4053女4084女9423男8754女8485女9824男9155女8886女9125男8356女9087女7826女3857女8788女8727女9658女8689男10028女9059女8190男9529女9360女6991女9830女8661女9892女8331女8662女8093女68输出1.2.1矩统计量表输出1.2.2样本分位数表2.的抽样分布(1)正态总体的情形

设x1,x2,⋯,xn是来自于总体N(μ,σ2)的一个样本，则有(2)非正态总体的情形

中心极限定理

设x1,x2,⋯,xn是来自于总体x的一个样本，E(x)=μ,V(x)=σ2(>0)，则随着样本容量n的无限增大，样本均

值

经标准化之后的分布，将以标准正态分布N(0,1)

为极限。即对任意的实数y，有二、估计量的性质1.无偏性2.有效性3.一致性(或称相合性)1.无偏性如果

则称

为θ的无偏估计，否则就称为有偏估计，称

为估计的偏差(bias)。样本均值

是总体均值μ的无偏估计(即 )；样本方差s2是总体方差σ2的无偏估计(即 )，但样本标准差s却是总体标准差σ的有偏估计。2.有效性设

和

都是未知参数θ的无偏估计，若

且至少对一个θ0∈Θ有严格不等号成立，则称估计量

比

有较高的效率，简称

比

有效(efficient)。如果θ的某个无偏估计

是θ的所有无偏估计中最有效的一个，即对θ的任一无偏估计

有

则称

为θ的一致最小方差无偏估计。3.一致性(或称相合性)如果未知参数θ的估计量

随着样本容量n的不断增大，而无限地逼近于真值θ，则称

为θ的一致估计，或称相合估计。估计量的一致性是在大样本情形下提出的一种要求，而对于小样本，它不能作为评价估计量好坏的准则。三、置信区间的基本原理设

和

是两个统计量，给定1−α(0<α<1)，若

则称随机区间

是未知参数θ的置信度为1−α的置信区间。置信区间好坏的评价准则： (1)置信度。希望随机区间

包含真值θ的概率

越大越好。 (2)精确度。希望随机区间

的平均长度

越短越好。若统计量

满足

则称

是θ的置信度为1−α的单侧置信下限。若统计量

满足

则称

是θ的置信度为1−α的单侧置信上限。四、总体均值的置信区间1.正态总体情形2.非正态总体的大样本情形1.正态总体情形当σ2已知时，μ的1−α置信区间为

其中uα/2为N(0,1)的上α/2分位点。当σ2未知时，μ的1−α置信区间

这里

为样本方差，tα/2(n−1)为t(n−1)的上α/2分位点。2.非正态总体的大样本情形当n很大时，若σ2已知，则总体均值μ的1−α近似置信区间为若σ2未知，则总体均值μ的1−α近似置信区间为五、两个总体均值之差的置信区间设

是取自总体x的容量为n1的样本，E(x)=μ1,V(x)= 是取自总体y的容量为n2的样本，E(y)=μ2，V(y)=，且两个样本相互独立。令1.两个正态总体情形2.两个非正态总体的大样本情形1.两个正态总体情形若

已知，则μ1−μ2的1−α置信区间为若

未知，但

，则μ1−μ2的1−α置信区间为

其中2.两个非正态总体的大样本情形当n1和n2都很大时，若

已知，则μ1−μ2的1−α置信区间近似为若

未知，则μ1−μ2的1−α置信区间近似为六、正态总体方差的置信区间设x1,x2,⋯,xn是来自总体N(μ,σ2)的一个样本，μ未知，则σ2的1−α置信区间为σ的1−α置信区间为七、两个正态总体方差之比的置信区间设

是来自总体

的一个样本，

是来自总体

的一个样本，且两个样本独立，又

为两个样本方差，μ1,μ2皆未知，则

的1−α置信区间为σ1/σ2的1−α置信区间为§1.3假设检验一、假设检验的基本思想二、单个总体均值的检验三、关于检验的p值四、假设检验与置信区间的关系五、两个总体均值的比较检验六、基于成对数据的比较两个总体均值的检验七、正态总体方差的检验八、比较两个正态总体方差的检验一、假设检验的基本思想（双侧）假设检验问题形式：H0：μ=μ0，H1：μ≠μ0 单侧假设检验问题形式：H0：μ≤μ0，H1：μ>μ0(或H0：μ=μ0，H1：μ>μ0)和H0：μ≥μ0，H1：μ<μ0(或H0：μ=μ0，H1：μ<μ0)二、单个总体均值的检验1.正态总体2.大样本情形下的非正态总体1.正态总体(1)若σ2已知，则构造检验统计量

当μ=μ0时，u~N(0,1)，由此可得下述各假设检验问题的拒绝规则：(i)H0：μ=μ0，H1：μ≠μ0若|u|≥uα/2，则拒绝H0(ii)H0：μ≤μ0，H1：μ>μ0(或H0：μ=μ0，H1：μ>μ0)若u≥uα，则拒绝H0(iii)H0：μ≥μ0，H1：μ<μ0(或H0：μ=μ0，H1：μ<μ0)若u≤−uα，则拒绝H0(2)若σ2未知

应取检验统计量

当μ=μ0时，t~t(n−1)，于是可得以下各假设检验问题的拒绝规则：(i)H0：μ=μ0，H1：μ≠μ0若|t|≥tα/2(n−1)，则拒绝H0(ii)H0：μ≤μ0，H1：μ>μ0(或H0：μ=μ0，H1：μ>μ0)若t≥tα(n−1)，则拒绝H0(iii)H0：μ≥μ0，H1：μ<μ0(或H0：μ=μ0，H1：μ<μ0)若t≤−tα(n−1)，则拒绝H0三、关于检验的p值以正态总体的如下假设检验问题为例。H0：μ=μ0，H1：μ≠μ0

其拒绝规则为：若|u|≥uα/2，则拒绝H0用U表示随机变量时的u，u本身表示取值时的u，则称P(|U|≥|u|)为检验的p值，记为p。|u|≥uα/2⟺p=P(|U|≥|u|)≤P(|U|≥uα/2)=α

故上述拒绝规则等价于：若p≤α，则拒绝H0四、假设检验与置信区间的关系在显著性水平α下接受H0：μ=μ0

⟺ ⟺μ0落在μ的1−α置信区间内。假设检验与置信区间的这种关系具有普遍性。例1.3.1在例1.2.1中，当σ2未知时，求总体均值μ的0.95置信区间和在α=0.05下对H0：μ=85，H1：μ≠85进行检验。输出1.3.1总体均值μ的0.95置信区间及检验结果五、两个总体均值的比较检验设

是取自总体x的样本，E(x)=μ1,V(x)= 是取自总体y的样本，E(y)=μ2,V(y)=，且两个样本相互独立。给定显著性水平α。1.两个正态总体情形2.两个非正态总体的大样本情形1.两个正态总体(1)若

已知，则构造检验统计量

当μ1=μ2时，u~N(0,1)，下述各假设检验问题的拒绝规则为：(i)H0：μ1=μ2，H1：μ1≠μ2若|u|≥uα/2，则拒绝H0(ii)H0：μ1≤μ2，H1：μ1>μ2(或H0：μ1=μ2，H1：μ1>μ2)若u≥uα，则拒绝H0(iii)H0：μ1≥μ2，H1：μ1<μ2(或H0：μ1=μ2，H1：μ1<μ2)若u≤−uα，则拒绝H0(2)若

未知，但

取检验统计量

当μ1=μ2时，t~t(n1+n2−2)，于是可得以下各假设检验问题的拒绝规则：(i)H0：μ1=μ2，H1：μ1≠μ2若|t|≥tα/2(n1+n2−2)，则拒绝H0(ii)H0：μ1≤μ2，H1：μ1>μ2(或H0：μ1=μ2，H1：μ1>μ2)若t≥tα(n1+n2−2)，则拒绝H0(iii)H0：μ1≥μ2，H1：μ1<μ2(或H0：μ1=μ2，H1：μ1<μ2)若t≤−tα(n1+n2−2)，则拒绝H0(3)若

未知，且

一般情况下，检验的显著性水平只是近似地为α。取检验统计量

当μ1=μ2时，t近似地服从t(v)，其中

必须将其四舍五入成整数。其拒绝规则完全类似于前面的相应各式，只需把t分布的自由度改为v即可。例1.3.2在例1.2.1中，设男生总体具有均值μ1和方差

，女生总体具有均值μ2和方差

，求μ1−μ2的0.95置信区间和在α=0.05下对H0：μ1=μ2，H1：μ1≠μ2进行检验。输出1.3.2男、女生总体均值的比较推断结果六、基于成对数据的比较两个总体均值的检验数据的成对出现避免了作为抽样误差来源之一的两个样本个体之间的差异，从而减少了抽样误差，以致往往得到比独立样本方法更精确的统计推断结论。设总体x和总体y的数学期望分别为μ1和μ2，从这两个总体中抽取一个成对的样本(x1,y1),(x2,y2),⋯,(xn,yn)。令δ=μ1−μ2，di=xi−yi(i=1,2,⋯,n)，这样d1,d2,⋯,dn可看作是从某个均值为δ的总体d中抽取的一个样本，从而可按本节第二部分介绍的方法进行假设检验。七、正态总体方差的检验设x1,x2,⋯,xn是来自总体N(μ,σ2)的一个样本，μ未知，则构造检验统计量

当

时，χ2~χ2(n−1)。给定α，各假设的拒绝规则如下：(i)若

，则拒绝H0(ii)若

，则拒绝H0(iii)若

，则拒绝H0例1.3.3在例1.2.1中，假定总体分布为N(μ,σ2)，其中μ未知，求总体方差σ2的0.95置信区间和在α=0.05下对

进行检验。输出1.3.3正态总体方差σ2的0.95置信区间及检验结果八、比较两个正态总体方差的检验构造检验统计量

当

时，F~F(n1−1,n2−1)。给定α，各拒绝规则为：(i)若F≤F1−α/2(n1−1,n2−1)或F≥Fα/2(n1−1,n2−1)，则拒绝H0(ii)若F≥Fα(n1−1,n2−1)，则拒绝H0(iii)若F≤F1−α(n1−1,n2−1)，则拒绝H0例1.3.4在例1.2.1中，设男生和女生的总体分布分别为

和

，μ1和μ2皆未知，求

的0.95置信区间以及在α=0.05下对

进行检验。输出1.3.4两个正态总体方差之比的0.95置信区间及检验结果第二章矩阵代数§2.1定义§2.2矩阵的运算§2.3行列式§2.4矩阵的逆§2.5矩阵的秩§2.6特征值、特征向量和矩阵的迹§2.7正定矩阵和非负定矩阵§2.1定义p×q矩阵：p维列向量：q维行向量：

a′=(a1,a2,⋯,aq)向量a的长度：单位向量：若A的所有元素全为零，则称A为零矩阵，记作A=0pq或A=0。若p=q，则称A为p阶方阵，a11,a22,⋯,app称为它的对角线元素，其他元素aij(i≠j)称为非对角线元素。若方阵A的对角线下方的元素全为零，则称A为上三角矩阵。显然，aij=0,i>j。若方阵A的对角线上方的元素全为零，则称A为下三角矩阵。显然，aij=0,i<j。若方阵A的所有非对角线元素均为零，则称A为对角矩阵，简记为A=diag(a11,a22,⋯,app)。若p阶对角矩阵A的所有p个对角线元素均为1，则称A为p阶单位矩阵，记作A=Ip或A=I。若将矩阵A的行与列互换，则得到的矩阵称为A的转置，记作A′，即若方阵A满足A′=A，则称A为对称矩阵。显然，aij=aji。§2.2矩阵的运算若A=(aij)：p×q，B=(bij)：p×q,则A与B的和定义为A+B=(aij+bij)：p×q若c为一常数，则它与A的积定义为cA=(caij)：p×q若A=(aij)：p×q，B=(bij)：q×r,则A与B的积定义为运算规律(1)(A+B)′=A′+B′。(2)(AB)′=B′A′。(3)A(B1+B2)=AB1+AB2。(4) 。(5)c(A+B)=cA+cB。若两个p维向量a和b满足a′b=a1b1+a2b2+⋯+apbp=0

则称a和b正交。几何上，正交向量之间相互垂直。若方阵A满足AA′=I，则称A为正交矩阵。显然，

，

i=1,2,⋯,p，即A的p个行向量为单位向量；

，即A的p个行向量相互正交。又从A′A=I得： (j≠k)，即A的p个列向量也是一组正交单位向量。正交矩阵A的几何意义将p维向量x看作是在Rp中的一个点，则x的各分量是该点在相应各坐标轴上的坐标。正交阵A的行列式非1即−1。若|A|=1，则正交变换y=Ax意味着对原p维坐标系作一刚性旋转(或称正交旋转)，y的各分量正是该点在新坐标系下的坐标；若|A|=−1，则包含了一个反射的坐标轴。当p=2时，按逆时针方向将直角坐标系x1Ox2旋转一个角度θ，所得新坐标系y1Oy2与原坐标系之间的变换为

当p=3时同样有着直观的几何展示。由于y′y=(Ax)′(Ax)=x′A′Ax=x′x

故在新、旧坐标系下，该点到原点的距离保持不变。矩阵的分块设A=(aij)：p×q,将它分成四块，表示成

其中A11：k×l，A12：k×(q−l)，A21：(p−k)×l， A22：(p−k)×(q−l)。若A和B有相同的分块，则若C为q×r矩阵，分成

其中C11：l×m，C12：l×(r−m)，C21：(q−l)×m，C22：(q−l)×(r−m)，则有例2.2.2用矩阵分块方法证明正交矩阵A：p×p的p个列向量和p个行向量都是一组正交单位向量。证明

将矩阵A分别按列向量和行向量分块，并记

由A′A=I，得

于是

故有

即a1,a2,⋯,ap为一组正交单位向量。同理，由AA′=I可证a(1),a(2),⋯,a(p)也是一组正交单位向量。§2.3行列式p阶方阵A=(aij)的行列式定义为

这里

表示对1,2,⋯,p的所有排列求和，τ(j1j2⋯jp)

是排列j1,j2,⋯,jp中逆序的总数，称它为这个排列的逆序数，一个逆序是指在一个排列中一对数的前后位置与大小顺序相反，即前面的数大于后面的数。例如，τ(3142)=1+τ(1342)=3+τ(1234)=3。行列式的一些基本性质(1)若A的某行(或列)为零，则|A|=0。(2)|A′|=|A|。(3)若将A的某一行(或列)乘以常数c，则所得矩阵的行列式为c|A|。(4)若A是一个p阶方阵，c为一常数，则|cA|=cp|A|。(5)若互换A的任意两行(或列)，则行列式符号改变。(6)若A的某两行(或列)相同，则行列式为零。(7)若将A的某一行(或列)的倍数加到另一行(或列)，则所得行列式不变。(8)若A的某一行(或列)是其他一些行(或列)的线性组合，则行列式为零。(9)若A为上三角矩阵或下三角矩阵或对角矩阵，则

(10)若A和B均为p阶方阵，则|AB|=|A||B|。(11)|AA′|≥0。(12)若A与B都是方阵，则代数余子式设A为p阶方阵，将其元素aij所在的第i行与第j列划去之后所得(p−1)阶矩阵的行列式，称为元素aij的余子式，记为Mij。Aij=(−1)i+jMij称为元素aij的代数余子式。有以下公式成立§2.4矩阵的逆若方阵A满足|A|≠0，则称A为非退化方阵；若|A|=0,则称A为退化方阵。设A=(aij)是一非退化方阵，若方阵C满足AC=I，则称C为A的逆矩阵，记为C=A−1，A−1必是一个非退化矩阵。令B′=(Aij)/|A|

其中Aij是aij的代数余子式，则容易验证AB=BA=I。由于C=BAC=B，因此A−1是惟一的，且(A−1)−1=A。逆矩阵的基本性质(1)AA−1=A−1A=I。(2)(A′)−1=(A−1)′。(3)若A和C均为p阶非退化方阵，则(AC)−1=C−1A−1(4)|A−1|=|A|−1。(5)若A是正交矩阵，则A−1=A′。(6)若A=diag(a11,a22,⋯,app)非退化(即aii≠0，i=1,2,⋯,p)，则

(7)若A和B为非退化方阵，则§2.5矩阵的秩一组同维向量a1,a2,⋯,an，若存在不全为零的常数c1,c2,⋯,cn，使得c1a1+c2a2+⋯+cnan=0

则称该组向量线性相关。若向量a1,a2,⋯,an不线性相关，就称为线性无关。矩阵A的线性无关行向量的最大数目称为行秩，其线性无关列向量的最大数目称为列秩。矩阵的行秩和列秩必相等，故统一将其称为A的秩，记作rank(A)。矩阵秩的基本性质(1)rank(A)=0，当且仅当A=0。(2)若A为p×q矩阵,且A≠0，则1≤rank(A)≤min{p,q}(若rank(A) =p,则称A为行满秩的；若rank(A)=q,则称A为列满秩的)。(3)rank(A)=rank(A′)。(4)

。(5)rank(AB)≤min{rank(A),rank(B)}。(6)若A和C为非退化方阵，则rank(ABC)=rank(B)(7)p阶方阵A是非退化的，当且仅当rank(A)=p(称作A满秩)。(8)rank(AA′)=rank(A′A)=rank(A)。§2.6特征值、特征向量和矩阵的迹一、特征值和特征向量二、矩阵的迹一、特征值和特征向量设A是p阶方阵，若对于一个数λ，存在一个p维非零向量x，使得Ax=λx，则称λ为A的一个特征值或特征根，而称x为A的属于特征值λ的一个特征向量。依该定义有，(A−λI)x=0，而x≠0，故必有|A−λI|=0 |A−λI|是λ的p次多项式，称为特征多项式。上式有p个根 (可能有重根)，记作λ1,λ2,⋯,λp，它们可能为实数，也可能为复数(虽然A是实数矩阵)。反过来，若λi是上式的一个根，则A−λiI为退化矩阵，故存在一个p维非零向量xi，使得(A−λiI)xi=0

即λi是A的一个特征值，而xi是相应的特征向量。今后，一般取xi为单位向量，即满足xi′xi=1。特征值和特征向量的基本性质(1)A和A′有相同的特征值。(2)若A和B分别是p×q和q×p矩阵，则AB和BA有相同的非零特征值。(3)若A为实对称矩阵，则A的特征值全为实数，p个特征值按大小依次表示为λ1≥λ2≥⋯≥λp。若λi≠λj，则相应的特征向量xi和xj必正交，即xi′xj=0。(4)若A=diag(a11,a22,⋯,app)，则a11,a22,⋯,app为A的p个特征值，相应的特征向量分别为e1=(1,0,⋯,0)′，e2=(0,1,0,⋯,0)′，⋯，ep=(0,⋯,0,1)′。(5)

，即A的行列式等于其特征值的乘积。可见，A

为非退化矩阵，当且仅当A的特征值均不为零；A为退化矩阵，当且仅当A至少有一个特征值为零。例2.6.4设方阵A：p×p的p个特征值为λ1,λ2,⋯,λp，试证：

①若A可逆，相应于λ1,λ2,⋯,λp的特征向量分别为x1,x2,⋯,xp，则A−1的p个特征值为

，相应的特征向量仍为x1,x2,⋯,xp；

②若A为正交矩阵，则A的特征值为1或−1。(6)若A为p阶对称矩阵，则存在正交矩阵T及对角矩阵Λ=diag(λ1,λ2,⋯,λp)，使得A=TΛT′上式两边右乘T，得AT=TΛ

将T按列向量分块，并记作T=(t1,t2,⋯,tp)，于是有(At1,At2,⋯,Atp)=(λ1t1,λ2t2,⋯,λptp)

故Ati=λiti，i=1,2,⋯,p

这表明λ1,λ2,⋯,λp是A的p个特征值，而t1,t2,⋯,tp为相应的(一组正交单位)特征向量。

称之为A的谱分解。(7)若A为p×q实数矩阵，则存在p阶正交矩阵U和q阶正交矩阵V，使得A=UΛV′

其中Λ的(i,i)元素λi≥0，i=1,2,⋯,min(p,q)，其他元素均为零。正数λi称为A的奇异值，上述分解式称为奇异值分解。设rank(A)=k

，则矩阵Λ中只有k个正数，记为λ1,λ2,⋯,λk。将正交矩阵U和V按列分块有，U=(u1,u2,⋯,up)，V=(v1,v2,⋯,vq)，令U1=(u1,u2,⋯,uk)，V1=(v1,v2,⋯,vk)，Λ1=diag(λ1,λ2,⋯,λk),则得到奇异值分解的另一表达式：

这里u1,u2,⋯,uk是一组p维正交单位向量，v1,v2,⋯,vk是一组q维正交单位向量，即有U1′U1=V1′V1=I。由A=UΛV′知，AA′=UΛ2U′，A′A=VΛ2V′，于是AA′ui=λi2ui，i=1,2,⋯,pA′Avi=λi2vi，i=1,2,⋯,q

即

是AA′的p个特征值，u1,u2,⋯,up

是相应的特征向量；

是A′A

的q个特征值，v1,v2,⋯,vq

是相应的特征向量。二、矩阵的迹设A为p阶方阵，则它的对角线元素之和称为A的迹，记作tr(A)，即tr(A)=a11+a22+⋯+app方阵的迹具有下述基本性质：(1)tr(AB)=tr(BA)。特别地，tr(ab′)=b′a。(2)tr(A)=tr(A′)。(3)tr(A+B)=tr(A)+tr(B)。(4)

。(5)设λ1,λ2,⋯,λp为方阵A的特征值，则tr(A)=λ1+λ2+⋯+λp§2.7正定矩阵和非负定矩阵设A是p阶对称矩阵，x是一p维向量，则x′Ax称为A的二次型。若对一切x≠0，有x′Ax>0，则称A为正定矩阵，记作A>0；若对一切x，有x′Ax≥0，则称A为非负定矩阵，记作A≥0。正定矩阵和非负定矩阵的基本性质(1)设A是对称矩阵，则A是正定(或非负定)矩阵，当且仅当A的所有特征值均为正(或非负)。(2)设A≥0，则A的秩等于A的正特征值个数。(3)若A>0，则A−1>0。(4)设A≥0，则A>0，当且仅当|A|≠0。(5)若A>0(或≥0)，则|A|>0(或≥0)。(6)BB′≥0，对一切矩阵B成立。(7)若A>0(或≥0)，则存在>0(或≥0)，使得

称为A的平方根矩阵。第三章多元统计基础知识§3.1随机向量§3.2多元正态分布§3.3图示法§3.1随机向量一、多元分布二、数字特征三、欧氏距离和马氏距离一、多元分布一个向量，若它的分量都是随机变量，则称之为随机向量。随机变量x的分布函数：随机向量

的（概率）分布函数：多元概率密度函数一元的连续型情形：多元的连续型情形：多元密度f(x1,

⋯,xp)的性质：二、数字特征1.数学期望（均值）

2.协方差矩阵3.相关矩阵1.数学期望（均值）随机向量的数学期望

记为μ=(μ1,μ2,⋯,μp)′。随机矩阵X=(xij)的数学期望随机矩阵X的数学期望的性质(1)设a为常数，则E(aX)=aE(X)(2)设A,B,C为常数矩阵，则E(AXB+C)=AE(X)B+C特别地，对于随机向量x，有E(Ax)=AE(x)(3)设X1,X2,⋯,Xn为n个同阶的随机矩阵，则E(X1+X2+⋯+Xn)=E(X1)+E(X2)+⋯+E(Xn)2.协方差矩阵协方差定义为若Cov(x,y)=0，则称x和y不相关。两个独立的随机变量必然不相关，但两个不相关的随机变量未必独立。当x=y时，协方差即为方差，也就是

的协方差矩阵（简称协差阵）定义为 x和y的协方差矩阵与y和x的协差阵互为转置关系，即有若Cov(x,y)=0，则称x和y不相关。两个独立（即取值互不影响）的随机向量必然不相关，但两个不相关的随机向量未必独立。x=y时的协差阵Cov(x,x)称为x的协差阵，记作V(x)，即V(x)亦记作Σ=(σij)，其中σij=Cov(xi,xj)。 协差阵Σ既包含了x各分量的方差，也包含了每两个分量之间的协方差。显然，Σ是一个对称矩阵。例3.1.1随机向量一分为二后，其协差阵分为四块：

其中，对角线块为子向量的协差阵，非对角线块为两个子向量之间的协差阵。熟悉这四块子矩阵的含义很有益处。协差阵的性质(1)协差阵是非负定阵，即Σ≥0。推论若|Σ|≠0，则Σ>0。(2)设A为常数矩阵，b为常数向量，则当p=1时，上述等式就是我们熟知的如下等式：(3)设A和B为常数矩阵，则例3.1.2设随机向量x=(x1,x2,x3)′的数学期望和协方差矩阵分别为

令y1=2x1−x2+4x3,y2=x2−x3,y3=x1+3x2−2x3,试求y=(y1,y2,y3)′的数学期望和协方差矩阵。3.相关矩阵随机变量x和y的相关系数定义为

的相关阵定义为若ρ(x,y)=0，则表明x和y不相关。

x=y时的相关阵ρ(x,x)称为x的相关阵，记作R=(ρij)，这里ρij=ρ(xi,xj),ρii=1。即R=(ρij)和Σ=(σij)之间有关系式：R=D−1ΣD−1

其中

；R和Σ的相应元素之间的关系式为

前述关系式即为标准化变换在数据处理时，常常因各变量的单位不完全相同而需要对每个变量作标准化变换，最常用的标准化变换是令记，于是

即标准化后的协差阵正好是原始向量的相关阵。可见，相关阵R也是一个非负定阵。三、欧氏距离和马氏距离1.欧氏距离2.马氏距离1.欧氏距离

之间的欧氏距离为平方欧氏距离为

到总体π的平方欧氏距离定义为平均大小等于不适合直接使用欧氏距离的例子下面是各国家和地区男子径赛记录的数据（1984年）：国家和地区100米（秒）200米（秒）400米（秒）800米（分）1500米（分）5000米（分）10000米（分）马拉松（分）阿根廷10.3920.8146.841.813.714.0429.36137.72澳大利亚10.3120.0644.841.743.5713.2827.66128.3奥地利10.4420.8146.821.793.613.2627.72135.9比利时10.3420.6845.041.733.613.2227.45129.95百慕大10.2820.5845.911.83.7514.6830.55146.62巴西10.2220.4345.211.733.6613.6228.62133.13缅甸10.6421.5248.31.83.8514.4530.28139.95加拿大10.1720.2245.681.763.6313.5528.09130.15智利10.3420.846.21.793.7113.6129.3134.03中国10.5121.0447.31.813.7313.929.13133.53哥伦比亚10.4321.0546.11.823.7413.4927.88131.35⋮⋮⋮⋮⋮⋮⋮⋮⋮一、欧氏距离向量的各分量如果单位不全相同，则上述欧氏距离一般就没有意义。即使单位全相同，但如果各分量的变异性差异很大，则变异性大的分量在欧氏距离的平方和中起着决定性的作用，而变异性小的分量却几乎不起什么作用。在实际应用中，为了消除单位的影响和均等地对待每一分量，我们常须先对各分量作标准化变换，然后再计算欧氏距离。令

，则由于

，故平方和中各项的平均取值均为1，从而各分量所起的平均作用都一样。欧氏距离经变量的标准化之后能够消除各变量的单位或方差差异的影响，但不能消除变量之间相关性的影响，以致有时用欧氏距离显得不太合适。为此，我们引入一个由印度著名统计学家马哈拉诺比斯（Mahalanobis，1936年）提出的“马氏距离”的概念。2.马氏距离

之间的平方马氏距离定义为到总体π的平方马氏距离定义为特点(1)马氏距离不受变量单位的影响，是一个无单位的数值。比例单位变换如x的分量是长度、重量、速度、费用和用时等，则变量的单位变换可表达为

其中。带有常数项的单位变换例子摄氏温度与华氏温度的换算公式：

F＝(C×9／5)＋32，C＝(F－32)×5／9

式中F——华氏温度，C——摄氏温度。

特点(1)的证明

x1,x2经单位变换后为y1,y2，即有特点(2)

马氏距离是x和y经“标准化”之后的欧氏距离，即

其中

，它们的均值

皆为0，协差阵皆为单位阵I。特点(3)若

，则即当各分量不相关时马氏距离即为各分量经标准化后的欧氏距离。§3.2多元正态分布一、多元正态分布的定义二、复相关系数和偏相关系数三、极大似然估计及估计量的性质一、多元正态分布的定义一元正态分布N(μ,σ2)的概率密度函数为若随机向量

的概率密度函数为

则称x服从p元正态分布，记作x~Np

(μ,Σ)，其中，参数μ和Σ分别为x的均值和协差阵。例3.2.1（二元正态分布）设x~N2(μ,Σ)，这里

易见，ρ是x1和

x2的相关系数。当|ρ|<1时，可得x的概率密度函数为二元正态分布的密度曲面图下图是当时二元正态分布的钟形密度曲面图。二元正态分布等高线等高（椭圆）线：上述等高线上的密度值二元正态分布的密度等高线族

（使用SAS/INSIGHT，由10000个二维随机数生成）

二、复相关系数和偏相关系数1.复相关系数2.偏相关系数1.复相关系数（简单）相关系数度量了一个随机变量x1与另一个随机变量x2之间线性关系的强弱。复相关系数度量了一个随机变量x1与一组随机变量x2,⋯,xp之间线性关系的强弱。将x,Σ(>0)剖分如下：

x1和x2的线性函数间的最大相关系数称为x1和x2间的复(或多重)相关系数(multiplecorrelationcoefficient)，记作ρ1∙2,⋯,p,它度量了一个变量x1与一组变量x2,⋯,xp间的相关程度。可推导出例3.3.1随机变量x1,⋯,xp的任一线性函数F=l1x1+⋯+lpxp与x1,⋯,xp的复相关系数为1。证明二、偏相关系数将x,Σ(>0)剖分如下：

称为给定x2时x1的偏协方差矩阵。记，称为偏协方差，它是剔除了的（线性）影响之后，xi和xj之间的协方差。给定x2时xi

和xj的偏相关系数（partialcorrelationcoefficient）定义为

其中。ρij∙k+1,⋯,p度量了剔除xk+1,⋯,xp的（线性）影响之后，xi和xj间相关关系的强弱。三、极大似然估计及估计量的性质1.μ和Σ的极大似然估计2.相关系数的极大似然估计3.估计量的性质设x~Np(μ,Σ),Σ>0，x1,x2,⋯,xn是从总体x中抽取的一个简单随机样本（今后简称为样本），即满足：x1,x2,⋯,xn独立，且与总体分布相同。令

称之为（样本）数据矩阵或观测值矩阵。1.μ和Σ的极大似然估计极大似然估计是通过似然函数来求得的，似然函数可以是样本联合概率密度f(x1,x2,⋯,xn)的任意正常数倍，我们不妨取成相等，记为L(μ,Σ)。可具体表达为：一元正态情形：多元正态情形：

其中称为样本均值向量（简称为样本均值），

称为样本离差矩阵。2.相关系数的极大似然估计(1)简单相关系数(2)复相关系数(3)偏相关系数(1)简单相关系数相关系数ρij的极大似然估计为

其中

。称S为样本协方差矩阵、rij为样本相关系数、

为样本相关矩阵。(2)复相关系数将x,Σ(>0),S剖分如下：

则复相关系数ρ1∙2,⋯,p的极大似然估计为r1∙2,⋯,p,称之为样本复相关系数。其中

(3)偏相关系数将x,Σ(>0),S剖分如下：

则偏相关系数ρij∙k+1,⋯,p的极大似然估计为rij∙k+1,⋯,p，称之为样本偏相关系数，其中

。

3.估计量的性质设是未知参数𝛉（可以是一个向量或矩阵）的一个估计量，如果，则称估计量是被估参数𝛉的一个无偏估计，否则就称为有偏的。样本均值是总体均值μ的无偏估计，即有由于，故不是Σ的无偏估计。

若将该估计量稍加修正为

则S将是Σ的一个无偏估计，即有E(S)=Σ。例3.2.3今对31个人进行人体测试，考察或测试的七个指标是：年龄(x1)、体重(x2)、肺活量(x3)、1.5英里跑的时间(x4)、休息时的脉搏(x5)、跑步时的脉搏(x6)和跑步时记录的最大脉搏(x7)。数据列于表3.2.1。现欲对这些指标作一些相关分析。表3.2.1 人体的测试数据指标编

号x1x2x3x4x5x6x714489.4744.60911.376217818224075.0745.31310.076218518534485.8454.2978.654515616844268.1559.5718.174016617253889.0249.8749.225517818064777.4544.81111.635817617674075.9845.68111.957017618084381.1949.09110.856416217094481.4239.44213.0863174176103881.8760.0558.6348170186114473.0350.54110.1345168168124587.6637.38814.0356186192134566.4544.75411.1251176176144779.1547.27310.647162164155483.1251.85510.3350166170164981.4249.1568.9544180185175169.6340.83610.9557168172185177.9146.6721048162168194891.6346.77410.2548162164204973.3750.38810.0876168168215773.3739.40712.6358174176225479.3846.0811.1762156165235276.3245.4419.6348164166245070.8754.6258.9248146155255167.2545.11811.0848172172265491.6339.20312.8844168172275173.7145.7910.4759186188285759.0850.5459.9349148155294976.3248.6739.456186188304861.2447.9211.552170176315282.7847.46710.553170172§3.3图示法一、盒形图二、散点图三、旋转图一、盒形图盒形图（Boxplot，亦称箱线图）是用简洁的方式概括数据的一种图形，主要由一个矩形盒和两条须线（whisker）构成。矩形盒的两侧边界分别是下四分位数和上四分位数，盒中间的一条垂线是中位数。图3.3.1多元统计分析期末成绩的盒形图盒形图在分析来自若干个组的数据时尤为有用。这时，每一组可作一个盒形图，然后再比较组与组的差别。(1)在图3.3.2（2）中，菱形中垂直的对角线表示样本均值的位置，水平的对角线长度是两倍的样本标准差。该图很容易被用来对两组的均值及标准差进行直观比较。(2)图3.3.2男、女生分组的多元统计分析期末成绩盒形图二、散点图1.散点图与盒形图相配2.散点图矩阵1.散点图与盒形图相配例3.3.1表3.3.1给出了表1.2.1中的93名学生在前一学期修读的《抽样技术》期末考试成绩。表3.3.1表1.2.1中93名学生的《抽样技术》期末考试成绩课程序号n期末成绩y课程序号n期末成绩y课程序号n期末成绩y课程序号n期末成绩y194257549857388287266050787448399279151937593499289752967698599299353607779682304554877896775319755957998848329656758096968339857908196107734765885829611923595598183761243368460828442139137956191859914723856628886981569396963888772168440856474888417834183659689941892428666839084198743856796919820774494688592932177459069789384228846817026239447957185249948737296图3.3.3两门课程期末成绩的散点图及所配的盒形图2.散点图矩阵观测散点图矩阵，可以得到关于异常数据以及变量间关系的直观印象。图3.3.4散点图矩阵三、旋转图旋转图是一个三维图。观测旋转图，可以动态、持续地进行直到获得足够的信息，这样的图可以使我们迅速地识别出那些与其他数据不一致的观测值和可能严重影响（基于正常数据的）有关分析及推断的异常值。图3.3.5旋转图第四章

非参数方法§4.1拟合优度检验§4.2独立性检验§4.3符号检验§4.4威尔科克森符号秩检验§4.5威尔科克森秩和检验§4.6QQ图§4.1拟合优度检验一、分类数据的χ2检验二、分布拟合的χ2检验一、分类数据的χ2检验假定一个总体可分为k个类A1,A2,⋯,Ak，并设类Ai在总体中所占的比例为P(Ai)(i=1,2,⋯,k)，且

。又设p1,p2,⋯,pk是一组给定的数值，满足pk>0(i=1,2,⋯,k)，

。欲检验 H0：P(Ai)=pi，i=1,2,⋯,kH1：P(Ai)≠pi，至少存在一个I容量为n的样本中属于类Ai的频数为fi(i=1,2,⋯,k)，有

。皮尔逊(K.Pearson，1900)提出了一个检验统计量

并指出，当H0为真且n充分大(通常还要求npi≥5,i=1,2,⋯,k)时，χ2近似服从χ2(k−1)分布。该检验称为χ2拟合优度检验(chi−squaregoodnessoffittest)。对给定的显著性水平α，其拒绝规则为：若

，则拒绝H0例4.1.1在一正20面体的20个面上，分别标以数字0～9，每个数字在两个对称的面上标出。为检验其匀称性，共作800次投掷试验，各数字朝正上方的次数列于表4.1.1：

试问该正20面体是否匀称(α=0.05)。表4.1.1 正20面体的800次投掷试验中，各数字朝正上方的观测频数数

字0123456789观测频数74928379807377757691以Ai表示数字i朝正上方，i=1,2,⋯,9。要检验

当H0为真时，

。表4.1.2 正20面体匀称性的χ2检验统计量计算过程数字i0123456789观测频数fi74928379807377757691期望频数80808080808080808080fi−npi−6123−10−7−3−5−411(fi−npi)2361449104992516121(fi−npi)2/npi0.451.80.11250.0125