第2章多元正态分布的参数估计教学课件

第二章多元正态分布的参数估计第一节基本概念第二节多元正态分布第三节多元正态分布的参数估计第四节多元正态分布的应用于计算机实现2023/7/291第一节基本概念一、随机向量二、多元分布三、随机向量的数学特征2023/7/292一、随机向量在多元中，讨论的是多个变量的总体，即2023/7/293把n

个样品排成一个矩阵，称为样本数据阵（或样本资料阵），记为：

简记为X。变量样品变量：列向量样品2023/7/294变量序号目前工资（美元）受教育年限（年）初始工资（美元）工作经验（月）12345657,00040,20021,45021,90045,00028,350151612815827,00018,75012,00013,20021,00012,0001443638119013826例如：变量样品2023/7/295样品数据阵：57,00040,20021,45021,90045,00028,350151612815827,00018,75012,00013,20021,00012,00014436381190138262023/7/296注意：定义2.1将p个随机变量

的整体称为p维随机向量，记为

。2023/7/297p维随机向量：目前工资570004020021450219004500028350受教育年限15 16 12 8 15 8初始工资27000 18750 12000 13200 21000 12000工作经验144 36 381190 138 262023/7/298（一）回顾一下一元随机变量的分布。设X

是一个随机变量，称

为X的概率分布函数或简称为分布函数，记为

。若随机变量在有限或可列个值

上取值，

记

，

且

，则称X

为离散型随机变量，

称

，

为X

的概率分布。二、多元分布2023/7/299例如：彩票问题彩票的发行数额巨大，其实质如何呢？请看一则实例：发行彩票10万张，每张1元。设头奖1个，奖金1万元；二等奖2个，奖金各5仟元；三等奖10个，奖金各1仟元；四等奖100个，奖金各1佰元；五等奖1000个，奖金各10元。各项奖金的概率分布是：2023/7/2910设

，若存在一个非负函数f(x)，使得一切实数

x有：

，则称f(x)为X

的分布密度函数，简称为密度函数。2023/7/2911概率是曲线下的面积！f(x)xbP(a≤x<b)a2023/7/2912一个函数f(x)能作为某个随机变量X

的分布密度函数的重要条件是：（1）

，对一切实数

；（2）

。2023/7/2913（二）多元随机向量的分布定义2.3设

是

维随机向量，若它的全部概率集中在一个有穷或可数个点的集合上，且满足

，则称

为离散型随机向量，称

，

为

的概率分布。2023/7/2914例如：设随机变量X在1、2、3、4四个整数中等可能地取值，另一个随机变量Y在1~X中等可能地取一个整数值，则有XY123411/41/81/121/16201/81/121/163001/121/1640001/16点的集合2023/7/2915设

是p维随机向量，它的多元分布函数定义为

记为

，其中

，

表示

维欧氏空间。2023/7/2916设

，若存在一个非负函数

，使得对一切

有

则称

为连续型随机向量，称

为分布密度函数，简称为密度函数或分布密度。2023/7/2917一个

元函数

能作为

中某个随机向量的密度函数的主要条件是：

（1）

，

；

（2）

2023/7/2918【例2.1】

试证函数

为随机向量

的密度函数。证：只要验证满足密度函数两个条件即可

（1）显然，当

时有（2）2023/7/2919通过变换

中各分量的次序，总可假定

正好是

的前q个分量，其余p-q个分量为

，即

，

相应的取值也可分为两部分

。（三）随机向量的边缘分布2023/7/2920p维随机向量：目前工资570004020021450219004500028350受教育年限15 16 12 8 15 8初始工资27000 18750 12000 13200 21000 12000工作经验144 36 381190 138 262023/7/2921定义2.4

若

是p维随机向量，由它的q个分量组成的q维随机向量

的分布完全取决于全部变量的联合分布。由全部变量的联合分布得出的其中部分随机向量的联合分布叫做随机向量的

的边缘（或边际）分布。2023/7/2922当

的分布函数是

时，

的分布函数即边缘分布函数为：

当

有分布密度

时（联合分布密度），则

也有分布密度，即边缘密度函数为：2023/7/2923例如：设随机变量X在1、2、3、4四个整数中等可能地取值，另一个随机变量Y在1~X中等可能地取一个整数值，则有边缘分布：XY123411/41/81/121/1625/48201/81/121/1613/483001/121/167/4840001/163/481/41/41/41/4X的边缘分布Y的边缘分布2023/7/2924【例2.2】对例2.1中的

求边缘密度函数。解：

同理

2023/7/2925定义2.5若p个随机变量

的联合分布等于各自的边缘分布的乘积，则称

是相互独立的。（四）相互独立2023/7/29262023/7/2927二、随机向量的数字特征也可以表示为：（一）随机向量的数学期望2023/7/2928定义2.6设

，均值（向量）具有以下性质：（1）

（2）

（3）

其中，

、

为随机向量，

、

为大小适合运算的常数矩阵。2023/7/2929定义2.7设

，

，称

为

的方差或协差阵，有时把

简记为

，

简记为

，从而有

（二）随机向量的方差阵和协差阵2023/7/2930称随机向量

和

的协差阵为

当，则为，称为的自协差阵。

2023/7/2931若

，则称

和

不相关，由

和

相互独立易推得

，即

和

不相关；但反过来，当

和

不相关时，一般不能推知它们独立。其中，为零矩阵。

2023/7/2932

当

、

为常数矩阵时，由定义可以推出协方差阵有如下性质：（1）对于常数向量

，有

（2）

（3）

（4）设

为n

维随机向量，期望和协方差存在，记

，

，

为

常数阵，则2023/7/2933若

的协差阵存在，且每个分量的方差大于零，则称随机向量

的相关阵为

，其中

()为

与

的相关系数。（三）随机向量的相关阵2023/7/2934将这些相关系数按照与协差阵同样的顺序排列，就给出了该随机变量的相关矩阵，该矩阵为：2023/7/2935注意：在使用各种统计分析之前，常需要将每个指标“标准化”，即进行如下变换其中，那么，由（2.7）可以得到随机向量

（2.7）（四）标准化2023/7/2936令，

为随机向量中各个分量的标准差所组成的对角矩阵，则标准化随机向量可表示为：2023/7/2937那么，标准化后的随机向量

均值和协差阵分别为

或者：2023/7/2938第二节多元正态分布多元正态分布的定义多元正态分布的性质2023/7/2939一元正态分布的密度函数，为上式可以改写为一、多元正态分布的定义正态分布的重要性2023/7/2940定义2.8若p维随机向量

的密度函数为：

其中

，

是p维向量，

是p阶正定阵，则称

服从p元正态分布，也称

为p维正态随机向量，简记为

。其中，为

的均值（向量），

为

的协差阵2023/7/2941当p=2时，设

服从二元正态分布，则

即有

当p=1时，即为一元正态分布密度函数。2023/7/2942故

与

的密度函数为

如果

，则

与

是相互独立的；若

，则

与

趋于正相关；若

，则

与

趋于负相关。2023/7/29432023/7/2944多元正态分布的性质：1．若

，

是对角阵，则

相互独立。2．若

，

为

阶常数阵，

为

维常数向量，则

即正态随机向量的线性函数还是正态的。二、多元正态分布的性质2023/7/29453．若

，将

，

，

作如下剖分则，

证明：根据性质2，2023/7/2946例如：若

则2023/7/2947注意：第一，多元正态分布的任何边缘分布为正态分布，但反之不真。多元分析中的很多统计方法，大都假定数据来自多元正态总体。但是要判断已有的一批数据是否来自多元正态总体，并不是一件简易的事。可是反过来要肯定数据不是来自多元正态总体，倒是有一些简易方法，其依据是：如果X服从P元正态分布，则它的每个分量必服从一元正态分布，因此把某个分量的n个样品值作成直方图，如果断定不呈正态分布．则就可以断定随机向量X也不可能服从多元正态分布。2023/7/2948第二，由于

，故

表示

和

不相关，因此可知对于多元正态变量而言，

和

的不相关与独立是等价的。2023/7/29492023/7/2950因此，2023/7/2951第三节多元正态分布的参数估计多元样本的数字特征均值向量与协差阵的最大似然估计Wishart分布2023/7/2952为什么要抽样？元素多，搜集数据费时、费用大，不及时而使所得的数据无意义。检查具有破坏性补充内容：2023/7/2953抽样推断是根据样本统计量推断总体参数的过程。统计推断总体参数（未知量）样本统计量（已知量）抽样推断的概念2023/7/2954总体参数和样本统计量总体参数：反映总体数量特征的指标，其数值是唯一的、确定的。样本统计量：根据样本分布计算的指标，因其数值随抽取的样本不同而不同，因而是随机变量。2023/7/2955样本均值的抽样分布从总体中随机的重复抽出容量为n的样本

，它们是与总体同分布，且相互独立的随机变量。则含有n个单位的样本均值的期望等于总体的平均数。2023/7/2956例如：X1X22023/7/29572、n个单位样本均值的方差，等于总体方差除以n。从正态总体中，随机抽取的n个单位样本的均值的分布也呈正态分布。样本均值的抽样分布服从正态分布，即2023/7/2958设样本资料可用矩阵表示：一、多元样本的数字特征2023/7/2959（1）样本均值向量定义为其中，2023/7/2960（2）样本离差（叉积）阵定义为2023/7/2961这里：2023/7/2962（3）样本协差阵定义为：这里，2023/7/2963（4）样本相关阵定义为：

其中，

2023/7/2964注意：样本均值向量和离差阵也可用样本资料阵

直接表示如下：

2023/7/2965由于2023/7/2966那么，样本协差阵根据叉积矩阵的性质有：

其中，单位矩阵2023/7/2967二、均值向量与协差阵的最大似然估计样本资料阵为则可由最大似然法求出和的估计量。2023/7/2968极大似然法是通过似然函数即样品的联合分布密度函数来求总体参数的估计量。首先，构造似然函数（容量为n的独立随机样本的联合分布密度函数）（2.16）2023/7/2969在上式中，样本一旦抽定，

就是已知的常数向量，而只有总体均值向量和未知。因此，可将此式看作是和

的似然函数。为了求出使此似然函数取极大值的和的值，将此似然函数的两边取对数：2023/7/2970因为对数函数是一个严格单调增函数，求的极大值也就等价于求