数理统计第零章

1、第0章 预备知识0.1 随机变量的概率分布和数字特征 用以描述随机变量的概率分布的工具有分布函数、概率密度函数和分布列.这些知识都已在概率论中学过了.本课程中，我们把离散随机变量的分布列也叫做概率质量函数，分布函数也叫做累积分布函数. 随机变量的特征数：数学期望，方差或标准差，两个随机变量的协方差和相关系数是大家熟悉的.在数理统计中还会用到其他特征数.我们谈到各种特征数时都假定他们是存在的.1. 矩 阶原点矩： 阶中心矩：2. 变异系数： ，其中是取正值的随机变量。3. 分位数、中位数设随机变量的分布函数为.给定，称满足 的数为的下分位数.称满足的数为的上分位数.本课程中均使用下分位数，并把下

2、分位数简称为分位数.易见分位数完全取于的分布，故分位数常叫做某某分布的分位数，比如标准正态的分位数，标准正态分布的分位数记为，即满足，由标准正态的对称性可和.按以上分位数的定义，可能会出现出分位数不唯一或不存在的情况，这时分位数的定义需作技术处理，但我们常用的分布的分位数是存在的且是唯一的.的分位数叫做中位数. 的分位数叫做第一四分位数；的分位数叫做第三四分位数；中位数也称为第二四分位数.4. 偏度系数、峰度系数.偏度系数： 它实际上的标准化随机变量的3阶矩，即 偏度系数描述分布偏离对称性程度的一个特征数.当的概率密度函数关于其期望对称时，偏度.当偏度系数时，该分布称为偏态分布，偏态分布常有不

3、对称的两个尾部，重尾在右侧时必导致，故称为右偏分布；重尾在左侧时必导致，故称为左偏分布.峰度系数： 易见 峰度系数描述分布尖峭程度或尾部粗细的一个特征数.当服从正态分布时，其峰度.而当时，表示该随机变量的标准化随机变量的分布比标准正态分布更尖峭和（或）尾部更粗（厚）.比如金融数据中的对数收益率的峰度很大，常说对数收益率具有“尖峰厚尾性”. 偏度和峰度都是描述分布形状的特征数.它们的设置都是以正态分布为基准.对于正态分布，其偏度和峰度都是零.5. 多维随机变量的期望与方差设为维随机变量，的期望是一个维实向量.的协方差矩阵是一个阶对称矩阵.的协方差矩阵也称为的方差，记为，即 容易证明随机向量的协方

4、差矩阵是半正定的。关于随机向量的期望、方差有以下运算性质。设为的实矩阵，为维实向量，为维随机变量.令，则为维随机变量，其期望和方差分别为 下面介绍求随机变量函数的期望、方差的近似方法，这种方法常称为方法.在很多应用中，仅仅知道随机变量的前两阶矩（也许是利用样本数据得到的估计），完整的概率分布并不知道.而我们可能对的函数的前两阶矩感兴趣（这里函数是已知函数）.当是线性函数时，由的期望、方差可以得到的期望、方差.而在不是线性函数时我们无法计算出的期望、方差，此时我们希望能近似地计算的期望、方差.利用泰勒公式于是我们得 当然，这种近似计算是否合适以及近似的精度如何是需要条件的，在此我们不去讨论了.这

5、种近似方法可推广至多个随机变量的函数的情形. 0.2 常用分布族在概率论中，我们已经学过一些常用分布：两点分布，二项分布，泊松分布，均匀分布，指数分布，一维正态分布.此处不去重复了。本节我们先简单地介绍一下多维正态分布，然后介绍数理统计中常用的其他一些分布：超几何分布族,几何分布族,负二项分布族,伽马分布族，贝塔分布族，以及由正态分布导出的三大分布：分布，分布，分布.1.多维正态分布.若维随机向量的特征函数为 其中,为维实向量,为阶半正定矩阵,则称服从维正态分布.记为. 关于正态分布有如下讨论. (1)这里并没有要求满秩,若满秩,则称为非奇异正态分布；若不满秩，则称为奇异正态分布. (2)若,

6、则. (3)若,则相互独立的充要条件是它们两两不相关,即为对角阵. (4) 若,设,则.特别地的任意边缘分布都是正态分布.(5) 对,且，有.2.超几何分布族考虑概率模型：某个总体由个元素组成，其中有个元素属于某一类（记为A类）,从这个总体中不放回地任取个元素,取出的元素中属于类元素的个数记为,那么的概率质量函数为 我们称这种分布为超几何分布,记为. 关于超几何分布有以下讨论：(1)若,则 ,(2)如果把“不放回”改为“放回”,则,其中.(3)当时,超几何分布近似于二项分布.3.多项分布族 多项分布是很重要的离散分布,当一个总体按某种属性分成有限类时就会涉及这个分布.它产生于以下的次独立重复试

7、验模型.1. 每次试验可能的结果有种:,并且.2. 上述试验独立地重复次,所得结果可用某些组成的长为的序列表示.3. 在上述次独立重复试验中,以表示结果出现的次数(),则维向量的概率质量函数(即分布列)为,，.这种分布称为项分布,记为.当时，它就是二项分布.关于多项分布有以下讨论：（1）多项分布的边际分布仍是多项分布.（2）由于,因此下面分布也称为项分布,，诸.4.Gamma分布族若随机变量的概率密度函数为 其中为两个正参数,称为形状参数,称为尺度参数, 则称服从参数为的Gamma分布，记为. Gamma分布族常记为.注:(1)1 ,.(2).设密度函数具有形式(),其中为一已知密度函数,参数

8、称为尺度参数(又叫刻度参数),若具有概率密度,则就具有已知的密度.关于Gamma分布族有如下讨论.(1)固定尺度参数时,改变将导致密度曲线形状的改变,当时,密度是严减函数; 当时,密度先上凸,后下凸, 呈单峰状态(在处取得峰值); 当时,密度先下凸,后上凸,最后下凸, 呈单峰状态(在处取得峰值).(2)Gamma变量的阶矩为 证明:,令,则 ，它的期望、方差分别为 .(3).若,且诸相互独立,则 ,这个性质称为Gamma分布的可加性,这里应强调(1)各个Gamma分布的尺度参数相同,(2) 诸相互独立.(4).Gamma分布族中的两个子族. 在Gamma分布中取便得指数分布,记为,即.在Gam

9、ma分布中取,便得自由度为的分布,记为,即,其中自由度为任意正数,但在实用中自由度通常为正整数. 分布后面还会讨论.5.Beta分布族 若随机变量的概率密度函数为 ，则称服从参数为的Beta分布，记为.其中是两个正参数。Beta分布族记为. 注:记(称此以为自变量的函数为函数),并且有.关于Beta分布族有如下讨论.(1)参数的变化将导致密度曲线形状的变化.时，呈单峰状态，在处达到最大值；时，呈形，在处达到最小值,时的Beta分布称为反正弦分布; 时的Beta分布就是上的均匀分布,即;,是严减函数;,是严增函数.(2).Beta变量的阶矩为 证明:,结合,便可得结论.它的期望、方差分别为 .下

10、面讨论由正态分布导出的三大分布:分布,分布,分布.这三大分布会出现在许多统计问题中.1.分布 若,则的概率密度函数为 ,. 可见, .由Gamma分布的可加性立即可得若,则,那么的概率密度函数为 称这种分布为自由度为的分布,记为.关于分布有如下讨论:(1)若,则 ,.(2)若,且与相互独立,则.(3)分布的分位数记为,它满足 ,其中.(4) 若,则.2.分布.设 , ,且与相互独立 ,则称随机变量 的概率分布为自由度为的分布,记为.其概率密度函数为 关于t分布族有如下讨论:(1)对于服从分布的变量,当时,存在, 当时,不存在(为正整数).并且由于密度函数为偶函数,故当为奇数且时, ,而当为偶数且时, ,它的期望、方差分别为 , .(2)t分布的密度形状是“中间高,两端低,左右对称”,很像标准正态分布密度曲线的形状.并且其密度函数，当时的极限正是标准正态分布的密度函数,即 ,由此可见当很大时,这两种分布区别不大了,实际应用中当时常用标准正态分布代替分布.而当不大时这两者是有差别:在两个尾部分布更“厚”,而在中间标准正态分布更高.(3)自由度1的t分布就是柯西分布,其密度函数为柯西分布更一般的形式是 它的期望与方差都