北邮概率论与数理统计统计量及其分布

1、本文格式为Word版，下载可任意编辑 北邮概率论与数理统计统计量及其分布 6.3 统计量及抽样分布 6.3.1 统计量 为研究一个问题而收集数据，数据就是样本，样本中含有总体的信息。要实施统计推断，那么要依据样本所供给的信息。样本本身是一堆杂乱无章的数字，需要对这些数字举行加工、整理把样本中所含的信息集中起来以反映总体的各种特征，也就是要由样本计算出一些量以用于统计推断。这些量是样本的函数而且完全由样本所确定，在统计学中，把只要由样本算出的量称为统计量。因此有下面定义。 定 义 6.3.1 设nx x x ,., ,2 1为 取 自 某 总 体 的 样 本 ， 若 样 本 的 函 数) ,.,

2、 , (2 1 nx x x T T 中不含任何未知参数，那么称 T 为统计量。 在此要强调一点：统计量只凭借于样本，而不能与任何未知的量有关，更加地不能凭借于未名参数。换言之，统计量是能由样本完全确定的量.在概括的统计问题中选用什么统计量，当然要看问题的性质.一个好的统计量理应能很好地集中与问题有关的信息. 例如: 样本均值.设nX X X ,., ,2 1为来自某总体的样本,那么样本均值定义为 niiXnX11 若要对总体均值作推断(估计、检验),那么我们很自然地会想到样本均值. 例如: 样本方差.设nX X X ,., ,2 1为来自某总体的样本,那么样本方差定义为 212) (11X

3、XnSnii 若要对总体方差作推断(估计、检验),那么我们很自然地会想到样本方差.在这里我们常说2S 的自由度为 1 n ,自由度这个名词有如下两种解释: (1) 2S 是 n 个数 X X 1, X X n 的平方和,而这 n 个数受到一个(也只有一个)约束: niiX X10 ) ( ,故只有 1 n 个自由度. (2) 若niiXnX11代入21) ( X Xnii中,并将其整理为二次型 AXX,那么 A 的秩为 1 n .自由度就定义为这个秩。 下面列举一些常用的统计量： 样本均值: niiXnX11, 样本方差: 2111) X - X (- nSnii2 , 样本标准差:2S S

4、样本 k 阶原点矩:niki kXnA11 样本 k 阶中心矩:niki k) X - (XnB11 样本偏度 2 / 323 BBs 样本峰度 3224 BBk 次序统计量:设有样本nX , , X 1,按如下方式定义随机变量) i (X ,当有了样本值nx , , x 1后,将样本值从小到大排序为) n ( (2) )x x x 1 （,那么) i (X 的取值为) i (x ,称i)X（为第 i 个次序统计量,称 ) X X X (n) ) ( ) 2 ( 1, , , （为样本nX , , X 1的次序统计量, ) x x x (n) ) ( ) 2 ( 1, , , （是 ) X X

5、 X (n) ) ( ) 2 ( 1, , , （的一次实现.) (X1和) n (X 分别称为微小和极大次序统计量. R) n (X) (X1 称为样本极差. 样本分位数:样本 ) p p( 1 0 分位数定义为 是整数不是整数， ，）p , X21np) 1 ( (np1) np (n XXmnpp 样本中位数为 是偶数是奇数， ，n XXmn, X21n) 12( )2n()21 n(5 . 0 注：样本分位数的定义在不同的教材上可能会有所差异。 样本阅历分布函数:对于任意的实数 x , 2 1 # n , , , i , x X ) x ( Vi n ,即 ) x ( V x 表示样本

6、nX , , X 1中小于或等于 x 的频数. 阅历分布函数定义为 x ,n) x ( V) x ( Fnn. 对应于样本的二重性，统计量也有二重性.若样本nX , , X 1是 n 个随机变量,那么统计量 ) X , , X ( T Tn1 是随机变量. 而对于概括的样本值nx , , x 1, ) , , (1 nx x T 是一个概括的取值,称此概括取值为统计量的查看值. 在统计分析和统计推断中,统计量起着重要作用,对统计量的统计性质的了解就很重要. 譬如计算统计量的特征数(譬如,期望、方差等),推导统计量的概率分布. 例如, 对于任意给定的实数 x ,阅历分布函数值 ) (x F n

7、是一个随机变量,并且 ) (x nF n 按照二项分布 ) ( , ( x F n B ,其中 ) (x F 为总体分布函数.对于概括的样本查看值nx x , ,1 ,那么阅历分布函数 ) (x F n 的查看值 (阅历分布函数 ) (x F n 的查看值仍记为 ) (x F n )是一个阶梯形的函数，例如，若样本值nx x , ,1 两两不相等，其次序统计量为) ( ) 2 ( ) 1 (, , ,nx x x ，那么 . , 1, 1 , 2 , 1 , , 0,) () () 1 ( ) () 1 (nk k nx xn k x x xnkx xx F 例 6.3.1 设总体 X 的数学

8、期望为 ，方差为2 ，nX , , X 1为来自该总体的简朴随机样本，2S , X 为样本均值和样本方差，那么 （1） ) X ( E （2）n) X ( Var2 （3）2 2 ) S ( E 证明：（1） niinii) X ( En) Xn( E ) X ( E1 11 1 （2） n) X ( Varn) Xn( Var ) X ( Varniinii21211 1 ； (3)由于 nii inii) X X X - X ( ) X - X (12 2122niiX n - X12 2,从而 nii) X - X ( ( E12) X ( nE - ) X ( Enii 12 2 2

9、21 - (n ) n / n( - ) ( n ） 2 2 2 所以 2 2 ) S ( E 例 6.3.2 设总体 X 的数学期望为 ，方差为2 ，nX , , X 1为来自该总体的简朴随机样本， X 为样本均值.求(1) ) j i )( X X , X X Cov(j i , (2) ) X X ( Vari 解:(1) j i 时 ) X , X ( Cov ) X , X ( Cov ) X , Cov(X ) X , Cov(X) X X , X X Cov(j i j ij i 2 2 2 21 1 1 10 n n n n (2) ) X X ( Vari211 )n( )

10、X X , X X ( Covi i . 或 ) X X ( Vari) X , X ( Cov ) X ( Var ) X Var(i i2 211 )n( 例 6.3.3 设nX , , X 1为来自总体 ) )( , ( U 0 0 的简朴随机样本,) n (X 为极大次序统计量,求（1）) n (X 的概率密度函数；（2）) X ( E) n (, ) X ( Var) n (. 解: ) X , , X ( Max Xn ) n (1 的分布函数为 x , x ,x, x ,) x ( F x) FnnnM100 0（ 这里 ) x ( F 是分布 ) , ( U 0 的分布函数,从

11、而可得) n (X 的概率密度函数为 其他（, x ,nxx) fn- nM001 所以 10 nndxnxx ) X ( En1 - n) n ( 2n1 - n2 2) n (2 nndxnxx ) X ( E 0 ) X ( Var) n (222 21 2 1 2 ) n )( n (n)nn( -nn . 例 6.3.4 设nX , , X 1为来自总体 X 的简朴随机样本, X 的分布函数为 ) x ( F , ) x ( F n 为样本的阅历分布函数,对于任意给定的实数 x ,求(x) (F En, (x) F ( Varn. 解: 对于任意给定的实数 x , ) x ( V n

12、 ) x ( F , n ( B ,从而 (x) (F EnF(x) ) x ( V ( Enn 1, (x) F ( Varnn) x ( F - )( x ( F) x ( V ( Varnn1 12 . 6.3.2 抽样分布 样本是随机变量，有确定的概率分布。而统计量是样本的已知函数，那么它是随机变量，有其概率分布，这个分布称为抽样分布。 为特定的统计推断问题而构造特定统计量，由于统计量会受到随机性的影响，因而推断的结果也会有随机性干扰.统计推断方法的优良性只能是从整体效果去考察，而整体效果取决于统计量的抽样分布.因此研究统计量的抽样分布就成为 统计推断的一个重要问题. 例如, 若nX

13、X X ,., ,2 1为取自总体 ) , (2 N 的简朴随机样本，用样本均值niiXnX11估计总体均值 ，那么这个统计量的抽样分布为 ) , (2nN ，从这个抽样分布，我们可以知道样本均值 X 是如何围绕总体均值 而随机波动的，假设 己知那么可以计算出 X 与 的偏差超过确定限度的机遇有多大，即概率) | (| X P 。 再比例, 若nX X X ,., ,2 1为取自总体 ) ( P 的简朴随机样本，那么统计量niiX T1的抽样分布为 ) ( n P 。如用样本均值niiXnX11估计总体均值 ，那么样本均值niiXnX11的抽样分布抉择了这个估计量的性能。 从原那么上讲，统计量

14、的抽样分布可由样本分布定出，但在好多处境下，统计量的精确分布分外繁杂. 在统计量的精确分布难以确定或分外繁杂时，我们往往求助于统计量的近似分布. 例如, 假设nX X X ,., ,2 1为取自某总体的简朴随机样本，总体的均值为 ，方差为2 。由中心极限定理知 / ) (X n 依分布收敛于 ) 1 , 0 ( N ，从而样本均值niiXnX11在 n 很大时的近似分布为 ) , (2nN . 6.3.3 三大分布 好多统计推断是基于正态模型（即基于总体为正态分布的假设），而对于来自正态总体的简朴随机样本，一些常用统计量（样本均值、样本方差）的精确分布是可以推导出来的.这些分布涉及下面介绍的三

15、大分布. （一）2 分布 在第三章中，我们介绍过外形参数为2n，尺度参数为21的 Gamma分布 )21,2( n Ga 为自由度为 n 的2 分布. 若随机变量nX X X ,., ,2 1独立同分布于 ) 1 , 0 ( N ,那么2iX )21,21( Ga ,再由Gamma分布的可加性知 niiX12 )21,2( n Ga ,从而 niiX12按照自由度为 n的2 分布.因此也可以如下方式给出2 分布的定义. 定义 5.4.1 设nX X X ,., ,2 1为取自总体 ) 1 , 0 ( N 的简朴随机样本,那么称统计量 niiX12 2的分布为自由度为 n 的2 分布,记为2 )

16、 (2n . 由 Gamma 分布的概率密度的表达式,易知自由度为 n 的2 分布) (2n 的密度函数为 0 , e)2() 2 / 1 () ; (2122 x xnn x fx nn. 自由度为 n 的2 分布 ) (2n 的 分位数记为 ) (2n ,即 ) (2n 得志 ) ( 2n X P , 其中 X ) (2n ,分位数 ) (2n 可从附表 3 中查到.譬如 31 . 18 ) 10 (205 . 0 . 由此定义,易得2 分布的两条性质: (1) 若随机变量 X ) (2n ,那么 n X Var n X E 2 ) ( , ) ( . (2) 若随机变量 X ) (2n

17、, Y ) (2m ,且 X 与 Y 相互独立,那么Y X ) (2m n . 例 6.3.5 设nX X X ,., ,2 1为取自总体 ) , (2 N 的简朴随机样本,那么 iX ) , (2 N ( n i , , 2 , 1 ),从而 niiX122) (1 ) (2n .若 已知,那么可得统计量 niiX T12) ( 的密度函数为 0 , e)2() 2 / 1 () (221222 t tnt ft nn. (二) t 分布 定义 设随机变量1X ) 1 , 0 ( N ,2X ) (2n ,且1X 与2X 相互独立,那么称n XXT/21 的分布为自由度为 n 的 t 分布,

18、记为 t ) (n t . 自由度为 n 的 t 分布 ) (n t 的密度函数为 , ) (1)2()21() ; (212nnxnnnn x f x . t 分布的密度函数是偶函数,而且随 | | x 的增大而裁减,因此其分布也有标准正态分布类似的特征:中间高,两端低;左右对称.而且有当n 时, 分布 ) (n t 收敛于标准正态分布 ) 1 , 0 ( N . 自由度为 n 的 t 分布 ) (n t 的 分位数记为 ) (n t ,即 ) (n t 得志 ) ( ( n t t P , 其中 t ) (n t ,分位数 ) (n t 可从附表4中查到.譬如 812 . 1 ) 10 (

19、05 . 0 t .由于 t分布的密度函数是偶函数,故分位数有如下关系 ) (n t 0 ) (1 n t , 当自由度较大(如 30 n )时, t 分布可用标准正态分布 ) 1 , 0 ( N 近似， t分布的分位数可用标准正态分布 ) 1 , 0 ( N 的分位数近似. t 分布的性质: (1) 1 n 时, 分布 ) (n t 的数学期望存在,且期望为 0. (2) 2 n 时, 分布 ) (n t 的方差存在,且方差为2 nn. (3) 若 t ) (n t ,那么2t ) , 1 ( n F . 例 6.3.6 设nX X X ,., ,2 1为取自总体 ) , 0 (2 N 的简

20、朴随机样本,那么1221niin XX ) 1 ( n t . (三) F 分布 定义 设随机变量1X ) (2m ,2X ) (2n ,且1X 与2X 相互独立, 称n Xm XF/21 的分布为自由度为 m 和 n 的 F 分布,记为 F ) , ( n m F . 自由度为 m 和 n 的 F 分布 ) , ( n m F 的密度函数为 0 , )nm(1)2( )2() / )(2() , ; (2122 x x xn mn mn mm n x fn m mm 自由度为 m 和 n 的 F 分布 ) , ( n m F 的 分位数记为 ) , ( n m F ,即 ) , ( n m

21、F 得志 ) , ( ( n m F F P , 其 中 F ) , ( n m F , 分 位 数 ) , ( n m F 可 从 附 表 5 中 查 到 . 比 如74 . 4 ) 5 , 10 (05 . 0 F . 由此定义,易得 F 分布的性质: (1) 若随机变量 F ) , ( n m F ,那么F1 ) , ( m n F . (2) ) , (1) , (1m n Fn m F . 例 6.3.7 设nX X X ,., ,2 1为取自总体 ) , (2 N 的简朴随机样本,那么) ) ( /( ) ( ) (1212 nk iikiiX k X k n ) , ( k n

22、k F . 例 6.3.8 设mX X X ,., ,2 1为取自总体 ) , (21 1 N 的简朴随机样本, 设nY Y Y ,., ,2 1为取自总体 ) , (22 2 N 的简朴随机样本,且两样本独立,那么 niimiiY mX n1222212121/ ) (/ ) ( ) , ( n m F . 6.3.4 正态总体的抽样分布 在正态总体下,样本均值和样本方差等常用统计量的精确分布是可以导出的.下面给出其结果. 定理 6.3.1 设nX , , X 1为来自总体 ) , N(2 的简朴随机样本，2S , X为样本均值和样本方差，那么 （1） X /n) , N(2 ， （2）22

23、1S ) - n （212nii) X - X ( ) - n ( 12 ， （3）2S , X 相互独立. 对于结论（1），利用正态分布的性质易得，下面给出结论（2），（3）的证明. 证明：记 X ) , , (1nX X L ，那么 X ) , 1 (2nI N ，其中 ) 1 ,., 1 , 1 ( 1 ，nI 为 n阶单位矩阵。 取一个 n 阶正交矩阵 A ， A 的第一行的每个元素均为n1。 令 AX Y Y Y Yn ) ,., , (2 1， 由多维正态分布的性质知 Y ) , 1 (2A A A N 由于 A 为正交矩阵，且 A 的第一行的每个元素均为n1，故 ) 0 ,.,

24、0 , ( 1 n A ，nI A A ， X X Y Y 所以 X n Y 1 ) , (2 n N ，iY n i N ,., 3 , 2 ), , 0 (2 ， 并且nY Y Y ,., ,2 1相互独立。 从而有 niiY2221 ) 1 (2 n ，且1Y 与niiY2221独立。 又21) ( X Xnii 212X n Xnii 2112Y Ynii niiY22， 所以11YnX 与niiYnS22 211独立，并且 221S ) - n （212nii) X - X (niiY2221 ) - n ( 12 。 推论：设nX , , X 1为来自总体 ) , N(2 的简朴随机样本，2S , X 分别为样本均值和样本方差，那么 n SX/ ) - n ( t 1 . 证明：由定理知 X /n) , N(2 ， 221S ) - n （212nii) X - X ( ) - n ( 12 ， 并且两者独立，从而 ) 1 () 1 (/22 nS nnX ) 1 - (n t 即n S/- X ) - n ( t 1 在数理统计中，经常会遇到两独立样本的对比问题.在正态模型下常需对两正态总体的均值、方差作对比，此时一般可通过对样本均值的对比、样本方差的对比得出结论.这就需要知道样本均值之差、样本方差之比的抽样分布