研究生应用数理统计预备知识讲稿课件

1、研究生应用数理统计预备知识(讲稿)1应用数理统计主讲人: 王丽英 e-mail: 2009. 9.21研究生应用数理统计预备知识(讲稿)2参考教材:n 韩於羹， 应用数理统计，北航出版社, 1989n刘顺忠 ，数理统计理论、方法、应用和软件计算，华中科技大学，2005常用软件:n spssnsasnmatlabnsimca-p(偏最小二乘回归)，eview(时间序列)研究生应用数理统计预备知识(讲稿)3chapter 1 预备知识1 概率空间研究生应用数理统计预备知识(讲稿)4一、随机试验具有下列三个特征的试验称为随机试验：(1)可以在相同条件下重复进行；(2)每次试验的可能结果不止一个，并且

2、预先知道所有可能的结果。称所有可能的结果组成的集合为样本空间，记作；(3)每次试验前不能确定那个结果会出现。研究生应用数理统计预备知识(讲稿)5二、随机事件样本空间的元素称为基本事件或样本点，的子集称为事件。 研究生应用数理统计预备知识(讲稿)61 1 (1) (1,2,.).kknaaaka 定义 设 是样本空间， 是由 的一些子集构成的集合族，如果满足下列条件：； (2)若，则； (3)，则则称 为事件域（或代数），( ,)称为可测空间。ff ;f; aff;f .ff研究生应用数理统计预备知识(讲稿)7三、概率空间1212 ( ,)( )() (1),0( )1 (2) ( )1; (3

3、),)().( ,)( , )( )ijkknp aaap apa aaaijap appp aa n=1 定义 设是可测空间，是定义在 上的实函数，如果对任意；对两两不相容的事件（即有p()=则称 是上的概率，称为概率空间，称为事件 的概率。ffff ;f;f .ff研究生应用数理统计预备知识(讲稿)81( )0; , ( )( ), ( )( )( );3( )1( );4()( )( )().pabp ap b p a bp ap bp ap ap abp ap bp ab 概率具有下列性质：( )(2)单调性；若则( )求逆公式：( )研究生应用数理统计预备知识(讲稿)92 随机变量及

4、其分布研究生应用数理统计预备知识(讲稿)10一、随机变量及其分布函数 1 ( , )( ),:( )( ) ( )(),(,)pxxxxxf xp xx xx 定义 设为概率空间，是定义在 上的实函数，如果，则称是 上的随机变量，称为随机变量 的分布函数。fff研究生应用数理统计预备知识(讲稿)11二、分布函数的性质(1)f(x) ；(2)f()=0，f()=1，f(x)0,1；(3) f(x)右连续，即f(x0)f(x)。研究生应用数理统计预备知识(讲稿)12三、n维随机变量111111111 2 ( , )( )( ),( ) ,:( ),( )( )( )( ,)(,),( ,),nnn

5、nnnnnnnnnpxxxrxxxrxxxxxf xf xxp xxxxxxxrxxx 定义 设为概率空间，（）是定义在 上的在n维实数空间取值的向量函数，如果，则称是上的n维随机变量或n维随机向量，称为随机向量（）的联fff合分布函数。研究生应用数理统计预备知识(讲稿)13联合分布函数有下列性质： 111,111. lim( ,)0,1,2, lim( ,)1 ( ,)0,12.( ,)innxnxxnnf xxinf xxf xxf xx对每个变元，右连续；研究生应用数理统计预备知识(讲稿)14111111111111,1,1,;,1,2,(,1,2, )( ,)( ,)( ,)( 1)(

6、,)0nnniiiiinniiininiiijjjni jijnnra ba bab inp axb inf bbf bba bbf bba bba bbf aa 3.对的任意区域，其中，研究生应用数理统计预备知识(讲稿)15研究生应用数理统计预备知识(讲稿)16四、边缘分布 1121,1( ,) lim( ,) ( ,)knknxxnf x xxf xxf xxk 称为的 元边缘分布。研究生应用数理统计预备知识(讲稿)17五、随机变量的独立性1111111,(,)(),nnnnniiinxxxp xxxxp xxx定义 ：设x是n个随机变量，若对任意实数都有则称x是相互独立的。研究生应用数理

7、统计预备知识(讲稿)1811111111 (,)()1, .2 ( ,)( )( ,)( )1,niinnttntiiitnniiinttiiip xxxxp xxxxinf xxf xf xxxxf xxiii定理 如果x ,i=1, ,n是一族独立的离散型随机变量，则其中 是的任意可能值，定理 如果x ,i=1, ,n是一族独立的连续型随机变量，则其中是(, ,)的联合概率密度，是随机变量，的概率密度, . n研究生应用数理统计预备知识(讲稿)19chebyshev 大数定律,21nxxx相互独立，设 r.v. 序列(指任意给定 n 1, 相互独立)且具有相同的数学期望和方差nxxx,21

8、, 2 , 1,)(,)(2kxdxekk则0有01lim1nkknxnp或11lim1nkknxnp研究生应用数理统计预备知识(讲稿)20定理的意义定理的意义当 n 足够大时, 算术平均值几乎是一常数.具有相同数学期望和方差的独立 r.v.序列的算术平均值依概率收敛于数学期望.算术算术均值均值数学数学期望期望近似代替可被研究生应用数理统计预备知识(讲稿)21,21nxxx相 设 r.v.序列, 2 , 1,)(ixekki则0有01lim1knikinxnp互独立具有相同的分布，且注注研究生应用数理统计预备知识(讲稿)22独立同分布的中心极限定理独立同分布的中心极限定理 设随机变量序列,21

9、nxxx独立同一分布, 且有期望和方差：, 2 , 1,0)(,)(2kxdxekk则对于任意实数 x ,xtnkkndtexnnxp21221lim定理定理 1)(x研究生应用数理统计预备知识(讲稿)23注注则 y n 为nkkx1的标准化随机变量.)(limxxypnn即 n 足够大时，y n 的分布函数近似于标准正态随机变量的分布函数nnxynkkn1记)1 , 0( nyn近似nkkx1nynn),(2nnn近似服从研究生应用数理统计预备知识(讲稿)24中心极限定理的意义中心极限定理的意义 若联系于此随机现象的随机变量为x ，许多随机现象服从正态分布是由于许多彼次没有什么相依关系、对随

10、机现象谁也不能起突出影响，而均匀地起到微小作用的随机因素共同作用则它可被看成为许多相互独立的起微小作kkx用的因素xk的总和 ，而这个总和服从或近似服从正态分布.(即这些因素的叠加)的结果.研究生应用数理统计预备知识(讲稿)253 数字特征研究生应用数理统计预备知识(讲稿)26一、数学期望-1 ( ),|x|df(x) , xdf(x),-.xf xexxlebesgue stieltjes定义 设随机变量 的分布函数为若则称为 的数学期望或均值 上式积分称为积分研究生应用数理统计预备知识(讲稿)27注：-1(1), () ,1,2, xdf(x).kkkkkxpp xxkexx p若 是离散

11、型随机变量 分布列为则研究生应用数理统计预备知识(讲稿)28-(2),( ), ( )( )(3).xf xexxdf xxf x dx若 是连续型随机变量 概率密度为则数学期望是随机变量的取值依概率的加权平均研究生应用数理统计预备知识(讲稿)29二、方差和协方差22222 ,()().:(1)() (2)()()xexd xe xexxd xexex 定义 设 是随机变量 若则称是 的方差注方差反映随机变量的离散程度 偏离概率均值的程度常用研究生应用数理统计预备知识(讲稿)30223 , ,0，若则有研究生应用数理统计预备知识(讲稿)34222226.(schwarz) , ()7. 0,

12、lim.nnnexeye xyex eyxxexex 许瓦兹不等式若则单调收敛定理若则研究生应用数理统计预备知识(讲稿)354 常用分布族研究生应用数理统计预备知识(讲稿)361101 x,0,( ; , )( )0 ,0., ( , )( ). (1, )(n, )xaxxexf xxxe dxn 一、 分布族定义 若随机变量 的概率密度函数为则称x服从 分布记作x。其中注是参数为 的指数分布；是相互独立的 个参数为 的指数分布之和。研究生应用数理统计预备知识(讲稿)37一、政治思想一、政治思想 1112 , (, ),(,).niinniiiiixxxx 定理 设是相互独立，且则21 (

13、,),xexdx 定理 设则研究生应用数理统计预备知识(讲稿)3821222/211=, =, ,( ),(,)=( ),222 21,0,( ; )2( /2)0 ,0.xnnnnnne xxx nnxn22则得分布族记作即概率密度为其中参数 称为自由度。研究生应用数理统计预备知识(讲稿)3922222 ( ),2 ;(2),( ),( )()xnexn dxnx yxm ynxymn推论分布具有下列性质：(1)若则分布可加性：设相互独立，且，则1214 ,(0,1), ( ).nniixxnxn22n定理 设是相互独立，且都服从正态分布则随机变量研究生应用数理统计预备知识(讲稿)40121

14、1115() ,(0,1),()= .nnmiikknkkknkixxnqqxqfxxqqffn2定理 柯赫伦分解定理 设是相互独立，且都服从正态分布的随机变量，又其中是秩为 的的非负二次型则相互独立,且的充分必要条件是研究生应用数理统计预备知识(讲稿)41112 x()(1),01,( ) ( )( ; , )0 ,.,b (a, ),a,b0aba bxxxabf x a beb二、 分布族定义若随机变量 的概率密度函数为其他则称x服从 分布记作x其中为参数。研究生应用数理统计预备知识(讲稿)4226 ( , ),() (1)xbe a baabexdxababab定理 设则研究生应用数理

15、统计预备知识(讲稿)43122 x1()2( ; )(1),(, ).( )2nnxf x nxnnn 三、t分布族定义若随机变量 的概率密度为则称x服从自由度为n的t分布,记作xt(n)。3研究生应用数理统计预备知识(讲稿)44研究生应用数理统计预备知识(讲稿)45研究生应用数理统计预备知识(讲稿)4627 (0,1),( )./x nyxyxtt ny n定理 设随机变量(n),且 和 相互独立，则随机变量研究生应用数理统计预备知识(讲稿)4724 ()2()(),0,( ; , )() ( )220 0.,m nxm nm mxxmnf x m nnnx四、 分布族定义 若随机变量的概率

16、密度为，则称x服从自由度为m,n的f分布记作x f(m,n)m,n分别称为第一和第二自由度。f研究生应用数理统计预备知识(讲稿)48228 ,/( , )./xyxyx mff m ny n定理 设随机变量(m)(n),且 和 相互独立，则随机变量1 ( , )( ,).ff m nf n mf推论 若，则研究生应用数理统计预备知识(讲稿)49五. 多元正态分布族12211222211221222122()11( ,)exp212 1()()() 2.xxxf x xrrxxxr 如果二元设随机变量，服从二元正态分布， 那么它的密度函数为研究生应用数理统计预备知识(讲稿)50121221122

17、122( ,),()(,), (),xx xe xrvd xr =骣= 桫2221221212222212121(1),1(1)vrrvrr 则，研究生应用数理统计预备知识(讲稿)51121121/2( ,)11( ,)exp()() .22f x xf x xxvxv密度函数可以简记为1111/21 ( ,)( )( ,)11exp()()22(,)()( , ).pppijp ppxxxf xf xxxvxvbxxnv定义5 若p维随机变量的联合概率密度为其中，v是正定矩阵，则称 是p维正态随机变量或服从p维正态分布，记作研究生应用数理统计预备知识(讲稿)52111 11222212211

18、11 122222 ( , ),(,). ( , ),(,)(,). ( , )pppppp pp pppp pp ppppp ppppp ppxnvxbynb avaxnvxvxvvxvxvvxnvxnvxnvx性质1 设，若y=a则a性质2 设，将 ，作相应的分块则，性质3 设，则 的各分量皆相互独立的充要111(,), ,.nnnipiiipiiiiivnppxnvyxnv条件是是对角阵.性质4 个独立的 元正态分布的和仍服从 元正态分布，即若则研究生应用数理统计预备知识(讲稿)53123312312312331123212 ( , ) ( , )221111302101xnvxnvv

19、例1 设（x ,x ,x），问 取什么值时，x +x +x 与x -x -x 相互独立？例2 设（x ,x ,x），其中，试求y =x +x +x 与y =x -x 的联合分布。研究生应用数理统计预备知识(讲稿)545 统计量研究生应用数理统计预备知识(讲稿)55一、总体和样本定义1 所研究对象的全体称为总体，组成总体的元素称为个体。定义2 将个体的某个数值指标看作随机变量，记作x，则称x的分布为总体分布， x的分布函数、数字特征为总体的分布函数、数字特征研究生应用数理统计预备知识(讲稿)56定义3 从总体中随机抽取n各个体，在作观察前其观察值是不确定的，记作称为样本，n称为样本的容量。 的一

20、次具体的数值 称为样本观测值。随机向量 可能取值的全体（值域）称为样本空间。1(,)nxx1(,)nxx1(,)nxx1( ,)nxx研究生应用数理统计预备知识(讲稿)57二、抽取样本定义4 简单随机样本，就是有放回抽样。注：1.实际中往往采用无放回抽样，但当样本容量n与总体所含个体数量n之比很小时，可以看作有放回抽样。研究生应用数理统计预备知识(讲稿)582.简单随机样本具有代表性(xi与x服从相同的分布)、独立性(x1, xn相互独立)3.对(x1, xn)，若x的分布函数为f(x)，则11( ,)( )nniif xxf x研究生应用数理统计预备知识(讲稿)59三、统计量1115 (,)

21、(,)(,)nnnxxxt xxt xx定义 设为总体 的一个样本，若函数不含未知参数，则称为一个统计量。研究生应用数理统计预备知识(讲稿)6011222211116 (,)1 11() 111() nniinniiiinkkiinkkiixxxxxnsxxxnxnnaxknbxxn定义 设是总体 的一个样本，常用的统计量有：样本均值；样本方差；样本 阶原点矩；样本k阶中心矩；研究生应用数理统计预备知识(讲稿)61四、经验分布函数11*1111*kk+1*8 (,)( ,), 0, ;( ), ,;1, .nnnnnnnxxxxxxxxxxxxxxkfxxxxnxx*定义 设是总体 的样本，是

22、样本的观察值，将从小到大排列，记作，即有：，定义 的经验分布函数或样本分布函数为）总体x的分布函数称为其理论分布研究生应用数理统计预备知识(讲稿)62( )*( )( )19 (,)nnniinxxxx定义 如果总以 为其观察值，则称为顺序统计量。-2()xf(x),lim sup |( )-( )| 01nnxpf xf x n定理格列汶科定理 设总体 的分布函数为经验分布函数为f(x),则有研究生应用数理统计预备知识(讲稿)63研究生应用数理统计预备知识(讲稿)645 抽样分布研究生应用数理统计预备知识(讲稿)6511 (,)nxx一、正态总体的抽样分布定义 统计量是样本的函数，也是一个随

23、机变量，其分布称为抽样分布。注：我们主要讨论正态总体下的抽样分布（总体分布是正态分布）。研究生应用数理统计预备知识(讲稿)66211122111 ,( ,), , ( );( )nniiinnniiiixxnuua xaaue ua d ua 定理 设是取自正态总体的样本 统计量是子样的任意一个线性组合，即其中 , , 是常数 则 也是正态随机变量 且121, ( ,)niixxnx nn特别地 对于有研究生应用数理统计预备知识(讲稿)672122222 ,( ,), (1).nnxxnxsnsn n定理 设是取自正态总体的样本 则统计量 和独立，且研究生应用数理统计预备知识(讲稿)68213 ,( ,), (1).nxxnxtnt ns 定理 设是取自正态总体的样本 则研究生应用数理统计预备知识(讲稿)691122112211221212*2212*22212221212*2*2124 ,(,)(,),(,)mn(2)(1,1).(3)=()()(2)=(1)(1)mnmnmnmnxxyynnxxyyxynsff mnsxymn mntmnmsns 定理 设()和()分别是取自正态总体，的样本 若和相互独立，则(1)当时(2)t mn研究生应用数理统计预备知