概率论知识回顾

1、第第0 0章章 概率论知识概率论知识1 1 随机变量及其概率分布随机变量及其概率分布2 2 数字特征数字特征3 3 多维正态分布及其性质多维正态分布及其性质4 4 大数定律与中心极限定理大数定律与中心极限定理随机变量及其概率分布随机变量及其概率分布1 1 一维随机变量一维随机变量2 2 二维随机变量二维随机变量3 3 常用分布常用分布设随机试验设随机试验E E的样本空间为的样本空间为，若对于任意样本，若对于任意样本点点都有一个实数与其对应，记为都有一个实数与其对应，记为X（），），称称X为随机变量。为随机变量。1.1.一维随机变量一维随机变量几何意义几何意义：一维随机变量：一维随机变量X可看直

2、线上随机点可看直线上随机点P的坐标。的坐标。PR( )X1）分布函数）分布函数: 对于任意的实数对于任意的实数x, 称函数称函数为X的分布函数。( )F xP XxF (x)表示随机点落在直线上点P (x)左边的概率（质量质量）。分布函数分布函数几何意义几何意义Rx（3） F (x)是单调不减的函数； 分布函数的性质分布函数的性质（1）0( )1F x ；()0F （2）()1F （4） F (x)是右连续的函数； (0)( )F xF x（5）( )( )P aXbF bF a2）分布率（列）分布率（列）: 对于离散型随机变量离散型随机变量X称pk为X的分布率。1,2,kkpP Xxk性质性

3、质X的所有可能取值为12,kx xx01,1kkkpp3）概率密度）概率密度 对于连续型随机变量连续型随机变量X，若分布称 f (x) 为X的概率密度。( )( )xF xf x dx性质性质函数F (x)满足：存在非负函数f (x),使得,( )0f x (1)(2)( )1f x dx(3)( )baP aXbf x dx2.2.二维随机变量二维随机变量在许多实际问题中，随机试验的结果需要同时在许多实际问题中，随机试验的结果需要同时用两个或两个以上的随机变量来描述，例用两个或两个以上的随机变量来描述，例如：如：考察某城市某年考察某城市某年7 7月的气候，需要用到平均月的气候，需要用到平均气

4、温和降雨量；气温和降雨量；考察学生的身体素质，包括身高和体重等。考察学生的身体素质，包括身高和体重等。对于二维随机变量，需要对其对于二维随机变量，需要对其作整体研究作整体研究。设设 X,Y 是定义在样本空间是定义在样本空间上的两个随机变上的两个随机变量，称向量（量，称向量（X,Y）为二维随机变量或二维随为二维随机变量或二维随机向量。机向量。几何意义几何意义：二维随机变量（：二维随机变量（X,Y）可看做平面上）可看做平面上随机点随机点P的坐标。的坐标。XYxy。(,)X YP1）联合分布函数）联合分布函数: 对于任意的实数对于任意的实数x, y 称函数称函数为X, Y 的联合分布函数。( , )

5、F x yP XxYy，F (x, y)表示落在平面上以 (x, y)为顶点的左下方无穷区域内的概率（质量质量）。联合分布函数联合分布函数几何意义几何意义xyxy，（2）F (x, y)是关于x, y 的单调不减的函数； 联合分布函数的性质联合分布函数的性质（1）0()1F xy，；( ,)0F x ()0Fy，()0F ，（3）()1F ，xyxy，+-（5）1212P xXxyYy，22122111()()()()F xyF xyF xyF xy，xy1x2x1y2y（4） F (x, y)是关于x, y的右连续函数；(0)()F xyF xy，(0)()F xyF xy，2）联合分布率（

6、列）联合分布率（列）: 二维离散型随机变量离散型随机变量称pij为（X，Y）的联合分布率。,1,2,ijijpP Xx Yyi j性质性质（X，Y）的所有可能取值对为( ,), ,1,2,ijx yi j 101,jii ji jpp 3）联合概率密度）联合概率密度 二维连续型随机变量连续型随机变量（X，Y）称 f (x,y) 为（X，Y）的联合概率密度。( , )( , )xyF x yf x y dxdy性质性质若联合分布函数F (x，y)满足：存在非负函数f (x,y), 使得()1f xy dxdy ，1）（3）()()GPX YGf x y dxdy，（2）2( , )()F x y

7、f xyx y ，4 4）边缘分布计算公式）边缘分布计算公式()jjijiP Yypp()iiijjP Xxpp( )()XFxF x，( )()YFyFy，( )( , )Yfyf x y dx( )( , )Xfxf x y dy边缘分布函数边缘分布函数边缘分布律边缘分布律边缘分布密度边缘分布密度()( )( )XYF x yFx Fy，X与Y相互独立5 5）随机变量的独立性）随机变量的独立性 离散型：()( )( )XYf x yfx fy，X与Y相互独立 连续型：,1 2ijijpp pi j，X与Y相互独立3.3.常用分布常用分布（1 1）两点分布或（）两点分布或（0-10-1）分布

8、）分布用于描述试验结果只有两个的情形。用于描述试验结果只有两个的情形。离散型离散型011Xppp（2 2）二项分布）二项分布 X B（n，p）试验试验E中，中， 设设A发生的概率为发生的概率为p，重复做，重复做n次独次独立试验立试验。记事件记事件A在这在这n次试验中发生的次数次试验中发生的次数X离散型离散型()(1),0,1,2,kkn knP XkC ppkn（3 3）几何分布）几何分布 X G（）离散型离散型试验试验E中，设中，设A发生的概率为发生的概率为p，独立重复，独立重复此试验此试验。直到。直到A发生为止。发生为止。记试验的次数记试验的次数X。1()(1),1,2,kP Xkppk（

9、4 4）泊松分布）泊松分布 X （）离散型离散型描述服务系统顾客到达数量的概率分布。描述服务系统顾客到达数量的概率分布。(),0,1,2,!kP Xkekk（1 1）均匀分布）均匀分布 X U (a, b)连续型连续型在区间上在区间上(a, b)随机取点。记为所取点的坐标。随机取点。记为所取点的坐标。1,( )0,otheraxbf xba（2 2）指数分布）指数分布 X E（ ）连续型连续型描述寿命的概率分布，用于可靠性分析问题。描述寿命的概率分布，用于可靠性分析问题。,0( )0,otherxexf x（3 3）正态分布）正态分布 X N (,2 )连续型连续型描述寿命的概率分布，用于可靠

10、性分析问题。描述寿命的概率分布，用于可靠性分析问题。221()( )exp,22xf xx 第第0 0章章 概率论知识概率论知识1 1 随机变量及其概率分布随机变量及其概率分布2 2 随机变量数字特征随机变量数字特征3 3 多维正态分布及其性质多维正态分布及其性质4 4 大数定律与中心极限定理大数定律与中心极限定理随机变量的数字特征随机变量的数字特征1 1 数学期望数学期望3 3 协方差与相关系数协方差与相关系数2 2 方差方差4 4 矩矩 协方差矩阵协方差矩阵1. 1. 数学期望数学期望1）离散型离散型设离散型随机变量X的分布律为 kkpxXP)(),2, 1(k若 绝对收敛，则称级数为随机

11、变量X的数学期望，简称为期望或均值。 1kkkpx)(XE1kkkpx2 2）连续型）连续型 设连续型随机变量X的概率密度函数为f ( x )，若积分 绝对收敛，则称此积分值为X的数学期望数学期望，记作 E( (X) )。即 dxxxf)(dxxxf)()(XE3 3）二维随机变量的数学期望）二维随机变量的数学期望对二维随机变量(X,Y) 定义它的数学期望为 E(X,Y)=(EX, EY)是一个二维向量！是一个二维向量！ 随机变量X的数学期望用来描述随机变量的平均值。 数学期望的统计意义数学期望的统计意义，就是对随机变量进行长期观测所得到数据的算数平均数，是随机变量的理论平均数。 4） 随机变

12、量函数的数学期望随机变量函数的数学期望 定理定理1 1设 g(X)是随机变量X的函数 (1)(1)若X为离散型随机变量，其分布律为 kkpxXP)(),2, 1(k当级数 绝对收敛时，则有： 1)(kkkpxg( ()E g X1)(kkkpxg (2)(2)若X为连续型随机变量，其分布密度为f (x )，则当 积分dxxfxg)()(绝对收敛时，有： ( ()E g Xdxxfxg)()(定理定理2 2设 g(X,Y)是随机变量X,Y的函数 (1)(1)若X,Y为离散型随机变量，其分布律为 (,)ijijP Xx Yyp( ,1, 2,)i j 当级数 绝对收敛时，则有： 11( ,)iji

13、jijg x yp ( (, )E g X Y11( ,)ijijijg x yp (2)(2)若X,Y为连续型随机变量，其分布密度为f (x,y )，则当 积分+( , ) ( , )g x y f x y dx绝对收敛时，有： +( (, )( , ) ( , )E g X Yg x y f x y dxdy5） 数学期望的性质数学期望的性质 1()()E bXcbE Xc）()()( )E aXbYaE XbE Y2）假定所提及的数学期望均存在假定所提及的数学期望均存在 , （a,b,c为常数）()()E XcE Xc( )( )E cE c特别特别()()E bXbE X特别特别()(

14、)( )E XYE XE Y()() ( )E XYE X E Y可推广到多个情形可推广到多个情形.3 3）设）设X, Y相互独立，则相互独立，则一般：一般：设设X, Y相互独立，则相互独立，则 ()( ) () ( )E h Xg YE h XE g Y222,() ,() ,()(),()() .().XEXE XEXE XXD XVar XD XEXE XD X设 是一个随机变量 若存在则称为的方差 记为或即称为标准差或均方差2 2. .方方 差差22()() ()D XE XE X计算公式计算公式22()() ()E XD XE X注意！注意！方差是一个常用来体现随机变量方差是一个常用

15、来体现随机变量X取值分散取值分散程度的量程度的量.如果如果D(X)值大值大, 表示表示X 取值分散程取值分散程度大度大, E(X)的代表性差的代表性差;而如果而如果D(X) 值小值小, 则则表示表示X 的取值比较集中的取值比较集中,以以E(X)作为随机变作为随机变量的代表性好量的代表性好.方差的意义方差的意义1 1）方差的计算）方差的计算22()() ()D XE XE X计算公式计算公式22()() ()E XD XE X有用的公式有用的公式2()( )()xE Xf x dxD X2()() D XEXE X函数的期望函数的期望按定义计算按定义计算21()()kkkxE XpD X(2)

16、设设 X ,Y是随机变量是随机变量, a,b是常数是常数, 则有则有22()()( )D aXbYa D Xb D Y2） 方差的性质方差的性质特别当特别当X ,Y独立时独立时2 ()() ( ).ab E XYE X E Y22()()( )D aXbYa D Xb D Y(3) D(X) =0的充要条件是的充要条件是X以概率以概率1取常数取常数 1)( CXP)(XEC显然22()() ()E XD XE X有用的公式有用的公式22()() ()D XE XE X(4)分布分布参数参数数学期望数学期望方差方差两点分布两点分布二项分布二项分布泊松分布泊松分布均匀分布均匀分布指数分布指数分布正

17、态分布正态分布几何分布几何分布10 pppq10, 1 pnnpnpq0 ba () 2ab 12)(2ab 0 1 2 0, 210 pp/12/qp3 3）几种常见分布的期望和方差）几种常见分布的期望和方差22(|)P X这一不等式称为切比雪夫不等式 4）切比雪夫不等式）切比雪夫不等式22(|) 1P X 等价形式等价形式2(),()E XD X定理定理 设随机变量X具有数学期望和方差则对任意的正数，以下不等式成立3 3 协方差与相关系数协方差与相关系数1）协方差 ()( )EXE XYE Y(,)Cov X Y定义定义称为是两个随机变量称为是两个随机变量X，Y的协方差的协方差。(,)()

18、() ( )Cov X YE XYE X E Y一般，协方差用下式计算一般，协方差用下式计算显然显然()(,)D XCov X X 如何描述两个随机变量之间的关系？如何描述两个随机变量之间的关系？协方差具有下述性质协方差具有下述性质 1.(,)( ,)Cov X YCov Y X 3.(, )0Cov X c 4.(,)(,)Cov aX bYabCov X Y 12125.(,)(,)(,)Cov XX YCov X YCov X Y 6. 当当X，Y独立时，独立时，(,)0Cov X Y 2.(,)()() ( )Cov X YE XYE X E Y一个一般的公式一个一般的公式112211

19、22(,)Cov a Xa Xb Xb X特别特别1 11222122 1()()()(,)a b D Xa b D Xa ba b Cov X Y 22()()( )2(,)D aXbYa D Xb D YabCov X Y ()()( )2(, )D XYD XD YCov X Y 两个随机变量两个随机变量X，Y的协方差描述的是它们取值变化的协方差描述的是它们取值变化的相关关系。的相关关系。(,)0Cov X Y 比如：一个人的身高比如：一个人的身高X ，体重，体重Y，一般来说，一般来说， X越越大，大， Y越大，越大， X越小，越小越小，越小Y。随机变量随机变量X，Y之间具有之间具有正相

20、关关系正相关关系若若(,)0Cov X Y 随机变量随机变量X，Y之间具有之间具有负相关关系负相关关系缺点：协方差受量纲的影响。缺点：协方差受量纲的影响。如何改进？如何改进？2 2）相关系数）相关系数 *()( ),()( )XE XYE YXYD XD Y令令X*，Y*分别称为分别称为X，Y的的标准化随机变量标准化随机变量。*()()0,()()1E XE YD XD Y易知易知*,XY是无量纲的量。是无量纲的量。*(,)Cov XY是一个无量纲的量。是一个无量纲的量。(,)() ( )XYCov X YD X D Y 定义定义 设随机变量设随机变量X，Y的数学期望与方差都存在，的数学期望与

21、方差都存在，称称为随机变量为随机变量X，Y的相关系数。的相关系数。*(,)(,)()()( )Cov X YCov XYE X YD X D Y 相关系数的性质相关系数的性质1.1XY ()1P YaXb2.1,XYab 使得使得说明说明：XY描述了描述了X,Y之间的之间的线性关联程度线性关联程度。XY = 0, 称称X,Y（线性）（线性）不相关不相关；XY 0, 称称X,Y 正相关正相关；XY 0, 称称X,Y 负相关。负相关。4 4 矩矩 协方差矩阵协方差矩阵1）矩）矩(),1,2,kkE Xk （1）原点矩）原点矩() ,2,3,kkEXE Xk （2）中心矩）中心矩单个随机变量的矩单个

22、随机变量的矩特别特别 数学期望数学期望E(X)是一阶原点矩是一阶原点矩特别特别 方差方差D(X)是二阶中心矩是二阶中心矩(),1,2,klE X Yk l （1）混合原点矩）混合原点矩() ( ) ,1,2,klEXE XYE Yk l （2）混合中心矩）混合中心矩2）两个随机变量的混合矩）两个随机变量的混合矩特别特别 协方差协方差Cov(X，Y)是是1+1阶混合中心矩阶混合中心矩3）协方差矩阵）协方差矩阵二维随机变量二维随机变量( (X1， X2 ) )有四个二阶中心矩有四个二阶中心矩()()(,),1,2ijiijjijcEXE XXE XCov XXi j 称为称为( (X1， X2 )

23、 )的的协方差矩阵协方差矩阵将它们排成矩阵将它们排成矩阵11122122ccCcc 12(,)nXXX对对n维随机变量维随机变量111212122212nnnnnnccccccCccc 其协方差矩阵定义为其协方差矩阵定义为(,),1,2,ijijcCov XXi jn 其中其中1 1）是称性矩阵，即）是称性矩阵，即TCC 协方差矩阵性质协方差矩阵性质2 2）是非负定矩阵，即）是非负定矩阵，即0C 3） 对任意一组实数对任意一组实数12,nk kk协方差矩阵性质协方差矩阵性质1122()nnD k Xk Xk X 1112112122221212,nnnnnnnnccckccckk kkccck

24、 第第0 0章章 概率论知识概率论知识1 1 随机变量及其概率分布随机变量及其概率分布2 2 数字特征数字特征3 3 多维正态分布及其性质多维正态分布及其性质4 4 大数定律与中心极限定理大数定律与中心极限定理3 3 多维正态分布及其性质多维正态分布及其性质1 1 一维正态分布一维正态分布2 2 二维正态分布二维正态分布3 3 多维正态分布的性质多维正态分布的性质1.1.一维正态分布一维正态分布221()( )exp22xf x 概率密度概率密度（1 1）正态分布）正态分布 X N (,2 )（2 2）标准正态分布）标准正态分布 X N (0, 1)若若 X N (,2 )，则，则(0,1)X

25、N 特别特别 22111222(,),(,)XNXN（3 3）若）若且相互独立，则其线性组合且相互独立，则其线性组合2222112212211221(,)c Xc XN cccc 221222121(,)XXNc 此结论可推广到多个的情形此结论可推广到多个的情形2.2.二维正态分布二维正态分布2111222211221122222122()11(,)exp2(1)21()()()2xf x xxxx 2121212(,) (,)XXN 设二维随机变量设二维随机变量( (X1， X2 ) )的联合密度为的联合密度为称称( (X1， X2 ) )服从二维正态分布服从二维正态分布二维正态分布曲面二维

26、正态分布曲面如图所示如图所示 211122222)(,)(,)XNXN 1112222112221)(),()(),()X XE XE XD XD X 性质性质03 3）( (X1， X2 ) )独立独立为此引入下面的列向量和矩阵为此引入下面的列向量和矩阵 1112222111211222122122,(),XxXE XxXxccCcc 为为X 的的均值向量，均值向量，C为为 X 的协方差矩阵的协方差矩阵密度函数表示的简化密度函数表示的简化22221212122222121211(1),(1)CC 21112211()()()(1)TxxCx 21122222122()()()2xxx 211

27、221( )(2 )|exp()()2Tf xCxCx 2(,)XNC二维正态分布可记为二维正态分布可记为21122211221122222122()11exp2(1)21()()()2xxxx 引入列向量和矩阵引入列向量和矩阵1111121222122212,nnnnnnnnxcccxcccxCxccc 211221( )(2 )|exp()()2Tf xCxCx 将此表达式推广到将此表达式推广到n维维.11221( )(2 )|exp()()2nTf xCxCx 若若n维随机向量维随机向量X=( (X1, X2 , . , Xn ) )T T的联合密度为的联合密度为称称 X 服从服从 n

28、维正态分布维正态分布(,)nXNC记为记为3. n 维正态分布维正态分布2(,)TYYYl XN 其中其中l为为任意任意n维非零常数向量维非零常数向量. .n 维正态分布的性质维正态分布的性质1 1）设）设 ，则，则 X的每个分量的每个分量 Xi(,)nXNC也服从正态分布，且也服从正态分布，且(,)iiiiXNc2)(,)nXNC且且2,TTYYll Cl iiiCc 其中其中L为为任意任意mn非零常数矩阵非零常数矩阵. .3 3）(,),nXXXNC且且,TYXYXLCLC L 则则(,)mYYYNC4)(,),nXNC则则 X的各分量独立的各分量独立0,ijX Xij（两两互不相关）（两

29、两互不相关）1111,nnCdiag ccc （C为对角矩阵）为对角矩阵）11mm nnYLX 设设第第0 0章章 概率论知识概率论知识1 1 随机变量及其概率分布随机变量及其概率分布2 2 数字特征数字特征3 3 多维正态分布及其性质多维正态分布及其性质4 4 大数定律与中心极限定理大数定律与中心极限定理1 1 大数定律大数定律2 2 中心极限定理中心极限定理4 大数定律与中心极限定理大数定律与中心极限定理1. 1. 大数定律大数定律大数定律的定义大数定律的定义切比晓夫大数定律切比晓夫大数定律贝努里大数定律贝努里大数定律辛钦大数定律辛钦大数定律 概率论与数理统计是研究随机现象统计概率论与数理

30、统计是研究随机现象统计规律性的学科规律性的学科. 随机现象的规律性只有在相随机现象的规律性只有在相同的条件下进行大量重复试验时才会呈现出同的条件下进行大量重复试验时才会呈现出来来. 也就是说，要从随机现象中去寻求必然也就是说，要从随机现象中去寻求必然的法则，应该研究大量随机现象的法则，应该研究大量随机现象.问题的引入问题的引入 研究大量的随机现象，常常采用极限研究大量的随机现象，常常采用极限形式，由此导致对极限定理进行研究形式，由此导致对极限定理进行研究. 极极限定理的内容很广泛，其中最重要的有两限定理的内容很广泛，其中最重要的有两种是种是:与与大数定律大数定律中心极限定理中心极限定理下面我们

31、先介绍大数定律下面我们先介绍大数定律 大量的随机现象中大量的随机现象中平均结果的稳定性平均结果的稳定性 大数定律的客观背景大数定律的客观背景大量抛掷硬币大量抛掷硬币正面出现频率正面出现频率字母使用频率字母使用频率生产过程中的生产过程中的废品率废品率问题：问题：测量一个工件时，由于测量具有误差，测量一个工件时，由于测量具有误差，为什么为什么以各次的平均值来作为测量的结果？而且只要测量的以各次的平均值来作为测量的结果？而且只要测量的次数足够多，总可以达到要求的精度？次数足够多，总可以达到要求的精度？这里反映了什么样的客观统计规律呢？这里反映了什么样的客观统计规律呢？ :工件的真实值工件的真实值k

32、:本次测量误差本次测量误差第第k次测量结果次测量结果 Xk= + kn次测量的算术平均次测量的算术平均 1111nnkkkkXnn 即大量测量值的即大量测量值的算术平均值具有稳定性算术平均值具有稳定性。这就是大数定律所阐述的结论。这就是大数定律所阐述的结论。k :由于测量误差的均值一般为由于测量误差的均值一般为01111nnkkkkXnn 110nknkn 此处的极限不此处的极限不是通常的极限是通常的极限服服从从大大数数定定律律。则则称称nX11lim1,nknkPXn 定义定义是是随随机机变变量量序序列列，设设nXX ,1对任意对任意有有,0 11lim0,nknkPXn 或或11nPknk

33、Xn 记为记为条件？条件？定理定理1（贝努里大数定律）（贝努里大数定律）(Bernoulli大数定律大数定律)发发生生的的次次数数，重重贝贝努努里里试试验验中中事事件件为为设设AnnA发发生生的的概概率率，是是事事件件Ap, 1|lim pnnPAn有有则则：对对任任意意的的0 频率的稳定性频率的稳定性PAnnpn 即即关于贝努利定理的说明关于贝努利定理的说明1）当）当n很大时很大时, 事件发生的频率与事件发生的事件发生的频率与事件发生的概率有较大偏差的可能性很小概率有较大偏差的可能性很小. 在实际应用中在实际应用中, 当试验次数很大时当试验次数很大时, 便可以用事件发生的频率便可以用事件发生

34、的频率来代替事件的概率来代替事件的概率.11,2,0iiAXiniA 第第 次次试试验验中中事事件件 发发生生第第 次次试试验验中中事事件件 不不发发生生1(0 1),niAiiXnX 则则独独立立, , 都都服服从从分分布布 且且11nPAininXpnn 令令()iE Xp 2 2）频率的稳定性是算数平均稳定性的特例。）频率的稳定性是算数平均稳定性的特例。定理定理2 2（契比雪夫契比雪夫大数定律大数定律） 且具有相同的数学且具有相同的数学期望及方差，期望及方差，相相互互独独立立，设设随随机机变变量量nXX ,1, 2 , 1,2 kDXEXkk 11nPknkXn 即即,服服从从大大数数定

35、定律律则则nX)(大大数数定定律律Chebyshev注：注：贝努里大数定律是辛钦大数定律的特殊情况。贝努里大数定律是辛钦大数定律的特殊情况。, 2 , 1nkEXk ， 定理定理3（辛钦大数定律）（辛钦大数定律）. 1|1|lim1 niinXnP相相互互独独立立同同分分布布，设设随随机机变变量量nXX ,1且具有数学期望且具有数学期望有有则则：对对任任意意的的0 思考：思考：比较辛钦大数定律与比较辛钦大数定律与切比晓夫切比晓夫大数定律条件的大数定律条件的 差别及强弱。差别及强弱。2 2 . 中心极限定理中心极限定理定义定义独立同分布的中心极限定理独立同分布的中心极限定理德莫佛德莫佛- -拉普拉斯定理拉普拉斯定理 有许多随机变量，它们是有许多随机变量，它们是由大量的相互由大量的相互独立的随机变量的综合影响所形成的独