第三章概率分布的基本性质PPT课件

1、第三章第三章概率分布的基本性质概率分布的基本性质 本章内容：本章内容：随机变量的概率分布函数的基本性质：平均值、方差、协方随机变量的概率分布函数的基本性质：平均值、方差、协方差矩阵、炬、差矩阵、炬、第三章第三章概率分布的基本性质概率分布的基本性质3.1 概率密度函数概率密度函数（Probability Density Function)dxxfdxxXxp)()(1)(dxxf0)(xf定义：定义：X：连续型随机变量；：连续型随机变量； ：样本空间（样本空间（X的值域）的值域）X的值落入区间的值落入区间x,x+dx的概率：的概率：其中：其中：f(x)被称为随机变量被称为随机变量X的概率密度函数

2、（的概率密度函数（p.d.f），表示单位长度），表示单位长度下的概率。下的概率。归一化条件（归一化条件（normalization condition）：）：表示：在样本空间内，随机变量表示：在样本空间内，随机变量X总会取某一值总会取某一值性质：性质：1. 对所有的对所有的x值值, 2.f(x)是单值函数是单值函数3.f(x)是非奇异的是非奇异的第三章第三章概率分布的基本性质概率分布的基本性质3.2 累积分布函数累积分布函数（Cumulative distribution function)xxdxxfxFmin) ()(maxmin),()(xxxxXpxFmaxmin, 1)(0 xxxx

3、F)()()(1221xFxFxxxpxf(x)F(x)1xminxmax简称分布函数简称分布函数定义：定义：其中：其中：xmin是随机变量是随机变量X的取值下限的取值下限意义：意义：表示随机变量表示随机变量X的取值小于某一值的取值小于某一值x的概率，即的概率，即性质：性质：1、2、F(xmin)=0, F(xmax) = 13、若、若x1x2, 则则F(x1)F(x2),即即F(x)是单调升函数是单调升函数4、离散型随机变量可以定义累积分布函数离散型随机变量可以定义累积分布函数11()()lim()0 xnnxnF xF xp x dx5、，即，即x取特定值的几率为取特定值的几率为0。1一个

4、均匀分布的例子一个均匀分布的例子时钟角度时钟角度X X的的p.d.f. f(x)（a）和分布函数和分布函数F(x)（b）03601/360f(x)x(a)0360F(x)x(b)f(x)xxminx0 x1x2xmax随机变量随机变量X的取值的取值x在区间在区间 x1, ,x2 的概率是的概率是概率密度函数概率密度函数f( (x) )曲线下相应区间的面积曲线下相应区间的面积第三章第三章概率分布的基本性质概率分布的基本性质3.3 概率密度函数的性质概率密度函数的性质(Properties of the Probability)f(x)包含了随机变量包含了随机变量X的所有信息，其性质确定了的所有信

5、息，其性质确定了X的分布的分布最可几值最可几值(mode)：使：使f(x)取极大的取极大的x值，值，xp中位值中位值 (median)：F(xmedian)=1/2平均值平均值(mean)：Mode（极大值）Median(中位值）Mean(平均值）xf(x)( )xxf x dx统计物理统计物理中，麦克斯韦速度分布律给出：中，麦克斯韦速度分布律给出：2:1:1:1.128pvv一、函数的期望值（一、函数的期望值（Expectation)定义：定义：f(x)：随机变量：随机变量X的概率密度函数的概率密度函数 g(x)：随机变量：随机变量X的函数的函数g(x)的期望值（对的期望值（对g(x)的加权

6、平均值）的加权平均值）：dxxfxgxgE)()()(Eg(x)是一个常数，与是一个常数，与x无关，是函数无关，是函数g(x)的的平均值平均值或或中值中值的一个量度的一个量度f(x)对应于量子力学或统计物理中的态密度（如麦克斯韦分布、玻色对应于量子力学或统计物理中的态密度（如麦克斯韦分布、玻色爱因斯坦分布、费米狄拉克分布）爱因斯坦分布、费米狄拉克分布）g(x)可以理解为一个物理量算符可以理解为一个物理量算符1( )( )|( ) ( )( ) ( )( )| ( )|( )f x dxxxdxE g xg x f x dxxg xxdx一、函数的期望值（一、函数的期望值（Expectation

7、)定义：定义：积分学第一中值定理（积分学第一中值定理（Mean Value Theorem）( )( )()bag x dxgba对连续函数对连续函数g(x)，在区间，在区间a, b上存在上存在，使得，使得g()称为称为g(x)的积分中值，或平均值。实际上就是算术平均值，的积分中值，或平均值。实际上就是算术平均值，对离散的函数对离散的函数g，就很容易看出来。，就很容易看出来。这意味着可以找到一个点这意味着可以找到一个点，使，使得得g(x)下的面积等价于一个矩下的面积等价于一个矩形面积，但这形面积，但这不是统计学中通不是统计学中通常定义的平均值常定义的平均值（见下面）。（见下面）。xg(x)Me

8、an(中值平均值）1niiggn一、函数的期望值（一、函数的期望值（Expectation)定义：定义：积分学第二中值定理积分学第二中值定理( )( )( )( )( )( )bbaag x fx dxf ag x dxf bg x dx对连续函数对连续函数f(x)和和g(x)，在区间，在区间a, b上存在上存在，使得，使得g()称为称为g(x)的积分中值（加权平均值），的积分中值（加权平均值），f(x)为权函数。为权函数。第一中值定理是第二中值定理在第一中值定理是第二中值定理在f(x)=1时的特例。时的特例。概率论中的平均值特指自变量概率论中的平均值特指自变量x的加权平均值，即的加权平均值，

9、即g(x)=x平均值可以指平均值可以指x2的、的、x3的等等任意函数的平均值。的等等任意函数的平均值。如果把求平均值的运算如果把求平均值的运算E看作一个算符，它具有看作一个算符，它具有性质性质：若若a是常数，则是常数，则E(a)=aEag(x)=aEg(x)Ea1g1(x)+a2g2(x)=a1Eg1(x)+a2Eg2(x)即，即，E是线性算符是线性算符函数的方差（函数的方差（Variance）定义：定义：dxxfxgExgxgExgExgV)()()()()()(22意义：意义：g(x)在其期望值周围的离散程度在其期望值周围的离散程度二、随机变量的平均值和方差（二、随机变量的平均值和方差（M

10、ean Value and Variance)如取如取g(x)=x，则得随机变量，则得随机变量X的平均值和方差的平均值和方差dxxfxxExVdxxxfxE)()()()()()(222平均值：平均值：方差：方差： ：随机变量随机变量X的的标准标准偏差（偏差（Standard Deviation）平均值与方差之间的关系：平均值与方差之间的关系： 2=E(x- )2=E(x2-2 x+ 2)=E(x2)- 2=E(x2)-E(x)2 2=E(x2)-E(x)2方差（方差（Variance，Dispersion）物理意义：）物理意义：随机变量概率密度函数随机变量概率密度函数f(x)f(x)在期望值

11、周围的离散程度，亦即由于随机在期望值周围的离散程度，亦即由于随机的统计性所造成的随极变量的取值在期望值附近的起伏的大小。的统计性所造成的随极变量的取值在期望值附近的起伏的大小。实验上常把物理量的测量结果表示成：实验上常把物理量的测量结果表示成： 三、矩（三、矩（moment)定义：定义：对正整数对正整数k(k=1,2,)，分别称为随机变量分别称为随机变量X X的的k k阶原点矩和中心矩。阶原点矩和中心矩。dxxfxxEdxxfxxEkkkkk)()()()()(2k k阶原点矩阶原点矩k k阶中心矩阶中心矩显然，随机变量显然，随机变量X X的平均值和方差分别为的平均值和方差分别为2211 1阶

12、原点矩阶原点矩2 2阶中心矩阶中心矩332/3231)()(xE1=0103)(3)(442242xE2=02020,则则xi和和xj的变化趋势相同的变化趋势相同 如果如果 0,则则xi和和xj的变化趋势相反的变化趋势相反xixjxjxixixjxixixjxj四、独立变量四、独立变量(Independent variables)如果随机向量如果随机向量 的联合概率密度函数可写为的联合概率密度函数可写为),(21nxxxx)()()(),(221121nnnxfxfxfxxxf则称随机变量则称随机变量x1,x2,xn是相互独立的是相互独立的对于相互独立的随机变量，它们的协方差和相关系数为零，即

13、不相关；对于相互独立的随机变量，它们的协方差和相关系数为零，即不相关；反之，不成立。反之，不成立。0),(, 0),cov(jijixxxx0)()()(),cov()()()()()()(),()(jijijijijjjiiijijijijijijijixExExxExxxExEdxxfxdxxfxdxdxxfxfxxdxdxxxfxxxxE五、边缘概率密度函数，条件概率密度函数五、边缘概率密度函数，条件概率密度函数边缘概率密度函数边缘概率密度函数概率密度函数概率密度函数 在某一子空间上的投影称为随机向量在某一子空间上的投影称为随机向量 对这一子空间对这一子空间的边缘概率密度函数的边缘概率密

14、度函数)(xfx例：随机向量例：随机向量 对分量对分量x1的边缘密度函数定义为：的边缘密度函数定义为：xmaxminmax2min222111),()(nnxxnnxxdxdxxxxfxh如果如果x1,x2,xn是相互独立的，则有是相互独立的，则有h1=f1(x1), h2=f2(x2),.即：相互独立的随机变量的联合概率密度函数可因式分解为对各分量的边缘即：相互独立的随机变量的联合概率密度函数可因式分解为对各分量的边缘概率密度函数之积概率密度函数之积条件概率密度函数条件概率密度函数)(),()|,(1121132xhxxxfxxxxfnn（Marginal and Conditional p

15、.d.f)例子：邱洛（例子：邱洛（Chew-Low）图和达里兹（）图和达里兹（Daliz）图）图六、联合特征函数六、联合特征函数随机向量随机向量 的联合特征函数的定义：的联合特征函数的定义：x nnxitxitxitxitxitxitndxdxdxxxxfeeEtttnn212121),()(),(1111111111如果如果x1,x2,xn是相互独立的，则有是相互独立的，则有)()()(),(2121nntttttt其中，其中， (ti)为随机变量为随机变量xi的特征函数的特征函数证明：考虑两个变量的情况：如果证明：考虑两个变量的情况：如果x1和和x2为相互独立的随机变量，则有为相互独立的随

16、机变量，则有)()()()()(),()()(),(212122112122112211tteEeEeeEttxfxfxxfxitxitxitxit由联合特征函数可得到：由联合特征函数可得到：02121|)()()(tsrsrsrititxxE第三章第三章概率分布的基本性质概率分布的基本性质3.6 随机变量的线性函数随机变量的线性函数niiinxaxxxg121),(niiiniiiniiiniiiaxEaxaExaE1111jijijiniiijijjiijiniiiijijjiijiniiiiniiiiniiiniiiniiiniiiniiixxaaxVaxxEaaxEaxxaaxaExa

17、EaxaExaExaExaV),cov()()()()()()(12122122212112111设设g(x1,x2,xn)是是n个随机变量的线性函数：个随机变量的线性函数：求求g(x1,x2,xn)的期望值和方差的期望值和方差1、期望值：、期望值：2、方差：、方差： 111112ninijijjiniiiiniiiVaaVaxaVniiiiniiiVaxaV11niixnx11x22,1iiiiiVnannaxVnaxEniiininiii22212211)1()(1)(若若x1,x2,xn是相互独立的随机变量，是相互独立的随机变量，Vij=0, 则则例：例：n个相互独立的随机变量个相互独立

18、的随机变量x1,x2,xn,具有相同的平均值具有相同的平均值 和方差和方差 2:定义算术平均值定义算术平均值:求求 的期望值和方差的期望值和方差第三章第三章概率分布的基本性质概率分布的基本性质3.7 变量变换变量变换(Change of variables)X: 连续型的随机变量连续型的随机变量, PDF: f(x)y = y(x)：x的函数的函数, 也是随机变量也是随机变量. 求求y(x)的概率密度函数的概率密度函数g(x)1、若随机变量、若随机变量x和和y是一一对应的是一一对应的:2、若随机变量若随机变量x和和y不是一一对应的不是一一对应的:xdxydyxdx2ydydx1x, x+dxy

19、, y+dy即有即有n个区间个区间x,x+dxy,y+dy, X的取值在的取值在x, x+dx的概率的概率=Y的取值在的取值在y, y+dy的概率：的概率：dydxxfyg)()(取绝对值是为了保证取绝对值是为了保证g(y)是非负的是非负的f(x)dx=g(y)dy dydxxfyg)()(需要对这需要对这n个区间求和个区间求和3、推广到、推广到n个随机变量的情况个随机变量的情况:),(),(2121nnyyyyxxxxnnnnnyxyxyxyxyxyxnnyyyxxxJJxfyg2112111,),(),()()(2121Jacobian行列式行列式第三章第三章概率分布的基本性质概率分布的基

20、本性质3.8 误差传播误差传播(Propagation of errors),(21nxxxx)(),(21xyxxxyynx实验测量的物理量可分为实验测量的物理量可分为:直接测量量直接测量量:其值是用实验仪器直接测量的其值是用实验仪器直接测量的间接测量量间接测量量:其值是用直接测量量的结果是通过适当的公式推断出来的其值是用直接测量量的结果是通过适当的公式推断出来的如何通过直接测量量的误差推导出间接测量量的误差如何通过直接测量量的误差推导出间接测量量的误差?误差传播公式误差传播公式一、单一函数的情况一、单一函数的情况设设y是随机变量是随机变量(直接测量量直接测量量) 的函数的函数: 求求y的方

21、差的方差)(xV),(21n协方差矩阵协方差矩阵平均值平均值:nixxyiiixyxy1|)()()( ninjijxjxininjjjiixjxiVxyxyxxExyxyxyV1111|)(|)()()(yxyE22)()()()()(yxyExyExyExyVnixiixyxyxy1)()()(ninjijxxyxxyVxyVji11|)(niiixxyVxyVi12)|()(njjijixxyxyniixxyxxxyjii2,1222),cov()(2)()|()()(,111xnxyxnxyiinii误差传播定律：误差传播定律：如果如果x1,x2,xn是相互独立的，则有是相互独立的，则

22、有将方差用将方差用 2代替，则得代替，则得例：算术平均值的方差例：算术平均值的方差nxyxnii21222)()(ninjijjlikjjiininjjlikllkkllkkklxVxyxyxxExyxyyxyyxyExyExyxyExyEyV1111)()()()()()()()()()()(二、多个函数的情况，矩阵表示二、多个函数的情况，矩阵表示设有一组设有一组m个函数个函数y1,y2,ym都依赖于都依赖于n维随几向量维随几向量(x1,x2,xn)yk=yk(x1,x2,xn)=yk(x), k=1,2,mmkxyxyxynixikiikk, 2 , 1,|)()()(1mkyxyEkk,

23、 2 , 1),()(随机向量随机向量y1,y2,ym的的协方差矩阵元协方差矩阵元误差传播定律的一般形式误差传播定律的一般形式 ninjijjkikkkkxVxyxyyV112)()(变量变量y1,y2,ym的误差为对角元素的平方根的误差为对角元素的平方根依赖于随即向量依赖于随即向量X的协方差项的协方差项如果如果xi是相互独立的，是相互独立的，时当jixVij , 0)(niiikniiiikkkkxxyxVxyyV122122)()()()()(矩阵表示：矩阵表示：xikkiTxySSxSVyV|)()(三、几种常见到的函数的误差传播公式三、几种常见到的函数的误差传播公式第三章第三章概率分布

24、的基本性质概率分布的基本性质3.9 分离型随机变量的概率分布分离型随机变量的概率分布1rrp222)()()()()(rErEprErrVrprErrrrrrrrpzzEzG)()(22221)1 () 1 () 1 ()(),1 ()()()() 1() 1 (),() 1 () 1()(,)(GGGrVGrErErErpprprrGrErpGpzrrzGprzzGrrrrrrrrrrrrrr 概率分布：一组概率值概率分布：一组概率值pr表示，表示，pr满足归一化条件：满足归一化条件：pr :分离型随即变量取值为分离型随即变量取值为r的概率的概率期望值和方差的定义：与连续型的随机变量类似，积

25、分期望值和方差的定义：与连续型的随机变量类似，积分求和求和概率产生函数（概率产生函数（probability generating function) 特征函数特征函数利用该函数可计算变量利用该函数可计算变量r的各阶矩：的各阶矩：第三章第三章概率分布的基本性质概率分布的基本性质3.10 样本样本(Sampling)一、总体和样本（一、总体和样本（universe and sample)总体（或母体）：总体（或母体）：研究对象的所有可能的观测结果研究对象的所有可能的观测结果 在物理实验中，总是用一些随机变量来描述某一物理系统，这些变在物理实验中，总是用一些随机变量来描述某一物理系统，这些变量的概

26、率密度函数描述了总体的特征量的概率密度函数描述了总体的特征 如果能在相同的条件下对描述物理系统的随机变量进行无限多次的如果能在相同的条件下对描述物理系统的随机变量进行无限多次的测量，则可用概率密度函数来概括所有可能的实验结果；测量，则可用概率密度函数来概括所有可能的实验结果；样本（样本（sample)sample)：在实际实验中，测量的次数总是有限的，若实验的次数为在实际实验中，测量的次数总是有限的，若实验的次数为n n，对某个物理，对某个物理量的测量值为量的测量值为x x1 1,x,x2 2, ,x xn n，则称这组测量值构成了容量为，则称这组测量值构成了容量为n n的样本。的样本。 样本

27、只是总体的一个子集样本只是总体的一个子集, , 希望能从该样本推断出总体的特征希望能从该样本推断出总体的特征; ; 样本是随机的样本是随机的: : 不同的样本对总体的特性的推断有差异不同的样本对总体的特性的推断有差异, ,但基本类似但基本类似. .二、样本的特性二、样本的特性希望用实验样本推断出所研究的总体的特性希望用实验样本推断出所研究的总体的特性样本平均值：样本平均值：样本方差：样本方差：niiniixxnsxnx1221)(111样本相对于其平均值的离散程度样本相对于其平均值的离散程度2sx和是随机变量是随机变量xi的函数的函数也是随机变量也是随机变量 如果从总体中抽取几组容量都为如果从总体中抽取几组容量都为n的样本，每组样本的平均值和方差将的样本，每组样本的平均值和方差将是不同的；是不同的； 样本平均值和方差将具有自己的分布，其分布依赖于总体的分布和样本样本平均值和方差将具有自己的分布，其分布依赖于总体的分布和样本的容量；的容量； niiniixxnsxnx12221)(111特例：总体满足正态分布，则样本平均值和方差具有以下的性质：特例：总体满足正态分布，则样本平均值和方差具有以下的性质：1.样本平均值和方差是相互