概率空间和随机对象

1、随机过程随机过程教程教程第第2 2章章 概率空间和随机对象概率空间和随机对象第第2 2讲讲 随机变量随机变量 简单地说简单地说, ,随机变量、随机向量、随机过程就是个数随机变量、随机向量、随机过程就是个数上有不同：一个、上有不同：一个、n n个、无穷个。考察一次试验，个、无穷个。考察一次试验，w若试验结果只需要一个数（变量）就可以表示，则若试验结果只需要一个数（变量）就可以表示，则随机对象是随机变量；随机对象是随机变量；w若试验结果需要若试验结果需要n n个数表示，则随机对象是随机向个数表示，则随机对象是随机向量；量；w若试验结果需要无穷个数表示，则随机对象是随机若试验结果需要无穷个数表示，则

2、随机对象是随机过程。过程。 是是一一个个随随机机过过程程。，固固定定每每个个每每时时每每刻刻的的天天气气温温度度气气温温的的天天气气温温度度：每每天天、体体重重身身高高、体体重重：人人中中随随机机选选一一人人的的身身高高。掷掷出出的的点点数数，掷掷色色子子：)(,), 0),(. 4.,40,20,0012. 3).,(:,),( ,),(),(. 2654321. 121212211tXtttxXXXxxxxYXYXyxyxyxnXninnn RNfNxn:上的函数：上的函数：是定义在是定义在序列序列随机对象随机对象2随机对象随机对象映射方法：将具体的样本空间映射到数集或者映射方法：将具体的

3、样本空间映射到数集或者函数集函数集直接方法：直接指定样本空间为数集或函数集直接方法：直接指定样本空间为数集或函数集n当样本空间为一维实数集合时，则称该一维实变量当样本空间为一维实数集合时，则称该一维实变量为为随机变量随机变量n当样本空间为一维复数集合时，则称该一维复数变当样本空间为一维复数集合时，则称该一维复数变量为量为复随机变量复随机变量n当样本空间为高维实数空间时，则称该高维实数变当样本空间为高维实数空间时，则称该高维实数变量为量为随机向量随机向量n当样本空间为定义于某个数集上的函数组成，则称当样本空间为定义于某个数集上的函数组成，则称该函数集合为该函数集合为随机过程随机过程3随机变量随机

4、变量随机变量的两要素随机变量的两要素n变量特征变量特征n概率特征（统计特征）概率特征（统计特征）手机话费手机话费（元）（元）月使用时间月使用时间（分钟）（分钟）4直观理解直观理解 简单地说，简单地说，“随机变量随机变量”就是用一个数（变量）来就是用一个数（变量）来表示试验后的结果（样本点）。因为每次试验结果的不表示试验后的结果（样本点）。因为每次试验结果的不确定，随机变量既有取值问题，又有取此值的可能性的确定，随机变量既有取值问题，又有取此值的可能性的问题，所以叫问题，所以叫“随机变量随机变量”。引进它，就是为了把具体引进它，就是为了把具体问题数学化问题数学化。事件用事件用“随机变量取值随机变

5、量取值”来表示。象来表示。象“抛硬币抛硬币”，可以，可以把把“正面朝上正面朝上”和和“反面朝上反面朝上”对应于对应于“X X=0”=0”和和 “ “X X=1”=1”。 一般情况下，随机变量往往是有实际意义的，例如一般情况下，随机变量往往是有实际意义的，例如上面的上面的“掷出的点数掷出的点数”。5样本空间的统一问题样本空间的统一问题当随机变量（随机向量）的样本空间只是实数当随机变量（随机向量）的样本空间只是实数集合的一部分时，仍用整个实数集合作为样本集合的一部分时，仍用整个实数集合作为样本空间。这样将样本空间统一之后，可以用概率空间。这样将样本空间统一之后，可以用概率密度函数、概率分布函数统一

6、描述随机变量的密度函数、概率分布函数统一描述随机变量的概率特性；概率特性；被扩充的样本点处被扩充的样本点处的概率密度被定的概率密度被定义为零；义为零；对于离散型随机变量（随机向量），有时候为对于离散型随机变量（随机向量），有时候为了表述的方便，也用离散变量表示，而不进行了表述的方便，也用离散变量表示，而不进行扩充，此时概率特性用扩充，此时概率特性用概率质量函数概率质量函数表示表示6随机变量的描述随机变量的描述完全描述（包含所有信息）完全描述（包含所有信息）n概率质量函数（概率质量函数（pmfpmf） 离离 （massmass） n概率生成函数（概率生成函数（pgfpgf） 离离 （genera

7、tinggenerating）n概率分布函数（概率分布函数（cdfcdf） 离、连、离、连、混混n概率密度函数（概率密度函数（pdfpdf） 离、离、连、连、混混 （densitydensity）n概率特征函数概率特征函数(pcf)(pcf)离、连、混离、连、混(characteristic )(characteristic )矩描述矩描述n均值、均方、方差、中心矩、原点矩均值、均方、方差、中心矩、原点矩7离散型随机变量离散型随机变量当随机变量当随机变量X X仅取值于某可数实数集仅取值于某可数实数集 时，时，称该随机变量为称该随机变量为离散型随机变量。离散型随机变量。R R8概率质量函数概率质

8、量函数(pmf: probability mass function)(pmf: probability mass function)任何一种任何一种离散型随机变量离散型随机变量都可以统一地用概率质量都可以统一地用概率质量函数表示函数表示其他事件的概率通过概率质量函数计算得到其他事件的概率通过概率质量函数计算得到连续型随机变量连续型随机变量不可以用概率质量函数不可以用概率质量函数表示表示9概率生成函数-母函数(pgf: probability generating function)实质就是实质就是Z Z变换变换由由Z Z变换的性质，概率生成函数与概率质量函数变换的性质，概率生成函数与概率质量

9、函数互相互相唯一确定唯一确定。由概率生成函数求概率质量，既可以用由概率生成函数求概率质量，既可以用Z Z逆变换，也逆变换，也可以用可以用TaylorTaylor展开。展开。 0)(,kkkXiipzzGXpxX的概率生成函数为的概率生成函数为则则的取值和概率分别为的取值和概率分别为设随机变量设随机变量 例例 2.16,17,18,20 P31 2.16,17,18,20 P31!) 0()(kGpkXk )(kpZ 10) 1(00eee!e!e)(0,!e20. 2 zzkkkkkkXkkkzzkzGkkpPoisson 分布）分布）（例例 0)(kkkXpzzG例子*11概率分布函数概率分

10、布函数(cdf: cumulative distribution function)(cdf: cumulative distribution function)w随机变量的分布函数定义为：随机变量的分布函数定义为：*12分布函数分布函数的性质的性质2.22.2)()()()()(),()()()()(. 7)()()(. 6)()(lim)0()(. 5)()()(. 40)(lim. 31)(lim. 21)(0. 1)( aFbFbXaPaXPbXaPaFaFaFaFaXPaFbFbXaPaFxFaFxFbFaFbaxFxFxFxFxFXXXXXXXXXXXaxXXXXXXxXxXX右右

11、连连续续，即即，则则单单调调递递增增，即即若若，则则的的概概率率分分布布函函数数为为设设随随机机变变量量的的性性质质由由概概率率集集函函数数 P)()(xXPxFX *13证明0)()(lim1)()(lim1)(01),(lim)(lim),(lim)(lim41)(lim)(lim)()1()1()()(. 3&20)()()(. 461 XXxXXxXXxXmXxXnXmXnnXXnXXFxFFxFaFxFmFxFnFmFnFnFnFnXnPRXPXPbXaPaFbF，再再由由单单调调性性，由由简简单单。，)()(xXPxFX *14 )()()()()()()()()()()(

12、)()()(lim)()()()()()()()(,(,(,(),(,(. 7000100101211000 aFbFbXaPaXPbXaPaFaFaXPaXPyFaFaXPyFyFaXPyFyFyFaFaXPyXyPaXyPayyyyyyaayayXXXXXXXkXkkkXkXXXkkkkk)()()(aFbFbXaPXX *15概率密度函数概率密度函数(pdf: probability density function)(pdf: probability density function)w概率分布函数的导数概率分布函数的导数w概率在直线上的密度概率在直线上的密度概率密度函数是分布函数的导

13、数，这里所说的导数指概率密度函数是分布函数的导数，这里所说的导数指的是广义函数导数。这样，离散型随机变量也有密度的是广义函数导数。这样，离散型随机变量也有密度函数了，并且密度函数作为统一的描述方法可以描述函数了，并且密度函数作为统一的描述方法可以描述混合型随机变量。混合型随机变量。)()(tt *16 广义函数理论中的广义函数导数是普通导数的推广义函数理论中的广义函数导数是普通导数的推广。当普通导数存在时，广义函数导数就是普通导数。广。当普通导数存在时，广义函数导数就是普通导数。跳跃间断处的导数和跳跃间断处的导数和 都是都是广义函数导数广义函数导数， 广义函数的求导法则与普通函数类似，例如广义

14、函数的求导法则与普通函数类似，例如奇异函数的计算：导数奇异函数的计算：导数)()(tn )()()()( )() 1(ttttnn uvvuuv)( 17计算求广义函数导数求广义函数导数 可导点的导数是普通导数，跳跃间断处的导数是冲激函数，= 跳跃度 间断点），间断点就是冲激点，跳跃度就是冲激强度。 t ( )2(3)2(3 tt 例例：*18概率密度函数的性质概率密度函数的性质2.32.3.d)()()()()( ,. 3. 1d)(. 2. 0)(. 1 baXXXXXxxfaFbFbXaPbabaxxfxf对于任意实数对于任意实数.d)()()()()( xXXXXxxfFxFbXPxF

15、的的单单调调上上升升由由分分布布函函数数)(xFX aaaaXXXXXxxfaFaFaFaFaXPd)()()()()()(.d)()( baXxxfbXaP bababXaPbXaP)()()()( XXFF19)()()()(. 111iiiXiiiXxxpxfxxupxF其密度函数离散型随机变量的分布)(xu阶跃函数注注20概率特征函数概率特征函数(pcf: probability characteristic function)(pcf: probability characteristic function)dxexfXxfXxjXXX)()( ),(的概率特征函数为则的密度为设随机

16、变量 dexfxjXX )(21)( 特征函数其实就是概率密度的特征函数其实就是概率密度的FourierFourier变换变换+ + 反转。反转。所以由所以由FourierFourier变换公式，所以由逆变换公式，变换公式，所以由逆变换公式，21特征函数的性质特征函数的性质)()(,. 4)()(. 3) 0()(. 21) 0(. 14 . 2 aeRbabaXYXbjYXXXXX 则则设设性性质质w特征函数包含了随机变量的完全信息。是研究随机特征函数包含了随机变量的完全信息。是研究随机变量的重要工具，它的分析性质（可导性，与变量的重要工具，它的分析性质（可导性，与FourierFourie

17、r变换的关系等）比分布函数、密度更好。变换的关系等）比分布函数、密度更好。w由由F F变换的性质，特征函数与概率密度互相唯一确定变换的性质，特征函数与概率密度互相唯一确定-完全信息。完全信息。 jFjFtf )(dxexfxjXX )()(dxexfdxexfxjXxjX )()(22特征函数计算特征函数计算w求特征函数相当于求特征函数相当于F F变换再变换再w w取取- -w w（当然也可以先反（当然也可以先反转再变换，即转再变换，即 但有时因果信号会翻成反因果信号，反而麻烦）。但有时因果信号会翻成反因果信号，反而麻烦）。w由特征函数求概率密度，可以用由特征函数求概率密度，可以用反转反转+

18、+F F 逆变换逆变换 ( (或或先逆后转先逆后转) ) ，前者更好，前者更好-它就是上一项的逆过程。它就是上一项的逆过程。 jFtf )(23正态分布正态分布设连续型随机变量设连续型随机变量X X的概率密度为的概率密度为 xxfx222)(e21)( 其中其中 , , ( ( 0) 0)为常数为常数, , 则称则称X X服从参数为服从参数为 , , 的的正态分布或高斯正态分布或高斯(Gauss)(Gauss)分布分布, , 记为记为X X N N( ( , , 2 2). ).22212)( jXeDXEX240.2660.3990.798xOf(x) 1.5 1 0.525)(de21)(

19、222)(xQtxFxt1F(x)0.5xO分布函数为分布函数为26指数分布指数分布若连续型随机变量若连续型随机变量X X的概率密度为的概率密度为 分布函数为分布函数为 则称则称X X是参数为是参数为 ( 0) ( 0) 的指数分布。的指数分布。 0, 00,)(xxexfx 0, 00,1)()(xxedyyfxFxx O Ox xf f( (x x) )1 12 23 31 12 23 3l l=1/3=1/3l l=1=1l l=2=2 jDXEXX )(112 jtet 1)(27对数正态分布*28从概率函数求解概率*29求概率分布函数和概率密度函数*30随机变量随机变量X具有无记忆性

20、：具有无记忆性： 指数分布常用作各种指数分布常用作各种“寿命寿命”分布的近似。分布的近似。如果我们把如果我们把 X X 看作某仪器的寿命，则看作某仪器的寿命，则X X 的无的无记忆性表示记忆性表示 : : 在仪器已工作了在仪器已工作了 t t 小时的条件下，小时的条件下，它至少工作它至少工作 s s+ +t t 小时的概率与它原来至少工小时的概率与它原来至少工作作 s s 小时的概率是相同的。小时的概率是相同的。 换句话说如果仪器在时刻换句话说如果仪器在时刻 t t 是完好的，则是完好的，则它的剩余寿命的分布就是原来寿命的分布。它的剩余寿命的分布就是原来寿命的分布。指数分布在可靠性理论和排队论

21、中有广泛的运指数分布在可靠性理论和排队论中有广泛的运用。用。两个无记忆随机变量：离散几何分布和连续指两个无记忆随机变量：离散几何分布和连续指数分布。数分布。0| tssXPtXtsXP，*31一个很有用的比喻一个很有用的比喻将将“概率概率”比喻成比喻成“质量质量”在一条直线上分布总质量为在一条直线上分布总质量为1 1的物质的物质概率质量函数概率质量函数n总质量为总质量为1 1的可数个质点分布在直线上的可数个质点分布在直线上概率分布函数概率分布函数n分布在分布在x x左边的总质量左边的总质量概率密度函数概率密度函数n在在x x处的概率的密度处的概率的密度32随机变量的分类随机变量的分类离散型随机

22、变量离散型随机变量n除了除了cdfcdf和和pdfpdf，还可以用，还可以用pmfpmf描述描述连续型随机变量连续型随机变量n只能用只能用cdfcdf和和pdfpdf描述，不能用描述，不能用pmfpmf描述描述混合型随机变量混合型随机变量n只能用只能用cdfcdf和和pdfpdf描述，不能用描述，不能用pmfpmf描述描述w当随机变量的概率分布函数具有跳跃型的间断点，当随机变量的概率分布函数具有跳跃型的间断点，并且存在一个开区间，使得概率分布函数在该区并且存在一个开区间，使得概率分布函数在该区间内是严格单调递增的连续函数，则称该随机变间内是严格单调递增的连续函数，则称该随机变量是混合型随机变量

23、。量是混合型随机变量。332.2.2 2.2.2 数字特征数字特征dxxfxXEYEXXYXX)()()()(数字特征。的的期望称为的某个函数随机变量数字特征通常反映了随机变量数字特征通常反映了随机变量某个方面的统计某个方面的统计特征特征，如平均取值，离散程度，信息量。，如平均取值，离散程度，信息量。 kkkpxXE1dxxxfXE)(222)()(xxmEXmXEXDdxxfxXEX)(34矩dxxfmxmXEndxxfmxmXEndxxfxXEnXEXEdxxfmxXXDdxxfxXEdxxxfXEmXnXnXXnXnXXnnXxXXXXX)()()()(var)()(2222222阶绝对

24、中心矩：阶中心矩：阶原点矩：方差：均方：均值： ( (X X) )是多项式，均值，均方，方差，原点矩，中心矩，是多项式，均值，均方，方差，原点矩，中心矩，绝对原点矩，绝对中心矩。绝对原点矩，绝对中心矩。kkkXpxdxxfxXE)()()()(或*35E(X)kkkXpxdxxfxXE)()()()(或这是一个这是一个很有用很有用的公式，它实际上是随机变量的公式，它实际上是随机变量函数的期望公式。象特征函数就可以用它表示函数的期望公式。象特征函数就可以用它表示)()(,4)()(aeeEeeEeERbabaXYXbjXajbjbaXjYjY则设证明：性质 )( XXjeE P.35*36标准化

25、标准化.1,0. 1)(1*222222*2*方差为的数学期望为即XXEXXEXEXEXEXD011*XEXEXE则称称X X * *为为X X 的标准化的标准化（归一化）变量（归一化）变量. .例例 设随机变量设随机变量X X 具有数学期望具有数学期望E E X X= , , 方差方差D D X X= 2 2 0. 0. 记记X X * *=(=(X X- - )/ )/ . .372)(0)1 ()1 ()1 (var)1 ()()()(, 2 , 1 , 0)0(1)(1)(XXXXjXXXXkXkXkkkkXGGGXGEXeGzGSXjddjEXkXX ，则，若其概率生成函数为的离散型随机变量，是样本空间设阶矩存在，则的设，特征函数为为一维随机变量，设概率特征函数和概率生成函数是随机变量的完概率特征函数和概率生成函数是随机变量的完全描述，所以数字特征可以借助于它们求得。全描述，所以数字特征可以借助于它们求得。性质性质2.52.5380)(0000)(1)0(1!1)( )(!1!)()()()( XkkkkXkkkkkkkkkkkkXkkXxjXXddjjEXkEXjXEjkd