随机过程概率复习实用教案

1、内容(nirng)：一、Posson 过程二、Markov 链三、连续(linx)时间的Markov 链四、平稳随机过程五、平稳随机过程的谱分析六、时间序列分析第1页/共34页第一页，共34页。参考书：1、随机(su j)过程（第四版），刘次华，华中理工大学出版社。2、随机(su j)过程（Stochastic Process)，Sheldon M1.Ross著，龚光鲁 译，机械工业出版社。3、Probability, Random Variables, and Stochastic Processes ,A.Papoulis,S.U.Pilliai,(保铮 等译，第四版，西安交通大学出版社）

2、。第2页/共34页第二页，共34页。第一章 随机过程(guchng)的概念与基本类型 预备知识 简要回顾一下(yxi)概率论中与本课程有关的基本概念：随机试验、样本空间、事件、概率、随机变量等第3页/共34页第三页，共34页。随机(su j)试验 试验结果事先不能准确预言，三个特征: 可以(ky)在相同条件下重复进行； 每次试验结果不止一个，可预先知道试验所有可能结果； 每次试验前不能确定那个结果会出现。样本空间随机试验所有可能结果组成(z chn)的集合，记为事件样本空间的子集A称为事件集合运算第4页/共34页第四页，共34页。古典(gdin)概率 随机(su j)试验中一切可能结果是有限多

3、个； 则事件A发生的概率可表示为个数样本空间中所含样本点所包含的样本点个数事件A)(AP第5页/共34页第五页，共34页。统计(tngj)概率用事件的频率近似地去表达事件的概率；若在同样的条件下，将随机试验(shyn)独立的重复做n次，事件A出现了nA次，则事件A的频率是nnfAAv当试验次数n增大时，其中大量的频率聚集在一个常数(chngsh)周围；v这个常数(chngsh)是客观存在的，反映了事件A出现可能性的大小，我们认为这个常数(chngsh)就是事件的概率。)(APfA第6页/共34页第六页，共34页。公理化定义(dngy)概率对于一个事件A样本空间，假定满足(mnz)以下3个条件的

4、数P(A)：0P(A) 1;P()=1;若A1,A2,.,Ak两两互斥，则11)()(kkkkAPAP我们称我们称P（A）为事件）为事件A的一个的一个(y )概率。概率。第7页/共34页第七页，共34页。概率(gil)空间 规定一个随机试验，所有样本点之集合构成(guchng)样本空间 ，在样本空间中一个样本点或若干个样本点之适当集合F称为事件域，F中的每一个集合称为事件（即与随机试验有关的一切可观察事件的集）。若A F，则P(A)就是事件A的概率，并称这三个实体的结合（ ，F，P）为一个概率空间第8页/共34页第八页，共34页。条件(tiojin)概率 在事件B已发生这一条件(tiojin)

5、下，事件A发生的概率。)()()|(BPBAPBAP全概率(gil)v若有N个互斥事件Bn（n=1,2,N），它的并集等于整个样本空间，则NiiiBPBAPAP1)()|()(第9页/共34页第九页，共34页。 设事件A1，A2，An构成一个完备事件组，概率(gil)P(Ai)0,i=1,2,n,对于任何一个事件B，若P(B)0, 有NiiiiiiABPAPABPAPBAP1)|()()|()()|(贝叶斯公式贝叶斯公式(gngsh)(先验概率，后验概率）先验概率，后验概率）独立独立(dl)事件事件)()()(BPAPBAP第10页/共34页第十页，共34页。随机变量(su j bin lin

6、)定义：定义：设（设（ ，F，P）是概率空间，）是概率空间，X=X(e)是定义在是定义在上的上的实函数，如果实函数，如果(rgu)对任意实数对任意实数x，e:X(e) x F，则称则称X(e)是是F上的随机变量。上的随机变量。 由于数学分析不能直接利用来研究集合函数，这样影响对随机现象的研究。解决这个问题的方法，主要是设法(shf)在集合函数与数学分析中所研究的点函数间建立某种联系，从而能用数学分析法研究随机现象。第11页/共34页第十一页，共34页。 X(e)就是一个函数，它把样本点映射到实数轴上，随机变量就是从原样本空间到新样本空间的一种映射，我们通常把这样(zhyng)一种对应关系称之为

7、在概率空间上的一个随机变量。第12页/共34页第十二页，共34页。离散型随机变量：离散型随机变量：只取有限只取有限(yuxin)个数值或可列无穷多个数值或可列无穷多个值。个值。连续型随机变量：连续型随机变量：从原样本空间到新样本空间的映射是某一个范从原样本空间到新样本空间的映射是某一个范围围(fnwi)，是一段（或几段）实线（也可能，是一段（或几段）实线（也可能是整个坐标轴）。是整个坐标轴）。第13页/共34页第十三页，共34页。分布函数（一个(y )描述随机变量取值的概率分布情况的统一方法）xxeXePxF),)(:()(性质：F(x)是非降函数(hnsh)；0F(x) 1；Px1Xx2=F

8、(x2)-F(x1)F(x)是右连续。第14页/共34页第十四页，共34页。第15页/共34页第十五页，共34页。离散型随机变量的概率分布(fnb)用分布(fnb)列描述01分布(fnb)二项分布泊松分布(fnb)qXPpXP)0(,) 1(knkknqpCkXP)(ekkXPk!)(连续型随机变量的概率分布用概率密度描述均匀分布正态分布指数分布其它,0,1)(bxaabxf222)(21)(axexf0,00,)(xxexfx第16页/共34页第十六页，共34页。随机变量随机变量(su j bin lin)函数函数的分布的分布在给定某任意在给定某任意(rny)的随机变量的随机变量X，以及它的

9、概率分布函数，以及它的概率分布函数FX(x)，希望进一，希望进一步求出给定的随机变量的某些可测函数（如步求出给定的随机变量的某些可测函数（如Y=g(X)）的概率分布函数。）的概率分布函数。非线性放大器YXY的概率分布函数的概率分布函数(hnsh)公式为公式为),)(:()(XYxyxgxPyF如果上式右端概率的导数对于如果上式右端概率的导数对于y处处存在，那么这个导数就给出了随机变量处处存在，那么这个导数就给出了随机变量Y的的概率密度概率密度),)(:()(XYxyxgxPdydyf第17页/共34页第十七页，共34页。n维随机变量(su j bin lin)及其分布函数设（设（ ，F，P）是

10、概率空间，）是概率空间，X=X(e)（X1(e),Xn(e)）是定义在是定义在上的上的n维空间维空间Rn中取值的向量函数。如果中取值的向量函数。如果(rgu)对于任意对于任意X=(X1,Xn) Rn，e:X1(e) x1,Xn(e) xn F，则称，则称X=X(e)为为n维随机变量。称维随机变量。称)(,)(:(),()(111nnnxeXxeXePxxFxF为为X=(X1,X2,Xn)的联合的联合(linh)分布函数分布函数第18页/共34页第十八页，共34页。边际边际(binj)分布分布若二维联合分布函数中有一个若二维联合分布函数中有一个(y )变元趋于无穷，则其极限函数便是一维分布函变元

11、趋于无穷，则其极限函数便是一维分布函数，对于这种特殊性质，我们称其为边际分布。数，对于这种特殊性质，我们称其为边际分布。对于任意两个随机变量对于任意两个随机变量X,Y，其联合分布函数为，其联合分布函数为FXY(x,y)，则，则),()(),()(21yFyFxFxF分别称分别称F1(x)和和F2(y)为为FXY(x,y)关于关于X和关于和关于Y的边际的边际(binj)分布函数。分布函数。)(),(),(lim),()(1xXPYxXPyxFxFxFXYy ydudvvufyFyF),(,)(2离散型随机变量（离散型随机变量（X，Y）边际分布函数计算如下）边际分布函数计算如下连续型随机变量（连续

12、型随机变量（X，Y）边际分布函数计算如下）边际分布函数计算如下第19页/共34页第十九页，共34页。相互独立相互独立(dl)的随机变量的随机变量设设X，Y是两个是两个(lin )随机变量，若对任意实数随机变量，若对任意实数x，y有有)()()()(),(yYPxXPyYxXPyYxXP则称则称X，Y为相互为相互(xingh)独立的随机变量。独立的随机变量。若若X，Y为相互独立随机变量，则有为相互独立随机变量，则有)()(),()()(),(yfxfyxfyFxFyxFYXXYYXXY第20页/共34页第二十页，共34页。条件条件(tiojin)分布分布)()()|(BPBAPBAP)(),()

13、|(|yfyxfyxfYXYYX第21页/共34页第二十一页，共34页。随机变量的数字(shz)特征 统计平均与随机变量(su j bin lin)的数学期望 随机变量(su j bin lin)函数的期望值 方差 协方差 相关系数 独立与不相关第22页/共34页第二十二页，共34页。一、数学一、数学(shxu)期望期望设离散随机变量设离散随机变量X，它可能取，它可能取4个值个值x1，x2，x3，x4，做试验，做试验(shyn)n次，计算次，计算X的算术平均可得：的算术平均可得：4141443322111)(1kkkkkknnxnxnnxnxnxnxnXP(X=xk)1)()(kkkxXPxX

14、EX连续随机变量数学(shxu)期望定义dxxxfXEX)()(第23页/共34页第二十三页，共34页。随机变量随机变量(su j bin lin)函数的期望值函数的期望值已知随机变量已知随机变量X的数学期望值，求随机变量函数的数学期望值，求随机变量函数(hnsh)Y=g(X)的数学期望，的数学期望，dxxfxgdyyyfXgEYEXY)()()()()(第24页/共34页第二十四页，共34页。设设X1,X2, ,Xn为随机变量，求随机变量函数为随机变量，求随机变量函数(hnsh)Y=a1X1+a2X2+anXn的数学期望。的数学期望。)()()()()()()()(221122112211n

15、nnnnnXEaXEaXEaXaEXaEXaEXaXaXaEYEN N维随机变量的数学期望满足线性运算，不受独立条件(tiojin)(tiojin)限制第25页/共34页第二十五页，共34页。已知随机变量已知随机变量X1和和X2，求随机变量函数，求随机变量函数(hnsh)Yg1(X1)g2(X2)的数学期望的数学期望 21212211),()()(21dxdxxxfxgxgYExx假设假设(jish)两个随机变量两个随机变量X1和和X2相互独立，则有相互独立，则有)()(),(21211121xfxfxxfxxxx第26页/共34页第二十六页，共34页。二、方差（随机变量取值的离散二、方差（随

16、机变量取值的离散(lsn)程度）程度）的方差为则称若是随机变量设定义XEXXEDX，EX，X2222EXEX：DX计算公式XDX 标准差为常数则相互独立若baDYbDXabYaXD，YX,22注：方差反映随机变量注：方差反映随机变量(su j bin lin)取值的取值的离散程度。离散程度。第27页/共34页第二十七页，共34页。三、协方差与相关系数三、协方差与相关系数的协方差为则称是随机变量设定义YXEYYEXXEBEYEXYXXY,9 . 122大小之间的线性相关程度的，表示相关系数YXXY)()()()(),(YEXEXYEEYYEXXEYXCov引入一个描述两个随机变量(su j bi

17、n lin)相关程度的系数DYDXYXCovdefXY),(XY称为(chn wi)归一化的协方差系数或相关系数。11XY若XY0，则称随机变量(su j bin lin)X和Y不相关。第28页/共34页第二十八页，共34页。统计(tngj)独立不相关(xinggun)0)(),(YEXEXYEEYYEXXEYXCov统计(tngj)独立不相关设Z是一个随机变量，具有均匀概率密度其它,020,21)(zzfZ令X=sinZ，Y=cosZ，求随机变量X和Y是否相关，是否独立？第29页/共34页第二十九页，共34页。四、四、K阶原点矩，阶原点矩，k阶中心矩阶中心矩随机变量随机变量(su j bin

18、 lin)X，若，若E|X|k，称，称EXk为为k阶阶原点矩。而称原点矩。而称E|X|k为为X的的k阶绝对原点矩。阶绝对原点矩。niXkikikdxxfxxXPxXE1)()(离散(lsn)随机变量连续(linx)随机变量又若又若EX存在，且存在，且E|X-EX|k ，称，称)(kXEXE为为X的的k阶中心矩。阶中心矩。niXkikikdxxfXExxXPXExXEXE1)()()()()(离散随机变量连续随机变量第30页/共34页第三十页，共34页。一阶原点矩就是随机变量一阶原点矩就是随机变量(su j bin lin)的数学期望，的数学期望，)(xxdFEX二阶中心矩就是二阶中心矩就是(jish)随机变量的方差，随机变量的方差，2)(EXXEDXdef第3