随机过程华科实用教案

1、第一章 随机(su j)过程的概念与基本类型 预备知识 简要回顾一下概率论中与本课程有关的基本概念：随机试验(shyn)、样本空间、事件、概率、随机变量等第1页/共34页第一页，共34页。随机(su j)试验 试验结果事先不能准确预言，三个特征(tzhng): 可以在相同条件下重复进行； 每次试验结果不止一个，可预先知道试验所有可能结果； 每次试验前不能确定那个结果会出现。样本空间随机试验所有可能(knng)结果组成的集合，记为事件样本空间的子集A称为事件集合运算第2页/共34页第二页，共34页。古典(gdin)概率 随机试验中一切可能结果是有限多个； 每个结果出现(chxin)的可能性是相等

2、的； 则事件A发生的概率可表示为个数样本空间中所含样本点所包含的样本点个数事件A)(AP第3页/共34页第三页，共34页。几何(j h)概率 计算无穷个基本事件(shjin)的情形； 样本点具有均匀分布的性质； 设用L（ ）作为区域大小的量度，而区域中任意可能出现的小区域A的量度用L（A）表示； 则事件(shjin)A（或某一区域）发生的概率表示为)()()(LALAP第4页/共34页第四页，共34页。统计(tngj)概率 用于计算前两种随机概率概括不了的随机事件概率； 用事件的频率近似地去表达事件的概率； 若在同样的条件下，将随机试验独立的重复(chngf)做n次，事件A出现了nA次，则事件

3、A的频率是nnfAAv当试验次数n增大时，其中大量的频率聚集在一个常数(chngsh)周围；v这个常数(chngsh)是客观存在的，反映了事件A出现可能性的大小，我们认为这个常数(chngsh)就是事件的概率。)(APfA第5页/共34页第五页，共34页。公理化定义(dngy)概率对于一个事件(shjin)A样本空间，赋予一个实数P，若满足：0P(A) 1;P()=1;若A1,A2,.,Ak两两互斥，则11)()(kkkkAPAP我们(w men)称P（A）为事件A的一个概率。第6页/共34页第六页，共34页。概率(gil)空间 规定一个随机试验，所有样本点之集合构成样本空间 ，在样本空间中一

4、个样本点或若干个样本点之适当集合F称为事件(shjin)域，F中的每一个集合称为事件(shjin)。若A F，则P(A)就是事件(shjin)A的概率，并称这三个实体的结合（ ，F，P）为一个概率空间第7页/共34页第七页，共34页。条件(tiojin)概率 在事件B已发生(fshng)这一条件下，事件A发生(fshng)的概率。)()()|(BPBAPBAP全概率(gil)v若有N个互斥事件Bn（n=1,2,N），它的并集等于整个样本空间，则NiiiBPBAPAP1)()|()(第8页/共34页第八页，共34页。 设事件A1，A2，An构成一个完备事件组，概率P(Ai)0,i=1,2,n,对

5、于(duy)任何一个事件B，若P(B)0, 有NiiiiiiABPAPABPAPBAP1)|()()|()()|(贝叶斯公式(gngsh)独立(dl)事件)()()(BPAPBAP第9页/共34页第九页，共34页。随机变量(su j bin lin)定义：设（ ，F，P）是概率空间，X=X(e)是定义在上的实函数(hnsh)，如果对任意实数x，e:X(e) x F，则称X(e)是F上的随机变量。第10页/共34页第十页，共34页。事件(shjin)随机变量(su j bin lin)离散型随机变量：只取有限(yuxin)个数值或可列无穷多个值。连续型随机变量：从原样本空间到新样本空间的映射是某

6、一个范围，是一段（或几段）实线（也可能是整个坐标轴），随机变量可以取值于某一区间中的任一数。第11页/共34页第十一页，共34页。分布(fnb)函数（一个描述随机变量取值的概率分布(fnb)情况的统一方法）xxeXePxF),)(:()(性质：F(x)是非降函数(hnsh)；0F(x) 1；Px1Xx2=F(x2)-F(x1)F(x)是右连续。第12页/共34页第十二页，共34页。离散型随机变量的概率分布(fnb)用分布(fnb)列描述01分布(fnb)二项分布泊松分布(fnb)qXPpXP)0(,)1(knkknqpCkXP)(ekkXPk!)(连续型随机变量的概率分布用概率密度描述均匀分布

7、正态分布指数分布其它,0,1)(bxaabxf222)(21)(axexf0,00,)(xxexfx第13页/共34页第十三页，共34页。随机变量函数(hnsh)的分布在给定某任意的随机变量(su j bin lin)X，以及它的概率分布函数FX(x)，希望进一步求出给定的随机变量(su j bin lin)的某些可测函数（如Y=g(X)）的概率分布函数。非线性放大器YXY的概率分布函数(hnsh)公式为),)(:()(XYxyxgxPyF如果上式右端概率的导数对于y处处存在，那么这个导数就给出了随机变量Y的概率密度),)(:()(XYxyxgxPdydyf第14页/共34页第十四页，共34页

8、。n维随机变量(su j bin lin)及其分布函数设（ ，F，P）是概率空间，X=X(e)（X1(e),Xn(e)）是定义在上的n维空间Rn中取值的向量函数。如果对于(duy)任意X=(X1,Xn) Rn，e:X1(e) x1,Xn(e) xn F，则称X=X(e)为n维随机变量。称)(,)(:(),()(111nnnxeXxeXePxxFxF为X=(X1,X2,Xn)的联合(linh)分布函数第15页/共34页第十五页，共34页。边际(binj)分布若二维联合分布函数中有一个变元趋于无穷，则其极限函数便是(bin sh)一维分布函数，对于这种特殊性质，我们称其为边际分布。对于任意两个随机

9、变量X,Y，其联合分布函数为FXY(x,y)，则),()(),()(21yFyFxFxF分别称F1(x)和F2(y)为FXY(x,y)关于X和关于Y的边际(binj)分布函数。)(),(),(lim),()(1xXPYxXPyxFxFxFXYy ydudvvufyFyF),(,)(2离散型随机变量（X，Y）边际分布函数计算如下连续型随机变量（X，Y）边际分布函数计算如下第16页/共34页第十六页，共34页。相互独立(dl)的随机变量设X，Y是两个随机变量(su j bin lin)，若对任意实数x，y有)()()()(),(yYPxXPyYxXPyYxXP则称X，Y为相互独立(dl)的随机变量

10、。若X，Y为相互独立随机变量，则有)()(),()()(),(yfxfyxfyFxFyxFYXXYYXXY联合密度边际密度边际密度联合密度第17页/共34页第十七页，共34页。条件(tiojin)分布)()()|(BPBAPBAP)()()|()|(|BPBxXPBxXPBxFBX)(),()|(|yfduyufyYxFYxXYYX条件(tiojin)概率条件(tiojin)分布函数两边对x微分)(),()|(|yfyxfyxfYXYYXxYXYXduyufyYxF)|()|(|第18页/共34页第十八页，共34页。随机变量(su j bin lin)的数字特征 统计平均(pngjn)与随机变

11、量的数学期望 随机变量函数的期望值 方差 协方差 相关系数 独立与不相关第19页/共34页第十九页，共34页。统计平均与数学(shxu)期望设离散随机变量X，它可能取4个值x1，x2，x3，x4，做试验(shyn)n次，计算X的算术平均可得：4141443322111)(1kkkkkknnxnxnnxnxnxnxnXP(X=xk)1)()(kkkxXPxXEX对于离散型随机变量可以用脉冲函数(hnsh)来表示其概率密度1)()()(kkkXxxxXPxf冲激函数随机变量数学期望定义dxxxfXEX)()(第20页/共34页第二十页，共34页。随机变量(su j bin lin)函数的期望值已知

12、随机变量X的数学期望值，求随机变量函数(hnsh)Y=g(X)的数学期望，dxxfxgdyyyfXgEYEXY)()()()()(对于(duy)多维随机变量nXXX21X)( XYg随机向量函数的数学期望dxxfgEX)()()(XY第21页/共34页第二十一页，共34页。设X1,X2, ,Xn为随机变量(su j bin lin)，求随机变量(su j bin lin)函数Y=a1X1+a2X2+anXn的数学期望。N维随机变量的数学(shxu)期望)()()()()()()()(221122112211nnnnnnXEaXEaXEaXaEXaEXaEXaXaXaEYE第22页/共34页第二

13、十二页，共34页。已知随机变量X1和X2，求随机变量函数YaX1+bX2的数学(shxu)期望)()(),(),(),()()(212121221211212121212121XbEXaEdxdxxxfxbdxdxxxfxadxdxxxfbxaxYEXXXXXX 加权和的期望(qwng)等于加权期望(qwng)的和求数学期望(qwng)是线性运算数学期望的线性运算不受独立条件限制第23页/共34页第二十三页，共34页。已知随机变量(su j bin lin)X1和X2，求随机变量(su j bin lin)函数Yg1(X1)g2(X2)的数学期望 21212211),()()(21dxdxxx

14、fxgxgYExx假设(jish)两个随机变量X1和X2相互独立，则有)()(),(21211121xfxfxxfxxxx因此(ync)，有)()()()()()()()()()(211122221111212122112121XgEXgEdxxfxgdxxfxgdxdxxfxfxgxgYExxxx 第24页/共34页第二十四页，共34页。K阶原点矩，k阶中心矩随机变量(su j bin lin)X，若E|X|k，称EXk为k阶原点矩。niXkikikdxxfxxXPxXE1)()(离散(lsn)随机变量连续(linx)随机变量又若EX存在，且E|X-EX|k ，称)(kXEXE为X的k阶中心

15、矩。niXkikikdxxfXExxXPXExXEXE1)()()()()(离散随机变量连续随机变量第25页/共34页第二十五页，共34页。一阶原点矩就是随机变量的数学(shxu)期望，)(xxdFEX数学(shxu)期望大致的描述了概率分布的中心。二阶中心矩就是随机变量(su j bin lin)的方差，2)(EXXEDXdef方差反映随机变量取值的离散程度。01分布泊松分布正态分布数学期望和方差（见page3，表11）第26页/共34页第二十六页，共34页。中心化的两个(lin )随机变量X-EX，Y-EY的互相关矩称为随机变量X和Y的协方差，)()()()(),(YEXEXYEEYYEX

16、XEYXCov协方差是描述随机现象中，随机变量X和Y概率相关(xinggun)的程度。引入一个(y )描述两个随机变量相关程度的系数DYDXYXCovdefXY),(XY称为归一化的协方差系数或相关系数。11XY第27页/共34页第二十七页，共34页。若XY0，则称随机变量(su j bin lin)X和Y不相关。若两个随机变量X和Y的联合(linh)矩满足jijiYEXEYXE则称随机变量(su j bin lin)X和Y统计独立第28页/共34页第二十八页，共34页。统计(tngj)独立不相关(xinggun)0)(),(YEXEXYEEYYEXXEYXCov统计(tngj)独立不相关设Z

17、是一个随机变量，具有均匀概率密度其它,020,21)(zzfZ令X=sinZ，Y=cosZ，求随机变量X和Y是否相关，是否独立？第29页/共34页第二十九页，共34页。特征函数(hnsh)、母函数(hnsh)( )( )()( )1( )( )2itxitxitxf xg tE eef x dxXf xeg t dt定义：设随机变量的概率密度为，称其傅氏逆变换为 的特征函数。而性质：（介绍）第30页/共34页第三十页，共34页。特征函数(hnsh)、母函数(hnsh)0(), 0,1,.( ) ()kXkkkXpP XkkP sdef E sp sX定义：设 是非负整型随机变量，分布列称 为 的母函数。性质：（介绍）第31页/共34页第三十一页，共