随机过程基本概念-song

1、 第一节第一节 随机过程的定义及其分类随机过程的定义及其分类 第二章第二章 随机过程的基本概念随机过程的基本概念 第二节第二节 随机过程的分布及其数字特征随机过程的分布及其数字特征第三节第三节 几种重要的随机过程简介几种重要的随机过程简介 第一节第一节 随机过程的定义及其分类随机过程的定义及其分类一、直观背景及例子一、直观背景及例子电话站在时刻电话站在时刻t时以前接到的呼叫次数时以前接到的呼叫次数例例1一般情况下它是一个随机变数一般情况下它是一个随机变数X ，并且依赖，并且依赖时间时间t，即随机变数，即随机变数X(t)，t 0,24。例例2研究某一商品的销售量研究某一商品的销售量一般情况下它是

2、一个随机变数一般情况下它是一个随机变数X ，并且依赖，并且依赖时间时间t，即随机变数，即随机变数X(t)，t =1,2, 。例例3排队模型排队模型 顾客来到服务站要求服务。顾客来到服务站要求服务。 用用X(t)表示表示t时刻的队长，用时刻的队长，用Y(t) 表示表示t时刻时刻到来的顾客所需的等待时间，则它们都是随机到来的顾客所需的等待时间，则它们都是随机过程。过程。随机过程的数学定义：随机过程的数学定义：定义定义: :设随机试验设随机试验E E的样本空间为的样本空间为S=S= ，对其每一个元素，对其每一个元素 都以某种法则确定一个样本函数都以某种法则确定一个样本函数 ，由全部元素，由全部元素

3、所确定的所确定的一族样本函数一族样本函数 称为随机过程，简记为称为随机过程，简记为 )3 , 2 , 1(ii),(itX),(tX)(tXS随机过程(t)是大量样本函数的集合随机过程的数学定义：随机过程的数学定义：S随机过程(t)在任一时刻都是随机变量定义定义: : 设有一个过程设有一个过程X(t) X(t) ，若对于，若对于每一个固定的时刻每一个固定的时刻 是一个随机变量是一个随机变量 ，则，则X(t)X(t)称为随机过程。称为随机过程。)3 , 2 , 1(jjt)(jtX ( )(),(0,2 ),( )(),(0,2 ),( )(),X tcosttt X tcostx tcost

4、考虑式中 和 是正常数, 是在上服从均匀分布的随机变量,这是一个随机过程。对每一固定的时刻是随机变量 的函数,从而也是随机变量。它的状态空间是-. 内随机取一数相应的就得到一个样本函数这族样本函数的差异在于它们相位 的不同随机相位正弦波说明说明2参数参数t t的含义：通常指时间参数，也可是其他物理的含义：通常指时间参数，也可是其他物理量量( (长度、重量等长度、重量等) )。如：纺纱机纺出的线在不同位。如：纺纱机纺出的线在不同位置置u u处的直径处的直径X(u)X(u)。X(t)X(t)维数：维数：一维、多维（随机场）。一维、多维（随机场）。例例考虑某一海面的波浪的浪高考虑某一海面的波浪的浪高

5、24小时的小时的变化情况。变化情况。说明说明1参数集参数集T T：可离散可连续。：可离散可连续。随机序列或时间序列：随机序列或时间序列： X X( (n n), ), n n = 0, 1, = 0, 1, 或或 X X( (n n), ), n n00三、随机过程的分类三、随机过程的分类1 1、按参数集和状态分类、按参数集和状态分类 参数集参数集T T的是一个可列集的是一个可列集T T=0=0，1 1，2 2，离散参数离散参数连续参数连续参数参数参数分类分类参数集参数集T T的是一个不可列集的是一个不可列集0|ttT状态状态分类分类离散状态离散状态连续状态连续状态)(tX取值是离散的取值是离

6、散的取值是连续的取值是连续的T T离散、离散、S S离散离散T T离散、离散、S S非离散（连续）非离散（连续）参数参数T状态状态S分类分类T T非离散（连续）非离散（连续） 、S S离散离散T T非离散（连续）非离散（连续） 、S S非离散（连续）非离散（连续） 前两者又称为随机序列前两者又称为随机序列例：随机相位正弦波例：随机相位正弦波AnalogtttDigitalt连续离散时间幅度连 续离 散第二节第二节 随机过程的分布及其数字特征随机过程的分布及其数字特征一、随机过程的分布函数一、随机过程的分布函数一维一维分布分布函数函数分布函数分布函数 )()(1111xtXPxtF；，Tt 1称

7、)(11xtF；为随机过程)(tX的一维分布函数。一维一维概率概率密度密度 若 存 在 二 元 非 负 函 数)(11xtf；， 使11111)()(1dyytfxtFx；则 称)(11xtf；为 随 机 过 程)(tX的 一 维 概 率 密 度如何描述随如何描述随机过程的统机过程的统计特性？计特性？二维二维分布分布函数函数联合分布函数二维二维概率概率密度密度二维随机向量（)(1tX，)(2tX） Ttt),(21)(,)(),(22112121xtXxtXPxxttF；，称为随机过程)(tX的二维分布函数若存在非负函数),(2121xxttf；),(2121xxttF；=212121),(1

8、2dydyyyttfxx； 则称),(2121xxttf；为)(tX的二维概率密度n 维分布函数联合分布函数联合分布函数 n维概率密度)(,)(,)(2211nnxtXxtXxtXP，若存在非负函数),(2121nnxxxtttf；),(2121nnxxxtttF；=nnnxxxdydydyyyytttfn212121),(12； 随机过程统计特随机过程统计特性的完整描述性的完整描述有限维分布族一维，二维，一维，二维，n维分布函数的全体维分布函数的全体易知1,),(212121nTtttxxxtttFnnn；它不仅刻划了每一时刻Tt 1随机过程)(tX的状态)(1tX的分布规律，而且也刻划了任

9、意时刻联合分布函数n + m维随机向量维随机向量分布函数分布函数设)(tX和)(tY，nttt,21，Ttttm,21)(1tX,)(2tX,)(ntX，)(1tY,)(2tY,)(mtYnXYttF,(1；mtt,1；nxx,1；myy,1）；nnxtXxtXP)(,)(11mmytYytY）（）（,11称为随机过程称为随机过程X(t)和和Y(t)的的n + m维联合分布函数维联合分布函数相互相互独立独立分布函数分布函数设)(tX和)(tY，nttt,21，Ttttm,21nXYttF,(1；mtt,1；nxx,1；myy,1）则称随机过程 相互独立；nXttF,(1nxx,1）(YFmtt

10、,1；myy,1）)(tX和)(tYn维分布函数的性质维分布函数的性质(2) 相容性：当相容性：当 mn 时时，(1) 对称性：对于对称性：对于 t1, t2, , tn 的任意排列的任意排列 ，, 21niiittt), ;,(), ;,(21212121nniiiiiinntttxxxFtttxxxF),;,(),;,(212112121mmXnmmmXtttxxxFtttttxxxF 例例1 袋中放有一个白球，两个红球，每隔单位时袋中放有一个白球，两个红球，每隔单位时间从袋中任取一球，取后放回，对每一个确定的间从袋中任取一球，取后放回，对每一个确定的t对应随机变量对应随机变量试求这个随机

11、过程的一维分布函数族。试求这个随机过程的一维分布函数族。分析分析先求概率密度所以解解对每一个确定的时刻 t，)(tX的概率密度为3tte)(tX3231P)(11xtF；)(11xtXP 有限维分布函数族的求法有限维分布函数族的求法1-1 令 ，其中A是随机变量，其分布律为 ( )cos ,X tAtt 1(),1,2,33P Aii试求： （1）随机过程 的一维分布函数 （2）随机过程 的二维分布函数 ( ),X tt ( ),X tt (; ),(; )42FxFx12(0,;,)3Fx x( )cos,.( )( , ).YY tXt XY tfy t随机过程为高斯分布的随机变量为常数求

12、的一维概率密度222)(21)(XXmxXXexf11111cos)(:,)(,tXtYYtYtt此有因是一个随机变量任意确定的时刻11111cos1cos)(tdydxtYYhXdydxyhfyfXY)()(212112211)cos(2)cos(112)cos(11cos21cos121),(ttmyXmtyXYXXXXettetyf2222)cos(2)cos(2)cos(cos21cos121),(ttmyXmtyXYXXXXettetyf( )( )()()( )YP Xh yFyP YyP f XyP Xh y( )( )( )1( )h yXh yXfx dxfx dx ( )(

13、 )( ( )YYXdxfyFyfh ydy随机变量函数的概率密度函数随机变量函数的概率密度函数 求法求法二、随机过程的数字特征二、随机过程的数字特征 1均值函数均值函数或称为数学期望。或称为数学期望。说明说明25统计均值是对随机过程中统计均值是对随机过程中所有样本函数所有样本函数在时间在时间t t的所的所有取值进行概率加权平均，所以又称为有取值进行概率加权平均，所以又称为集合平均。集合平均。它反映了样本函数统计意义下的平均变化规律，它反映了样本函数统计意义下的平均变化规律， 是是所有样本函数在各个时刻摆动的中心。所有样本函数在各个时刻摆动的中心。数学期望数学期望 2方差函数方差函数说明说明随

14、机过程)(tX，Tt 的二阶中心矩)()()()(2tmtXEtXDtD称为随机过程)(tX的方差函数)(tD的平方根)(t)(tD均方差函数均方差函数它表示)(tX在各个时刻 t 对于)(tm的偏离程度方差描述的是随机过程所有的样本函数相对于方差描述的是随机过程所有的样本函数相对于数学期望的离散程度。数学期望的离散程度。28方差方差)()()(22tmtXEtXX)()(22tmtXEX222( )( )( )XXE Xttmt 均值与方差的物理意义：均值与方差的物理意义：消耗在单位电消耗在单位电阻上的总的平阻上的总的平均功率均功率平均交流平均交流功率功率平均直流平均直流功率功率-单位电阻上

15、的电压单位电阻上的电压/1-/1-消耗在单位电阻上的瞬时功率消耗在单位电阻上的瞬时功率)(tx)(2tx 2 2/1-/1-消耗在单位电阻上的瞬时交流功率消耗在单位电阻上的瞬时交流功率)()(txmtxE E 2 2/1-/1-消耗在单位电阻上的瞬交流功消耗在单位电阻上的瞬交流功率的统计平均值率的统计平均值)()(txmtx 3 3协方差函数协方差函数二阶中心混合矩二阶中心混合矩简称协方差函数简称协方差函数随机过程)(tX在Ttt21,的状态)(1tX和)(2tX 当Tttt21，有注 4 4互协方差函数互协方差函数对任意Ttt21,，则)()(11tXEtmX其中)()(22tYEtmY 5

16、相关函数相关函数简称相关函数注)(1tX和)(2tX的二阶原点混合矩 ),(21ttR)()(21tXtXE协方差函数协方差函数如何用相关如何用相关函数和均值函数和均值函数表示？函数表示？描述了整个随机过程描述了整个随机过程任意两个不同任意两个不同时刻时刻的内在关系：线性相关性的内在关系：线性相关性自相关函数的物理意义自相关函数的物理意义)2()1()2,1(tXtXEttXR 1 1、自相关函数可正可负，其绝对值越大，表示相、自相关函数可正可负，其绝对值越大，表示相关性越强。一般说来，时间相隔越远，相关性越弱，关性越强。一般说来，时间相隔越远，相关性越弱，自相关函数的绝对值也越弱。自相关函数

17、的绝对值也越弱。2 2、反映不同随机过程的波形变化、反映不同随机过程的波形变化)(tmX)(tmY)()(ttmXX)()(ttmYY)()(ttmXX)()(ttmYY起伏慢)(tX起伏快)(tY.)(,)(之间的相关性要弱得多在任意两个时刻的状态而之间有较强的相关性在任意两个时刻的取值tYtX 6互相关函数互相关函数注设)(tX和)(tY是两个随机过程称为随机过程)(tX与)(tY的互相关函数则 7互不相关互不相关注对 任 意Ttt21,设)(tX和)(tY是两个随机过程有若随机过程)(tX与)(tY互不相关则 ),(21ttRXY)()(21tmtmYX即)()()()(2121tYEt

18、XEtYtXE若小小 结结X(t)X(t)、Y(t)均值函数均值函数协方差函数协方差函数自相关函数自相关函数互协方差函数互协方差函数互相关函数互相关函数解解例例2求：（求：（1）均值函数；（）均值函数；（2）协方差函数；（）协方差函数；（3）方差函数。）方差函数。设随机过程tUtX2cos)(，其中 U 是随机变量且5)(UE，6)(UD（1）)(tm2cos)(tUEtXE2cosUtEt2cos5（2）12( , )C t t1122( )( )( )( )E X tm tX tm t2cos)5(2cos)5(21tUtUE)5(2cos2cos221UEtt2cos2cos21UDtt

19、212cos2cos6tt（3）令ttt21得ttXD2cos6)(2解解所以例例3试求它们的互协方差函数。设两个随机过程2)(UttX，3)(UttY其中 U 是随机变量且5)(UD)(tX和)(tY的均值函数)(2UtEtmX2UEt)(3UtEtmY3UEt12( ,)XYCt t)()()()(322211UEttYUEttXE)(23221UEUEtt)(3221UDtt)(tX和)(tY的互协方差函数 作作 业业设设 ，其中，其中A，B是相互独是相互独立，且都服从正态分布立，且都服从正态分布 的随机变量，的随机变量， 是实常数。是实常数。试求试求 的均值函数和相关函数。的均值函数和

20、相关函数。( )cossin,X tAt Btt 2(0,)N( ),X tt ( )() , (0,2 )X tacostt 求随机相位正弦波在上均匀分布 的均值函数、方差函数和自相关函数。第三节第三节 几种重要的随机过程简介几种重要的随机过程简介独立随机过程独立随机过程独立增量过程独立增量过程Markov过程过程平稳过程平稳过程平稳增量过程平稳增量过程一、独立随机过程一、独立随机过程简称独立随机过程。 )(1tX，)(2tX，)(ntX是相互独立的则称)(tX为具有独立随机变量的随机过程，二、独立增量过程二、独立增量过程是相互独立的，是相互独立的，)()(12tXtX，)()(23tXtX

21、，)()(1nntXtX1. 定义定义例例1证证设)(nX，, 2 , 1 , 0n是相互独立的随机变量序列，令的随机变量序列，令)()(0nXiYin则则)(iY，, 2 , 1 , 0i是一个独立增量过程。) 1()(iYiY)(iX （, 2 , 1i）而)(iX（, 2 , 1i）是相互独立的所以)(iY，, 2 , 1 , 0i是一个独立增量过程。三、三、平稳过程平稳过程 平稳过程的统计特性不随时间的推移而变化平稳过程的统计特性不随时间的推移而变化1 1、严平稳过程、严平稳过程定义定义1设随机过程)(tX,Tt ，若对任意n，任意Ttttn,21，nttt21当1t，2t，Ttn时，

22、有),(2121nnxxxtttF；)(,)(,(2211nnxtXxtXxtXP）)(,)(,(2211nnxtXxtXxtXP）),(2121nnxxxtttF；则 称为严平稳过程。)(tX2、严平稳过程的特点、严平稳过程的特点1二维概率密度二维概率密度 仅与时间差仅与时间差 有关，有关，而与时间起点无关。而与时间起点无关。证严平稳过程)(tX的一维概率密度)(xtf；与t 无关，),(2121xxttf；21tt ()()f txf tx对任意的 ，必有；若令t，得)()0()(xfxfxtf；即一维概率密度)(xtf ；与t 无关。同理有一维分布函数也与同理有一维分布函数也与t无关，无

23、关，即)0()(xFxtF；一维一维对于二维概率密度，有对于二维概率密度，有证二维二维),(2121xxttf；),(2121xxttf；若 令2t ， 得),(2121xxttf；),0 ,(2121xxttf；),(21xxf；其中21tt 同理同理二维分布函数也仅与时间差二维分布函数也仅与时间差 有关，有关，而与时间起点无关，即而与时间起点无关，即21tt ),(2121xxttF；),(21xxF；2若严平稳过程若严平稳过程存在二阶矩存在二阶矩，则，则证（2）相关函数仅是时间差）相关函数仅是时间差 的函数：的函数：记（1）均值函数为常数：）均值函数为常数：mtXEtm)()(21tt

24、),()(21ttRB只对连续型的情况dxxtxftXEtm)()()(；mdxxxf)()()(),(2121tXtXEttR21212121),(dxdxxxttfxx； 212121),(dxdxxxfxx； )(B记3、宽平稳过程、宽平稳过程定义定义2设随机过程)(tX，Tt，如果它满足：（1）)(tX是二阶矩过程；（ 2） 均 值 函 数 为 常 数 ， 即mtXEtm)()(（3）相关函数),(21ttR仅依赖21tt ，即)()(),(2121tXtXEttR)(B则称 为宽平稳过程，)(tX简称 平稳过程当T为整数集或注2注1 严平稳过程不一定是宽平稳过程。平稳时间序列因为严平

25、稳过程不一定是二阶矩过程。若严平稳过程存在二阶矩，则它一定是宽平稳过程。tn，n=0,1,2,时则称)(tX为宽平稳过程也不一定是严平稳过程。因为宽平稳过程只保证一阶矩和二阶矩不随时间推移而改变，这当然不能保证其有穷维分布不随时间而推移。注3利用均值函数与协方差函数也可讨论随机过程的平稳性。因为均值函数协方差函数即表示协方差函数仅依赖于 ，而与t无关，与相关函数相同。mtm)(, )cov(),( )C ttX tX t)()()()(tmtXtmtXE2)()()()(mtXmEtXmEtXtXE2(, )R ttm2)(mB( )C例例1 1试讨论随机变量序列试讨论随机变量序列 的平稳性。

26、的平稳性。其中，210T，且均值和方差为且均值和方差为0)(tXE2)(tXD)(tX解解因为因为0)(tXE),(ttR)()(tXtXE0002，当，当故)(tX是一个平稳时间序列。注注在科学和工程中，例在科学和工程中，例1 1中的过程称为中的过程称为“白噪白噪声声”，它是实际中最常用的噪声模型。，它是实际中最常用的噪声模型。试讨论随机序列 的平稳性。例例2 是在0，1上服从均匀分布的随机变量，其中T=1，2，)(tX解解的密度函数为其它,010, 1)(xxf所以02sin)(10txdxtXE),(ttRtxdxxt2sin)(2sin1000021，当，当故)(tX是平稳随机序列。注

27、注例2中的过程是宽平稳的，但不是严平稳的56 ,XRt tE S tS t所以随机相位周期过程是平稳的。 1t TtSSdT 01TS tS tdT 01TXSSdRT周期性记为 0,S tTTX tS t设是一周期为 的函数， 是在上服从均匀分布的随机变量，称为随机相位周期过程，试讨论它的平稳性。 定义定义 设设 X X ( (t t), ), t t T T 和和 Y Y ( (t t), ), t t T T 是两个平稳过程，是两个平稳过程，若它们的互相关函数若它们的互相关函数 及及 仅与仅与 有关，而与有关，而与 t t 无关，则称无关，则称 X X ( (t t) ) 和和 Y Y

28、( (t t) ) 是是联合联合平稳随机过程平稳随机过程。 它们的和它们的和 W(t) = X(t) + Y(t) 也是也是平稳过程平稳过程。( ) ()E X t Y t ( )()E Y t X t联合平稳过程联合平稳过程X (t) 和和 Y (t) 是两个是两个平稳过程平稳过程 X (t)Y (t)W (t) = X (t) + Y (t) 是否平稳？是否平稳？( ,)( )()( )( )()()( )()( ) ()( ) ()( )()( )( )( ,)( ,)WXYXYYXRt tE W t W tEX tY tX tY tE X t X tY t Y tX t Y tY t

29、X tRRRt tRt t)sin(sin)cos(sin)sin(cos)cos(cos)()(2ttVEttVWEttUVEttUWEtYtXE2sin sin()6sin sin()( )XYE VttttR不是联合平稳过程和)()(tYtX( )sincos ,( )cossin , ,6,( )( )?X tUtVtY tWtVtU V WX tY t已知平稳过程式中是均值为零 方差为 的互相独立的随机变量 试问和联合平稳吗互相关函数的性质联合平稳过程联合平稳过程 X (t) 和和 Y (t) 的互相关函数具有性质：的互相关函数具有性质：(1);(0)0()( (0),)0()(22

30、YXYXYXXYRRRRRR()( ).XYYXRR(2)称 为沿整个时间数轴上的时间相关函数 4、遍历性定理、遍历性定理 介绍从一次试验所获得的一个样本函数来决定随机介绍从一次试验所获得的一个样本函数来决定随机过程的均值和自相关函数，从而就可以得到该过程的全过程的均值和自相关函数，从而就可以得到该过程的全部信息，即遍历性问题。部信息，即遍历性问题。 定义定义14.1 基本概念基本概念设)(tX,t为随机过程，TTdttXtXTT)()(21l.i.m称 为沿整个时间数轴上的时间均值；( )X tTTdttXtXtXtXTT)()()()(21l.i.m()( )X tX t定义定义2若则称

31、的均值具有遍历性均值具有遍历性；则称 的自相关函数具有遍历性自相关函数具有遍历性如果 均值、相关函数都具有遍历性)(tX)(tX设)(tX是一个均方连续平稳过程，XmtXEtX)()(若)()()()()(XRtXtXEtXtX)(tX则称 具有遍历性遍历性，)(tX或者说 是遍历的遍历的)(tX例例1是否具有遍历性。解解试讨论)cos()(UtatX，t其中 a，是常数，U是在20，上服从均匀的随机变量。)(tXE)cos(UtaEdxxta21)cos(200)()(tXtXE20221)cos()(cosdxxtxtacos22a故有故有0)(tXTTdtUtaTT)cos(21l.i.

32、mTTUaTsincosl.i.m)()(tXtXTTdtUtUtaTT)cos()(cos221l.i.mcos22a)()(tXEtX)()()()(tXtXEtXtX即此过程是遍历的。1cos(22 )cos()2tU例例2研究随机过程的遍历性其中Y为随机变量，且YtX)(t0)(YD)(YD解解因为Y为随机变量，且存在有限的二阶矩，所以常数)()(YEtXE)()(2YEtXtXE2)()(YEYD由此知 是平稳过程，)(tX由于YYdttXTTTT21l.i.m)(不是常数故)()(tXEtX即 不是遍历的)(tX 注注遍历性随机过程一定是平稳过程，但平稳过程不一定具备遍历性。4.2 遍历性定理遍历性定理定理定理1均值遍历性定理均值