湖南城市学院-随机过程讲稿(18)

1、17.1 马尔可夫过程的一般概念马尔可夫过程的一般概念7.2 马尔可夫链马尔可夫链7.3 状态连续马尔可夫过程特性状态连续马尔可夫过程特性7.4 独立增量过程的基本概念独立增量过程的基本概念第七章第七章 马尔可夫过程马尔可夫过程 7.5 泊松过程泊松过程7.6 维纳过程维纳过程7.3状态连续马尔可夫过程特性状态连续马尔可夫过程特性定义定义7.14状态连续，时间离散的马尔可夫过程称为马尔可夫序列。状态连续，时间离散的马尔可夫过程称为马尔可夫序列。A延迟( )W n(1)X n( )X n在实际中，一般的马尔可夫序列是对连续的马尔可夫过程进行抽样得到的，例如，在对运动目标（导弹，飞机）的轨迹测量中

2、，信号的模型常采用以下的一阶差分方程，即：(1)( )( )X nAX nW n A为常数 W(n)为均值为( )Wmn ,方差为2( )Wn 的白噪声高斯高斯高斯-马尔可夫序列7.3.1 马尔可夫序列马尔可夫序列v如何求高斯特性的状态转移概率密度(1)( )( )( )( )( )XWE X nX nE AX nE W nAmnmn 高斯-马尔可夫序列X(n+1)的条件均值：11(; )nnnnf xtx t？22(1)(1)(1) )( )( ) ( )XWWnnEX nE X nx nE W nmnn 高斯-马尔可夫序列X(n+1)的条件方差： 为了确定高斯概率密度，只需要知道给定为了确

3、定高斯概率密度，只需要知道给定X(n)的的X(n+1)的条件均值和条件方差就够了。的条件均值和条件方差就够了。v如何求高斯-马尔可夫序列X(n+1)的自协方差( , )XKn s？( , )( )( )( )( )XXXKn sEX nmnX sms1111( )()( )()( )( )n sn sn sin siXWXiiEAX sA W niAmsA mniX sms1111( )( )()()( )( )n sn sn siiXWXiiEAX smsA W niA mniX sms2( )( )( )( )( )n sXXn sXE AX smsX smsAs马尔可夫序列的一般形式：A

4、延迟( )W n(1)X n( )X n(1)( )( )( )( )X nA n X nB n W n A(n), B(n)为确知的随时间变化的矩阵定义定义7.15 状态和时间都是连续的马尔可夫过程称为连续的马尔可夫过程。状态和时间都是连续的马尔可夫过程称为连续的马尔可夫过程。7.3.2 连续的马尔可夫过程连续的马尔可夫过程( )( )( )X tX tW t ( )( )( )( )X tt X tt W t 股票预期收益率股票价格股票价格波动率Ito过程股票股票模型模型v为什么说X(t)是一个马尔可夫过程？( )( )( )( )dX tX tX tW tdt ( )( )ttdeX t

5、eW tdt取任意两个时刻tn和tn-1,对上式两边进行tn-1到tn的积分，则11( )( )nnnntttttteX teWd111( )()( )nnnntttnnteX teX teWd11)1( )()( )nnnnnttttnntX teX teWdX(tn)的概率密度只与tn-1时刻的值有关，而与tn-1以前的值无关，因此X(tn)为马尔可夫过程。vX(t)的均值函数：( )( )( )X tX tW t ( )( )( )XXWmtmtmt 上式为简单的常系数一阶微分方程，只要初始条件mX(0)已知，就可以确定mX(t)。vX(t)的方差函数：22( )( )( , )( )(

6、 )XXXXVttKt tE X tmt 2( )2( )( )( )( )2( )( )( )( )( )( )2( )( )( )( )( )( )2( )( )2( )( )( )( )XXXXXWXXWXXWVtEX tmtX tmtEX tmtX tW tmtmtEX tmtX tmtW tmtEX tmtEX tmtW tmt 是否和马尔可夫序列一样也为零？对该式两边微分可得：vX(t)的方差函数：初始条件VX(0)已知即可确定VX(t)。00()00()( )( )( )( )( )( )( )( )( )( )( )( )XWt tXWttXWtEX tmtW tmteEX t

7、mtW tmteEX tmtWmd 0()22()2ttWtWettdt 对所有tt0所,X(t0)与W(t)不相关，故该项为零222( )2( )( )2( )( )( )( )2( )( )XXXWXWVtEX tmtEX tmtW tmtVtt 7.4 独立增量过程的基本概念独立增量过程的基本概念定义定义7.16 如果在参数集如果在参数集T上任意选取上任意选取t1t2t3tn的的n个时间个时间点，随机过程点，随机过程X(t)的增量的增量X(t2)-X(t1), X(t3)-X(t2), , X(tn)-X(tn-1)是相互统计独立的随机变量，则称这类随机过程是相互统计独立的随机变量，则称

8、这类随机过程X(t)为独立增为独立增量过程。量过程。独立增量过程是一种特殊的马尔可夫过程。独立增量过程是一种特殊的马尔可夫过程。定义定义7.17 设随机过程设随机过程X(t)的二阶矩存在，当的二阶矩存在，当 时，时，有有则称这类随机过程则称这类随机过程X(t)为正交增量过程。为正交增量过程。1234ttttT 21430EX tX tX tX t定义定义7.18 如果独立增量过程的增量如果独立增量过程的增量X(tk)-X(tk-1)的分布仅与时的分布仅与时间差间差(tk-tk-1)有关，而与有关，而与tk,tk-1本身无关，则称它为齐次的独立增本身无关，则称它为齐次的独立增量过程。量过程。定理

9、定理7.13 对于独立增量过程对于独立增量过程 ，如果它还满足，如果它还满足 ，则该过程也是正交增量过程。，则该过程也是正交增量过程。 ,X ttT 20,E X tEX t 独立独立增量增量过程过程泊松过程泊松过程维纳过程维纳过程7.5 泊松过程泊松过程定义定义7.19 在在(0,t)内出现事件内出现事件A的总数所组成的过程的总数所组成的过程 称为计数过程。称为计数过程。7.5.1 计数过程计数过程 ,0Ntt 定义定义7.20 在计数过程中，如果在不相交叠的时间间隔内出现事在计数过程中，如果在不相交叠的时间间隔内出现事件件A的次数是相互统计独立的，则该计数过程为独立增量过程。的次数是相互统

10、计独立的，则该计数过程为独立增量过程。定义定义7.21 在计数过程中，如果在在计数过程中，如果在t1,t1+s)内出现事件内出现事件A的次数仅的次数仅与时间差与时间差s=t1+s-t1有关，而与起始时间有关，而与起始时间t1无关，即无关，即N(t1+S)-N(t1)仅与仅与s有关而与有关而与t1无关，则称该计数过程为平稳增量的计数过程。无关，则称该计数过程为平稳增量的计数过程。7.5.2 泊松过程概念泊松过程概念泊松过程是计数过程，而且是最重要的一类计数过程。设有一随机过程X(t)，t 0 ，如果X(t)满足：（1） 从t=0起开始观察事件，即X(0)=0;（2） X(t)是独立增量过程;（3

11、）该计数过程为平稳增量过程；（4）在(t,t+t)内，当 时出现一个事件概率为 ；（5）在(t,t+t)内，当 时出现事件二次及二次以上的概率为 ；则称该计数过程为泊松过程。0t 1,P t tttt 0t t定理定理7.14 泊松过程泊松过程 在时间间隔在时间间隔t0,t0+t内内n次出现事件次出现事件A的概率为：的概率为： ,0X tt 00!0,1,2,.nttPXttXtnenn证明：略。证明：略。7.5.3 泊松过程的统计特性泊松过程的统计特性111111( )( ) ( )!(1)!(1)!nnnntttnnnE X tX tn P X tnttttneetetnnn 数学期望22

12、2211)( )( )( )!ntnntE XtX tn P X tnnettn 均方值与方差22( )( )( )D X tE XtEX tt 自相关函数222( , )( )( )( )( )( )( )( )( )( )( ) ( ) ( )( )( )( )()()(1)XRs tE X s X tE X s X tX sX sE X s X tX sE X sE X sE X tX sD X sE X sstsssst （）独立增量 自协方差函数),min(),(,),(,)()(),(),(tstsKttsKststmsmtsRtsKXXXXXX从而则若7.5.4 泊松过程的分布特

13、性泊松过程的分布特性1. 各次事件间的时间间隔分布各次事件间的时间间隔分布设设X(t), t0是参数为是参数为的泊松过程的泊松过程, X(t)表示到表示到t时刻为止事件时刻为止事件A发生的次数。发生的次数。Wn表示第表示第n次事件次事件A发生的时间发生的时间(n 1)，也称为第也称为第n次事件次事件A的等待时间的等待时间, 或到达时间。或到达时间。Tn表示第表示第n-1次事件次事件A发生到第发生到第n次事件次事件A发生的时间间隔。发生的时间间隔。TnT3T2T1tW3W2W10Wn- -1Wn时间间隔Tn的分布为：概率密度为：1,0( )10,0,0 ( )0,0nntTnntTetFtP T

14、tP Tttetftt Tn的平均值：01tnE Tt edt2. 等待时间分布等待时间分布21用Sn表示从时间t=0开始到达第n次事件出现所需要的时间称为第n次事件的等待时间。1(1)nniiSTn( )( )( )( )()( )!nnSnknktknknStX tnFtP StPX tnPX tktPX tkek 分布函数：22 概率密度函数：111( )( )()()()!()()!(1)!()0(1)!nnSSkkttk nj nkkttk nk nntdFtftdttteekkktteekktetn 3. 达到时间分布达到时间分布设泊松过程设泊松过程 ，如果已知在如果已知在(0,t

15、)内有一个内有一个A事件出现，求事件出现，求这个以事件达到时间的条件分布，即：这个以事件达到时间的条件分布，即： ,0X tt 11/11()( )/1,1( )1,( )1( )11( )(0)1,( )( )0( )1( )(0)1( )( )0( )1TXtststFsPTsXtPTs XtPXsXtPXtPXtPXsXXtXsPXtPXsXPXtXsPXtseestet概率密度函数为：概率密度函数为： 1/11( )TX tfst241|( ) 10,0( ),01,T X tssFssttst1|( ) 11,0( )0,T X tstfst其他4. 有两个相互统计独立的泊松过程有两

16、个相互统计独立的泊松过程设泊松过程设泊松过程 ，这两个过程的参数为，这两个过程的参数为1和和2.设设 代表第一个过程中出现第一次事件所需的时间。代表第一个过程中出现第一次事件所需的时间。 代表第二过程代表第二过程中出现第一次事件所需的时间。现在研究第一过程出现第一次事中出现第一次事件所需的时间。现在研究第一过程出现第一次事件先于第二过程出现第一次事件的概率，即件先于第二过程出现第一次事件的概率，即 。 12,0 ,0XttXtt 11s21s 1211Pss 1212111120012yxyPssedxdy 5. 泊松过程泊松过程设泊松过程设泊松过程 ，这两个过程的参数为，这两个过程的参数为1

17、和和2.设设 代表第一个过程中出现第代表第一个过程中出现第k次事件所需的时间。次事件所需的时间。 代表第二过程代表第二过程中出现第一次事件所需的时间。现在研究第一过程出现第中出现第一次事件所需的时间。现在研究第一过程出现第k次事次事件先于第二过程出现第一次事件的概率，即件先于第二过程出现第一次事件的概率，即 。 12,0 ,0XttXtt 1ks21s 121kPss 21112111210121 !kkyxkxxP sseedydxk 7.6 维纳过程维纳过程-布朗运动过程布朗运动过程1.布朗运动简介布朗运动简介英国植物学家布朗英国植物学家布朗(Brown)在显微镜下在显微镜下,观察观察漂浮

18、在平静的液面上的微小粒子漂浮在平静的液面上的微小粒子,发现它们不断地发现它们不断地进行着杂乱无章的运动进行着杂乱无章的运动,这种现象称为这种现象称为布朗运动布朗运动.爱因斯坦爱因斯坦(Enisten)1905年提出一种理论年提出一种理论,认为认为微粒的这种运动是由于受到大量随机的、相互独微粒的这种运动是由于受到大量随机的、相互独立的分子碰撞的结果立的分子碰撞的结果.布朗运动计算机模拟结果布朗运动计算机模拟结果n=100n=500n=1000n=5000n=10000n=500002.维纳过程的数学模型维纳过程的数学模型 ( ),0,X t t给定二阶矩过程如果它满足(1)具有平稳独立增量;2(2)0, ( )( )(0,(),0;tsX tX sNts对任意的增量且 (3)(0)0.(4)0t0XtE X对于一切，则称此过程为则称此过程为 维纳过程维纳过程。3.维纳过程的特征维纳过程的特征维纳过程增量的分布只与时间差有关维纳过程增量的分布只与时间差有关, 所以维纳过程所以维纳过程是齐次的独立增量过程是齐次的独立增量过