几种常用的随机过程

1、第十讲几种常用的随机过程10.1 马尔可夫过程马尔可夫序列马尔可夫序列是指时间参数离散，状态 连续的马尔可夫过程。一个随机变量序列Xn (n=1,2,)，若对 于任意的n有Fx(XXn 1，X n_2,，Xi)Fx(Xn|Xn-1) ( 10.1) 或f x(XnXn 1，Xn 2 ，Xl)= f x (Xn 1 X-J ( 10.2) 则称Xn为马尔可夫序列。Xn的联合概率密 度为f X(X1，X2，Xn) f X(XnlXn-1 f X (Xn-1 I X-2) fx(X2X1)fx(X1)(10.3)马尔可夫序列有如下性质：(1) 一个马尔可夫序列的子序列仍为马尔(2)f X(X n 1

2、 Xn 1，X n 2 X n J 二 f X (X n 1 Xn-1)(10.4)(3)E ( X n 1 Xn-1，,X1)=E(X nlX-1)(10.5)(4)在一个马尔可夫序列中，若已知现在，可夫序列。则未来与过去相互独立。即X(Xn&nJ f x (Xs| Xr)f x(XnX&r)二,nrs(10.6)(5) 若条件概率密度fx(XnlXn)与口无关， 则称马尔可夫序列是齐次的。(6) 若一个马尔可夫序列是齐次的，且所 有的随机变量 Xn具有同样的概率密度， 则称该马尔可夫序列为平稳的。(7) 马尔可夫序列的转移概率满足切普曼f x(XnlXs)oOCOf X (Xn 1 Xr)

3、 f X (Xr 1 Xs)柯尔莫哥洛夫方程，即，nrs(10.7)马尔可夫链马尔可夫链是指时间参数，状态方程皆为离散的马尔可夫过程1马尔可夫链的定义设Xn（ n= 1,2,）为离散时间随机过程，其状态 空间Ia。如果过程在tm k时刻为任一状态ai （i = 1,2,N）的概率，只与过程I m k在tm时刻的状态有关，而与过程在 tm时刻以 前 的 状 态 无 关，即卩PXmk = aimk|Xm = aim, Xp?(10.8)= PXm 厂 aimJXmVim则称该过程为马尔可夫链，或简称马氏链2马氏链的转移概率及有限维分布马氏链的转移概率定义为Pij（m,m k）= EXmk = aj

4、Xm= ai,i,j= 1,2, N;m,k皆为正整数（10.9）如果p/m,m k）与m无关，则称该马氏链为齐次的。下面我们仅研讨齐次马氏链，并习惯上省去“齐次”二字马氏链的一步转移概率及其矩阵分别定 义为P厂 Pj(1 Pj(m，m 1= PXm厂 aj |X ai(10.10)P = P(1)P11P21P12P22P1NP2NPniPn2Pnn(10.11)亠步转移概率矩阵P有以下两个性质0Pij(10.12)（10.13）马氏链的高阶转移概率及其矩阵分别 定义为P/n) = Pj(m,mn) = PXm n=a j |X m =ai(10.14 )P11(n)Pi2(n)PlN(n)

5、11 p (n)P(n)21I:P22（n）P2N(n)1111(10.15)IPni (n)PN2（n）1Pnn( n)111n步转移概率矩阵P（n）具有如下的性质:0 岂Pjj(n)r(10.16)N Pij(n)T1 =1(10.17)此外,还规定Pij1,H j(0P PH(m,mpijij0厂 j马氏链的n步转移概率及其矩阵具有如 下的切普慢一柯尔摩哥洛夫方程的离散形 式，即即Pij(n)= PijU k)八 Pir(k)Prj(10.18)r=1 1P(np p(l k) = p(l)p(k)当n为任意正整数时，则有(10.19)(10.20)Pij(k八PirPrj(k)八rrP

6、ir(k)Prj(10.21)由上可知，以一步转移概率Pij为元素的一步转移概率矩阵P决定了马氏链状态转移 过程的概率法则。但是，P决定不了初始概 率分布，必须引入初始概率Pi= pxo=ai，i = ，12(10.22)并称 pi= ( PoPP2，)为初始分布，显然 有1 - P0,Pi T(10.23)i若绝对概率PjKFXkQ，则有P(np p p(nT)式(7.18),若 n=k+1,则有Pj(k D 八 PiPij(k D 八 卩小4(10.24)ii马氏链的有限维分布可表示为pX。= ai，Xi = a,，Xn = ain=PX厂 aiPXi = aX厂 aiopXn = ajX

7、najPi o P i oi iPin(10.25)3 遍历性及平稳分布(1) 遍历性 设X(n)为齐次马氏链，若 对于一切状态i与j，存在不依赖于i的极限lim Pij (n)二 Pj(10.36)nr则称马氏链X( n)具有遍历性。定理(有限马氏链具有遍历性的充分条 件)对有限状态的齐次马氏链X (n),若存在正整数m，使py(m)0,i, j = 1,2,., N (10.37)则此链是遍历的。而且，式(10.36)中的 Pj = P2,.Pn是方程组NPj 八 PiPj, j = 1,2,., N (10.38)i丄在满足条件No Pj 1 Pj = 1(10.39)i =1下的惟一解

8、。(2) 平稳分布马氏链的一个概率分布Q0vj,即：Vj - 0和a Vj 二 1，如有j=0oOv j 二 Vj p( 10 .40)i = 0ij则称它为该链的平稳分布。并有0Vi 八 Vi Pij (n)(10.41)i =0马尔可夫过程这里论及的马尔可夫过程是指时间，状态皆连续的马尔可夫过程。扩散过程就是这类马尔可夫过程的一个特例。设有一随机过程：X(t),t T,tt2tn“tnT,若在ti，t2，.tn一1，切对X( t)观测得到 相应的观测值x1， x2，.x1, xn满足Fx ( Xn； tn / Xn -1 ,Xn 2 ,X2, X1 ； tn1, tn 2 , t2 ,t1

9、)=Fx(Xn；tn/Xn一讥一1), n，3的整数(1042)则称此类过程为马尔可夫过程，简称马氏过 程。马氏过程的转移概率分布定义为：FxX；tn|Xn一1；匸)=PX(tn) X(tn一Xn (10.43 ) 或Fx(x；t|Xo；to)= PX(t) x|X(to)= Xo,t to (10.44 )转移概率分布是关于X的分布函数，故有:(1) Fx(x; t |Xo； to) - 0(10.45)(2) F( ： ; 11 Xo； to) 1(10.46)(3) F(-； t |x; t) 0(10.47)(4) F(x; t|x0; t0)是关于x单调不减，右连续的函数。(5) 满

10、足切普曼一柯尔莫哥洛夫方程cdFx(X； t |x； t)Fx(X； t |X1； tj dxTx(X1； t1 |x; t)(10.48)(1049 )故有马氏过程的转移概率密度定义为fx(X；t|X0；t0) Fx(X；t|X0；t0)exfx(x;t/x0；t)dx = 1(10.50)*0fx(X；t/X0；t)T 芬(x_x),当 tT to 时(10.51)fx(Xn；tn/Xn_1,Xn_2 ,.,X2 , X1; h 1, h 2., t2, t1 )二 fx(Xn；tn/Xn一1；tn_J, n - 3的整数(10.52)它也满足切普曼柯尔莫哥洛夫方程fx (Xn；tn/Xk

11、；tQfx(Xnn /Xr;tr) fx ( X；t/ XQ tk )dX,trtn(10.53)如果马氏过程X (t)有Fx(x；t/Xo；t。)= Fx(x/x。；)t- t。( 10.54 ) 或 fx(X；t/Xo；to)= fx(x/Xo)r = t-t 0(1055 )则称它为为齐次马尔可夫过程。马氏过程X (t)的n维概率密度可写成fX （ x，x2，.xn ； t1,t2,.,tn ）-1fx%ti川 f x（x+1；ti+1/x；ti）,t! t J tn （10.56 ）i=110.2独立增量过程独立增量过程设有一个随机过程 X(t)(t T)，若对任意的 时刻0三t t

12、0内的增量与M之 比，我们构成一新过程：Y(t)二X(t t)-X(t)(10.63)称它为泊松增量。显然，若k是间隔(t,r t)内的随机点数，则 Y(t)=k/ t。故P Y(t)(t)kk!(10.64)1 1u 1 2I JRY(t1，t2p21 - t2|/_ + J吐心tE侦EX(t FEX(t)=(g)tl - t2 八 t(10.66)出 - t2 c t3 过滤的泊松过程与散粒噪声泊松过程X(t)对t求导，就能得到与 时间轴上随机点ti相对应的冲激序列Z(t),称 此离散随机过程为泊松冲激序列。即Z(t) = dX(t)八(t-ti)( 10.67)dt iZ(t)N(T)X

13、(t)二 Z(t) h(t)= h(t tj),0 二 t (10.72)i =1式中，h(t)为滤波器的冲激响应；ti为第 i个冲激脉冲出现的时间； N(t)为在0, T】内 输入到滤波器的冲激脉冲的个数，它服从泊 松分布。我们称此为过滤的泊松过程。(2)散粒噪声在电子管、晶体管中,由散粒效应引起的散粒噪声电流皆为过滤 的泊松过程。因此，散粒噪声X(t)可表示成类似式(10.72 )的形式。X(t) = Z(t) h(t)八 h(t-tjj t :(io.73)i而且，不难证明此 X(t)也是平稳的。维纳过程维纳过程W(t)是另一个最重要的独立增量过程，有时也称它为布朗运动过程，还可 以将它

14、看成是随机游动 X(t)的极限形式。1.定义设随机过程w(t)(t【)满足下列条件：(1) PW() = 0 = 1;(2) W(t)为均匀独立增量过程，且对 任意时刻切t2厂)，t2,及,W(t2 W(ti ) 具 有 与W(t 2)- W(t J相同的正态分布函数，其概 率密度为fW(W2 - Wi；t2,ti)=1/2(t2tjexp(W W1)2 2 (t2 tj(10.79)式中，：为正常数。(3)对任意时刻t / ) ,W(t)具有均值EW(t)=的正态分布函数， 其概率密度为1 2fw (w,t)- e w /2 t (10.80)2 t2. W(t)的均值与自相关函数分别为EW

15、(t)= E lim X (t = nT ) = 0(10.81)Tt 0nr ：Rw(t1，t2)= EW(tJW(t2)min(tt2)t1，t t2=t2(10.82):t2,t t23. W(t)与正态白噪声 N(t)维纳过程W(t)的形式导数W(t)就是正态白噪声N(t)，N(t)的自相关函数为只“壮山厂 EN(t1)N(t2) = EW(tJW(t2):2二RW (t1,七2)= (t1 - t2) (10.83)tr t2令t2 i =,则有Rn()()(10.84)换言之，W(t)可表示为N(t)的积分，即tW(t)二 N(u)du (10.85)4.扩散方程维纳方程W(t)满足下列扩散方程ti(10.86)t2式中，P= P(W2,t2；Wi,tJ= fw(Wi；tiW(t2)=W2)(tit2)为