第7章 马尔可夫过程与泊松过程

#第7章马尔可夫过程与泊松过程7.1马尔可夫过程1．引例例1：随机游动问题。质点在一直线上作随机游动，如果某一时刻质点位于点i，则下一步质点以概率p向左移动一格达到点i-1，以概率(1-p)向右移动一格达到点i+1。用X(n)表示时刻"质点的位置，则X(n)是一随机过程。在时刻n+1质点所处的位置X(n+1)只与时刻n质点的位置X(n)有关，而与n以前的位置X(n-1)…X⑵、X(1)无关。例2：遗传病问题。某些疾病常遗传给下一代，但不隔代遗传。第n+1代是否有此种疾病只与第n代是否有此疾病有关，而与n代以前的健康状况无关。2．马尔可夫过程描述性概念一般而言，若随机过程在时刻t所处的状态X(t)为已知的条件下，过程在时刻tnn(t>t)所处的状态X(t)只与过程在时刻t的状态X(t)有关，而与t以前的状态无关,nnnn则称此过程为马尔可夫过程。3．马尔可夫过程分类马尔可夫过程分为四类：(1)离散马尔可夫链：时间t取离散值t，t，…t，…，可直接记为t二1,2,…n,…。TOC\o"1-5"\h\z12n状态X(n)取离散值a，a，…a，…，可直接记为X二1,2,…n,…。12n(2)连续马尔可夫链：时间t取离散值t，t,…t，…，状态X(n)取连续值。12n(3)离散马尔可夫过程：时间t取连续值，状态X(t)取离散值。(4)连续马尔可夫过程：时间t取连续值，状态X(t)取连续值。.

4．马尔可夫过程的研究与应用概况在随机过程的研究领域，马尔可夫过程是主要的研究对象，有关的专著、专题无计其数其原因是马尔可夫过程与众多的应用领域有关联。5．马尔可夫链(1)定义设时间t取离散值t=1,2,…n,…，记X=X(n)，设状态X取有限个离散值nnX二1,2,…N，若P,n+1=jX=Jn=jX=i,X=i，…X=iP,n+1=jX=Jnnn-1n-111n+1称X马尔可夫链。n(2)一步转移概率记P=P^X=jX=i'I称P..为马氏链的一步转移概率。ijn+1nij由所有的P由所有的P(i=1,2,…N，ijj=1,2,…N)构成的矩阵P=一P11P21P…11P…22P一1NP2NPP…PN1N2NN称为马氏链的一步转移矩阵。可以证明：'0<P<1ij£p=1ijj=1(3)k步转移概率记P(1)=P=P(X=j|X=i}TOC\o"1-5"\h\zijijn+1nP(2)=P(X=j|X=i}ijn+2nP(k)=P(X=j|X=i}ijn+kn称P(k)为马氏链的k步转移概率。ij由所有的P(k)(i=1,2,…N，j=1,2,…N)构成的矩阵ij

P(k)=称为马氏链的k步转移矩阵。可以证明：P(k)P(k)…1111P(k)P(k)…2122P(k)P(k)…N1N2P(k)=称为马氏链的k步转移矩阵。可以证明：P(k)P(k)…1111P(k)P(k)…2122P(k)P(k)…N1N2P(k)1NP2(k)2NP(k)NNI<P(k)<1(/兰P(k)=1(/Ij=1(4)一步转移矩阵P(1)=P与k步转移矩阵P(k)的关系定理：P(k)=Pk。5．应用举例例3：天气预报。假设明日是否有雨只与今日的天气状况有关，而与以前的天气状况无关。在今日有雨的条件下，明日有雨的概率为0.6，明日无雨的概率为0.4；在今日无雨的条件下，明日有雨的概率为0.3，明日无雨的概率为0.7；用1表示有雨，用2表示无雨。求1一4步的转移概率矩阵。求今日有雨求今日有雨求今日无雨1)2)3)4)解：P11=p明日有第2日(后日)有雨的概率。第3日无雨的概率。求第4日有雨的概率。=1|Xn+1n=1)=0.6p=p明日无雨今日有雨Lp・=2x12In+1n=1}=0.4P=P明日有雨今日无雨｝=P，=1X=2L0.3n=2X=2$=o.7n0.60.4P=0.30.70.60.420.480.520.30.7__0.390.61_0.60.430.4440.5560.30.7__0.4170.583_0.60.440.43320.56680.30.7__0.42510.5749_P(2)=P(3)=P(4)=今日有雨，第2日(后日)有雨的概率为P(2)=0.48。11今日有雨，第3日无雨的概率为P⑶=0.556。12今日无雨，求第4日有雨的概率为P(4)=0.451。217.2独立增量过程1．引例例1：用X(n)表示我国第n年的人口总数，则AX=X(n)-X(n-1)表示在时间段n［n-1,n］的人口增量。一般，AX，AX，…AX是相互独立的。TOC\o"1-5"\h\z12n例2：用X(t)表示时刻t到某商店购物的房客总数，则AX二X(t)-X(t)表示在nnnnn-1时间段［t,t］的房客增量。一般，AX，AX，…AX是相互独立的。n-1n12n例3：用X(t)表示时刻t通过某路口的车辆总数，则AX二X(t)-X(t)表示在时nnnnn-1间段［t,t］的车流增量。一般，AX，AX，…AX是相互独立的。n-1n12n2．独立增量过程的定义设有一随机过程X(t)，teT，如果对任意时刻0<t<t<…<t，过程的增12n量为AX—X(t)—X(t)(i=1,2,…n)，若AX，AX，…AX是相互独立的随iii-112n机变量，则称X(t)为独立增量过程，又称X(t)为可加过程。3．泊松过程(1)定义设随机过程X(t)te［t,a)(t>0)，其状态只取非负整数值，若满足下列三个条件：00对任意时刻t<t<t<•••<t，在时间段(［tt,］，事件出现的次数012ni-1iX(t,t)—X(t)—X(t)(i—1,2,…n)是相互独立的。i-1iii-1对于充分小的At，在时间段(t,t+At)事件出现1次的概率为P(t,t+At)—P［X(t,t+At)—1］—九-At+o(At)1对于充分小的At，在时间段(t,t+At)事件出现两次及两次以上的概率为艺P(t,t+At)=艺P[X(t,t+At)=j]=o(At)jj=2j=2则称X(t)为泊伀过程。(2)泊松过程的概率计算①P(t,t+At)=P[X(t,t+At)=0]=1—九・At+o(At)0②Pk(0,t)=P[X(0,t)=k]=罟(九(t一t))k“P(t,t)=P[X(t,t)=k]=P[X(t)一X(t)=k]=ba-e一心一仃)TOC\o"1-5"\h\zkababbak!数学期望记a=X