随机过程课件冯海林马尔科夫链

1、第六章离散时间链数学家A.A.Markov首先提出和研究过程是前的一类随机过程.十九世纪后二十年Markov主要致力于独立随量和古典极值理论的研究,并改进和完善了大数定律和中心极限定理二十世纪初Markov的转移到相依随量序列的研究,并创立了以名的著名概率模型链经过世界各国几代数学家的相继努力,过程已成为内容十分丰富,理论上相当完整,应用非常广泛的一门数学分支.应用领域涉及计算机、通讯、自动控制、随机服务、可靠性、生物、经济、管理、气象、物理、化学等.随机过程西安电子科技大学数学系 冯海林本章内容链的定义链的概率分布链的状态分类转移概率的极限与平稳分布随机过程西安电子科技大学数学系 冯海林离散

2、时间链的定义X=Xn , n 0是定义在概率空间(, F , P)上定义6.1.1的随机过程，状态空间为可数集合S，如果对任意的ii1 ,L, in，in +1 S , 有 in1X 0 i0 , X1 i1 ,L, Xn in )P( Xn1 P( Xn1 in1Xn in )(6.1)则称随机过程X为离散时间链，简称马氏链.(6.1)式所表达的性质，称为马氏性.随机过程西安电子科技大学数学系 冯海林马氏性的直观解释如果将时刻n看作现在，则时刻0，1，n-1就表示过去，而时刻n+1就表示将来，t n现在t n 1将来t 0,1,., n 1过去(6.1)式表示的马氏性指：在已知过程现在状态的

3、条件下，过程将来处于那个状态的概率不依赖于过程过去经历的状态. 也称之为无性.随机过程西安电子科技大学数学系 冯海林(6.1)式中的条件概率 in +1Xn in )P( Xn +1称为马氏链X在n时刻从状态in到in1的一步转移概率，记为pi i(n).即n1n p(n) P( Xn +11 in +1Xn in )一般地，有以下定义随机过程西安电子科技大学数学系 冯海林定义6.1.2设马氏链X Xn , n 0的状态空间为S，对任意的n 0,k 1以及任意的状态i, j S，用p(k ) (n)表示以下ij条件概率，即p(k ) (n) P( X jX i),i, j S, n 0, k

4、1nkijn它表示马氏链X 在n时从状态i出发经过k步转移，于n+k时到达状态j的概率，称为马氏链在n时刻的k步转移概率.k=1时，p(1) (n)为n时的一步转移概率, 记为p(n)ijij随机过程西安电子科技大学数学系 冯海林称以p(k) (n)为第i行第j列元素的矩阵为马氏链ij在n时刻的k步转移概率矩阵.记为P(k) (n) ( p(k) (n)ijk=1时，马氏链的一步转移概率矩阵为P(1) (n) ( p(1) (n)ij常简记为P(n) ( pij (n)随机过程西安电子科技大学数学系 冯海林特别约定，当k时，i i 1,jj i, j S, n 0p(0)0,ijij此时 P(

5、0) (n) I为矩阵.不难验证，转移概率矩阵是随机矩阵，即jSp(k ) (n) 0,p(n) 1,(k )ijiji, j S, n 0, k 0随机过程西安电子科技大学数学系 冯海林链如果马氏链X的一步转移概率pij (n)衡与起始时刻n无关，即有pij (n) pij (n 1) pij (n 2) L则称马氏链具有时齐性，也称X为i, j S马氏链.为方便，一般马氏链的起始时刻取为零即 P( X1 jX0 i)i, j SpijP=(pij )相应的一步转移概率矩阵分别记为随机过程西安电子科技大学数学系 冯海林链举例例6.1.1(随机游动) 设一质点在直线上的整数格点上作随机游动，移

6、动规则如下：如果某时刻质点位于整数格点i处，qpp, q 0, p q 1;i+1i-1i若以Xn表示质点在n时刻的位置，则X=Xn , n 0链.状态空间为S 0, 1, 2，L.为随机过程西安电子科技大学数学系 冯海林一步转移概率为i= 1， 2，L，j i 1 i= 1， 2，L，j i 1 p,p q,ij 0,i j 1一步转移概率的直观表示状态转移图随机过程西安电子科技大学数学系 冯海林例(补)(有限制随机游动)设质点在直线上的0，1，2，a各点上作随机游动，移动规则如下：qp（1）移动前i 1, 2,L, a 1处p, q, r 0, p q r 1;i-1iri+1p0（2）移

7、动前i 0处10r0p , r 0, p r 10000qa（3）移动前i a处qa , ra 0, qa raa-1ara 1随机过程西安电子科技大学数学系 冯海林若Xn表示质点0在n时的位置，则X= Xn , n 是以S 0,1L, a为状态空间的其一步转移概率矩阵为马氏链.r000p0r00 p rM000000LqL 0pL0LL0 q0L0P 0q0Mr qa0MMMMMp0000ra随机过程西安电子科技大学数学系 冯海林例6.1.2群体增长 设某种生物群体的每个在其都以生存期内彼此独立的产生后代，假设每个概率pk产生k个后代，且有, pk pk 01k物群体的总数，则用Xn表示第n

8、Xn , n 0是以S 0,1, 2,L为状态空间的链.随机过程西安电子科技大学数学系 冯海林如果记第n代的生物群体个数Xn =i，且这i个量1,2 ,L,i .各自产生的后代数分别记为随同时l (l 1, 2,L, i)有概率分布：P(l k ) pk ,k 1, 2,L则马氏链X的一步转移概率为 P( Xn1 Xn i)pijj P(1 +2 L+i i, j Sj)随机过程西安电子科技大学数学系 冯海林例6.1.3 (天气变化) 如果明天是否有雨仅与今天的天气有关，而与过去的天气无关. 并设今天下雨、明天有雨的概率为a，今天无雨而明天有雨的概率为b，又假设有雨称为0状态天气，无雨称为1状

9、态天气.Xn表示时刻n时的天气状态，则X Xn , n 0是一以S=0，1为状态空间的其一步转移概率矩阵为1马氏链.P aabb1随机过程西安电子科技大学数学系 冯海林如果任意一天的天气与前两天的天气有关，即昨天晴（1 ）晴（1 ）今天晴（ ）1阴（ ）0晴（ ）1晴（ ）1明天阴（0阴（0）n如果Xn仍表示时刻n的天气状态，则是以下状态空间上的X ,n链.0 ) 1S,1 ,( ) 1 , 0 ,( ) ,0 1 ,( ) 1一, 1步( 转移概率矩阵为随机过程西安电子科技大学数学系 冯海林 01 01 00001 P 0 01 随机过程西安电子科技大学数学系 冯海林例6.1.4合表示(网页

10、浏览) 因特网中所有的网页用以下集S 1,2,L ,(1 li N )N另设网页i上的超级数 li对应的网页集合为Si S，用户进入网页i后，分别以概率p, q( p q 1)按照两种方式选择进入一个新的网页 j，一是从S中任选一个，另一个是从当前网页的超级中再任选一个.随机过程西安电子科技大学数学系 冯海林若Xn 表示用户n次选取后所在的网页，则X=Xn , n 0,1,L状态空间S上的一步转移概率为马氏链。 q p , S ljiN pijp , S Nji随机过程西安电子科技大学数学系 冯海林例6.1.5设一个坛子中装有m个球，它们或是红色的，或是黑色的，从坛子中随机的摸出一球，并换入一

11、个相反颜色的球.设经过n次摸换,坛中黑球数为Xn,则X Xn , n 0是以S 0,1,L, m状态空间的其一步转移概率矩阵为马氏链.随机过程西安电子科技大学数学系 冯海林 0 10 1020m 1m 0 M0000m 20000LLL0 m0 M 1 P 00Mm 1m00M01mM00mM00 M 0LLm 00 随机过程西安电子科技大学数学系 冯海林例6.1.6设一个坛子中装有b个黑球和r个球，每次随机的从坛子中摸出一球再放回去，并加入c个色的球.设Xn表示第n次摸放后坛中的黑球数,则X Xn , n 0状态空间为S b, b c, b 2c,L的马氏链.其一步转移概率为随机过程西安电子科技大学数学系 冯海林pij (n) P( Xn1 Xn i)jij i c,b r nc i1 0,j i其它,b r nc随机过程西安电子科技大学数学系 冯海林设n , n 0是相互独立同分布的随例6.1.7量序列P(n 1) p,P(n 1) 1 p,p 0, n 0令Xn 0 1 L n ,n 0验证X=Xn , n 0是马氏链.证明 X的状态空间为S=0，m 1， 2，Lii1,L, in，in +1 S, 有则对任意的随机过程西安电子科技大学数学系 冯海林 in1X 0 i0 , X1 i1 ,L, Xn in )P