第六章62马尔可夫链的概率分布

1、链的概率分布6.2主讲人：西安电子科技大学数学与统计学院2013年秋季链的概率分布本节主要内容 切谱曼 初始分布 绝对分布哥方程链的概率分布 有限维分布Chapman-kolmogorov方程(C-K方程)定理6.2.1 设X=X n , n ³ 0是状态空间S上的马氏链，则有或矩阵形式P(k+m) (n) = P(k) (n)P(m) (n + k )p(k+m) (n) = PX=X= i)j证明n+k +mijn= P(U Xn+k=l), Xn+k +m l=j Xn = i)p(k+m) (n) = å p(k ) (n) p(m) (n + k ),n, m,

2、k ³ 0,i, j, l Î Sijilljl= PU( Xn+kl= å P( Xn+k=l, Xn+k +m= l, Xn+k +m=j) Xn = i)=j) Xn = i)l= å P( Xn+kl= lXn = i) × P( Xn+k +m =Xn = i, Xn+k= l)j= å P( Xn+k= lXn = i) × P( Xn+k +m = l)jXn+klål=p(n) ×p(n + k)(k )(m)illj若取m=1,则由C-K方程的矩阵形式: P(k+m) (n) = P(k

3、) (n)P(m) (n + k )P(k +1) (n) = P(k ) (n)P(1) (n + k )得= P(k-1) (n) × P(n + k -1) × P(n + k )= P(n) × P(n +1)P(n + k -1) × P(n + k )(n, k ³ 0)分量形式ååj1j2åjk(k +(n) =p (n) × p(n +1) p(n + k)1)pijij1j1 j2jkj(n, k ³ 0, i, j Î S )特别的，X为齐次马氏链时，有= Pk ,

4、k ³ 0P(k )链的k 步转移概率由其一步转移概结论：率所完全确定.例6.2.1 设X=Xn，n0是描述天气变化的齐次马氏链. 状态空间为S=0，1，其中0与1分别表示有雨和无雨天气.X的一步转移概率矩阵为P = é0.70.3ùê0.60.4úëû(3)ijpijS对任意的状态，计算三步转移概率求今天有雨且第四天仍有雨的概率，并比较各个概率值，思考如果转移步数增大，上述概率 有什么规律？解：利用C-K方程得= P2PP30.3ù2 é0.7é0.70.3ù= ê0.60

5、.4ú ê0.60.4úëû ëû= é0.5830.417ùê0.5560.444úëû链的概率分布Ø 初始分布定义6.2.1 马氏链X=Xn，n0 的状态空间为S= P( X=j Î Sq(0)j),记j0: j Î S为马氏链X的初始分布.则称概率分布q(0)j称向量= (q(0)(0) ,q(0) ,)2j链的初始分布向量.为Ø 绝对分布定义6.2.2 马氏链X=Xn，n0 的状态空间为S= P( X= j),j &#

6、206; S, n ³ 0q( n )记jn则称概率分布q(n) : j Î S为马氏链X的绝对分布.j称向量= (q(n)(n) ,q( n) ,)2j为马氏链X的绝对分布向量.定理6.2.3链X的绝对分布由其初始分布转移概率完全确定.= P( X=q(n)j)证明jn= P(U( X 0 = i), Xni= j)= P(U( X 0 = i, Xni= j)= P(U( X 0 = i, Xn =ij)= å P( X 0i= å P( X 0i= i, Xn =j)= i) × P( Xn =X 0 = i)jåi=n

7、79; 0, i, j Î S(0)(n)qp(0)iij对于齐次链，上述结论可表示为n ³ 0(0) Pn ,Ø 有限维分布定理6.2.2链X的有限维分布由其初始分转移概率所完全确定.布证明对"n ³ 1, "0 £ t1 < t2 < < tn , i1, i2 , in , i Î SPX t= i1 , Xt= i2 , Xt= in 12n= PU( X 0 = i), X t1 = i1, Xt2= i2 , Xtn= in i= PU( X 0 = i, X t1= i1 , Xt2

8、= i2 , Xtn= in )i= å P( X 0 = i, X t1= i1 , Xt2i= i2 , Xt= in )n= å P( X 0 = i) × P( Xt1i×× P( X= i1= i) × P( Xt= i22X 0 = i, Xt1= in-1 )= i1 )X 0= i1 , Xtn-11= å P( X 0 = i) × P( Xt1= i1X 0 = i) × P( Xt= i22= in-1 )X t= i1 )1i×× P( Xn-1åi(

9、0) × pt2 -t1 (t ) ptn -tn-1 (t=× pt1(0)iq).n-1ii1i1i21in-1in链的k步转移概率由一步转移概率所又因为完全确定.所以链的有限维分布由其初始分布和一步转移概率所完全确定.X=X n , n ³ 0 为齐次马氏链，状态空间为例6.2.2S=0，1，2.转移概率矩阵为éêêùú21033ú111êêêêêë ú 30 31P=úúúúû3

10、122= 1 ,i = 0, 1,= 0, X= 2);(0)2, 试求： (1)P( Xq初始分布 i023(2)P( X 2 = 2).解 （1） P( X 0 = 0, X 2 = 2)= P( X 0 = 0)× P( X 2 = 2 X 0 = 0)= 1 × p(2)023其中p(2)为两步转移概率，是两步转移概率02矩阵中第一行第三列元素.而P（2）= P2é 5êê êùúúúúúúúû319Þ=(2)p02=ê

11、;85ê 15ê êë 61 21 2= 1) = 1 × p(2)= 1 ´ 1 =391= 0, X因此 P( X0202327åP( X=2) =(0) × p(2)(2)q2ii 2i= 1 ( p(2) + p(2)+ p(2) )0212223= 1 (1 +55 )+3 9181229=108例6.2.3学家将家庭的收入分为低、中、高三个等级，分别表示为1、2、3。研究者发现，收入等级在很大程度上取决于其父代收入的等级， 令Xn，表示一个家庭第n代的收入等级，则该家庭相继后代收入等级的变化可用齐次马氏

12、链X=Xn，n0描述，状态空间为S=1，2，3.且有一步转移概率矩阵é 0 . 6 50 . 0 7 ù0 . 2 80 . 6 70 . 3 6P=ê 0 . 1 50 . 1 8 úêêë 0 . 1 2ú0 . 5 2 úû当前收入等级为3，试分析经过三如果收入等级转变为2的可能性，进一步分析经过n 收入等级的概率分布，并具体计算n=10时，等级的概率分布。收入解 P( X= 2 X= 3)=p(3)3032é 0 . 4 70 . 1 3 ù0 . 3 90 . 5

13、60 . 4 6=ê 0 . 2 20 . 2 2 ú2Pêêë 0 . 1 9ú0 . 3 4 úûé 0 . 3 80 . 1 7 ù0 . 4 40 . 5 20 . 4 9» 0.49ê 0 . 2 50 . 2 3 ú=PP=32Pêêë 0 . 2 3ú0 . 2 7 úûÞ P( X= 2 X= 3)=p(3)3032n的等级的概率分布为分布= (q(n)(n) ,(0) ,(0)

14、)Pn213n = 10后的等级的概率分布为分布= (q(10)(10) ,(0) ,(0) )P10213»( 0.286,0.489,0.225)总结CK方程P(k+m) (n) = P(k) (n)P(m) (n + k)齐次马氏链= Pk ,k ³ 0;P( k )(1)(2)k ³ 0;(0)Pk ,（3）马氏链的有限维分布由其初始分布转移概率所完全确定。24p(k+m) (n) = å p(k ) (n) p(m) (n + k ),ijilljl练习 设Xn , n ³ 0是状态空间为a,b,c的齐次马氏链.其一步转移概率矩阵为&

15、#233;êêêêêùú111224024ú1 ú 33P=úú3êú0êëúû55求(1)PX1 = b, X 2 = c, X 3(2)PXn+2 = c Xn = b,= a, X 4= c, X 5 = a, X 6= c, X= b X 0 = c7链的状态分类6.3数学与统计学院2013年秋季26链状态的分类本节内容 状态类型定义 状态类型 状态之间的关系 状态空间的分解 状态类型定义定义6.3.1设任意的i, j

16、 Î S, n ³ 1,为马氏链在0时从状态i出发,经n步转移后,首次到达状态j的概率.简称首达概率.( +¥)ij= PX¹j, n = 1, 2, X= if记n0称f (+¥)为马氏链在0时从状态i出发,永远不能转移到ij状态j的概率.称 f (n) = PX= j, X¹ j, k = 1, 2, n -1 X= iijnk0又记¥= PU(X n = j, Xk ¹ j, k = 1, 2, n -1) X 0 = in=1称fij为马氏链在0时从状态i出发,经有限步转移后终究到达状态j的概率（也称迟早概

17、率）.特别的，当i = j时，fii 表示马氏链在0时从状态i出发,经有限步转移后终究返回状态i的概率.¥f= å f ( n )ijijn=1利用概率fii可以定义状态类型定义6.3.2 设状态i Î S若fii = 1,则称状态i是常返的(返回的)若fii < 1,则称状态i是非常返的(滑过状态)当i为常返态时，也就有¥f= å f= 1，(n)iiiin=1(n)ii即f概率分布.则相应的数学期望为则mii 表示马氏链从状态i出发首次再返回状态i的平均时间（或转移步数）.¥m= ån × f (n)ii

18、iin=1利用量mii 可以进一步定义状态类型定义6.3.3 设状态i Î S是常返的,若mii < +¥,则称状态i为正常返状态.若mii= +¥,则称状态i为零常返状态.（消极常返状态）例6.3.1设状态空间S=1, 2, 3, 4的链, 它的一步转移概率矩阵为æçççö÷÷÷1100212000çççç÷÷÷÷=P1200303110ç÷èø22试分析马氏

19、链的状态的常返与否解: 马氏链的状态转移图为23112121312134212= 1 ，f (n) =0(n ³ 3)=(1)(2) ff1111112Þ= 1Þ 状态1常返.f11¥= ån=1= 3 < ¥又 mn ×Þ(n)f111.状态 正常返11223112121312134212= 2 ，f (n) =0(n ³ 2)(1) f33333= 2 < 13Þ fÞ 状态3非常返.33类似可以讨论状态2和4.例6.3.2设状态空间S=1, 2, 3, 4, 5的齐次

20、马氏链, 一步转移概率矩阵为æççççö÷÷÷÷120003030010P=101000000000010çç÷÷ç÷èø分析从状态i 返回状态i 的转移步数？ i Î S马氏链的状态转移图为1111345123123设i Î S,若自然数集定义6.3.4n n ³ 1, p(n) > 0 ¹ Fii则称其最大公约数为状态i的周期，记di .即d =n n ³

21、1, p(n) > 0iii若di > 1,则称状态i为周期状态,且周期为di .若di = 1,则称状态i为非周期状态.定理6.3.1 设状态i的周期为d ,则$正整数N0 , 使N ³ N0时,有> 0p( Nd )ii证明将n n ³ 1, p(n)> 0记为m = 1, 2, p(nm ) > 0niimii令dm =n1, d2t = 1, 2, m.m ³ 1nt(d1 =n1, n2, d3 =n1, n2 , n3,n1, n2 , n3 ), dm =n1, n2 , nm ,d =d1 ³ d2 

22、9; ³ d ³ 1则有= dl +1= = d必存在正整数l，使dl d = dl=由初等数论知识t = 1, 2, lntn1,n2 ,nl $正整数N0，使得对"N ³ N0，有Nd = N1n1 + N2 n2 + Nl nl(N1, N2 , Nl为正整数) p( Nd ) = p( N1n1 + N2n2 + Nl nl )iiiiååå=( N n )( N n )( N n )pp p1 12 2l lik1k1k2kl-1ik1k2kl-1³ p( N1n1 ) p( N2n2 ) p( Nlnl

23、 )iiiiiilÕm=1l=( N n)pm mii N m个 Õ=(n+n+n)pmmmiim=1lÕ åååiNm -1=(n)(n)(n)pp p)（mmmii1i1i2iNm -1im=1i1i2lÕm=1³(n)(n)(n)pp pmmmiiiiiilÕm=1> 0=(n)N( p)mmiim = 1, 2, p(nm ) > 0 p（nm）> 0)(nmiiii由此可以得到，设状态i Î S若fii = 1,则称状态i是常返的(返回的)若fii < 1,则称

24、状态i是非常返的(滑过状态)若i是常返状态,且mii < +¥,则称状态i为正常返状态.(1)(2)若i是常返状态,且mii = +¥,则称状态i为零常返状态.（消极常返状态）若di > 1,则称状态i为周期状态,且周期为di .若di = 1,则称状态i为非周期状态.若状态i是正常返的非周期状态.则称之为遍历状态.(3)< 1fiimii= +¥ì非常返状态ïì零常返ïd > 1í= 1fiii周期ïìí m< +¥常返îï

25、iiïíîdi = 1遍历态ï非周期î状态类型的引理 6.3.10 £(n) £ p(n)££ 1(1)ffijijij= å å å(n)ij p(2)fppii1i1i2in-1 ji 1 ¹ j i2 ¹ jin-1 ¹ jn= å fl =1(l ) p(n-l )p( n)(3)ijijjj(1)0 £= PX n =(n)ijf证明j, Xk ¹ j, k = 1, 2, n -1 X 0 = i

26、3; PX= j X= i = p(n)n0ijn= PU( Xl = j, Xk ¹ j, k = 1, 2, l - 1), Xn = j X 0 = il =1n= PU( Xl =j, Xn = j, Xk ¹ j, k = 1, 2, l - 1) X 0= il =1¥£ PU( Xl =l =1j, Xk¹j, k = 1, 2, l - 1) X 0 = i¥= å P( Xl = j，X k ¹l =1¥j, k = 1, 2, l - 1) X 0 = i）= å fl =1

27、=f£ 1(l )ijij= PX=j, X¹j, k = 1, 2, n - 1 X= i(n )ij(2) fnk0= PXn = j, U( Xkik ¹ j= PU( Xn = j, Xkik ¹ j= PUU U ( X1 = i1, X 2= ik ), k = 1, 2, n - 1 X 0 = i= ik ), k = 1, 2, n - 1 X 0 = i= i2 , Xn-1 = in-1, Xn = j X 0 = i)i1 ¹ j i2 ¹ jin -1 ¹ j= åå å

28、; P( X1 = i1, X 2 = i2 , Xn-1 = in-1, Xn = j X 0 = i)i1 ¹ j i2 ¹ jin -1 ¹ j= åå å P( X1 = i1X 0 = i) × P( X 2 = i2X1 = i1, X 0 = i) ×,i1 ¹ j i2 ¹ jin -1 ¹ j×P( Xn = in-1, X1 = i1, X 0 = i)j Xn-1= åå å P( X1 = i1X 0 = i) ×

29、; P( X 2 = i2X1 = i1 ) ×i1 ¹ j i2 ¹ jin-1 ¹ j×P( Xn = in-1 )j Xn-1= åå å× pi i×× pij1 2n-1pii1i1 ¹ j i2 ¹ jin-1 ¹ j= PX= jX= ip(n)(3)ijn0n= PU( Xl = j, Xk ¹ j, k = 1, 2, l - 1), Xn = j X 0 = il =1n= PU( Xl =l =1j, Xk ¹ j

30、, k = 1, 2, l - 1, Xn = j) X 0 = in= å P( Xl =j, Xk ¹ j, k = 1, 2, l - 1, Xn = j) X 0 = il =1n= å P( Xl =j, Xk¹ j, k = 1, 2, l - 1) X 0 = il =1×PXn = å fl =1j Xl=j, Xk¹j, k = 1, 2, l - 1, X 0= in(l ) p(n-l )ijjjn= å f(l ) p(n-l )p(n)对于分解式ijijjjl =1n= å fl

31、 =1(l ) zl p(n-l ) zn-lÞ p(n) znijijjjì1, i = jnånpz= åå fï1- F (z)Þ(l ) zl p(n-l ) zn-l( n)nïijijjjjjÞ Pij (z) = ínl =1F (z)= d+ å fålïij, i ¹(l )l(l )lzpzjijijjjï1- F (z)îljj1Þ P (z) =令z ® 1- , 得,jj1- F(z)jj&

32、#165;1ån =1=1 -( n )iipfii设状态i Î S,则定理6.3.2¥ån=1(1)i是常返的(f= 1)充要条件为= +¥( n)piiii¥ån=1i是非常返的(f< 1)充要条件为< +¥(n)(2)piiii设状态i ÎS，若i是常返的且周期是di，则有引理6.3.2di=lim p(ndi )miin®¥ii1m= +¥时， = 0规定：miiii设状态i Î S是常返的，则定理6.3.3(1)i是零常返的充要条件是lim p

33、(n) = 0iin®¥(2)i是遍历态的充要条件是1lim p(n) => 0miin®¥ii(3)i是正常返周期的充要条件是lim p(n)不存在iin®¥但此时它有一收敛正数的子列.< 1fiiì¥å< +¥( n )p非常返ïïiin=1= 1m= +¥fii态íiiìïï¥= 0零常返lim p(n)åï 常返= +¥ï( n )piin®

34、¥iiïîm n=1< +¥d > 1í0iiïdìiï正常返lim p( ndi ) =iï周期lim p(n)不存在ïîiimïn®¥iin®¥iiíd = 1iï1ï非周期lim p(n) =>ïîn®¥iimii遍历态(1)设i是零常返，（即mii= +¥）,由引理6.3.2得证明= 0lim p(ndi )(即d 能整除m时,lim p（m）)iiim®¥n®¥ii当d 不能整除m时，p（m）由周期定