第四章 马尔可夫链

1、第四章第四章 马尔可夫链马尔可夫链 4.1 马尔可夫链与转移概率马尔可夫链与转移概率 定义定义 设设 X(t)，t T 为随机过程，若对任意为随机过程，若对任意正整数正整数n及及t1 t20，且条件分布且条件分布PX(tn) xn|X(t1)=x1, X(tn- -1)=xn- -1= PX(tn) xn|X(tn- -1)=xn- -1，则称则称 X(t)，t T 为为马尔可夫过程马尔可夫过程。若若t1,t2,tn- -2表示过去，表示过去，tn- -1表示现在，表示现在，tn表示表示将来，马尔可夫过程表明：在已知现在状态将来，马尔可夫过程表明：在已知现在状态的条件下，将来所处的状态与过去状

2、态无关。的条件下，将来所处的状态与过去状态无关。4.1 马尔可夫链与转移概率 常见马尔可夫过程通常有三类：常见马尔可夫过程通常有三类：(1)(1)时间、状态都是离散的，称为时间、状态都是离散的，称为马尔可夫链马尔可夫链(2)时间连续时间连续、状态离散的，称为连续时间状态离散的，称为连续时间马尔马尔可夫链可夫链(3)时间、状态都是连续的，称为时间、状态都是连续的，称为马尔可夫过程马尔可夫过程（时间离散时间离散、状态连续的状态连续的马尔可夫过程，通常马尔可夫过程，通常用泛函中二元函数的范数进行研究）用泛函中二元函数的范数进行研究）随机过程随机过程 Xn，n T ，参数参数T=0, 1, 2, ,

3、,状态空间状态空间I=i0, i1, i2, 定义定义 若随机过程若随机过程 Xn，n T ，对任意，对任意n T和和i0,i1,in+1 I，条件概率条件概率PXn+1=in+1|X0=i0,X1=i1,Xn=in = PXn+1=in+1|Xn=in， 则称则称 Xn，n T 为为马尔可夫链马尔可夫链，简称，简称马氏链马氏链。4.1 马尔可夫链与转移概率4.1 马尔可夫链与转移概率马尔可夫链与转移概率 马尔可夫链的马尔可夫链的性质性质 PX0=i0, X1=i1, , Xn=in=PXn=in|X0=i0, X1=i1, , Xn- -1=in- -1 PX0=i0, X1=i1, , X

4、n- -1=in- -1= PXn=in|Xn- -1=in- -1 PXn- -1=in- -1 |X0=i0,X1=i1,Xn- -2=in- -2 PX0=i0,X1=i1,Xn- -2=in- -2=PXn=in|Xn- -1=in- -1PXn- -1=in- -1 |Xn- -2=in- -2 PX0=i0,X1=i1,Xn- -2=in- -24.1 马尔可夫链与转移概率马尔可夫链与转移概率=PXn=in|Xn- -1=in- -1PXn- -1=in- -1 |Xn- -2=in- -2 PX1=i1|X0=i0PX0=i0 马尔可夫链的统计特性完全由条件概率马尔可夫链的统计特

5、性完全由条件概率PXn+1=in+1|Xn=in确定。确定。4.1 马尔可夫链与转移概率 定义定义 称条件概率称条件概率pij(n)= PXn+1=j|Xn=i 为为马尔可夫链马尔可夫链 Xn，n T 在时刻在时刻n的的一步转移一步转移概率概率，简称简称转移概率转移概率，其中其中i, ,j I。 定义定义 若对任意的若对任意的i, ,j I，马尔可夫链马尔可夫链 Xn,n T 的转移概率的转移概率pij(n)与与n无关，则称无关，则称马尔可夫链是齐次的马尔可夫链是齐次的，并记，并记pij(n)为为pij。 齐次马尔可夫链具有平稳转移概率，齐次马尔可夫链具有平稳转移概率，状态空间状态空间I=1,

6、 2, 3, ，一步一步转移概率为转移概率为4.1 马尔可夫链与转移概率马尔可夫链与转移概率 转移概率转移概率性质性质(1) (2) P称为随机矩阵称为随机矩阵mnmmnnpppppppppP212222111211Ijipij, 0IipIjij, 14.1 4.1 马尔可夫链与转移概率马尔可夫链与转移概率 赌博问题。甲乙二人进行一系列赌赌博问题。甲乙二人进行一系列赌博，甲有博，甲有a元，乙的赌本无限，每赌一元，乙的赌本无限，每赌一局输者给赢者局输者给赢者1元，没有和局，如果甲元，没有和局，如果甲输光，再输则赌本为负。设在每一局中输光，再输则赌本为负。设在每一局中，甲赢的概率为，甲赢的概率为

7、p，输的概率为，输的概率为q=1-p。设设Xn表示第表示第n次赌博结束后甲的赌本，次赌博结束后甲的赌本，则则Xn，n1是马尔科夫链，求是马尔科夫链，求Xn的转移的转移矩阵矩阵4.1 4.1 马尔可夫链与转移概率马尔可夫链与转移概率 无限制随机游动无限制随机游动q p- -1 0 1 i-1 i i-1 i i i+1 +1 一步转移概率一步转移概率: :2| , 0, 011,1,jipppqpppijiiiiii4.1 4.1 马尔可夫链与转移概率马尔可夫链与转移概率n步转移概率步转移概率: :i经过经过k步进入步进入j, ,向右移了向右移了x步步, ,向左移了向左移了y步步则则为奇数为奇数

8、，为偶数为偶数)(0)(,2)(2)()(ijkijkqpCpijkyijkxijyxkyxyxxkkij4.1 马尔可夫链与转移概率马尔可夫链与转移概率 具有吸收壁和反射壁的随机游动具有吸收壁和反射壁的随机游动状态空间状态空间1,2,3,4，1为吸收壁，为吸收壁，4为反射壁为反射壁 状态转移图状态转移图 状态转移矩阵状态转移矩阵0100000001313131313131P1234313131313131114.1 马尔可夫链与转移概率马尔可夫链与转移概率 定义定义 称条件概率称条件概率 = PXm+n=j|Xm=i 为为马尔可夫链马尔可夫链 Xn，n T 的的n步转移概步转移概率率(i,

9、,j I, m 0, n 1)。 n步转移矩阵步转移矩阵其中其中 P(n)也为也为随机矩阵随机矩阵)(nijp)()(nijnpPIjippIjnijnij, 1,0)()(jijipnPPppnijijij,1,00,1)0()1()1(时时，规规定定当当时时当当4.1 马尔可夫链与转移概率马尔可夫链与转移概率 定理定理4.1 设设 Xn，n T 为为马尔可夫链，马尔可夫链，则对任意整数则对任意整数n 0,0 l0 (最大公约数最大公约数greatest common divisor) 如果如果d1，就称就称i为周期的，为周期的， 如果如果d=1，就称就称i为非周期的为非周期的)(niip4

10、.2 马尔可夫链的状态分类马尔可夫链的状态分类 设马尔可夫链的设马尔可夫链的状态空间状态空间I=1,2,9，转移概率如下图转移概率如下图 从状态从状态1出发再返回状态出发再返回状态1的可能步数为的可能步数为T=4,6,8,10, ，T的的最大公约数为最大公约数为2，从而从而状态状态1的周期为的周期为28956723413132111111114.2 马尔可夫链的状态分类马尔可夫链的状态分类注注(1)如果如果i有周期有周期d，则对一切非零的则对一切非零的n, , n 0 mod d，有有 （若若 ，则，则n=0 mod d ） (2)对充分大的对充分大的n， （引理引理4.1）例题中当例题中当n

11、=1时，时， 当当n1时，时，0)(niip0)(niip0)(ndiip0)(ndiip0)2()(iiiippnd4.2 马尔可夫链的状态分类马尔可夫链的状态分类 状态空间状态空间I=1,2,3,4，转移概率如图转移概率如图， 状态状态2和状态和状态3有相同的周期有相同的周期d=2，但状态但状态2和状态和状态3有显著的区别。当状态有显著的区别。当状态2转移到转移到状态状态3后，再不能返回到状态后，再不能返回到状态2，状态，状态3总总能返回到状态能返回到状态3。这就要引入常返性概念。这就要引入常返性概念。234121111214.2 马尔可夫链的状态分类马尔可夫链的状态分类 由由i出发经出发

12、经n步首次到达步首次到达j的概率的概率(首达概率首达概率) 规定规定 由由i出发经有限步终于到达出发经有限步终于到达j的概率的概率0)0(ijf1 |, 11 ,)(niXjXnvjXPfmnmvmnij1)(nnijijff4.2 马尔可夫链的状态分类马尔可夫链的状态分类 若若fii=1，称状态称状态i为为常返的常返的； 若若fii1，称状态称状态i为为非常返的非常返的 i为非常返，则以概率为非常返，则以概率1- - fii不返回到不返回到i i为常返，则为常返，则 构成一概率分布，构成一概率分布， 期望值期望值 表示由表示由i出发再返回出发再返回到到i的平均返回时间的平均返回时间1)(nn

13、iiinf 1)()(1, 1nnnnffiiii定义定义4.2 马尔可夫链的状态分类马尔可夫链的状态分类 若若 i ，则称常返态则称常返态i为正常返的为正常返的; 若若 i = ，则称常返态则称常返态i为零常返的，为零常返的， 非周期的正常返态称为遍历状态。非周期的正常返态称为遍历状态。例：判断下面马氏链各状态的类型例：判断下面马氏链各状态的类型定义定义1254312121212111设设i为常返为常返4.2 马尔可夫链的状态分类马尔可夫链的状态分类 引理引理4.2 周期的等价定义周期的等价定义G.C.D =G.C.D 设马尔可夫链的状态空间设马尔可夫链的状态空间I=1,2,3，转移概率矩阵

14、为转移概率矩阵为 求从状态求从状态1出发经出发经n 步转移首次到达各状步转移首次到达各状态的概率态的概率0, 1:)(niipnn0, 1:)(niifnn000332211qppqqpP4.2 马尔可夫链的状态分类马尔可夫链的状态分类 解解 状态转移图如下状态转移图如下 ，首达概率为，首达概率为 1233q2p1p1q2q3p3131)4(131)3(31)2(1)1()()(,12121212qqpqfppqfqqfpf0, 12,)(1,2,)(13131131)(12mmnppqmmnqqpqfmmn4.2 马尔可夫链的状态分类马尔可夫链的状态分类同理可得同理可得0, 12 ,)()(

15、1,2 ,)()(1,00, 12,)(1,2,)(2312313213213123121321)(12121121)(1113mmnqqpqqppqppmmnppqqqqppnfmmnqqpmmnppqpfmmmmnmmn4.2 马尔可夫链的状态分类马尔可夫链的状态分类首达概率首达概率 与与n步转移概率步转移概率 有如下有如下关系式关系式定理定理4.4 对任意状态对任意状态i, j及及1 n ，有有)(nijf)(nijpnkkjjknnkknjjknijpfpfpijij0)()(1)()()(4.2 马尔可夫链的状态分类马尔可夫链的状态分类证证)0( ,|, 11 , 11 ,|, 11

16、 ,|)0(0)()(1)()(010100)(ijnkkjjknnkkknjjkvnkkvnnknkvnnijfpffpiXjXkvjXPjXkvjXiXjXPiXjXjXkvjXPiXjXPpijijP(A,B|C)= P(B|A,C) P(A|C)212112311例：已知马氏链转移图如下，求从状态例：已知马氏链转移图如下，求从状态1出出发再返回发再返回1的的n步转移概率，步转移概率，n=1,2,84.2 4.2 马尔可夫链的状态分类马尔可夫链的状态分类 定理定理4.5 状态状态i常返的充要条件为常返的充要条件为如如i非常返，则非常返，则0)(nniipiinniifp110)(以下讨论

17、常返性的判别与性质以下讨论常返性的判别与性质4.2 马尔可夫链的状态分类马尔可夫链的状态分类数列的母函数与卷积数列的母函数与卷积an,n 0为实数列，母函数为实数列，母函数bn,n 0为实数列，母函数为实数列，母函数则则an与与bn的卷积的卷积的母函数的母函数0)(nnnsasA0)(nnnsbsBnkknknbac0)()()(sBsAsC4.2 4.2 马尔可夫链的状态分类马尔可夫链的状态分类 定理定理4.5 状态状态i常返的充要条件为常返的充要条件为如如i非常返，则非常返，则证证: 规定规定 ，则由定理，则由定理4.40)(nniipiinniifp110)(0, 1)0()0(iiii

18、fp1,0)()()(nfppnkkniikiinii4.2 4.2 马尔可夫链的状态分类马尔可夫链的状态分类 )()(1)()(,)(10, 10)(0)(00)()(0)()0()0(10)()(1)(sFsPsPsfsFspsPsfpspfpsfpspnnniinnniinnnkkniikiinnniiiiiinnnkkniikiinnnii 则则设设可知可知由由4.2 4.2 马尔可夫链的状态分类马尔可夫链的状态分类对对0 s10)(0)(0)(01)()(0)()()(11)(1)(nniinnniiNnnniiniinniiniinnniipspsPspsFsPfffsfsF4.2

19、 4.2 马尔可夫链的状态分类马尔可夫链的状态分类 iinniinniisnniisnniisnniinniisNnniifffsFpsPpsPpNpsPps1)(0)(10)(10)(10)(0)(10)()(lim)(lim)(lim,)(lim, 1同理同理iiNnniissfpsFsP11,)(lim11)(lim0)(11)()(1)()(,)(10,10)(0)(00)()(0)()0()0(10)()(1)(sFsPsPsfsFspsPsfpspfpsfpspnnniinnniinnnkkniikiinnniiiiiinnnkkniikiinnnii则则设设可可知知由由4.2 4

20、.2 马尔可夫链的状态分类马尔可夫链的状态分类 定理定理4.7 设设i常返且有周期为常返且有周期为d，则则其中其中 i为为i的平均返回时间，当的平均返回时间，当 i= 时时 推论推论 设设i常返，则常返，则(1) i零常返零常返(2) i遍历遍历indiindp )(lim0lim)(ndiinp0lim)(niinp01lim)(iniinp 212112311例：已知马氏链转移图如下，求从状态例：已知马氏链转移图如下，求从状态1出出发再返回发再返回1的的n步转移概率，步转移概率，n=1,2,84.2 4.2 马尔可夫链的状态分类马尔可夫链的状态分类 证证(1)i零常返，零常返， i= ，由

21、定理由定理4.7知，知，对对d的非整数倍数的的非整数倍数的n， 从而子序列从而子序列 i是零常返的是零常返的0lim)(ndiinp0lim0)()(niinniipp，故故0lim)(niinp0lim)(ndiinp，从从而而iindiindp 0lim)(4.2 4.2 马尔可夫链的状态分类马尔可夫链的状态分类(2) 子序列子序列所以所以d=1，从而从而i为非周期的，为非周期的，i是遍历的是遍历的i是遍历的，是遍历的，d=1， i ，为正常返为正常返，ipiiniin,01lim)( indiinindiindpp )()(lim7 . 41lim，而而由由定定理理01limlim)()

22、(iniinindiinpdp 即即4.2 4.2 马尔可夫链的状态分类马尔可夫链的状态分类 对无限制随机游动对无限制随机游动由斯特林近似公式由斯特林近似公式可推出可推出(1)当且仅当当且仅当p=q=1/2时，时，4pq=1nnnniiniipqCpp)(, 02)2()12( 2!21nnenn2)2() 12(1)1 (44)4( ppppqnpqpnnii npnii1)2(012-1-2ii-1i+1pqppppqqqq4.2 4.2 马尔可夫链的状态分类马尔可夫链的状态分类状态状态i是常返的是常返的状态状态i是零常返的是零常返的1)2(1)2(0)12(1)(1)2(1,1mmiim

23、miimmiinniinniinpppppn从而从而又又 0lim, 0lim, 0lim)()12()2(miimniinniinppp所所以以而而4.2 4.2 马尔可夫链的状态分类马尔可夫链的状态分类(2)当且仅当当且仅当p q，4pq0,使使 状态状态i与状态与状态j互通互通，ij：ij且且ji 定理定理4.8 可达关系与互通关系都具有传可达关系与互通关系都具有传递性，即递性，即(1)若若ij ，jk，则则ik(2)若若i j ，j k，则则i k0)(nijp4.3 状态空间的分解状态空间的分解4.2 4.2 马尔可夫链的状态分类马尔可夫链的状态分类 证证 (1)ij ，存在，存在l

24、 0，使使 jk，存在存在m 0，使使由由C-K方程方程所以所以ik(2)由由(1)直接推出直接推出0)(lijp0)(mjkp0)()()()()(smjklijmsklismlikppppp4.2 4.2 马尔可夫链的状态分类马尔可夫链的状态分类 定理定理4.9 如如ij，则，则 (1) i与与j同为常返或非常返，如为常返，则同为常返或非常返，如为常返，则它们同为正常返或零常返它们同为正常返或零常返(2) i与与j有相同的周期有相同的周期12543121212121114.2 4.2 马尔可夫链的状态分类马尔可夫链的状态分类 设马氏链设马氏链Xn的状态空间为的状态空间为 I=0,1,2,，

25、转移概率为转移概率为考察状态考察状态0的类型的类型Iipppiii,21,21,2101,00123021212121212121214.2 4.2 马尔可夫链的状态分类马尔可夫链的状态分类 可得出可得出0为正常返的为正常返的由于由于 ，所以，所以0的周期为的周期为d=10为非周期的，从而为遍历状态为非周期的，从而为遍历状态对于其它状态对于其它状态i,由于由于i0,所以也是遍历的所以也是遍历的 2210, 121,2181212121,412121,2111)(000100)(00)3(00)2(00)1(00nnnnnnnnnnffffff 为为常常返返状状态态故故021)1(00p4.3

26、状态空间的分解 定义定义 状态空间状态空间I 的子集的子集C称为称为闭集闭集，如，如对任意对任意i C及及k C都有都有pik=0; 闭集闭集C称为称为不可约的不可约的，如，如C的状态互通；的状态互通； 马氏链马氏链Xn称为称为不可约的不可约的，如其状态空，如其状态空间不可约间不可约 引理引理4.4 C是闭集的充要条件为对是闭集的充要条件为对i C及及k C都有都有0, 0)(npnik4.3 4.3 状态空间的分解状态空间的分解 证证 充分性显然成立充分性显然成立必要性（数学归纳法）必要性（数学归纳法）设设C为闭集，由定义当为闭集，由定义当n=1时结论成立时结论成立设设n=m时，时， ，i

27、C及及k C ，则，则注：如注：如pii=1，称状态称状态i为吸收的，等价于为吸收的，等价于 单点集单点集i为闭集。为闭集。0)(mikp引引理理得得证证, 000)()()()1(CjjkCjmijCjjkmijCjjkmijmikppppppp4.3 4.3 状态空间的分解状态空间的分解 设马氏链设马氏链Xn的状态空间为的状态空间为 I=1, 2, 3, 4, 5，转移概率矩阵为转移概率矩阵为状态状态3是吸收的，故是吸收的，故3是闭集，是闭集，1,4，1,3,4，1,2,3,4都是闭集，其中都是闭集，其中3，1,4是不可约的。是不可约的。I含有闭子集，故含有闭子集，故Xn不是不可约的链。不

28、是不可约的链。00010000010010000000021212121P12543121212121114.3 4.3 状态空间的分解状态空间的分解 无限制随机游动为不可约马氏无限制随机游动为不可约马氏链，各状态的周期为链，各状态的周期为2，当，当p=q=1/2时，时，是零常返的，当是零常返的，当p q时，是非常返的。时，是非常返的。4.3 4.3 状态空间的分解状态空间的分解 定理定理4.10 任一马氏链的状态空间任一马氏链的状态空间I，可可唯一地分解成有限个或可列个互不相交唯一地分解成有限个或可列个互不相交的子集的子集D,C1,C2,之和，使得：之和，使得：(1)每一每一Cn是常返态组成

29、的不可约闭集；是常返态组成的不可约闭集；(2)Cn中的状态同类型，或全是正常返，或中的状态同类型，或全是正常返，或全是零常返，它们有相同的周期，且全是零常返，它们有相同的周期，且fij=1，i,j Cn；(3)D由全体非常返态组成，自由全体非常返态组成，自Cn中状态不中状态不能到达能到达D中的状态。中的状态。4.3 4.3 状态空间的分解状态空间的分解 马氏链的状态空间马氏链的状态空间I =1,2,3,4,5,6,状态转移矩阵为状态转移矩阵为分解此链并指出各状态的常返性及周期性。分解此链并指出各状态的常返性及周期性。212131313100000000010000100001000000001

30、00P213654212131313111114.3 4.3 状态空间的分解状态空间的分解 解解 由状态转移图知由状态转移图知可见可见1为正常返状态且周期为为正常返状态且周期为3，含，含1的基的基本常返闭集为本常返闭集为 C1=k:1k=1,3,5，从从而状态而状态3及及5也为正常返状态且周期为也为正常返状态且周期为3。同理可知同理可知6为正常返状态，为正常返状态， 6=3/2，周期周期为为1。含。含6的基本常返闭集为的基本常返闭集为 C2=k:6k =2,6，可见，可见2，6为遍历状态。为遍历状态。3, 3, 0, 11)(111)(11)3(11nnnnfnff 故故4.3 4.3 状态空

31、间的分解状态空间的分解 于是于是I可分解为可分解为 I=DC1C2 =41,3,52,6 定义定义4.10 称矩阵称矩阵A=(aij)为随机矩阵，若为随机矩阵，若显然显然k步转移矩阵步转移矩阵 为随机矩阵。为随机矩阵。, 14, 1, 0,)(4431)1(44非非常常返返周周期期为为故故由由于于nffn10jijijaa且且)()(kijkpP4.3 4.3 状态空间的分解状态空间的分解 引理引理4.5 设设C为闭集，为闭集，G是是C上所得的上所得的k步转移子矩阵，则步转移子矩阵，则G仍是仍是随机矩阵。随机矩阵。 证证 任取任取i C，由引理由引理4.4有有从而从而且且 ，故，故 是随机矩阵

32、。是随机矩阵。CjipGkij,)(0)(CjkijpCjkijCjkijCjkijIjkijpppp)()()()(10)(kijpCjipGkij,)(4.3 4.3 状态空间的分解状态空间的分解 注：对注：对I的一个闭子集，可考虑的一个闭子集，可考虑C上的原上的原马氏链的子马氏链，其状态空间为马氏链的子马氏链，其状态空间为C，转移矩阵为转移矩阵为G=(pij)，i,j C是原马氏链的是原马氏链的转移矩阵为转移矩阵为P=(pij)，i,j I的子矩阵。的子矩阵。4.3 4.3 状态空间的分解状态空间的分解 定理定理4.11 周期为周期为d的不可约马氏链，其的不可约马氏链，其状态空间状态空间

33、C可唯一地分解为可唯一地分解为d个互不相交个互不相交的子集之和，即的子集之和，即 且使得自且使得自Gr中任一状态出发，经一步转中任一状态出发，经一步转移必进入移必进入Gr+1中中(Gd = G0)。注：任取一状态注：任取一状态i，对每一对每一r=0,1,d- -1定定义集义集srGGGCsrdrr,100, 0:)(rndijrpnjG对某个对某个212112311例：已知马氏链转移图如下，求从状态例：已知马氏链转移图如下，求从状态1出出发再返回发再返回1的的n步转移概率，步转移概率，n=1,2,84.3 4.3 状态空间的分解状态空间的分解 设不可约马氏链的状态空间为设不可约马氏链的状态空间

34、为C=1, 2, 3, 4, 5, 6，转移矩阵为转移矩阵为0000000010000100000010000000043413131312121P4.3 4.3 状态空间的分解状态空间的分解 2136542121434131313111120, 0:530, 0:6410, 0:)23(12)13(11)3(10njnjnjpnjGpnjGpnjG有有对对某某个个，有有对对某某个个，有有对对某某个个1,4,623,54.3 4.3 状态空间的分解状态空间的分解由状态转移图可知各状态的周期由状态转移图可知各状态的周期d=3,固定状态固定状态i=1，令令故故C=G0G1G2 =1,4,63,52

35、20, 0:530, 0:6410, 0:)23(12)13(11)3(10njnjnjpnjGpnjGpnjG有有对对某某个个，有有对对某某个个，有有对对某某个个4.3 4.3 状态空间的分解状态空间的分解 定理定理4.12 设设Xn,n 0是周期为是周期为d的不可的不可约马氏链，则在定理约马氏链，则在定理4.11的结论下有的结论下有(1)如只在如只在0,d,2d,上考虑上考虑Xn，即得一新，即得一新马氏链马氏链Xnd ，其转移矩阵，其转移矩阵 ，对此新链，每一对此新链，每一Gr是不可约闭集，且是不可约闭集，且Gr中的状态是非周期的；中的状态是非周期的；(2)如原马氏链如原马氏链Xn常返，则

36、新马氏链常返，则新马氏链Xnd也常返。也常返。)()(dijdpP4.3 4.3 状态空间的分解状态空间的分解 设设Xn为例为例4.14中的马氏链，已中的马氏链，已知知d=3，则则Xnd, n 0的转移矩阵为的转移矩阵为3131311251273131311251273131313)3(00000000000000000010000PP4.3 4.3 状态空间的分解状态空间的分解由子链由子链 X3n的状态转移图可知的状态转移图可知 G0=1,4,6，G1=3,5，G2=2各形成不可约闭集，周期为各形成不可约闭集，周期为11643523131313131313131311271271251251

37、G0=1,4,6G1=3,5G3=2Xnd=3d=3d=3Xnd非周期, 不可约闭集非周期, 不可约闭集非周期, 不可约闭集4.3 状态空间的分解状态空间的分解周期性di常返性fii正常返正常返i1非周期di=1 遍历遍历非常返非常返fii1零常返零常返i=常返常返fii=1( )1limniinip( )lim0niinp( )1niinp ( )1niinp 4.4 渐近性质与平稳分布渐近性质与平稳分布 考虑考虑 渐近性质渐近性质 定理定理4.13 如如j非常返或零常返，则非常返或零常返，则 证证 若若j非常返，则由定理非常返，则由定理4.5， 从而从而若若j零常返，则由定理零常返，则由定理4.7推论，推论，)(nijpIipnijn, 0lim)( )1njjnp 0lim)(njjnp0lim)(njjnp4.4 4.4 渐近性质与平稳分布渐近性质与平稳分布由定理由定理4.4，对，对N0, pi +ri+qi=1。此马尔