马尔科夫链-遍历性与极限分布

1、马尔科夫链的遍历性遍历性定义2 若马尔科夫链转移概率的极限lim( ),ijjnpnpi jE存在且与 无关，则称此马尔科夫链具有遍历性此时，若满足为转移概率的极限分布定义1 若马尔科夫链中的所有状态互通且均为非周期的正常返状态，则称该链是遍历的i0,1jjjpp则称,jpjE遍历性111lim( )lim( )1NNNijijjnnjjjpnpnp10,1,1,2,.NjjjppjN即在此称为转移概率的极限分布若马尔科夫链为有限状态的，显然有，满足说明1：,1,2,.jpjN构成一个概率分布有限状态的遍历的马尔科夫链必存在极限分布遍历性,1,2,.jpjN10,1,1,2,.jjjppj1(

2、 )1,ijjpnjE即若马尔科夫链为无限状态的，则有，又因为说明2：不一定构成一个概率分布无限状态的遍历的马尔科夫链不一定存在极限分布，只有其极限概率构成概率分布时才存在极限分布1( )1Mijjpn11lim lim( )lim1MMijjMnMjjpnp绝对概率的极限( )(0)limlim( )njiijnnippp n(0)(0)lim( )iijijjniippnppp( )limnjjnpp即：绝对概率的极限与转移概率的极限相同即平稳分布,1.2,.jqj 定义若有限或无限数列满足0, (2)1jjjqq(1)则称它是概率分布如果此概率分布满足=jiijiqq p则称它是平稳分布

3、具有遍历性的马尔科夫链的平稳分布C-K方程：( )=()( )( )ijijirrjrpnpklpk pl1,l 令则对具有遍历性的马尔科夫链(1)( )(1)ijirrjrpkpk p, 令 k有lim(1)lim( )(1)ijirrjkkrpkpk plim( )irrjrrjkrrpk pp pjrrjrpp p即成立有限马尔科夫链转移概率的极限分布一定是平稳分布无限马尔科夫链转移概率的极限分布不一定是平稳分布若初始概率是平稳分布，则任意时刻的绝对概率分布等于初始分布，也即为平稳分布(0),1,2,.,iipq i设初始分布：1,2,.iqi 其中，是平稳分布1,2,. ,jqj 又，

4、对于平稳分布，有证=jiijkkiijiikqq pq pp (2)kkiijkkjkikqp pq p=( )jiijiqq pn更一般的，有若初始概率是平稳分布，则任意时刻的绝对概率分布等于初始分布，也即为平稳分布(0),1,2,.,iipq i设初始分布：1,2,.iqi 其中，是平稳分布证=( )jiijiqq pn更一般的，有又，由绝对分布与初始分布的关系，可得( )=( )=njiijjipq pnq即绝对分布为平稳分布定理 对有限马尔科夫链，如果存在正整数k，使则此链是遍历的( )0,1,2,.ijpki jN是方程组满足条件的唯一解lim( )ijjnpnp1,2,.jpjN，

5、1,1,2,.Njiijjpp pjN10,(2)1Njjjpp(1)注：此定理给出了求极限分布(平稳分布)的方法且极限分布例1 直线上带反射壁的随机游动，如果质点只能取1,2,3三个点，一步转移概率矩阵为讨论该链的遍历性，若具有遍历性，则计算其极限分布（平稳分布）000qppqpqp 解222222(2)2qpqqpppqqppqqppqp2(2)0,ijkp即 当时，有所以，此链具有遍历性， 计算二步转移概率矩阵因而存在平稳分布，极限分布即为平稳分布1,2,3jpj 下面求极限概率 ，121132233qpqppqpqppppppp解方程，可得123=1ppp2 -11=1+() pppqq2 -12=()1+() ppppqqq22 -13=() 1+() ppppqqq例2 若例1中，质点只能取1,2,3三个点，一讨论该链的遍历性，若具有遍历性，则计算其极限分布（平稳分布）步转移概率矩阵为0100010pqp解0100010qpp0(2)0100qpqpp010(3)(2)0010qppppp(21)npp一般的，有(2 )(2)n pplim( )ijnpn显然，转移概率的极限不存在，因此此链不具有遍历性例3 若例1中，质点只能取1,2,3三个点，一讨论该链的遍历性，若具有遍历性，则计算其极限分布（平稳分布）步转移概率矩阵为1000001pqp解1000001qp