第12讲极限定理及平稳分布

1、1随机数学随机数学第第12讲讲 极限定理及平稳分布极限定理及平稳分布教师教师: 陈陈 萍萍2i 为瞬时态为瞬时态( )01.iiniinfp ( )( )01lim0iinniiiinnfpp i 为常返态为常返态( )()()1nnmn mijijjjmpfp3 定理定理3.2.6 设马氏链的状态空间为设马氏链的状态空间为E，(1) 对任意对任意i, j E，若，若 ij，则它们同为常返态或瞬时，则它们同为常返态或瞬时态；而且当态；而且当i, j是常返态时，是常返态时，i, j 同为正常返态或同为同为正常返态或同为零常返态；零常返态；(2) 不可约的有限齐次马氏链的状态都是正常返的。不可约的

2、有限齐次马氏链的状态都是正常返的。定义定义3.2.7 如果集合如果集合n :n1, 0，称该数集，称该数集的最大公约数的最大公约数d(i)为状态为状态i的周期的周期.若若d(i)1，称，称i为为周周期期的，若的，若d(i)=1，称，称i为非周期的为非周期的. niip定义定义3.2.8 若状态若状态 i为正常返态的且非周期的，则称为正常返态的且非周期的，则称i为为遍历状态遍历状态. 如果如果Markov链链的所有状态都是遍历态的所有状态都是遍历态,则称该则称该Markov链是遍历的链是遍历的.4小结小结相通、相通、闭集闭集、不可约不可约状态状态常返常返瞬时瞬时正常返、正常返、零常返零常返周期周

3、期、非周期非周期遍历遍历定理定理3.2.7 设马氏链的状态空间为设马氏链的状态空间为E， i, j E，（1）若）若 i E是一个周期态，且是一个周期态，且 ij，则，则 j 也是周期也是周期态，且态，且di= dj ；（2）若此链不可约，且对）若此链不可约，且对i E有有pii 0，则此链是非，则此链是非周期链。周期链。53.3 状态空间分解定理状态空间分解定理01, ,ijkkfi jRR或任意任意Markov链的状态空间链的状态空间E可唯一分解为有限或可可唯一分解为有限或可列个互不相交的子集之和列个互不相交的子集之和其中其中 (1)N由全体瞬时态组成由全体瞬时态组成;(2)每个每个 或或

4、 是零常返或正常返态组成的不可约是零常返或正常返态组成的不可约闭集闭集;(3)每个每个 或或 中的状态同类中的状态同类.它们有相同的周期它们有相同的周期,且且kR0kR0kRkR6例例3.4.1 设设Markov链的转移矩阵为链的转移矩阵为1,011qpqqppP(1) 试求状态试求状态1,2的的n步首达概率并求步首达概率并求(2) 求求Pn并考虑当并考虑当 的情况的情况.n2 , 1,ii3.4 极限定理及平稳分布极限定理及平稳分布 1211112101,1,1|1,.fp fP XXXpq 2111,2,3,.nnfpqq n 21111211nnnnpqnfpnpqqq 7 212222

5、21,1,2,3,.,nnpqfq fqpp np 1112211,1,2,.;1,1,2,.nnnnfpp nfqq n例例3.4.1 设设Markov链的转移矩阵为链的转移矩阵为10,11ppPp qqq(1) 试求状态试求状态1,2的的n步首达概率步首达概率.8例例3.4.1 设设Markov链的转移矩阵为链的转移矩阵为10,11ppPp qqq(2) 求求Pn并考虑当并考虑当 的情况的情况.n 01,1IPpq 1110,10111qpppqpqQDQqpqpqpq111ppPQDQqq911111nnnnnnqppqpppqpqpqqqpqpqpqpqpqPQD Qlimnnqppq

6、pqqppqpqP 112211;limlimnniinnqppqpqPP10定理定理3.4.1 若状态若状态j是周期为是周期为d的常返态的常返态,则则jndjjndplim推论推论3.4.1若状态若状态j是常返态是常返态,则则j是是0常返态常返态 0njjp极限定理极限定理定理定理3.4.2 若若j是瞬时态或零常返态是瞬时态或零常返态, 则对任意则对任意i S, 0limnijnp11定理定理3.4.3 若若j是正常返态且周期为是正常返态且周期为d, 则对任意则对任意i及及 ,有有10dr limnd rrijijnjdpf推论推论 设设Xn是不可约遍历链是不可约遍历链 ,则则 i,jEE

7、1lim0nijnjp12定义定义3.4.1 对于马氏链对于马氏链X n，n 0,概率分布概率分布称为是平稳的称为是平稳的,若若Sii,ijSiijp平稳分布与极限分布平稳分布与极限分布定理定理 3.4.4 不可约不可约Markov链是遍历链链是遍历链 对任意对任意i, j S，存在仅依赖于，存在仅依赖于j 的常数的常数 j，使得，使得( )limnijjnp j称为称为Markov链的极限分布链的极限分布. 且有且有ijSiijp13例例3.3.2 设有设有6个车站个车站,车站中车站中间的公路连接情况如图间的公路连接情况如图.汽车汽车每天可以从一个站驶向与之每天可以从一个站驶向与之直接相邻的

8、车站直接相邻的车站,并在夜晚到并在夜晚到达车站留宿达车站留宿,次日凌晨重复相次日凌晨重复相同的活动同的活动.设每天凌晨汽车开设每天凌晨汽车开往临近的任一车站都是等可往临近的任一车站都是等可能的能的,试说明很长时间后试说明很长时间后,各站各站每晚留宿的汽车比例趋于稳每晚留宿的汽车比例趋于稳定定.求出这个比例以便正确地求出这个比例以便正确地设置各站的服务规模设置各站的服务规模.125364P10014 P100=P100P100 = 0.1250 0.1875 0.1250 0.1875 0.1250 0.2500 0.1250 0.1875 0.1250 0.1875 0.1250 0.2500

9、 0.1250 0.1875 0.1250 0.1875 0.1250 0.2500 0.1250 0.1875 0.1250 0.1875 0.1250 0.2500 0.1250 0.1875 0.1250 0.1875 0.1250 0.2500 0.1250 0.1875 0.1250 0.1875 0.1250 0.250015Markov链的大数定律链的大数定律 (*张张) ,.2 , 1 , 0;,.2 , 1,110rXfZnXfSrjrjkkrnkkn设设Markov链链Xn的状态空间的状态空间S是由单一相通的常返是由单一相通的常返类组成类组成.令令f 是状态空间是状态空间S上的实值函数上的实值函数, 表示过程第表示过程第r次到次到达状态达状态j的时间的时间. 记记 rj命题命题1 无论无论Xn的初始分布如何的初始分布如何,随机变量随机变量Z1, Z2,.是独立同分布的是独立同分布的.命题命题2 设设Xn是不可约正常返的是不可约正常返的Markov链链, 无论初始无论初始分布如何分布如何,如果对平稳