随机过程5(4.4)

1、引例引例 考虑只有考虑只有0,1两个状态的齐次马氏链，其转移概两个状态的齐次马氏链，其转移概率矩阵为：率矩阵为：11P01对状态对状态0,T0有分布有分布(1)(2)00001,ff ( )00001nnETnf( )200,(1),nnf(3)00(1),f另一方面另一方面1(1)nnPlimnnP( )( )0101lim,limnniinnpp记为，记为，例例1：设齐次马尔科夫链：设齐次马尔科夫链X=Xn, n0的状态空间的状态空间S=1,2,3,4，一步转移概率矩阵为，一步转移概率矩阵为123311144210000100=000P讨论极限讨论极限 是否存在，若存是否存在，若存在是否与

2、初始状态在是否与初始状态i有关有关. ( )1lim( =1,2,3,4)ninpi4 转移概率的极限与稳态性能转移概率的极限与稳态性能问题问题 马尔可夫链是否具有统计意义下的稳态性马尔可夫链是否具有统计意义下的稳态性,即要即要回答以下问题回答以下问题?,( ),1i jS当n 时, 转移概率数列( )nijp是否收敛?,( ),2i jS若( )limnijnp存在,此极限是否与初始状态i无关? (3)在怎样的条件才能保证( )limnijnp存在且与初始状态i无关?( )limijnjnp而此时， 是否为一概率分布？1. 转移概率的极限转移概率的极限由已有知识可知由已有知识可知(1)ji若

3、 为或时,返零常返对非常有lim0nijnp（ ）ji是正常返且 是总假定非正常返ji和 属于同或者一个正常返类但但! 又由已有知识可知又由已有知识可知(2)j当 为正常返周期状态时limnjjnp（ ）不存在limnijnp（ ）就这样讨论极限将无意义.那么那么,如何讨论如何讨论 ? ? ?由周期链的性质得到启由周期链的性质得到启发发我们讨论我们讨论()jndrijnp 当时的极限问题1,2,jrd()0( ),1,2,jndrijijjnfrfi jSrd记( )ijjfrinmdr表示系统从状态出发，在某时刻首次到达状态j的概率.()110( )()jjjddndrijijrrnfrf

4、且()01()jjdndrijnrf ()1mijmfijf定理定理1 设设j是正常返状态，则是正常返状态，则()lim( ),1,2,jndrjijijjnjjdpfriS rd其中jj是j的平均转回时间.证明证明( )0njjjdnp不能整除 时，01jldrnvl仅当时， ， ,()0jndjvrjp ()()( )1jjjijndrndrndr vvijjjvpfp ()()0jjijnldrn l djjlfp()()()0jjjijnndrldrn l dijjjlpfp即1Nn 对()()()()(1)()00jjjjjjijijijldrn l dndrldrnNl dlNnN

5、drjjijjjlllfppfpfNn 固定 ，让得()()()0limlimjjjijldrndrndrjijijnnljjNdfpp01()()jjijijNldrldrjlljjNdffN 再让得()lim( )jndrjijijnjjdpfr,1,2,jiS rd结论结论设012,SDCCC其中D为非常返状态集，0C为零常返状态集，(1,2,)mCm为正常返状态闭集，则0( )00,lim0,ijmnijjjnmlmmjDCiSfjCiSpjCiCClmjCiDC遍历，有周期，一般不存在，有周期，定义定义 设,0,1,2,nXn 是一个马尔可夫链，如果,i jS( )lim,0,1,n

6、ijjjjnj Cp且,jjS则则构成一概率分布，称为马尔可夫链,0,1,2,nXn 的极限分布极限分布. 是什么呢是什么呢？j如果马氏链是不可约遍历链如果马氏链是不可约遍历链，则对任意的则对任意的i, j有=1ijf，故故：( )1lim=nijnjjp从而不可约遍历链转移概率的极限存在，且与初始从而不可约遍历链转移概率的极限存在，且与初始状态无关状态无关.进一步有以下定理，给出不可约遍历链的转移概率进一步有以下定理，给出不可约遍历链的转移概率的极限与极限分布的关系的极限与极限分布的关系.且此极限值是线性方程组且此极限值是线性方程组 满足条件满足条件定理定理6.4.2 设齐次马尔可夫链设齐次

7、马尔可夫链,0,1,2,nXn 是不可约的遍历链，则是不可约的遍历链，则( )1lim=nijjnjjpjS，0,1jjj Sxx的唯一解的唯一解。=jiiji Sxx p证明证明( )1lim=nijjnjjpnijj SSp（ ）由 是闭集limliatoumff由F引理(与lim交换,且)得1=1jj Sj Sjj对任意的j S ,由（6.30）式得m又对 自然数 ，由-方程()( )()n mnmijikkjk CpppFatoun 令取极限，并应用引理()(*)mjkkjk Sp(,*.)( )jSm 反证法证明对自然数只能是等号成立00 0()11mkjk Cj jkkjp若使得(

8、*)jS对式关于求和()()mkkjk Sjj Sj Sp()(mkjkjk SSpkk S()矛盾()mjkkjk Spm 令，并应用控制收敛定理1jj Sm=1时，自然有时，自然有jkkjk Sp例例 1 设状态空间为设状态空间为S=0,1,2,的马尔可夫链的马尔可夫链, 其一步其一步 转移概率矩阵为转移概率矩阵为0.50.40.10.30.40.30.20.30.5P骣= 桫试求它的极限分布试求它的极限分布解解 易知此链为不可约遍历链易知此链为不可约遍历链. 故极限分布故极限分布0121 02162p=12362p=21862p=00limlimnnijijnnpp（ ）（ ）研究一个不

9、可约的马尔可夫链是否为遍历，可通过对极限的讨论，由于计算困难平稳，可分以通过对布的讨论结论结论 不可约马尔可夫链是遍历链的充要条件不可约马尔可夫链是遍历链的充要条件 是极限分布存在且唯一是极限分布存在且唯一.2 平稳分布平稳分布定义定义 称概率分布,iiS是转移概率矩阵为()ijpP的马尔可夫链的一个平稳分布平稳分布.如果,jiiji SpjS（ ）说明说明 若齐次马尔可夫链有一个平稳分布若齐次马尔可夫链有一个平稳分布:,iiS( ),1,2,ijnjii SjS np则也有定理定理6.4.3 设,iiS是齐次马尔可夫链,0,1,2,nXn 的一个平稳分布，如果取,iiS为,0,1,2,nXn

10、 的初始分布初始分布，即0(),iP XiiS(1) 则对任意的正整数则对任意的正整数n，都有，都有(),niP XiiS(2)并且对任意的正整数并且对任意的正整数n，m,以及以及1120, ,nntti iiS 和有和有12121212(,)(,)nntmtmtmntttnP Xi XiXiP Xi XiXi证明证明00(1)()() ()nnk SP XiP Xk P Xi Xk( )nkkik SpiiS1212(2)(,)ntmtmtmnP Xi XiXi1212(,)ntttnP Xi XiXi0121002(,)ntmtmtniSmPXi XiXXii1201002(,),ntmt

11、mtmniSPXi XiXiXi100 112011 21()()()nnnntttttmii iiiiiiSppp121111 2()()nnnnitttti iiipp12111211()(nntttntntP Xi XiP Xi XiP Xi说明了说明了 若链有平稳分布若链有平稳分布,且以它作为初始分布且以它作为初始分布,则其绝对则其绝对分布是确定的分布是确定的,保持不变保持不变.且该链是严平稳的序列且该链是严平稳的序列.对一个齐次的马尔可夫链是否存在平稳分布对一个齐次的马尔可夫链是否存在平稳分布?一个重要的问题一个重要的问题:如果存在如果存在,是否唯一是否唯一?如何计算如何计算?在特殊

12、情况下在特殊情况下,回答上述问题回答上述问题,即定理即定理(5.4.)6定理定理6.4.4 设,0,1,2, 是齐次马尔可夫链不可约nXn其状态空间 中的每个状正常态都是返状态.S1,0,1,2,.njjjXnjS则有唯一的平稳分布特别的，特别的，若S 中的每个状态都是遍历状态遍历状态，则1,0,1,2,. 有唯一的平稳分布njjjXnjS且此时的平稳分布就是极限分布且此时的平稳分布就是极限分布.,jkkjk Skk SpjS平稳分布通过平稳分布通过求解右方程组求解右方程组其次其次 对一般的马尔可夫链对一般的马尔可夫链,如果不是不可约如果不是不可约,则极限则极限分布一定不存在分布一定不存在.平

13、稳分布可能存在平稳分布可能存在,也可能不存在也可能不存在.若存在若存在,可能不唯一可能不唯一(有无穷多个有无穷多个)有定理有定理(6.4.5)定理定理6.4.5 设012,HCCCQSD其中D是非常返状态集，C0是零常返状态集，(1,2,)mCm是正常返状态的不可约闭集，0,QDCHC 0,如果jjj SjS为齐次马尔可夫链的平稳分布的，使得11(2)0,(3),（ ）jjjjjQjC,则jjS充要条件是存在非负数列推论推论 对于齐次马尔可夫链对于齐次马尔可夫链(1) 其其平稳分布存在的充要条件平稳分布存在的充要条件是是存在正常返状态的存在正常返状态的 不可约闭集不可约闭集.等价地等价地,不存

14、在平稳分布的充要条件是不存在平稳分布的充要条件是 H= (2) 存在存在唯一的平稳分布唯一的平稳分布的充要条件是的充要条件是恰有一个正常恰有一个正常 返状态的不可约闭集返状态的不可约闭集.(3) 存在存在无穷多个平稳分布无穷多个平稳分布的充要条件是的充要条件是至少有两个至少有两个 不同的正常返状态的不可约闭集不同的正常返状态的不可约闭集.(4) 不可约链存在唯一的平稳分布的充要条件是不可约链存在唯一的平稳分布的充要条件是 所有所有 状态都是正常返状态状态都是正常返状态.例例2 设齐次马尔可夫链的状态空间设齐次马尔可夫链的状态空间S=0,1,2,3,4,其其一步转移概率矩阵为一步转移概率矩阵为1

15、2000331200033120003312000331200033P求它的平稳分布求它的平稳分布解解 易知是不可约链易知是不可约链,且为遍历链且为遍历链. 故其平稳分布存在且唯一故其平稳分布存在且唯一.012341 0131p=1231p=2431p=3831p=41631p=平稳分布为平稳分布为8161243131 313131=，例例3 设有状态空间设有状态空间S=0,1,2,3,4,5,6的齐次马尔可夫链的齐次马尔可夫链 其一步转移概率矩阵为其一步转移概率矩阵为0.50.50000002/ 31/ 300001/ 302/ 300000000.50.5000000.50.5000000

16、01011111117777777P(1)试对试对S进行分类，并说明各状态类型进行分类，并说明各状态类型(2) 求平稳分布，其平稳分布是否唯一？为什么？求平稳分布，其平稳分布是否唯一？为什么？(3) 求求22(10),(20)nnnnP XXP XX121713121712122312501634132312(1) 123SDCCC+=UUU60,1,23,45=UUU(2) 由由(1)知知,该链有三个不同的正常返不可约闭集该链有三个不同的正常返不可约闭集所以平稳分布不唯一所以平稳分布不唯一三个闭集对应的转移概率矩阵分别为三个闭集对应的转移概率矩阵分别为1122213311233000P骣=

17、桫112221122P骣=桫()31P =解方程组解方程组(1)(1)1(1)(1)(1)1231(2)(2)2(2)(2)121(3)(3)3(3)11(1)332888 , , =(2)1122 , =(3)1=11122223388238,0,llllll=平稳分布为平稳分布为12312310llllll+=， ， ，(2)201(10(3)nnP XXp(2)202(20)nnP XXp11127222312=+=111236=例例2 设齐次马尔可夫链的状态空间设齐次马尔可夫链的状态空间S=0,1,2,3,4,5,6,其一步转移概率矩阵为其一步转移概率矩阵为0000100001/31/

18、3001/3001/2001/2000010001/20001/200003/4001/4001/2001/200P试求（试求（1）周期）周期d0（2）迟早概率）迟早概率f11（3）平均返回时间）平均返回时间660000100001/31/3001/3001/2001/2000010001/20001/200003/4001/4001/2001/200P0461325116611,63f例例5 甲乙两人进行某种比赛，设每局比赛中甲胜的概甲乙两人进行某种比赛，设每局比赛中甲胜的概率为率为 , 乙胜的概率为为乙胜的概率为为 , 平局的概率为平局的概率为 , 其中，其中， 设每局比赛后，胜者的设每局比赛后，胜者的1分，负分，负者的者的-1分，平局不计分，当两人中有一人得分，平局不计分，当两人中有一人得2分时比分时比赛结束，以赛结束，以 表示比赛至第表示比赛至第 局时甲获得的分数，则局时甲获得的分数，则是一齐次马氏链是一齐次马氏链（1）写出状态空间；写出状态空间；（2）写出一步转移概率矩阵；写出一步转移概率矩阵；（3）求在甲获得求在甲获得1分的情况下，再赛分的情况下，再赛2局甲胜的概率局甲胜的概率0,nXn; 1, 0,rqprqppqrn1000000000000001qrpqrpqrpP2222222210000202220200001qrprpqprpqr