转移概率的稳定性

转移概率的稳定性第1页，课件共34页，创作于2023年2月1.转移概率的极限由已有知识可知但!又由已有知识可知那么,如何讨论???第2页，课件共34页，创作于2023年2月由周期链的性质得到启发我们讨论第3页，课件共34页，创作于2023年2月定理1设j是正常返状态，则其中是j的平均转回时间.证明第4页，课件共34页，创作于2023年2月第5页，课件共34页，创作于2023年2月则推论设是齐次马尔可夫链，它的每个状态都是正常返的，而且都有周期d，状态空间S已经被唯一地分解成特别的，如果d=1,则第6页，课件共34页，创作于2023年2月证明在以上定理中取r=d,则有即得到结论.第7页，课件共34页，创作于2023年2月定理2设齐次马尔可夫链的状态空间为S,如果存在某正整数m,使的一步转移概率矩阵P的m次幂中的每个元素都大于0，则是不可约的,而且必存在极限且此极限与初始状态i无关，记为即有第8页，课件共34页，创作于2023年2月证明第9页，课件共34页，创作于2023年2月定理3设其中D为非常返状态集，为零常返状态集，为正常返状态闭集，则第10页，课件共34页，创作于2023年2月且此极限值与初始状态i无关，记作推论设是不可约的马尔可夫链，其状态空间S中的每个状态都是正常返非周期状态,则即第11页，课件共34页，创作于2023年2月定理4设C为互通的遍历状态构成的闭集，则证明第12页，课件共34页，创作于2023年2月第13页，课件共34页，创作于2023年2月定义设是一个马尔可夫链，如果构成一概率分布，称为马尔可夫链的极限分布.第14页，课件共34页，创作于2023年2月推论不可约马尔可夫链是遍历链的充要条件是极限分布存在且唯一.第15页，课件共34页，创作于2023年2月2平稳分布定义称概率分布是转移概率矩阵为的马尔可夫链的一个平稳分布.如果说明若齐次马尔可夫链有一个平稳分布:第16页，课件共34页，创作于2023年2月定理5设是齐次马尔可夫链的一个平稳分布，如果取为的初始分布，即(1)则对任意的正整数n，都有(2)并且对任意的正整数n，m,以及第17页，课件共34页，创作于2023年2月证明第18页，课件共34页，创作于2023年2月说明了若链有平稳分布,且以它作为初始分布,则其绝对分布是确定的,保持不变.且该链是严平稳的序列.对一个齐次的马尔可夫链是否存在平稳分布???一个重要的问题:如果存在,是否唯一????如何计算?????在特殊情况下,回答上述问题,即定理(5.4.)6第19页，课件共34页，创作于2023年2月

引理1设则必存在极限推论4如果齐次马尔可夫链是不可约的，它的所有状态都是常返状态，则有第20页，课件共34页，创作于2023年2月定理6设特别的，若S中的每个状态都是遍历状态，则且此时的平稳分布就是极限分布.平稳分布通过求解右方程组第21页，课件共34页，创作于2023年2月其次对一般的马尔可夫链,如果不是不可约,则极限分布一定不存在.平稳分布可能存在,也可能不存在.若存在,可能不唯一(有无穷多个)有定理(5.4.)7第22页，课件共34页，创作于2023年2月引理2

设C是周期为d的正常返状态的不可约闭集,则第23页，课件共34页，创作于2023年2月定理7设其中D是非常返状态集，C0是零常返状态集，是正常返状态的不可约闭集，为齐次马尔可夫链的平稳分布的充要条件是存在非负数列第24页，课件共34页，创作于2023年2月推论5

对于齐次马尔可夫链(1)

其平稳分布存在的充要条件是存在正常返状态的不可约闭集.等价地,不存在平稳分布的充要条件是H=Φ

(2)存在唯一的平稳分布的充要条件是恰有一个正常返状态的不可约闭集.(3)存在无穷多个平稳分布的充要条件是至少有两个不同的正常返状态的不可约闭集.(4)不可约链存在唯一的平稳分布的充要条件是所有状态都是正常返状态.第25页，课件共34页，创作于2023年2月定理8不可约齐次马尔可夫链具有平稳分布的充要条件是线性方程组有非零的绝对收敛解而且此时还有第26页，课件共34页，创作于2023年2月例1

设状态空间为S={0,1,2,}的马尔可夫链,其一步转移概率矩阵为试求它的极限分布解易知此链为不可约遍历链.故其平稳分布就是极限分布第27页，课件共34页，创作于2023年2月例2设齐次马尔可夫链的状态空间S={0,1,2,3,4},其一步转移概率矩阵为求它的平稳分布第28页，课件共34页，创作于2023年2月解易知是不可约链,且为遍历链.故其平稳分布存在且唯一.平稳分布为第29页，课件共34页，创作于2023年2月例3设有状态空间S={0,1,2,3,4,5,6}的齐次马尔可夫链其一步转移概率矩阵为(1)试对S进行分类，并说明各状态类型(2)求平稳分布，其平稳分布是否唯一？为什么？(3)求第30页，课件共34页，创作于2023年2月2501634(1)(2)由(1)知,该链有三个不同的正常返不可约闭集第31页，课件共34页，创作于2023年2月所以平稳分布不唯一三个闭集对应的转移概率矩阵分别为解方程组平稳分布为第32页，课件共34页，创