状态空间的分解

关于状态空间的分解第1页，课件共32页，创作于2023年2月定义第2页，课件共32页，创作于2023年2月引理7(有关闭集的判定和性质)证明(1)用数学归纳法第3页，课件共32页，创作于2023年2月第4页，课件共32页，创作于2023年2月引理8证明第5页，课件共32页，创作于2023年2月引理9设C是闭集,则当且仅当其中任何两个状态互通时,C为不可约的.证明第6页，课件共32页，创作于2023年2月推论齐次马尔可夫链是不可约的充要条件是它的任何两个状态互通特别关于有限状态的马尔可夫链有下面结论第7页，课件共32页，创作于2023年2月定理7(1)

有限齐次马尔可夫链所有非常返状态集D不可能是闭集.(2)有限齐次马尔可夫链不可能存在零常返状态.(3)不可约的有限齐次马尔可夫链的所有状态都是

正常返状态.证明第8页，课件共32页，创作于2023年2月第9页，课件共32页，创作于2023年2月定理8证明由以上的分析,可以得到状态空间的分解定理第10页，课件共32页，创作于2023年2月定理9齐次马尔可夫链的状态空间S可唯一地分解成有限个或可列无限多个互不相交的状态子集的并.即其中D是所有非常返状态构成的状态子集.所有常返状态构成的不可约闭集.每个状态子集中的状态有着相同的状态类型:(即或者均为零常返,或者均为正常返非周期,或者均为正常返周期且周期相同.)第11页，课件共32页，创作于2023年2月引理10证明第12页，课件共32页，创作于2023年2月定理10(周期链分解定理)证明思路:从三个方面证明(1)分解式的存在性(2)转移规则的合理性(正确性)(3)分解式的唯一性第13页，课件共32页，创作于2023年2月证明(1)分解式的存在性(2)转移规则的正确性第14页，课件共32页，创作于2023年2月(3)分解式的唯一性第15页，课件共32页，创作于2023年2月第16页，课件共32页，创作于2023年2月定理11证明(1)第17页，课件共32页，创作于2023年2月第18页，课件共32页，创作于2023年2月第19页，课件共32页，创作于2023年2月第20页，课件共32页，创作于2023年2月例1

设状态空间S={0,1,2}的马尔可夫链,它的一步转移概率矩阵为研究其状态间的关系以及状态类型120第21页，课件共32页，创作于2023年2月例2

设状态空间S={1,2,3,4}的马尔可夫链,它的一步转移概率矩阵为试分析状态类型第22页，课件共32页，创作于2023年2月1234第23页，课件共32页，创作于2023年2月例3

设{Xn,n=0,1,2,…}是一齐次马尔可夫链,状态空间

S={1,2,3,4,5},其一步转移概率矩阵为试分析状态类型第24页，课件共32页，创作于2023年2月12354第25页，课件共32页，创作于2023年2月例4

设齐次马尔可夫链的状态空间S={0,1,2,3,},其一步转移概率矩阵为试分析过程的周期性第26页，课件共32页，创作于2023年2月1203第27页，课件共32页，创作于2023年2月例5

设齐次马尔可夫链的状态空间S={1,2,3,4,5,6,7,8},

其一步转移概率矩阵为第28页，课件共32页，创作于2023年2月12534678第29页，课件共32页，创作于2023年2月例5

设齐次马尔可夫链的状态空间S={1,2,3,4,5,6,},

其一步转移概率矩阵为试分解此马尔可夫链,并写出各状态类型及周