第5章 Markov过程(2)(使用版).ppt

1/34,1基本概念,2状态类别的划分和判别,3状态间的关系,返回概率平均返回时间周期,分类判别,第二节Markov链的状态分类及性质,定义（可达、互通）性质互通的两个状态之间的关系,4状态空间的分解,定义及重要结论（闭集、等价类）分解定理（两个定理）,2/34,一、基本概念,1.返回概率,自状态i出发，经过n步首次到达状态j的概率,自状态i出发，经有限步终于到达状态j的概率,自状态i出发，经有限步终于返回状态i的概率,3/34,定理1,说明1,该定理表示n步转移概率按照首次到达时间的所有可能值进行分解,说明2,4/34,首达时间,系统从状态i出发，首次到达状态j的时刻,称为从状态i出发首次进入状态j的时间，或称自i到j的首达时间。,如果这样的n不存在，规定,说明1,2.平均返回时间,5/34,说明2,平均返回时间,状态i的平均返回时间,6/34,状态i的周期,若di1,称i是周期的；若di=1,称i是非周期的。,说明1,3.周期,di体现系统的发展变化种状态i重复出现的概率周期。,说明2,若i的周期是di，并不是对所有的n满足,说明3,7/34,二、状态类别的划分及判别,1.状态类别的划分,状态i,非常返态,常返态,零常返态,正常返态,周期,非周期（遍历态）,常返态,非常返态,正常返态,零常返态,8/34,注,“常返”一词，有时又称“返回”、“常驻”或“持久”,“瞬时”也称“滑过”或“非常返”,定理2,证,则系统从状态i出发，经过有限次转移之后，必定以概率1返回状态i。,再由马氏性,系统返回状态i要重复发生,这样，系统从状态i出发，又返回，再出发，再返回，随着时间的无限推移，将无限次访问状态i。,9/34,将“不返回i”称为成功，,则首次成功出现的次数服从几何分布，,也就是说以概率1只有有穷次返回i。,即,10/34,2.判别,（1）判别是否常返态,定理3,11/34,2.判别,（2）判别是否零常返态、正常返有（非）周期,定理4,对任意给定的状态i，如果i是常返态且有周期di，则存在极限,12/34,2.判别,（3）判别是否有周期,13/34,三、状态间的关系,1.定义,状态i可达状态j,2.性质,简记为ij,状态i与状态j互通,ij,ji,且,传递性、对称性,3.利用首达概率刻画可达和互通关系,14/34,4.互通的两个状态的状态类型,互通的两个状态必有相同的状态类型,结论1,结论2,定理5,15/34,四、状态空间的分解,互通满足：自反性、对称性、传递性。,互通是一种等价关系,（常返态）,按互通关系是等价关系，可以把状态空间I划分为若干个不相交的集合（或者说等价类），并称之为状态类。若两个状态相通，则这两个状态属于同一类。任意两个类或不相交或者相同。,说明,（1）定义,16/34,A闭集,设C为状态空间I的一个子集，,则C称为闭集。,注1,若C为闭集，则表示自C内任意状态i出发，始终不能到达C以外的任何状态j。整个状态空间构成一个闭集。,吸收态,指一个闭集中只含一个状态,注2,若状态空间含有吸收状态，那么这个吸收状态构成一个最小的闭集。,17/34,B不可约的,设C为闭集，如果C中不再含有任何非空真闭子集，则称C是不可约闭集，或称不可约的，不可分的，最小的。,若整个状态空间是不可约的，则称此链为不可约马氏链。,A.有关闭集,B.有关等价类,（2）一些重要结论,18/34,结论2设C是闭集，当且仅当C中的任何两个状态都互通时，C是不可约的。,结论1等价类若是闭集，则必定是不可约的。,结论3齐次马氏链不可约的充要条件是它的任意两个状态均互通。,结论4包含常返态的等价类是不可约闭集。,19/34,例1,其一步转移矩阵为,试研究各状态间的关系，并画出状态传递图。,解,先按一步转移概率，画出各状态间的传递图,20/34,由图可知,状态0可到达状态1，经过状态1又可到达状态2；反之，从状态2出发经状态1也可到达状态0。,因此，状态空间I的各状态都是互通的。,又由于I的任意状态i(i=0，1，2)不能到达I以外的任何状态，,所以I是一个闭集,而且I中没有其它闭集,所以此马氏链是不可约的。,21/34,例2,其一步转移矩阵为,试讨论哪些状态是吸收态、闭集及不可约链。,解,先按一步转移概率，画出各状态间的传递图,22/34,闭集，,由图可知,状态3为吸收态,且,闭集，,闭集，,其中是不可约的。,又因状态空间I有闭子集，,故此链为非不可约链。,23/34,（3）状态空间的分解,如果已知类中有一个常返态，则这个类中其它状态都是常返的。,若类中有一个非常返态，则类中其它状态都是非常返态。,若对不可约马氏链，则要么全是常返态，要么全是非常返态。,定理6,任一马氏链的状态空间I必可分解为,其中N是非常返态集，,而且,24/34,如果从某一非常返态出发，系统可能一直在非常返集中，也可能进入某个常返闭集，一旦进入某个常返闭集后，将一直停留在这个常返闭集中；如果系统从某一常返状态出发，则系统就一直停留在这个状态所在的常返闭集中。,说明1,25/34,定理7,（1）非常返态集N不可能是闭集；（2）至少有一个常返态；（3）不存在零常返态；（4）若链是不可约的，那么状态都是正常返的（5）其状态空间可分解为,是互不相交的由正常返态组成的闭集。,说明2,26/34,（3）状态空间的分解,定理8(周期链分解定理),27/34,转移概率矩阵的标准形式,状态空间的分解,周期链的分解,28/34,例3,转移矩阵,试对其状态分类。,解,按一步转移概率，画出各状态间的传递图,Eg.,29/34,从图可知，此链的每一状态都可到达另一状态，即4个状态都是相通的。,考虑状态1是否常返，,30/34,类似地可求得,所以,于是状态1是常返的。,又因为,所以状态1是正常返的。,由定理可知，此链所有状态都是正常返的。,31/34,例4,转移矩阵,试对其状态分类。,32/34,例5,设马氏链的状态空间I=0,1,2,，转移概率为,试讨论各状态的遍历性。,解,根据转移概率作出状态传递图,33/34,从