随机过程 第四章2PPT学习教案

1、会计学1随机过程随机过程 第四章第四章2图所示：状态间的转移规律如下。空间例如：设马氏链的状态9 , 2 , 1I 给出如下定义：受确定性问题的启发，的最大公约数。，是，而但，虽然，对正数的可能步数再返回状态出发从状态由图易见12202022,12,10, 8 , 6 , 41,1,1111nnnppTT3132第2页/共37页 0, 1.01npnnDCGdnpnniiii：状态的周期，记为：该集合的最大公约数为非空，则称，：定义：如集合，则称无周期。，其周期，即若对任意，不定义为空集的：注：对于使0)(10)(, 1npninpnniiii。是周期的，周期为状态非周期的。对上例来说为，则称

2、为周期的；如，称通常，如21,11idid第3页/共37页0. 01,3 ,2 ,ndpMnMdnpnndinddddid，i，iiii有对一切一定有对任何的，当然这并不意味着回到状态步，系统是不可能来说，除非经对则说明的周期若为状态由定义可知第4页/共37页 是否两个具有相同周期的状态所表现出来的性质基本一致呢?下例可说明并非如此。，状态转移图如下：例：设4 , 3 , 2 , 1I。后，它再也不能返回到转移到状态则不然，当，而状态出发经两步必定返回到，但由状态的周期都为与状态由图可知232233232，第5页/共37页简称首达概率。的概率，步首次到达状态出发，经为自状态，而称：，：即的时刻

3、。出发首次进入状态状态为从，称随机变量、定义：对任意两个状态首达概率jniniXjXnvjXPnTPnfnjXiXnTjiTjimnmvmijijnmmijij1/11)(1,min. 2第6页/共37页 jijiiiiijivnijnnpppiXnvjXjXPnft112111/11 ,00作出发时刻，则无关。所以，如果以刻知，首达概率与出发时注：由齐次马氏链性质的条件概率。出发经有限步可达，表示从出发，迟早要到达状态它表示从状态，即的条件概率经有穷步后终达状态的条件下，氏链位于状态另一个重要概念是：马jijiTPnfffjiijnijijij1)(第7页/共37页。非常返的，如为；称状态为

4、常返的，如定义：称状态常返性概念11. 3iiiififi下：马氏链的状态转移图如例.2121212132311第8页/共37页 也为常返的。，即状态，2121)2( ,21)(, 0) 1 (212222122221nnnnnffnnff为非常返的；即状态故，由图知：对一切400)(4444,f,nfn 也为非常返的；即状态，故31321032)1 (333333f,nn,ff 为常返的；即状态，11212121212) 1 (1111111111fffff第9页/共37页( )1niiinnf遍历状态。非周期的正常返态称为为零常返的。则称常返态反之，如为正常返的；，则称常返态定义：如iii

5、i考虑第10页/共37页 321232122111112221111nnnnnnnfnnf如上例，故它们都是遍历状态。，又因其周期都是都是正常返态与状态故状态1,21第11页/共37页的关系。与)()(. 4npnfijij)()()(,1,1knpkfnpnjinkjjijij有：及定理：对任意状态i0knjj)()(, 11 ,/, 11 ,/, 11 ,/)(100101knpkfjXkvjXiXjXPiXjXkvjXPiXjXjXkvjXPiXjXPnpnkjjijkvnknkvnknkvonij证：第12页/共37页 率之和的形式。分解成较低步的转移概可以把的关键性公式，它们方程及此

6、定理是马氏链npkcij11)()()()(1)0(nkjjijijijjjknpkfnpnfnkp，取第13页/共37页000,321332211qppqqpp，I转移的矩阵为：间例：设马氏链的状态空1p2p3p2q3q1q的概率。步转移首次到达各状态出发经求从状态n10, 12,1,2,)(1313131121mmnppqmmnqqpqnfmm第14页/共37页0, 12,1,2,)(1212121131mmnqqpmmnppqpnfmm同理：1, 121,210)(321231321321312312132111mmnqqpqqppqppmmnppqqqqppn，nfmmmm第15页/共

7、37页)()()(,1,1knpkfnpnjinkjjijij有：及定理：对任意状态 ( )rijirrjIpnpk pnk第16页/共37页判别常返状态及性质如何用常返性的判别及其性质二)(.npij 111,100iiiiniiiiniiffnpifnpi则非常返如为常返的充要条件为：定理：状态 sFsPnfnpfpiiiiiiii与的母函数为与，再设证：规定0)0(, 1)0(第17页/共37页1)()()()()(1nknpkfnpnfnpiinkiiiiijij的关系有：与由1)()(1)()(00sskfsFsskpsPkkiikkii有：求和并对两边乘以于是对1,10ns，s第1

8、8页/共37页)(11)()()(1)(sFsPsPsFsP，故即)()()()()()()()()(01111sPsFsknpskfsknpskfsknpkfsnpknkniikkiiknkniikkiinniikiinnii第19页/共37页 0100)()(lim1)(1)()(100)(niisniiNnniiiinpsPNssPsnpsPsnpNsnp，则有再令，不减，故在上式中先令时，由于当有：正整数与给定的，故对任意的因为01)()(limniiiisfnfsF类似地可证得：第20页/共37页命题得证！则若即可得：再根据常返状态的定义两边令在000)(111)(11)(1)(11

9、)(niiiiiinniiiinp，ffnpnp，ssFsP第21页/共37页下面解释这个定理的结论：的次数表示马氏链状态位于，若iiXiXnnnnn001 首先令随机变量)(/11/0000000000npiXiXPiXPiXEiXEiXEniinnnnnnnn而的平均次数。返回出发再实际上表示了马氏链从可见iinpnii0)(第22页/共37页。穷极限的平均次数将有一个有非常返时，则返回为而当状态的次数将无限地增加；下去时，返回续为常返且过程无限地继定理式告诉我，若状态iifiiii11是非常返的。则状态若是常返的；则状态若结论：i，npi，npniinii00)()2()() 1 (第2

10、3页/共37页0,)(limiiiiiindidndpd，i时当的平均返回时间为其中则常且有周期定理：设状态(1)lim( )01(2)lim( )0iiniiniip np n由此定理立即得：i f 常返，零常返；正常返第24页/共37页状态分类判别法状态分类判别法状态分类判别法常返态正常返零常返非常返态)(0 nnpiinnpii0 0niinp 0niinp第25页/共37页三三.状态之间的关系状态之间的关系(可达、互通可达、互通)。且，如果互通，并记为与；称状态，使如果存在某个，并记作可达状态定义：称状态ijjijijinpnjijiij0)(0。则如果；则即如果关系都具有传递性定理：

11、可达关系与互通kikjjikikjji,第26页/共37页kimlmplpmplpmlpkcmpmkjlpljiIsjkijskisikjkij, 10)()()()()(:0)(10)(1且方程由，使，即存在，使，即存在证： 将可达关系的证明,正向用一次，反向用一次，就可得出互通关系的传递性。第27页/共37页互通关系的状态是同一类型.有相同的周期。与同为正常返或零常返；为常返，则它们同为常返或非常返，如与则定理：如果jijij，i)2() 1 ( 00)()()()()(0)(, 0)(1niinjjiiijiijijjjiijnpmnkpnpmpnpkpmnkpkcnkpmpmkji方程

12、，有于是，对任意正整数，使与，故存在正整数证：因为第28页/共37页 也是常返的；因此，状态更有，故则为常返若j，npmnkpnpinjjnjjnii000)(,或同为有限。为无穷相互控制，所以它们同与有类似地0000)()()()(njjniinjjniijjiinpnpnpmnkpnpmnkp，第29页/共37页 为常返的；即，为常返，则若inpnpjniinjj00 也非常返，反之也真；故为非常返，则由若jnpnpinjjnii00也为零常返。为零常返，则若同理也是零常返的。再由为零常返，则若ij，jnpnpmnkpnpijjnjjiiiin0)(lim)(0)(lim第30页/共37页

13、 。，故也能证得：；由对称性，则应有的周期为即状态的最大公约数：整除，设集能被整除，所以整除又能被既能被故而，有的，则对任一使的周期证明：设jiijjijjjiiiijjiijjidddddddjnpnndmknmkdmkpnpmknpnnpdi00, 00)(1)2(第31页/共37页础。这是分解状态空间的基态具有相同的性质此定理说明：相通的状.Iippp，Iiii,21,21,2121001,00转移概率为：，间为例：设马氏链的状态空21212121212121210第32页/共37页2111101000000000011122121,21)(,81212121)3(,412121)2(,21) 1 (, 0 xxxxnxnfnffffnnnnnnnnn进一步常返故一般有由上图易知考查状态第33页/