随机过程Ch5连续时间的马尔可夫链ppt课件

1、第五章 延续时间的马尔可夫链内容n延续时间的马尔可夫链n柯尔莫哥洛夫微分方程 有：及非负整数若对任意状态空间定义：随机过程，状态空间集为方便计，以下设参数一、定义和一般性质IiiitttIttXITnn121121,0, 2 , 1 , 00, 2 , 1 , 0, 0 ，为连续时间马尔可夫链，则称0/,/11221111ttXitXitXPitXitXitXitXPnnnnnnnn5.1 延续时间的马尔可夫链.)(/)(),(为转移概率：记isXjtsXPtspij 证明与前面类似或方程：显然为转移矩阵。，齐次的。记：称此连续参数马氏链为无关同样若转移概率与)()()(1)(, 0)(0,)

2、()()(,tPsPtsPsptpstpkctptptIjitptPtptspsIkkjikijIjijijijijijIjtp：jtXPtp：jj),()()(绝对分布绝对概率与Ijp：jXPp：jj),0()0()0(初始分布初始概率与分布具有以下性质：维氏链的绝对概率及有限定理：齐次连续参数马 证明与前面类似IinnniiiiiiinnijIiijijIiijIjjjttpttptppitXitXPptptptpptptptpn1121111211)()0()(,)(5)(4),()0()(31)(2, 0)(1 nnnnnnnnnnnnnnnnnniitXtXPiitXtXiitXtX

3、iXtXiitXtXPitXitXitXPttttX1111121211111111121,0/,/000有对任意量过程，且因为泊松过程是独立增马氏性，再证齐次性。证：先证泊松过程具有 为连续参数马氏链。，例：试证明泊松过程0ttX 即具有马尔可夫性因为另一方面/,/0/111111111111nnnnnnnnnnnnnnnnnnnnnnitXitXPitXitXitXPiitXtXPiXtXiitXtXPitXitXP， 0,!/tspijijteijsXtsXPisXjtsXPijijijt故整数，时由过程增量仅取非负当时，由泊松过程定义证：齐次性，当 无关，所以是齐次的。与sijtiji

4、jtetptspijtijij, 00,!, )(lim01lim)(.00正则性条件称此为连续性条件或规定正则性条件连续性条件一ItPjijitptijijt 阐明：过程刚进入某形状不能够立刻又腾跃到另一形状，这正好阐明一个物理系统要在有限时间内发生无限多次腾跃，从而耗费无穷多的能量这是不能够的，亦即经过很短时间系统的形状几乎是不变的。5.2柯尔莫哥洛夫微分方程 上的一致连续函数。是；均有，则对一切使若有；，则：马氏链满足正则性条件定理：设连续参数齐次, 0)(30)(0)(200)(1000tptptttptttpijijijii二二.Q矩阵矩阵 对延续参数马氏链而言，担当一步转移概率对延

5、续参数马氏链而言，担当一步转移概率角色的是转移强度，它是用转移概率函数在角色的是转移强度，它是用转移概率函数在0点点的导数来定义的。的导数来定义的。 ijijijhijijhtijijqhhphphpdttdptp000lim0lim)(则下列极限存在：转移概率，是齐次马尔可夫过程的定理：设 jiqhhpdttdpqqhhpdttdpijijhtijiiiiihtii0000lim21lim1:即 hohqhphohqhpijijiiii1:也即 1ijiiiiijijqijhiphq ho hijphq ho h称为齐次马尔可夫过程从状态 到状态 的转移速率或跳跃强度，定理的概率含义为：在一

6、个长为 的时间区间内，从状态 转移到其它状态的概率为：等于；而由状态 转移到状态 的概率等于。守的。称该马尔可夫过程为保可夫过程，有推论：对有限齐次马尔ijijiiqq状态空间有限即证：ijijiiijijijijhiihijijiiIjijqqqhhphhphphphp)(lim)(1lim)()(11)(00 矩阵。为转移速率矩阵，简称称记有限，若状态空间为QQqqqqqqqqqqQN，INNNNNNij212222111211, 21 尔可夫过程为保守的。为保守矩阵，对应的马称，满足若QqqIiqQiiijijij 主对角线上元素为负，非负，001000iiiiijijqhhpjiqhh

7、p 。各行元素之和都为负，其余元素非负，而矩阵主对角线上元素为又00111lim1limlim0110110QhhphhhpqhNjNjijijhNjNjijijhij 有限马氏链。为连续参数，定理：设前进方程与后退方程三NIttX, 2 , 10,. 0I!jjQtrjririjIrrjirijjQtetPtQPQtPdttdPtpqdttdpqtpdttdp或称为后退方程称为前进方程则 。，解出则采用向前方程较方便时，研究；当固定状态，解出，采用向后方程较方便时，研究最后所处状态在实际应用中，当固定IrtpNjtpiIrtpNitpjirijrjij, 2 , 1 , 0, 1 , 0年已

8、证明。，费勒在但两者的解都是同一的同，退方程在形式上有所不注：虽然前进方程和后1940 IjqtptpIrrjrj的方程：推论：绝对概率所满足 IrrjrrjIrIiiriIrrjirIiiijIiiIiijijqtpqtppqtpptpptpptp0000 QtptpdttpdpppptptptptpNN则可表示为：如果令：0,0,0)0(,1010由柯尔莫哥洛夫向前方程的矩阵方式可得 。，求时，当，时当，状态空间为过程状态离散的马尔可夫例：设有一参数连续，tpNqNiNjiqjiNIttXijiiij) 1(, 2 , 1, 2 , 1,1, 2 , 10, NrIrjririjrjiri

9、jtptpNqtpdttdp11解：由前进方程： IrijIrjririrtptptp11又 NjiNcetptNptptpNdttdpNtijijijijij, 2 , 1,.1111 jippijii0010，利用初始条件： NtijNtiieNtpNcjiNeNtpNcji11111111，时而当，时，当 为不可约的。，则称此马尔可夫链若所有状态都是互通的。，互通：。，不可达，则称，；若对一切，使，可达：状态关系状态分类与平稳分布四ijjijijijitpttptjiijij 0000. 1.n定理定理5.7 设延续时间马尔可夫链是不可设延续时间马尔可夫链是不可约的，那么有以下性质：约的

10、，那么有以下性质：n(1)假设它是正常返的，那么极限假设它是正常返的，那么极限 存在且等于存在且等于j 0，jI。这里。这里j 是是n的独一非负解，此时称的独一非负解，此时称j 0，jI是是该过程的平稳分布，并且有该过程的平稳分布，并且有n(2)假设它是零常返的或非常返的，那么假设它是零常返的或非常返的，那么)(limtpijtjjttp )(lim1,Ijjjkkjkjjjqq Ijitptpjtijt, 0)(lim)(lim分布就等于极限分布。平稳分布，且此时平稳返的充要条件是它存在定理：不可约链是正常链。马氏链是一个齐次马氏的指数变量。显然该的时间是参数为在状态之前，它停留状态的指数变

11、量，而在回到为停留的时间是参数之前马氏链在状态到状态续时间马氏链，在转移例：考虑两个状态的连1001 得到。由指数分布的无后效性其状态转移概率为：hhhphhhp001001 0, 00,10 xxexfXx的指数分布。服从参数为设器件寿命状态。状态，故障为为理由如下：设正常工作ttxedxetXPtt的概率为：正常工作，即寿命超过则器件在 , 0 无关与起始时间器件不坏的概率为：即在，小时，器件寿命超过已知器件用了thheeetXPhtXPtXPtXhtXPtXhtXPhphtthtththt01,/,00 hhhphphhhphhhphhhpn0101100000110110100状态状态状态状态 Qhhpqhhpqhhpqhhpqhhhh10010010011101100000limlim1lim1lim tptptptptptptptpQtPtP1110010011100100程：由柯尔莫哥洛夫前进方 ttetptpetptptptptptp00000001000001001 cetpeetpedtdtttt0000 tetpctp