随机过程教学课件：第四章 连续时间的马尔可夫链

1、第四章：连续时间的马尔可夫链v连续时间马尔可夫链定义v无穷小转移概率矩阵vKolmogorov向前方程与向后方程v连续时间马尔可夫链的应用定义5.1：设随机过程X(t),t0，状态空间I=in, n0，若对任意0t1t2tn1及i1,i2,in+1I，有)(|)()(,)(,)(|)(11221111nnnnnnnnitXitXPitXitXitXitXP则称X(t),t0为连续时间马尔可夫链。上式中条件概率的一般表现形式为),()(|)(tspisXjtsXPij定义：若pij(s,t)的转移概率与s无关，则称连续时间马尔可夫链具有平稳的或齐次的转移概率，此时转移概率简记为其转移概率矩阵简记

2、为)(),(tptspijij)()(tptijP时间轴0ts状态i状态i持续时间i|tPstsPiii在0时刻马尔可夫链进入状态i，而且在接下来的s个单位时间中过程未离开状态i，问在随后的t个单位时间中过程仍不离开状态i的概率是多少？一个连续时间的马尔可夫链，每当它进入状态i，具有如下性质：1. 在转移到另一状态之前处于状态i的时间服从参数为vi的指数分布；2. 当过程离开状态i时，接着以状态pij进入状态j，1ijijp当vi=时，称状态i为瞬时状态；当vi0时，称状态i为吸收状态。一个连续时间马尔可夫链是按照一个离散时间的马尔可夫链从一个状态转移到另一个状态，但在转移到下一个状态之前，它

3、在各个状态停留的时间服从指数分布，此外在状态i过程停留的时间与下一个到达的状态必须是相互独立的随机变量。定理：齐次马尔可夫过程的转移概率具有下列性质：1. 2. 3. 0)(tpij1)(IjijtpIkkjikijsptpstp)()()(正则性条件jijitpijt,0,1)(lim定义5.3对于任一t0，记IjjXPppjtXPtpjjj,)0()0(,)()(分别称pj(t),jI和pj,jI为齐次马尔可夫过程的绝对概率分布和初始概率分布。定理5.2齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质：1. 2. 3. 4. 5. 0)(tpj1)( IjjtpIiijijtpptp

4、)()(Iiijijptptp)()()(IinniiiiiiinnttpttptppitXitXPnn)()()()(,)(1121111211例题：证明泊松过程X(t)为连续时间齐次马尔可夫链定理5.3设pij(t)是齐次马尔可夫过程的转移概率，则下列极限存在：1. 2. 无穷小转移概率矩阵iiiiitqvttp)(1lim0引理5.1设齐次马尔可夫过程满足正则性条件，则对于任意固定的I,jI，pij(t)是t的一致连续函数。jiqttpijijt,)(lim0若连续时间齐次马尔可夫链是具有有限状态空间I=1,2, ,n，则其转移速率可构成以下形式的矩阵nnnnnnqqqqqqqqq101

5、111000100QQ矩阵的每一行元素之和为0，对角线元素为负或0，其余qij0利用Q矩阵可以推出任意时间间隔t的转移概率所满足的方程组，从而可以求解转移概率。定理5.4（ Kolmogorov向后方程）假设 ，则对一切i,j及t0，有 iiikikqq )()()(tpqtpqtpijiiikkjikij证明定理5.5（ Kolmogorov向前方程）在市担的正则条件下，则对一切i,j及t0，有 jjijjkkjikijqtpqtptp)()()(利用Kolmogorov向后方程或向前方程及下述初始条件，可以解得pij(t)0)0(1)0(ijiippKolmogorov向后和向前方程所求得

6、的解pij(t)是相同的在实际应用中，当固定最后所处状态j，研究pij(t)时（i=0,1, ），采用向后方程较方便；当固定状态i，研究pij(t)时（j=0,1, ），采用向后前程较方便；Kolmogorov向后和向前方程的矩阵表达形式为QPPQPP)()(t)(ttt连续时间马尔可夫链的转移概率的求解问题就是矩阵微分方程的求解问题，其转移概率由其转移速率矩阵Q决定。若Q是一个有限维矩阵，则上述矩阵方程的解为0!)()(jjQtjQtetP定理5.6齐次马尔可夫过程在t时刻处于状态jI的绝对概率pj(t)满足下列方程jkkjkjjjjqtpqtptp)()()(定义5.4设pij(t)为连续

7、时间马尔可夫链的转移概率，若存在时刻t1和t2，使得0)(, 0)(1tptpjiij则称状态i和j是互通的。若所有状态都是互通的，则称此马尔可夫链为不可约的。转移概率pij(t)在t时的性质及其平稳分布关系定理5.7设连续时间的马尔可夫链是不可约的，则有下列性质：1. 若它是正常返的，则极限 存在且等于j0，jI。这里j是方程组 的唯一非负解，此时称j,jI是该过程的平稳分布，并且有2. 若它是零常返的或非常返的，则)(limtpijt1Ijjjkkjkjjjqqjjttp)(limIjitptpjtijt, 0)(lim)(lim例题5.2考虑两个状态的连续时间马尔可夫链，在转移到状态1之前在状态0停留的时间是参数为的指数变量，而在回到状态0之前它停留在状态1的时间是参数为的指数分布，求该马尔可夫链的平稳分布和在时刻t的绝对分布。例题5.3：机器维修问题设例题5.2中状态0代表某机器正常工作，状态1代表机器出故障。状态转移概