随机过程-14连续时间马尔科夫链课件

5.1连续时间马尔可夫链前面考虑的马尔科夫链中，我们假设状态的转移都是在单位时间内发生。本章将考虑连续时间模型:按照一定的转移概率从一个状态转移到下一个状态，但两次转移之间的时间间隔是一个连续的随机变量。例如泊松过程。012345I

jpij(t,τ)Ttt+τI

pi(0)

pi(t)定义5.1设随机过程{X(t)，t0}，状态空间I={0,1,2,}若对任意0t1<t2<<tn+1及非负整数i1,i2,,in+1，有

P{X(tn+1)=in+1|X(t1)=i1,X(t2)=i2,,X(tn)=in}=P{X(tn+1)=in+1|X(tn)=in}，则称{X(t)，t0}为连续时间马尔可夫链。经过时间t后的转移概率转移概率：在s时刻处于状态i，经过时间t后转移到状态j的概率:

pij(s,t)=P{X(s+t)=j|X(s)=i}

定义5.2

齐次转移概率

pij(s,t)=pij(t)(与起始时刻s无关，只与时间间隔t有关)经过时间t转移概率矩阵：P(t)=(pij(t))，i,jI，t0定理5.1

齐次马尔可夫过程的转移概率具有下列性质：(1)(2)(3)性质3用矩阵表示就是：证由概率的定义，(1)(2)显然成立，下证(3)正则性分布律转移方程时间离散时间连续定义5.3(1)初始概率(2)绝对概率(3)初始分布(4)绝对分布如果已知了初始分布则t时刻的分布为：定理5.2

齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质：假定某个时刻，马尔科夫链进入状态i,然后在状态i停留，直到转移到另一个状态。设停留的时间为i

，下面讨论i服从什么样的分布。ss+t0itTss+t0iiiiti假定在进入状态i之后的s个单位时间中从未离开状态i(即没有发生过转移)，随后t个单位时间中仍未离开状态i的概率：它处于状态i至少t个单位时间的(无条件)概率：根据马尔科夫性，T可见，停留时间i具有无记忆性，因此i服从指数分布。假定i的参数为vi，则i的密度函数为平均停留时间且性质：若i

为过程在状态转移之前停留在状态i

的时间，则对s,t0

有(1)(2)i

服从指数分布，即当vi=时，对于任意t，称状态i为瞬时状态；当vi=0时，称状态i为吸收状态；今后我们假定对一切i，0≤vi<.连续时间马尔科夫链的描述和假设：1、如果当前状态是i，到下一个转移的时间服从参数为vi的指数分布，且独立于之前的历史过程和下一个状态；2、如果当前状态是i，按照给定的概率pij到达下一个状态j，而且独立于之前的历史过程和转移到下一个状态的时间间隔。如果没有特殊说明，假设状态空间有限，状态空间的集合：S={1,2,......,m}引入以下随机变量：Xn:第n次转移后的状态,记为i1,i2,Yn:第n次转移的时间，记为t1,t2,Tn:第n-1次转移和第n次转移的间隔时间。Tn=Yn-Yn-1转移概率和转移速率马尔科夫链进入状态i，在状态i停留，停留时间是参数为vi的指数分布，然后发生转移，转移到状态j的概率记为pij，称为转移概率，于是，直到第第n次转移发生之前，链所发生的事件是：（独立性）对所有的t0

由于Tn服从指数分布，到下一个转移的平均时间为：所以我们可以认为vi是停留在状态i的单位时间上，转移出状态i的平均转移次数。于是，参数vi称为跳出状态i的转移速率。由于pij表示从状态i转移到状态j的概率,所以qij=vi

pij表示停留在状态i的单位时间上，从状态i到状态j的平均转移次数。从而我们称qij为从状态i到状态j的转移速率。注意，给定转移速率qij，我们就可以通过下列公式计算转移速率vi：并利用下列公式计算转移概率：注意模型可能发生自身转移，就是从一个状态出发又回到该状态。但是，这样的自身转移没有观察意义：因为指数分布的无记忆性，直到下一个转移剩余的时间是一样的，不论自身转移是否发生。所以我们忽略自身转移，假设：pii=

qii=0，对所有的i由于在状态i的停留时间为i服从指数分布，于是当t→0时，有称为正则性条件：正则性条件是说，过程刚进入某状态不可能立即又跳跃到另一个状态。马尔科夫链从状态i出发，经过时间Δt停留在状态i的概率为：发生转移的概率为发生转移的速率为：于是有：状态i到状态j的转移速率（跳跃强度）：并且有我们可以把转移速率写成矩阵的形式，记为Q，则矩阵行和为0,对角线元素为负或0,qij≥0注意：例14一台运转中的机器会一直工作，直到警告信号产生。从开始工作一直到产生警告信号的时间服从参数为1的指数分布。产生警告之后，机器将被检修，检修的时间服从参数为5的指数分布。检修结果以1/2的概率将机器维修好，此时机器将恢复正常生产；而另一个可能结果是机器已经损坏(概率为1/2)，机器将送去修理。修理时间服从参数为3的指数分布。我们假设前面提到的随机变量都是相互独立的，且独立于检修结果。写出转移概率矩阵和转移速率矩阵。解令状态1,2,3分别表示正常工作，检修和修理。转移速率是v1=1，v2=5，v3=3.转移概率矩阵和转移速率矩阵表示如下转移速率写成矩阵经过时间δ的转移概率矩阵近似为如果我们设则如果我们令S=δ→0，则即于是，即令δ→0，得如果我们令则有定理5.5(柯尔莫哥洛夫向前方程)在适当的正则条件下有矩阵形式：另外一种考虑方法：于是，即令δ→0，得写成矩阵的形式，即定理5.4(柯尔莫哥洛夫向后方程)对一切i,j及t0，有矩阵的形式：向后方程的矩阵形式：向前方程的矩阵形式：例5.2

设两个状态的连续时间马尔可夫链，状态转移概率满足试求解：转移概率为如果矩阵可以对角化，即其中D是对角阵，对角线上是Q的特征值，上例中，特征值与特征向量：和前面的结果是一样的可以看出，当t→∞时类似于离散时间马尔科夫链，极限值称为稳态概率例5.3机器维修问题。设例5.2中状态0代表某机器正常工作，状态1代表机器出故障。状态转移概率同例5.2，即在h时间内，机器从正常工作变为出故障的概率为：从有故障变为经修复后正常工作的概率；求t=0时正常工作的机器，在t=5时为正常工作的概率。解：Q矩阵为：根据题意，只需计算故：又所以经过时间δ的转移概率矩阵近似为设稳态概率为则平衡方程组为：即：而故于是给出Zn的稳态收敛定理：稳态收敛定理：考虑一个具有单个常返类的连续时间马尔科夫链，那么，状态j以及对应的稳态概率j具有如下性质：(a)对每个j,有(b)j是下列方程组的唯一解：另外有：j=0,对所有的非常返态j

j>0,对所有的常返态j为了进一步阐述平衡方程组，我们把j看成过程花费在状态j上的时间平均长期频率。那么kqkj就可以看成从k到j的转移的平均频率（单位时间内，转移从k到j的品均次数）所以平衡方程的本质就是从状态j开始的转移频率（方程的左边）等于进入状态j的转移频率（方程的右边）为了进一步阐述平衡方程组，我们把j看成过程花费在状态j上的时间平均长期频率。那么kqkj就可以看成从k到j的转移的平均频率（单位时间内，转移从k到j的品均次数）所以平衡方程的本质就是从状态j开始的转移频率（方程的左边）等于进入状态j的转移频率（方程的右边）例14一台运转中的机器会一直工作，直到警告信号产生。从开始工作一直到产生警告信号的时间服从参数为1的指数分布。产生警告之后，机器将被检修，检修的时间服从参数为5的指数分布。检修结果以1/2的概率将机器维修好，此时机器将恢复正常生产；而另一个可能结果是机器已经损坏(概率为1/2)，机器将送去修理。修理时间服从参数为3的指数分布。我们假设前面提到的随机变量都是相互独立的，且独立于检修结果。写出转移概率矩阵和转移速率矩阵,并求其稳态概率。解令状态1,2,3分别表示正常工作，检修和修理。转移速率是v1=1，v2=5，v3=3.转移概率矩阵和转移速率矩阵表示如下忽略o(δ)项，对应的马尔科夫链Zn的转移概率矩阵为平衡方程组和归一化方程为：唯一解为：注意要区分该稳态概率j和嵌入马尔科夫链Xn的稳态概率嵌入马尔科夫链的平稳方程组和归一化方程为：得到：注意，尽管(转移到状态1的次数和到达状态2的次数相当),也有因为因为过程在状态1上花费的时间相对于花费在状态2上的时间要长。所以给定一个时刻t，过程X(t),更有可能处于状态1.一般情况，两组稳态概率是不同的。例15（排队论）在一个通信系统中到达缓冲器的信号包的过程是一个参数为λ的泊松过程，信号存放在容积为m的缓冲器里，每次只传输一个信号。但是如果缓冲期里的信号已满，新来的信号就会丢失。传输一个信号需要的时间服从参数为μ的指数分布。不同信号之间的传输时间是相互独立的，也独立于所有间隔时间。设状态X(t)表示t时刻对应系统中的信号数量(如果X(t)>0,X(t)-1表示表示队列中等待的信号数量，有一个信号正在被传输).当新信号达到，状态将增加1，当已存信号被传输，状态将减少1.下面用马尔科夫过程的描述性定义，证明X(t)确实是一个连续时间的马尔科夫链。首先考虑系统中为空的情况，也就是状态X(t)为0的情况。从状态0转移只有当新信号到达才能发生。这种情况下，状态变成了1.因为信号的到来是一个泊松过程，所以有于是接下来考虑系统中信号已满的情况也就是