随机过程-14连续时间马尔科夫链课件

5.1连续时间马尔可夫链前面考虑的马尔科夫链中，我们假设状态的转移都是在单位时间内发生。本章将考虑连续时间模型:按照一定的转移概率从一个状态转移到下一个状态，但两次转移之间的时间间隔是一个连续的随机变量。例如泊松过程。5.1连续时间马尔可夫链前面考虑的马尔科夫链中，我们假设012345ITtt+τI

pi(0)

pi(t)012345ITtt+τIpi(0)p定义5.1设随机过程{X(t)，t0}，状态空间I={0,1,2,

}若对任意0

t1<t2<

<tn+1及非负整数i1,i2,

,in+1，有

P{X(tn+1)=in+1|X(t1)=i1,X(t2)=i2,

,X(tn)=in}=P{X(tn+1)=in+1|X(tn)=in}，则称{X(t)，t0}为连续时间马尔可夫链。定义5.1设随机过程{X(t)，t0}，状态空间I经过时间t后的转移概率转移概率：在s时刻处于状态i，经过时间t后转移到状态j的概率:

pij(s,t)=P{X(s+t)=j|X(s)=i}

定义5.2

齐次转移概率

pij(s,t)=pij(t)(与起始时刻s无关，只与时间间隔t有关)经过时间t后的转移概率转移概率：在s时刻处于状态i，经过时间经过时间t转移概率矩阵：P(t)=(pij(t))，i,j

I，t0经过时间t转移概率矩阵：定理5.1

齐次马尔可夫过程的转移概率具有下列性质：(1)(2)(3)定理5.1齐次马尔可夫过程的转移概率具有下列性质：(1)性质3用矩阵表示就是：性质3用矩阵表示就是：证由概率的定义，(1)(2)显然成立，下证(3)证由概率的定义，(1)(2)显然成立，下证(3)随机过程-14连续时间马尔科夫链课件定义5.3(1)初始概率(2)绝对概率(3)初始分布(4)绝对分布定义5.3(1)初始概率(2)绝对概率(3)初始分布(4)绝如果已知了初始分布则t时刻的分布为：如果已知了初始分布则t时刻的分布为：定理5.2

齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质：定理5.2齐次马尔可夫过程的绝对概率及有限维概率分布具有假定某个时刻，马尔科夫链进入状态i,然后在状态i停留，直到转移到另一个状态。设停留的时间为

i

，下面讨论

i服从什么样的分布。ss+t0

itT假定某个时刻，马尔科夫链进入状态i,然后在状态i停留，直到转ss+t0

iiiiti假定在进入状态i之后的s个单位时间中从未离开状态i(即没有发生过转移)，随后t个单位时间中仍未离开状态i的概率：它处于状态i至少t个单位时间的(无条件)概率：根据马尔科夫性，Tss+t0iiiiti假定在进入状态i之后的s个单位时间中可见，停留时间

i具有无记忆性，因此

i服从指数分布。假定

i的参数为vi，则

i的密度函数为平均停留时间且可见，停留时间i具有无记忆性，性质：若

i

为过程在状态转移之前停留在状态i

的时间，则对s,t

0

有(1)(2)

i

服从指数分布，即当vi=时，对于任意t，称状态i为瞬时状态；当vi=0时，称状态i为吸收状态；今后我们假定对一切i，0≤vi<

.性质：若i为过程在状态转移之前停留在状态i的时间，连续时间马尔科夫链的描述和假设：1、如果当前状态是i，到下一个转移的时间服从参数为vi的指数分布，且独立于之前的历史过程和下一个状态；2、如果当前状态是i，按照给定的概率pij到达下一个状态j，而且独立于之前的历史过程和转移到下一个状态的时间间隔。连续时间马尔科夫链的描述和假设：如果没有特殊说明，假设状态空间有限，状态空间的集合：S={1,2,......,m}引入以下随机变量：Xn:第n次转移后的状态,记为i1,i2,

Yn:第n次转移的时间，记为t1,t2,

Tn:第n-1次转移和第n次转移的间隔时间。Tn=Yn-Yn-1如果没有特殊说明，假设状态空间有限，状态空间的集合：转移概率和转移速率马尔科夫链进入状态i，在状态i停留，停留时间是参数为vi的指数分布，然后发生转移，转移到状态j的概率记为pij，称为转移概率，于是，直到第第n次转移发生之前，链所发生的事件是：（独立性）对所有的t

0

转移概率和转移速率马尔科夫链进入状态i，在状态i停留，停留时由于Tn服从指数分布，到下一个转移的平均时间为：所以我们可以认为vi是停留在状态i的单位时间上，转移出状态i的平均转移次数。于是，参数vi称为跳出状态i的转移速率。由于pij表示从状态i转移到状态j的概率,所以qij=vi

pij表示停留在状态i的单位时间上，从状态i到状态j的平均转移次数。从而我们称qij为从状态i到状态j的转移速率。由于Tn服从指数分布，到下一个转移的平均时间为：注意，给定转移速率qij，我们就可以通过下列公式计算转移速率vi：并利用下列公式计算转移概率：注意模型可能发生自身转移，就是从一个状态出发又回到该状态。但是，这样的自身转移没有观察意义：因为指数分布的无记忆性，直到下一个转移剩余的时间是一样的，不论自身转移是否发生。所以我们忽略自身转移，假设：pii=

qii=0，对所有的i注意，给定转移速率qij，我们就可以通过下列公式计算转移速由于在状态i的停留时间为

i服从指数分布，于是当t→0时，有称为正则性条件：正则性条件是说，过程刚进入某状态不可能立即又跳跃到另一个状态。由于在状态i的停留时间为i服从指数分布，马尔科夫链从状态i出发，经过时间Δt停留在状态i的概率为：发生转移的概率为发生转移的速率为：于是有：状态i到状态j的转移速率（跳跃强度）：并且有马尔科夫链从状态i出发，经过时间Δt停留在状态i的概率为：我们可以把转移速率写成矩阵的形式，记为Q，则矩阵行和为0,对角线元素为负或0,qij≥0注意：我们可以把转移速率写成矩阵的形式，记为Q，则例14一台运转中的机器会一直工作，直到警告信号产生。从开始工作一直到产生警告信号的时间服从参数为1的指数分布。产生警告之后，机器将被检修，检修的时间服从参数为5的指数分布。检修结果以1/2的概率将机器维修好，此时机器将恢复正常生产；而另一个可能结果是机器已经损坏(概率为1/2)，机器将送去修理。修理时间服从参数为3的指数分布。我们假设前面提到的随机变量都是相互独立的，且独立于检修结果。写出转移概率矩阵和转移速率矩阵。例14一台运转中的机器会一直工作，直到警告信号产生。从开始解令状态1,2,3分别表示正常工作，检修和修理。转移速率是v1=1，v2=5，v3=3.转移概率矩阵和转移速率矩阵表示如下解令状态1,2,3分别表示正常工作，检修和修理。转移速率是转移速率写成矩阵经过时间δ的转移概率矩阵近似为转移速率写成矩阵经过时间δ的转移概率矩阵近似为如果我们设则如果我们令S=δ→0，则如果我们设则如果我们令S=δ→0，则即即于是，即令δ→0，得于是，即令δ→0，得如果我们令如果我们令则有则有定理5.5(柯尔莫哥洛夫向前方程)在适当的正则条件下有矩阵形式：定理5.5(柯尔莫哥洛夫向前方程)在适当的正则条件下有矩阵另外一种考虑方法：另外一种考虑方法：于是，即令δ→0，得于是，即令δ→0，得写成矩阵的形式，即写成矩阵的形式，即定理5.4(柯尔莫哥洛夫向后方程)对一切i,j及t0，有矩阵的形式：定理5.4(柯尔莫哥洛夫向后方程)对一切i,j及t0，向后方程的矩阵形式：向前方程的矩阵形式：向后方程的矩阵形式：向前方程的矩阵形式：例5.2

设两个状态的连续时间马尔可夫链，状态转移概率满足试求解：例5.2设两个状态的连续时间马尔可夫链，状态转移概率满随机过程-14连续时间马尔科夫链课件随机过程-14连续时间马尔科夫链课件转移概率为转移概率为如果矩阵可以对角化，即其中D是对角阵，对角线上是Q的特征值，如果矩阵可以对角化，即其中D是对角阵，对角线上是Q的特征值，上例中，特征值与特征向量：上例中，特征值与特征向量：和前面的结果是一样的和前面的结果是一样的可以看出，当t→∞时类似于离散时间马尔科夫链，极限值称为稳态概率可以看出，当t→∞时类似于离散时间马尔科夫链，极限值称为稳例5.3机器维修问题。设例5.2中状态0代表某机器正常工作，状态1代表机器出故障。状态转移概率同例5.2，即在h时间内，机器从正常工作变为出故障的概率为：从有故障变为经修复后正常工作的概率；求t=0时正常工作的机器，在t=5时为正常工作的概率。例5.3机器维修问题。设例5.2中状态0代表某机器正常工作，解：Q矩阵为：根据题意，只需计算故：又所以解：Q矩阵为：根据题意，只需计算故：又所以随机过程-14连续时间马尔科夫链课件经过时间δ的转移概率矩阵近似为设稳态概率为则平衡方程组为：即：经过时间δ的转移概率矩阵近似为而故于是给出Zn的稳态收敛定理：而稳态收敛定理：考虑一个具有单个常返类的连续时间马尔科夫链，那么，状态j以及对应的稳态概率

j具有如下性质：(a)对每个j,有(b)

j是下列方程组的唯一解：另外有：

j=0,对所有的非常返态j

j>0,对所有的常返态j稳态收敛定理：为了进一步阐述平衡方程组，我们把

j看成过程花费在状态j上的时间平均长期频率。那么

kqkj就可以看成从k到j的转移的平均频率（单位时间内，转移从k到j的品均次数）所以平衡方程的本质就是从状态j开始的转移频率（方程的左边）等于进入状态j的转移频率（方程的右边）为了进一步阐述平衡方程组，我们把j看成过程花费在状态j上的为了进一步阐述平衡方程组，我们把

j看成过程花费在状态j上的时间平均长期频率。那么

kqkj就可以看成从k到j的转移的平均频率（单位时间内，转移从k到j的品均次数）所以平衡方程的本质就是从状态j开始的转移频率（方程的左边）等于进入状态j的转移频率（方程的右边）为了进一步阐述平衡方程组，我们把j看成过程花费在状态j上的例14一台运转中的机器会一直工作，直到警告信号产生。从开始工作一直到产生警告信号的时间服从参数为1的指数分布。产生警告之后，机器将被检修，检修的时间服从参数为5的指数分布。检修结果以1/2的概率将机器维修好，此时机器将恢复正常生产；而另一个可能结果是机器已经损坏(概率为1/2)，机器将送去修理。修理时间服从参数为3的指数分布。我们假设前面提到的随机变量都是相互独立的，且独立于检修结果。写出转移概率矩阵和转移速率矩阵,并求其稳态概率。例14一台运转中的机器会一直工作，直到警告信号产生。从开始解令状态1,2,3分别表示正常工作，检修和修理。转移速率是v1=1，v2=5，v3=3.转移概率矩阵和转移速率矩阵表示如下解令状态1,2,3分别表示正常工作，检修和修理。转移速率是忽略o(δ)项，对应的马尔科夫链Zn的转移概率矩阵为平衡方程组和归一化方程为：唯一解为：忽略o(δ)项，对应的马尔科夫链Zn的转移概率矩阵为平衡方程注意要区分该稳态概率

j和嵌入马尔科夫链Xn的稳态概率嵌入马尔科夫链的平稳方程组和归一化方程为：得到：注意，尽管(转移到状态1的次数和到达状态2的次数相当),也有因为注意要区分该稳态概率j和嵌入马尔科夫链Xn的稳态概率注意，因为过程在状态1上花费的时间相对于花费在状态2上的时间要长。所以给定一个时刻t，过程X(t),更有可能处于状态1.一般情况，两组稳态概率是不同的。因为过程在状态1上花费的时间相对于花费在状态2上的时间要长。例15（排队论）在一个通信系统中到达缓冲器的信号包的过程是一个参数为λ的泊松过程，信号存放在容积为m的缓冲器里，每次只传输一个信号。但是如果缓冲期里的信号已满，新来的信号就会丢失。传输一个信号需要的时间服从参数为μ的指数分布。不同信号之间的传输时间是相互独立的，也独立于所有间隔时间。例15（排队论）在一个通信系统中到达缓冲器的信号包的过程是一设状态X(t