连续时间马尔可夫链

第五章连续时间的马尔可夫链§5.1连续时间的马尔可夫链§5.2科尔莫哥洛夫微分方程§5.3生灭过程§5.1连续时间的马尔可夫链定义5.1设随机过程{X(t),t>0},状态空间I={0,1,2,…},若对任意0<t1<t2<…<tn+1及非负整数i1,i2,…,in+1,有P{X(tn+1)=in+1|X(t1)=i1,X(t2)=i2,,X(tn)=in}=P{X(tn+1)=in+1|X(tn)=in},则称{X(t),t>0}为连续时间马尔可夫链.定义5.2

过程在s时刻处于状态i,经过时间t后转移到状态j的概率pij(s,t)=P{X(s+t)=j|X(s)=i}称为转移概率.若转移概率与起始时刻s无关,只与时间间隔t有关,则称连续时间马尔可夫链具有平稳的或齐次的转移概率,记为pij(s,t)=pij(t),其转移概率矩阵简记为记为P(t)=(pij(t))

,(i,j∈I，t>0).连续时间马尔可夫链的性质若τi为过程在状态转移之前停留在状态i的时间,则对s,t>0有(1)(2)τi服从指数分布.证

ss+t0iiiiti(1)

如图所示,有(2)设由于可得由此可推出G(t)为指数函数,

设τi的分布函数为F(x),(x>0),则有

即有故τi服从指数分布.定理5.1齐次马尔可夫过程的转移概率具有下列性：(1)pij(t)>=0;(2)(3)证由概率的定义,(1)(2)显然成立,下证(3).注：转移概率的正则性条件正则性分布律转移方程时间离散时间连续时间离散与时间连续马尔可夫链的比较定义5.3(4)绝对分布(1)

初始概率设为连续时间的马尔可夫过程,则(2)绝对概率(3)初始分布定理5.2齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质：(1)

(2)

(3)

(4)

(5)

例5.1证明泊松过程{X(t),t>0}为连续时间齐次马尔可夫链.证先证泊松过程的马尔可夫性.根据定义知,泊松过程是独立增量过程,且X(0)=0,意0<t1<t2<…<tn<tn+1

,有另一方面对任所以即泊松过程是一个连续时间马尔可夫链.再证齐次性.当j>i时，当j<i时,因过程的增量只取非负整数值,故pij(s,t)=0,所以转移概率与s无关,泊松过程具有齐次性.§5.2科尔莫哥洛夫微分方程引理5.1设齐次马尔可夫过程满足正则性条件则对于任意i,j∈I,pij(t)是t的一致连续函数.定理5.3设pij(t)是齐次马尔可夫过程的转移概率,则下列极限存在注：以下讨论均假定马尔可夫过程满足正则性条件.呵称为齐次马尔可夫过程从状态i到状态j的转移速率(跳跃强度).一、转移概率pij(t)的性质推论对有限齐次马尔可夫过程,有证由定理5.1知即由于求和是在有限集中进行,故有说明对状态空间无限的齐次马尔可夫过程,一般只有二、柯尔莫哥洛夫方程若连续时间齐次马尔可夫链具有有限状态空间为问题：I={0,1,2,,n},则其转移速率可构成矩阵能否由Q可求转移概率矩阵P？定理5.4(柯尔莫哥洛夫向后方程)假设则对一切i,j及t>0,有由切普曼-柯尔莫哥洛夫方程有证定理5.5(柯尔莫哥洛夫向前方程)在适当的正则条件下有向前方程的矩阵形式:说明：向后方程的矩阵形式:若Q是一个有限矩阵,则有:定理5.6齐次马尔可夫过程在t时刻处于状态j∈I的绝对概率pj(t)满足方程:证由向前方程可得三、极限分布与平稳分布定理5.7设连续时间马尔可夫链是不可约的,则有定义5.4设pij(t)是连续时间马尔可夫链的转移概率,若存在时刻t1和t2,使得pij(t1)>0,pji(t2)>0,则称状态i与j是互通的.若所有状态都是互通的,则称此马尔可夫链为不可约的.类似地可以定义常返性与非常返性等概念.πj>0,j∈I.这里πj

是方程组(1)若它是正常返的,则极限存在且等于的唯一非负解,此时称{πj>0,j∈I}是该过程的平稳分布,且有(2)若它是零常返的或非常返的，则例5.2设两个状态的连续时间马尔可夫链,状态转移概率满足(1)

求转移概率矩阵(2)

讨论其平稳分布;(3)

若存在平稳分布,取初始分布为其平稳分布,求过程在时刻t的绝对分布.解

先求Q矩阵.(1)

由定理5.3,有若Q是一个有限矩阵,则有:于是进而有转移概率为转移概率的极限为(2)

故平稳分布为(3)

若取初始分布为平稳分布,即则过程在时刻t的绝对概率分布为例中马氏链有两个状态I={0,1},那么说明：上例中,(2)也可应用定理5.7求解.解之易得§5.3生灭过程一、生灭过程的定义生灭过程的一般描述：◎一种特殊的马尔可夫过程;◎其特征是系统在很短的时间内只能从状态i转移到i-1或i+1或保持不变.生灭过程的定义：定义5.4设齐次马尔可夫过程的状态空间为转移概率满足则称为生灭链,为出生率,为死亡率.若则称为线性生灭过程;若则称为纯生过程;若则称为纯灭过程.生灭过程的柯尔莫哥洛夫方程由定理5.3得故柯尔莫哥洛夫向前方程为柯尔莫哥洛夫向后方程为生灭过程的平稳分布由定理5.7,有逐步递推得利用可得平稳分布从上述推导过程可知生灭过程的平稳分布存在的充要条件是用记时刻系统中的人数,则

二、生灭过程实例◎排队系统假设顾客按照参数为的泊松过程来到一个有个服务员的服务站,即相继到达顾客的时间间隔是均值为

的独立指数随机变量.每一个顾客一来到,如果有空闲服务员,则直接进

行服务,否则进入队列等候.当一个服务员结束一个顾

客的服务后,顾客离开系统,排队中的下一位顾客进入服务.假定相继的服务时间是独立的指数随机变量,均值为.是生灭过程:上述生灭过程称为M/M/s排队系统.M表示马尔可夫

过程,s表示服务员的个数.是顾客到来速率，服务员的服务速率.特别,在M/M/1排队系统中,若

则由生灭过程的平稳分布公式可得是一个◎有迁入的线性增长模型若生灭过程的参数为

若则称该过程为有迁入的线性增长模型.有迁入的线性增长模型的实际意义：假定某生物群体中每个个体以指数率出生;群体由于外界迁入因素又以指数率增加,则整个出生率为

又假定生物群体中每个个体以指数率死亡,从而

若此时是一个纯生过程,称为尤尔过程.◎传染病模型考虑有个个体的群体,在时刻0由一个已感染的

的个体与个未受感染但可能被感染的个体组成.个体一旦感染将永远地出于此状态.假设在任意长为的时间内任意一个已感染的个体将以概率引起任意未感染者感染.

用记时刻群体中已受感染的个体数,则过程

是一个纯生过程:记为直至整个群体被感染的时间,为从第个已感染者到第个已感染者的时间,则有由于是相互独立的随机变量,其参数分别为故有对于规模合理的群体,渐进地为

◎机器维修设有台机器,个维修工人.机器或者工作,或者损坏等待修理.机器损坏后,空着的维修工立即来修

理,若维修工不空,则机器按先坏先修排队等待维修.假设在时间内,每台机器从工作转到损坏的概率为

每台修理的机器转到工作的概率为用记时刻