连续时间马尔可夫链ppt课件

1、第三节第三节延续时间马尔可夫链延续时间马尔可夫链1 延续时间马尔可夫链定义延续时间马尔可夫链定义延续时间的马尔可夫链是这样一种随机过程，它：具有无记忆性形状空间是离散的时间上是延续的与离散时间的马尔可夫链的不同在于其形状发生变化的时辰是恣意时辰，是延续值。1 延续时间马尔可夫链定义延续时间马尔可夫链定义取值在非负整数集E上的随机过程X=Xt, tT=0,), 假设对一切T中的时辰0t1t2tn+1及满足 的恣意形状 成立着那么称X是延续时间的马尔可夫链。(,1)0ktkP Xikn(1)kiEkn11|,1|nknnttkttnP Xj XiknP Xj Xinn1inin+1与此历史无关1

2、延续时间马尔可夫链定义延续时间马尔可夫链定义记pij(s,t)=P(Xt=j|Xs=i)假设此转移概率只与t-s有关，那么称它为X的齐次转移概率函数，此马氏链X为延续时间齐次马氏链。记pij(t),成为长度为t的时间区间上的转移概率为延续时间马氏链的齐次转移矩阵其中000102101112202122( )( )( ).( )( )( ).( )( )( )( )( ).i jptptptptptptP tptptptpt( )0( )1iji jjp tpt1/21/31/6(2.5)1/302/3100P例如：1 延续时间马尔可夫链定义延续时间马尔可夫链定义假设满足下述条件那么称P(t)是

3、X的规范转移矩阵。 有：01lim( )0ijtijp tij如如1(0)0(0)ijijpijPI2 K-C方程方程1.K-C方程：写成矩阵的方式:P(t+s)=P(t)P(s)2. K氏前向方程3. K氏后向方程Q称作密度矩阵，或瞬时概率转移矩阵，也叫瞬时强度转移矩阵，通常称作Q矩阵。()( )( )ijikkjkp tspt ps( )( )( )( )ijikkjkP tP tQptptq( )( )( )( )ijikkjkP tQ P tptqpt书31页3 Q矩阵矩阵假设 那么排队论中Q矩阵性质行和为0 对角线元素为负数假设Q矩阵中元素为0，那么表示这种直接转移不能够发生01li

4、m( )0ijtijp tij如如00() 1lim(0)(0)()lim(0)(,)(0)iiiiiiiiitijijiji jtptqpqqtptqpqijtQP 10642.52.50112Q例：3 Q矩阵矩阵齐次马尔可夫链形状之间的瞬时转移可以用图表示，图上标明形状之间瞬时强度转移值qij，叫形状流图10642.52.50112Q例：0122.56411形状流图4 Q矩阵矩阵P(t)根据K氏微分方程，可以从Q矩阵求得P(t), P(0)=I.例：调查E0,1的延续时间马氏链X，设t极小0110( )( )( )( )ptto tptto t4 绝对概率绝对概率初始分布(p0 ,p1 ,

5、p2 ,p3 , )pi=P(X(0)=i)=i(0)绝对分布(0(t), 1(t), 2(t), 3(t)j(t)=P(X(t)=j)=由初始分布与t时间区间转移概率矩阵求t时辰绝对分布 为求瞬时概率分布函数的方程组( )ii jippt( )( )(0)jkkjiikttqp初值：5 平稳分布平稳分布定义假设 存在，且 ，那么j称为齐次马尔可夫链的平稳分布如何判别延续马尔可夫链的平稳分布必定存在？转移概率矩阵是规范的不可约的齐次马氏链，那么极限存在，且与初始分布无关正常返的齐次马氏链，那么此极限值为平稳分布，且全部大于0lim( )()jjttjE1jj5 平稳分布平稳分布如何求离散马尔可

6、夫链的平稳分布？定理3.1假设 存在，那么 。根据假设存在平稳分布，那么lim( )()jjttjElim( )0jtt( )( )jiijittqlim( )lim( )jiijttittq001iijiiiqQ写成矩阵形式：4 平稳概率例题平稳概率例题一个延续时间的马氏链E=0,1,2,其形状强度转移矩阵和形状转移图为平衡方程：列出方程组得：110231011Q1021112012(,)0Q 01012120122030010121124主要公式对比主要公式对比离散时间马氏链延续时间马氏链转移概率一步转移概率 pij一步转移概率矩阵Pn步转移概率n步转移概率矩阵 P(n)t时间区间转移概率

7、 pij(t)t时间区间转移概率矩阵P(t)强度转移矩阵 Q瞬时分布初始分布 pin时辰分布初始分布 pit时辰分布 j(t)平稳分布(n)ijp(n)j主要公式对比主要公式对比离散时间马氏链延续时间马氏链K-C方程前向方程后向方程瞬时分布平稳分布()( )()()n mnmijikkjkn mnmpppPPP()( )( )()( )( )ijikkjkp tspt psP tsP tP s( )( )( )( )ijikkjkP tP tQptptq( )( )( )( )ijikkjkP tQ P tptqpt ( )( )(0)( )(1)()nnkkiknnniiiP Xip pPP( )( )jii jitppt( )( )jkkjkttq()0PIP 0Q6 两个定理两个定