时间连续状态离散的马尔科夫过程

1、马尔科夫过程1、马尔科夫过程的定义 其状态空间12 , ,.NEi ii任意m个时刻 及任意正数s，满足则称nX为马尔科夫过程。定义：设时间连续状态离散的随机过程( ),(0,)X tt，若对任意整数m12, ,. ,mt tt12, , .,mi iijE1122|( ),( ), .,()mmmP X tsj X tiX tiX ti|()mmmP X tsj X ti2、转移概率及性质( ,)|( ),0,0ijpt tsP X tsj X tits( )=( ,)|( ),0,0ijijpsp t tsP X tsj X tits(1) 0( )1, (2)( )1,ijijjpsps

2、,1,2,.()i j 有限或无限一般的，规定性质时齐马尔科夫过程的转移概率1,(0)=0,ijijijpij3 3 切普曼切普曼- -柯尔莫哥洛夫方程（柯尔莫哥洛夫方程（C-KC-K方程）方程）()( )( ),0,1,2.ijirrjrpstps pti j 转移概率之间有如下关系: 对 ，有0,0ts4 初始分布与绝对分布（1）初始分布为一马尔科夫过程，其状态空间, 2, 1, 0 E或为有限子集。令(0)(0),ipP XiiE且对任意的Ei(0)(1)0ip(0)(2)1ii Ep(0),ipiE则称 为该马尔科夫过程的初始分布，也称初始概率。初始概率是在初始时间 时处于状态i的概率

3、。0t ，均有( ),(0,)X tt0t 当 时，取各状态的概率称为绝对概率或绝对分布。设为一马尔科夫过程，其状态空间, 2, 1, 0 E或为有限子集。令( )( ),iptP X tiiE且对任意的Ei(1)( )0ip t (2)( )1ii Ep t( ),ip tiE则称 为绝对分布，也称绝对概率。均有（2）绝对分布( ),(0,)X tt绝对概率由初始分布和相应的转移概率唯一确定。绝对概率由初始分布和相应的转移概率唯一确定。(0)( )( )( )jiiji Ep tP X tjpp t科尔莫哥洛夫向前和向后方程1、速率函数( ),(0,)X tt若是状态有限的马尔科夫过程，设0

4、1,lim( )0,ijijtijp tij0( )lim,0,1,.ijijijtp tqi jNt(0 )ijqpijq称为速率函数，即速率函数刻画了过程的转移概率函数在零时刻对时间的变化率2、速率函数的性质(1)0,0,1,.iiqiN(2)0,0,1,.ijqiji jN0(3)0Nijjq，性质(3)的证明：000( )=limNNijijijtjjp tqt000( )=lim=0NNijijjjtp tt0,1,.iN定理 设随机连续状态有限马尔科夫过程的转移 概率函数为 ，速率函数为 ，则有科尔莫哥洛夫向前方程科尔莫哥洛夫向后方程0( )( ),0,1,2,.Nijikkjkd

5、p tpt qi jNdt0( )( ),0,1,2,.Nijikkjkdp tq pti jNdt( )ijp tijq注：无限马尔科夫过程也有类似结论证明：0( )()( )limijijijtdp tp ttp tdtt 00( )()( )limNikkjijktpt ptp tt 000( )()( )limNNikkjikkjkktpt ptptt 000()( ) lim( )NNkjkjikikkjtkkptptpt qt 证明20( )()( )limijijijtdp tp ttp tdtt 00()( )( )limNikkjijktpt ptp tt 000()( )(

6、 )limNNikkjikkjkktpt ptptt 000()(lim)( )( )NNikikkjikkjtkkptptq ptt 遍历性定义 若马尔科夫过程转移概率的极限lim( ),ijjtp tpi jE存在且与 无关，则称此马尔科夫链具有遍历性此时，若满足为转移概率函数的极限分布i0,1jjjpp则称,jpjE遍历性111lim( )lim( )1NNNijijjttjjjp tp tp10,1,1,2,.NjjjppjN即在此称为转移概率的极限分布若马尔科夫过程为有限状态的，显然有，满足说明1：,1,2,.jpjN构成一个概率分布有限状态的遍历的马尔科夫过程必存在极限分布遍历性,1,2,.jpjN10,1,1,2,.jjjppj1( )1,ijjp tjE即若马尔科夫过程为无限状态的，则有，又因为说明2：不一定构成一个概率分布无限状态的遍历的马尔科夫过程不一定存在极限分布，只有其极限概率构成概率分布时才存在极限分布1( )1Mijjp t11lim lim( )lim1MMijjMtMjjp tp绝对概率的极限( )(0)limlim( )tjiijttippp t(0)(0)lim( )iijijjtiipp tppp( )limtjjtpp即：绝对概率的极限与转移概率的极限相同即定理 对有限马尔科夫过程，如果存在正数 ，则此链是遍历的，0