随机过程-p第五章

第五章连续时间可夫链主讲人§

5.1

连续时间

可夫链定义5.1设随机过程{X(t)，t

0}，状态空间I={0,1,2,}，若对任意0

t1<t2<<tn+1

及非负整数i1,i2,,in+1

，有P{X(tn+1

)=in+1|X(t1

)=i1,X(t2

)=i2,,X(tn

)=in}=P{X(tn+1

)=in+1|X(tn

)=in}，则称{X(t)，t

0

}为连续时间可夫链。2015/5/12随机过程3转移概率：在s时刻处于状态i，经过时间t后转移到状态j

的概率pij(s,t)=

P{X(s+t)=j|X(s)=i}定义5.2若转移概率pij(s,t)与起始时刻s无关，只与时间间隔t有关，即pij(s,t)=pij(t)，则称该连续时间可夫链具有平稳的或齐次的转移概率。转移概率矩阵P

(t)=(pij(t))

，i,jI，t

02015/5/12随机过程4记i为过程在状态转移之前停留在状态i的时间，则对s,t0有2015/5/12随机过程5P{

i

s

t

|

i

s}

P{

i

t}i

服从指数分布2015/5/12随机过程6s

s+t0iitii{

i

s}

{X

(u)

i,0

u

s

|

X

(0)

i}{

i

s

t}

{X

(u)

i,0

u

s,X

(v)

i,

s

v

s

t

|

X

(0)

i}证(1)

事实上iP{i

s

t

|

i

s}

P{X

(u)

i,0

u

s,P{X

(

u)

i,0

u

t|

X

(0)

i}

P{i

t}P{X

(

v)

i,

s

v

s

t

|

X

(s)

i}X

(

v)

i,

s

v

s

t

|

X

(u)

i,0

u

s}

P{X

(v)

i,s

v

s

t

|

X

(u)

i,0

u

s}条件概率可夫性齐次性7随机过程2015/5/12tt

t

}P{

i

t

}

-

P{

i

t

}t0dt

lim

P{

it0

dP{

i

t

}

lim

P{

i

t

t

}

-

P{

i

t

}P{i

t}

P{i

s

t

|

i

s}

P{i

s

t,

i

s}

P{i

s

t}P{i

s}

P{i

s}P{i

s

t}

P{i

s}

P{i

t}令s

0，则P{i

t

}

P{i

0}

P{i

t}

P{i

0}

1(2)设i的分布函数为F(t),(t

0),F

t

Pi

t

1

Pi

t8随机过程2015/5/122015/5/12随机过程9iiidt

P{

tt

}

-

1

P{

令dP{i

0

}

-，则dP{i

t

}

-

dP{i

0

}dt

dt

dt

P{

i

t

}

e-t

F

(t)

1

-

P{

i

t

}

1

-

e-t概率密度函数f

(t)

e-t即i

服从指数分布。

t

}

dP{

i

0

}

t

}

-

P{i

0}t

P{

t

}

lim

P{

it

}

lim

P{

it0t0过程在状态转移之前处于状态i的时间i服从指数分布10F

(

x)

1

ei

xi(1)当i=时，F

(

x)

1,

P{

x}

1

F

(

x)

0,i

i

i状态i的停留时间i超过x的概率为0，则称状态i为瞬时状态；(2)当i=0时，F

i

(

x)

0,

P{

i

x}

1

F

i

(

x)

1,状态i的停留时间i超过x的概率为1，则称状态i为吸收状态。2015/5/12

随机过程定理5.1齐次

可夫过程的转移概率具有下列性质：pij(t)0;

pij

(t)

1;jIpij

(t

s)

pik

(t)

pkj

(s)kI证由概率的定义，(1)(2)显然成立，下证(3)11随机过程2015/5/12kI

P{X

(t

s)

j

|

X

(t)

k,

X

(0)

i}kI

P{X

(t)

k

|

X

(0)

i}

P{X

(t

s)

j

|

X

(t)

k}P{X

(t)

k

|

X

(0)

i}kI

pkj

(s)

pik

(t)

pik

(t)

pkj

(s)kI

kIpij

(t

s)

P{X

(t

s)

j

|

X

(0)

i}

P{X

(t

s)

j,

X

(t)

k

|

X

(0)

i}12随机过程2015/5/12注：此为转移概率的正则性条件。ij0

,

i

jlim

p

(t)

1

,

i

jt0由Pii

0

1,

Pij

0

0(i

j)知13随机过程2015/5/12(3)初始概率分布pj

pj

(0)

P{X

(0)

j},

j

I(2)绝对概率

pj

(t)

P{X

(t)

j},

j

I

,

t

0p

,

j

Ij(4)绝对概率分布

p

(t)

,

j

I,

t

0j定义5.3(1)初始概率14随机过程2015/5/122015/5/12随机过程15(1)

pj(t)0

(2)(5)iI(3)

pj

(t)

pi

pij

(t)

(4)

p

j

(t

)

pi

(t)

pij

(

)jI

pj

(t)

11

)iIP{X

(t1

)

i1,,

X

(tn

)

in

}

pi

pii1

(t1

)

piI定理5.2齐次

可夫过程的绝对概率及有限维概率分布具有下列性质：

P2015/5/12另一方面即泊松过程是续时间

可夫链。随机过程17P{X

(tn1

)

in1

|

X

(tn

)

in

}

P{X

(tn1

)

X

(tn

)

in1

in

|

X

(tn

)

X

(0)

in

}

P{X

(tn1

)

X

(tn

)

in1

in

}所以P{X

(tn1

)

in1

|

X

(t1

)

i1,,

X

(tn

)

in

}

P{X

(tn1

)

in1

|

X

(tn

)

in

}2015/5/122015/5/12随机过程18当j<i时,因增量只取非负整数值,故pij(s,t)=0，所以转移概率与s无关，泊松过程具有齐次性。(

j

i)!

P{X

(s

t)

X

(s)

j

i}

e再证齐次性当

ji

时，P{X

(s

t)

j

|

X

(s)

i}t

(t)

jiij

ij0,

j

i(

j

i)!

,

j

ip

(s,

t)

p

(t)

et

(t)

j

i§

5.2哥微分方程引理5.1设齐次

可夫过程满足正则性条件，则对于任意i,jI，pij(t)是t的一致连续函数。2015/5/12随机过程19可夫过程的转移概率，则下设pij(t)是齐次列极限存在2015/5/12随机过程20ijiiiiittp

(t)(2)

lim

ij

q

,

j

i1

p

(t)(1)

limt

0t

0

q

定理5.3称qij

为齐次

可夫过程从状态i

到状态j

的转移速率（跳跃强度）。可夫过程，有2015/5/12随机过程21j

iij

j

i

iiij

qtiit

lim

1

p

(t)q

limj

i1,

1

pii

(

t)

pij

(t)j

i

pij

(t)t

0t

0证

pij

(

t)jI推论对有限齐次可夫链具有有限状态空若连续时间齐次间I={0,1,2,,n}和为零，对角元素为负或为零，非对角元素qij大于或等于零。由Q

可求转移概率。由推论可知，Q矩阵的每一行元nn

Q

q1n110n22随机过程2015/5/12假设k

iikpij

(t)

qik

pkj

(t)

qii

pij

(t)k

i证

由切

-

哥

方程有pij

(t

h)

pik

(h)

pkj

(t)kIpij

(t

h)

pij

(t)

pik

(h)

pkj(t)

[1

pii

(h)]

pij(t)k

i定理5.4(哥

向后方程)，则对一切i,j及t0，有23随机过程2015/5/12p

(t)hhhp

(h)ijiikjikijijij1

p

(h)p

(t)

lim

limp

(t

h)

p

(t)p

(t)

lim

qik

pkj(t)

qii

pij

(t)k

ih0k

ih0h0pij

(t

h)

pij

(t)

pik

(h)pkj

(t)

[1

pii

(h)]

pij

(t)k

i2015/5/12随机过程24定理5.5(

哥

向前方程)在适当的正则条件下有pij

(t)

pik

(t)qkj

pij

(t)q

jjk

j向前方程的矩阵形式：P

(t)=P(t)Q(t)向后方程的矩阵形式：P

(t)=Q(t)P(t)形式虽然不同，但可以证明它们所求得解pij(t)是相同的。当固定状态i时，研究pij(t)(j=0,1,2,?，则采用向前方程较为方固定最后所处状态j时，研究pij(t)(i=0,1,2,?

，采用向后方程更好。25随机过程2015/5/12

2221

q01

q0211

q12Q

222120(t)

p

(t)

p

(t)p01

(t)p11

(t)ijP(t)

p

(t)

p

p00

(t)P

p10

(t)

p02

(t)

p12

(t)

,Q

(

t

)(Qt

)

nP

(t

)

e

n

0

n!若Q

是一个有限矩阵，则有26随机过程2015/5/12齐次

可夫过程在t时刻处于状态jI的绝对概率pj(t)满足方程：pj

(t)

pk

(t)qkj

p

j

(t)q

jjk

j定理5.627随机过程2015/5/122015/5/12随机过程28pj

(t)

pi

pij

(t)iIiI由向前方程pij

(t)

pik

(t)qkj

pij

(t)q

jjk

jpi

pij

(t)

pi

pik

(t)qkj

pi

pij

(t)q

jjk

j

pi

pij

(t)

pi

pik

(t)qkj

pi

pij

(t)q

jjiI

iI

k

j

iIpj

(t)

pi

pik

(t)

qkj

pi

pij

(t)

q

jjk

j

iI

iI

pk

(t)qkj

p

j

(t)q

jjk

j证明：pj

(t)

pi

pij

(t),定义5.4设pij(t)是连续时间可夫链的转移概率，若存在时刻t1和t2，使得pij(t1)>0，pji(t2)>0，则称状态i与j是互通的。若所有状态都是互通的，则称此 可夫链为不可约的。2015/5/12随机过程29定理5.7jI。这里j

是方程组的唯一非负解，此时称{j

>0，jI}是该过程的平稳随机过程30设连续时间 可夫链是不可约的，则有下列性质：(1)若它是正常返的，则极限

lim

pij

(t)

存在且等于j

>0，t

t

(2)若它是零常返的或非常返的，则分布，并且有lim

pj

(t)

jjI

j

1k

jkj

,

jlim

pij

(t)

lim

pj

(t)

0,

i,

j

It

t

2015/5/12例5.2可夫链，状态转移两个状态的连续时间概率满足101011110100hhh

limh1

p

(h)

p

(h)q

lim

10h0h0h0h0

q

p

(h)

h

o(h)

p01

(h)

h

o(h)则q

lim

1

p00

(h)

lim

p01

(h)

q31随机过程2015/5/12201

Q

2

11

Q

(

)Q

(

)

2

2

2

32随机过程2015/5/12Qtn!n!n!(Qt)nn!(Qt)n1Q

E

P(t)

en1n1n0

E

1

E

E

e(

)t1

[(

)t]n

Q

(

)

n1[(

)n1

]Qt

n33随机过程2015/5/12转移概率为ee(

)t

e(

)t(

)t

e(

)tp11100100

(

)

t(

)

t(

)t

e

p

(t

)

e

p

(t)

e

p

(t)

(t)

e(

)

t

34随机过程2015/5/12转移概率的极限为平稳分布为

01

11lim

p

(t)

lim

p

(t)

t

t

lim

p00

(t)

lim

p10

(t)

t

t

1

01

110

00

10

lim

p

(t)

lim

p

(t)

lim

p

(t)

lim

p

(t)

t

t

t

t

35随机过程2015/5/12若取初始分布为平稳分布，即

0

1p

,

p

(

)t(

)te

e则过程在时刻t

的绝对概率分布为p0

(t

)

p0

p00

(t)

p1

p10

(t)36随机过程2015/5/12

ee(

)t(

)

tp1

(t)

p0

p01

(t)

p1

p11

(t)37随机过程2015/5/12例5.3机械维修问题。设例5.2中状态0代表某机器正常工作，状态1代表机器出故障。状态转移概率与例5.2相同，即在h时间内，机器从正常工作变为出故障的概率为p01(h)=?h+o(h);在h时间内,机器从有故障经修复后正常工作的概率为p10(h)=?h+o(h)，试求在t=0时正常工作的机器，在t=5时仍然正常工作的概率。38随机过程2015/5/12

00

0

e-5

PX

5

0

p0

5

p0

p00

5

0

0

e-5

p00

5

0p00

t

0

0

e-t-

Q

-

PX

0

0

p0

1，，

其中

初始时刻机器的状态为正常工作，要求t时刻机器的状态仍为正常工作。只需计算p00

t

即可。由例5.2知解：由例5.2已经求得该过程的Q矩阵为2015/5/1239随机过程定义5.5i

i则称X

t

，t

0为生灭过程。i为出生率，i为死亡率。

pp

h

h

oh,§

5.3

生灭过程设齐次 可夫过程X

t

，t

0的状态空间为I

pi

,

j

h

oh,i

,ii

-

j

2i

0h

1

-

h

oh,i

0,0

0i

,i-1

ipi

,i1h

ih

oh,0,1,2，，转移概率为pijt

，如果2015/5/1240随机过程若i

i

,i

i

,是正常数

，则称X

i

,t

0为线性生灭过程。若

i

0，则称X

t

,t

0为纯生过程；若

i

0，则称X

t

,t

0为纯灭过程2015/5/1241随机过程dhqiidhdpij

hiiiii

-

j

2qij

0j

i

1 i

0j

i

-

1

i

1

qij

-dpii

hh0h0

，

i

0由定理5.3得2015/5/1242随机过程

1jIjk

jkj

,

j

j

j

j

j

-1

j1

j1

j1j1,

j

j

j

j

j

-1得：根据定理5.7：2015/5/1243