概率论与数理统计-其他4第六章43马氏链

引知的条件下, 时刻t＞t0所处状态的条件分布与时刻t0状态空间为，若对于t的任意n个值t1<t2<…<tn,n3,有nnPX(t)nn

X(t1)

x1,X(t2)

x2,,X(tn1)

PX(tn)

xn

X(tn1)

xn1

xnnFt|tn

xn tn

x21

xn

tn1tt n1

xn tn

xn

X数。

n1

可夫性，或 可夫过程 记为｛Xn=X(n),n=0,1，2，…｝, 可夫性通常用分布率表示马氏链的定定义 0n1n2

m,ti,m,mn

n1PXnmjn1PXnmj|Xm

其中i.,i,jE,｛Xn,n=0,1，2，…｝为马氏链定义2设{Xn,n0},其状态空间为E,整数n

P

in1|

则称｛Xn,n0｝为马氏链0例.记从数1,2,…,N中任取一数为X，当n1时，记从数1,2,…,Xn-1中任取一数为Xn,证明｛Xn,n=0，1，0证：｛Xn,n=0，1，2,…｝的状态空间

E,

in1

可见,｛Xn,n=0，1，2,…｝是一个马氏链pij(m,

m

aj

|

aii转移概率的性(1)(2)

j

(k)(m,m

ij

(k)(m)

j

mk

j|

P a|

a

m

i 可夫链及一步转移概定义若对任意的正整数m,n及任意的i，jpijnpijm pijpij1

PXm1

j|Xm

称为马氏链的一步转移概率P1

ij1

p1 P(1)i

pi

p2 时间传输一级，X0是第一级的输入,Xn是第n（n≧1）,那么｛Xnn=0，1，2,…｝是一随机过程，p001p001p001当Xn=i,iE为已知时，Xn+1所处的状态的概率分布只与Xn=i有关，而与时刻n以前所处的状态无关，所以它pij

n1

j|Xn

iqq

jij

i,

qpP qqp

设{Xn,n0},其状态空间为E,

in1|

PijnPijm1P(1)i

pi

p2 概率规则是：如果Q现在位于点i(1<i<5)，则下一时刻各 ji ji3

1,1

1pij1

n1

j|Xn

i i1,j2或i5,j

ji|1212345110001/1/00 01/1/01/1/1/0001/1/10001043 43 5 例设Xn,n=0，1，2,…是独立同分布的随量列,记Xn可能取值的全体为E={i,i1},则{Xn}为马氏链，并

|X

i0 所以{Xn}

记

qi

i由于Xn,n=0，1，2,…PXq

P{Xm1

j|Xm所以{Xn}为齐次马氏链。其一步转移概率

qj

i,jE.数n,及i,j

有PXmn

j|Xm PXm1

j1,,Xnm1

jn1,Xnm

j|

而PXm1

i,Xm1

j1,,Xnm1

jn1,XnmPXm 1 1

ipijpj

pj

j

j1

jn1所以PXmn

m1n

j| m1m

m2n定义

(

mn

j|

jE,m

0,

为马氏链{Xn,n≥0}的n步转移概率p(n) p( p( 1 p(n) p( (n) P(n)

(n)

2

(

(

(

(

(n)定义设{Xn,n=0,1,…} 可夫链，称X0的分qj(0)=P{X0=jjE={1,2…}为{Xn,n=0,1,…称Xn的分布qj(n)=P{Xn=jnq(0)=(q1(0),q2(0),q(n)=(q1(n),q2(n),定理设{Xn，n=0,1,…}为马氏链，则对于任意的正整

(mk

r

(mPP

(k此方程称为Chapman- )方程,简称C-K方程

(mk

nmk

j|

PXnm

r,Xnmk

j|

PXni,Xnmr,Xnmk P{Xn

(m)

(k P{Xni}r

(mpp

(k m,特别地，P(n)=Pn,n步转移概率由一步转移概率010001000/1/1/0001/1/1/0001/1/10001001000/ 1/ 1/ 01/1/1/0001/1/100010 1 解：P(2)P 3 1 3 11/1/1/001/5/2/1/01/ 2/ 3/ 2/ 1/9 01/2/5/1/9001/1/1/3例在n级0-1传输系统中，设p=0.9，求系统二级传输 先求出n步转移概率矩阵P(n)=PnqP q

q 有相异特征值p p

2=p-q

0 知识，可将矩阵P

2

pq2具体做法是：求出1,2221/ 2

1/ e1

1/

,e2 22 1/ 22H

e1,e2

11

1 22221 2222则P＝HH-1 01

1(pq)n

11(pq)nPn

HnH1 111

1(pq)n 1

1(pq)n

(2)

11(0.9

(3)

11(0.9

P

1

,0

a,b利用类似的方法，可得nPnP

0

p00

p01(n)1

(n)

(n)11a

a

b)n

a

b a

a

b设马氏链{Xn,n≥0},状态空间E，n步转移概率矩阵

pj

P{Xn

jE,

j显然j

pj(n)P{Xn

j}

P{Xni

j|

i}P{

i},qj

(0)

(

j利用矩阵的乘法：q(n)=q(0)P(n)对任意n0≤t1<t2<…<tn及i1i2,…in∈E11

t22

n n n

1n1n

1t1

2

t1

i1 i11

设{Xnn≥0}是具有三个状态0，1，2

03/

1/ 0P11/

1/ 1/2

3/

1/初始分布qi(0)=P{X0=i}=1/3,i=0,1,2.(1)P{X0=0,X2=1}；(2)P(2)P

05/

5/

1/15/

1/

3/2/

9/

1/4=q0(0)p=1 P{X2=1}=q0(0)p(2)+q1(0)p11(2)+q2(0)p 1

1

9 3 16 例2:在例中进一步求(2) 解:（2）根据 出为 字符也是1的概率

PX0

Xnn nq(0)

(

(pq)nq(0)(q(0)(1q(0)(q(0)(1pn

11P(n)

a (1

b)n

aab a

a

b当0＜a，b＜1时，Pij(n)有极

(n)

(n)

ab

(n)

(n)

a

1,

1当n>>1时就可得到n步转移概率的近似值pij(n定义设 有的ai,aj,转移概率pij(n),当n→∞时，存在不依

pij(n)

jj

则称此链具有遍历性，又若

1=(, 遍历性的定定理设齐次马氏链｛Xn,n0｝的状态空间为{a1a2,…,an}，P是它的一步转移概率矩阵，如果存在正整数m，使对任意的ai,aj，都有Pij(m)>0,i,j则此链具有遍历性，且有极限分布=(1,2,…NNPN

j

ii1

pij

jj

1的唯一解刻n的分布p(n)与一致.因为p(n)

p(0)P(n)Pn

Pn1

P例1:试说明例2”代表转移概率矩阵的正元素。 0000 0000

0 0

00 00 0 0

0P(2)P(2)P 0 0 0 0 0 0 0 0 0 P(4)P

0000

0 0

极限分布满足的方程

1

1

1

1/3

1/311

1

31=2=3=4=35.将它1=5=1/11,=(1/113/113/113/11例2 1/

1/2P1/ 1/ 0 1/ 1/21/ 解:先算得

1/ 011/001/1/001/1/01/0 1/01/P(2)P2 P(3)P3j(=1,2,3,4)，极限

pij定义3

(n)(m)

mn

j|

//例3排队模型设服务系统由一个服务员和只可室排队）则该顾客即离去。设时间间隔Δt内

XnX(nt表示时刻时，系统内的顾客数，即系统的状态。｛xn,n=0，1，2,…｝p00――在系统内没有顾客的条件下，以后仍没有p01――系统内没有顾客的条件下,经后有一顾客进入系统的概率,p01=q.下，经后系统内无人的概率，它等于在间p11――系统内恰有一顾客的条件下，在间隔在间隔内有两个顾客进入系统的概率。由假类似地，有p21=p32p(1-p22=pq+(1-p)(1-q),pij=0(|i-j|≧2或者无