概率论与随机过程习题集(北邮研一专硕)

习题2XtVt0，b为常数，VN0,1的随机变量，求Xt的一维概率密度、均值和相关函数。解：由V∼N0,1EVVXtEXtEVtbtEVbbXt

t,

EXtXtEvt

bvtbttEv2b2t

b2X 12

1 2

1 2 11 11Xt

xxxVtb在t0单调xx xv 1则：ftx

x

fv2 又：VN0,12

1 ev2

x1fv

1 ev2

1 xb2e 2，xR -end-22 2 22t t t tYfy，令：Xtet,Y0XtEXtt1t2。Xtet,Y0XtEXtEet

eytfydy0Xt

t,

EXtXt

Ee1et2

eyt1t2fydyX 12

1

0Xt

fxxy

fy

flntt0 -end-t x

y

tx tx t2.3假设从t02.3

2

秒抛掷一枚均匀的硬币作实验，定义随机过程：Xtcost，

t时刻分别抛得正、反面〔1〕XtF1;x

Fx；2 〔2〕XtF1xx；2 1 2 〔3〕Xt的均值mt2t2。X X X X解〔1〕当t1时，X1的分布列PX10

1

12 2

2

PX2 2 0，x01 1 则分布函数：F ;xPX x1x12

2

2x1同理：当t1时，X1的分布列PX11PX12120，x1则分布函数：F1;xPX1x1，1xx2由于在不同时刻抛掷硬币是相互独立的，则在t1t1的联合分布列为：2 1 1 PX2XPX2X2

1

1 1PX21,X11PX21,X124 则二维分布函数F1,1;x,x分布函数：2 1 2F1x,

１０或21 10１且－12 2 1 22

410１21且－1224122离散型随机过程的均值函数为： mt1cost12t1cost2t X 2 2 2

1cos1

1X 2 2

22 方差2tEX2tmt21os2t1t21costt

2 1 cost1 X X 2 2

2

2 则：方差21

cos

1

2 91

-end-X 2 4 4 XtAcostBsintB是相互独立且服从正态N0,2的随机变量，求随机过程的均值和相关函数。B∼N0,2EAEBADB2mXtEXtEAcostBsintcostEAsintEB0Xt的相关函数为：RX1,t2EX1Xt2EAos1Bsin1Aost2Bsint2由于A,B是相互独立则均值函数为：XRt,X

costcost

EA2sintsint

EA22costt

-end-12 1 2 1 2 1 XtmXtBXt1t2t12 1 2 1 2 1 YtXtt，求随机过程Yt的均值和协方差函数。解：由YtXtt

(t)为普通函数则随机过程YtYtEYtEXttmXttY1,t2EY1Y1Yt2Yt2EX1mX1Xt2mXt2BX1,t2

-end-XtAsint是在,上均匀分布的随机变量，令YtX2t，求Rt,tR t,t。Y XYYt,tEYtYtEXtXt2 2

t,tEA2sin2tA2sin2tA4Esin2tsin2t而：4sin2tsin2t1ost21ost1cos2t22t22t2cos2t21cos2t2cos2t21cos4t41cos22 2

t,tA4Esin2tsin2tA4E1cos2t2cos2t21cos4t41cos22 2 1而：Ecostost d0 1同理：Ecost2cost d0则：Rt,tA4E1cos2t2cos2t21cos4t41cos2Y 2 2 1A4E11cos21A411cos24

4

2 RYt,tEXtYtEAsintA2sin2t 13Esintsin2t3sintsin2t

d02-end-XtXZt2X、Y、Z1Xt的协方差函数。解：由于EXEYEZ0，DXDYDZ1Xt

tEXtEXtZt2EXtEYt2EZ0Xt的协方差函数为：Bt,t

t,

EXtXtEX

Zt2XZt2X 1

X 1

1 2

1 1 2 2EX2ttEY2t2t2EZ21ttt2t2

-end-12 12 12 12Xtx为任意实数，令：tYtXtx证明随机过程YtXtYt的均值函数为：YtEYtPXt0PXtPXtXxYt的相关函数为：Y1,t2EY1Yt2PX1Xt2PX1Xt2PX1Xt2PX1Xt2PX1Xt2PX1Xt2X1,2

-end-ftTY在0,TXtftY， T 求证随机过程Xt满足：EXtXt ftft dt。0T 1T证明：EXtXtEftYftYftyfty dyT0tT令ty，有：EXtXt

fsfs1ds1tT Tt

fsfst tT由于ft是一个周期为T的周期函数，则：1T 1TT EXtXt fsfsds ftftdtT X0 0X

-end-Xt〔〕BX1,t2X1Xt2；

t1,

，方差函数为2t，试证：〔2〕

t,

12t2t

XXt2mXt2

2 X 1 X 2〔〕BX1,t2XXt2mXt2

EX1mX1EXt

t

EXtm

t2EX

1t22

t

t 1 X 1

1 X

2 X 2

X 1 X 2〔2〕有〔1〕的结论，有：BXt1,t2Xt1Xt22而对任意的x,yR，均有：xy1x2y22则：B

t,

tt12t2t

--X 1

X 1 X

2 X 1 X 2Xt和YtBXYt1t2，试证：Yt2Yt2BY1,t2Yt2Yt2BXYt1t2Yt2Yt2Yt2

EX1mX1EXt

t

EXtm

t2EYt

1t22

t

t 1 X 1

1 X

2 Y 2

X 1 Y 2-end-NXtAeitk，其中Ak是在Nk k kk10k2,…NXt的均值和协方差函数。Xt

it N itkkk解：先求

的均值函数：EXtEke Eke k kN因A，k1,2,…N之间相互独立，则：EXtEAEeitkNk k

k

k ∼U0Eeitk

21eitk d010k 0N所以：EXtEAEeitk0N k1

k EeEAjXtBXt1t2RXt1t2 EeEAjEAke1kEAjeN iEAke1kEAje

it

NN itt2j12k j 2j12k j

j

kjkj当kj与kj

Eei1t2kjettEei

kEeij0k当k 时，Ee j12 i当k 时，Ee j12

it1t2Xt

1,t2

Ne e EAkk1

-end-设Xt0X0是标准正态随机变量，假设对任意的ttV相互独立，令YtXtV，求随机过程t的协方差函数。解：因Xt0Xt的零均值的二阶矩过程。又VEVDV1EYtEXtEV0由因为任意的ttV相互独立，则：Y1,t2Y1,t2EY1Yt2EX1VXt2VRt,tmtEVmtEVEV2R

t,

12mint,t1X 12 X 1 X

X 12

X 12-end-nn设随机过程XjXjj2,…n是相互独立的随机变量，且：j1PXjXj01pq，求n2,…的均值和协方差函数。n n nnn,,EnEXjEXjpqpj1

j

j1 p 而：EXiXj

j，则Ynn1,2,…的协方差函数为：ijBn,mE Xnp n mmpn mEX

mnp2Y j1

kk1

j k jkn mnEXn

EX

EX

mpmnmp2mpqmnp2j1k1

j k j k j jk jkn mnEXn

EX

EX

npmnnp2npqmnp2j1k1

j k j k j jk jkn BnmEXn

mnp2minm,npqY j kj1k1

-end-设YPY11，XtYtZsint，2tXtt证明：由于随机过程Xtt的均值函数为：mXtEXtEYostZsintcostEYsintEZ0相关函数为：RX1,t2EX1Xt2EYos1Zsin1Yost2Zsint2而Y，Z是独立同分布随机变量，则：EYEZ0，EY2EZ21，则：XRt,tX

costcos

EY2sintsin

EZ2costt12 1 2 1 2 1 EX2tRXt,t12 1 2 1 2 1 则随机过程Xtt是广义平稳过程。下面证明Xtt不是严平稳过程，采用反证法：假设XttF1;xFt2;xF0;1F

;1，下面分别计算这两个值，有： F0;1PX01PY11F;1

PX P

Zsin PYZ 24

4 4 PY1，Z1PY1，Z1PY1，Z134F0;1F

;1与假设矛盾，则Xtt不是严平稳过程。 -end-2.16设Wtt是参数为2XteWett，0X为常数，证明Xtt是平稳正态过程，相关函数R 2eX证明：因Wtt是参数为2的维纳过程，有：Wt∼N,2t，则：We2t∼N,2etEXttXt的相关函数为：Rt,t

EXtXt

e1et2EWe1Wet2e1t2EWe1Wet2X 1

1 2

EWe1Wet2EWe1W0Wet2We1We1 因WtEWe1W0Wet2We210t 2 1Rt,

EXtXt

e1t2EWe2t2e1t2DWetWe2t211X 1

1

1 1 e1t22e12et21t

2t1X12 1 X12 1

t,

2et1t2t

t，则Xtt是平稳正态过程。

t1,

2et2，即R

2e

X-end-Xni 2.17设Xt0X00，试求它的有限维概率密度函数族。Xt∼N0,2tni 1 则对任意的n及0t1

…

Xt∼N,2t，i…n又因为维纳过程是齐次的独立增量过程，则X1,Xt2,…Xtn的联合分布与X1X0,Xt2X1,…XtnXtn1相同。再由其独立增量性，知X1X0,Xt2X1,…XtnXtn1X1,Xt2,…Xtn的概率密度为：22t22t 1

x2ft,t,…,t;x,x,

1

11

k1k2tk1tk22tk1tkX 1

n 1 2 n

k1-end-习题3X1tX2t是分别具有参数和2的相互独立的泊松过程，证明：〔1〕YtX1tX2t是具有参数的泊松过程；〔2〕ZtX1tX2t不是泊松过程。X1t∼12t∼2〔1〕根据泊松过程的定义，下面对随机过程YtX1tX2t一一验证其满足：◦1 Y0X10X200◦2◦ 取ttt

，说明Yt为独立增量过程1 2 3 4因为：X1t∼1，X2t∼2，则：X1t2X1t1X1t4X1t32t2X2t1X2t4X2t3相互独立X1tX2t相互独立，则：X1t2X1t1X2t4X2t32t2X2t1X1t4X1t3相互独立1t211X1t2X1t2+X2t2X2t2与1t413X1t4X13+X2t4X23相互独立则：Yt是独立增量过程。◦3 PYtsYsnPX1tsX2tsX1sX2sn◦ n PX1ts－X1s2tsX2snii0 nPX1ts－X1s，X2tsX2snini0X1tX2t相互独立，则：nPYtsYsnPX1ts－X1siPX2tsX2snini0n t

tn

e12ttnn

titn

e12ttn

e12t net 1 e2t 2

n!1 2

n

ti0 i!

ni

n! i0 i! ni

n! 1 2

n! 1 2 综上所述，YtX1tX2t是具有参数12的泊松过程。〔〕EZtEX1tX2tEX1tEX2t12tDZtDX1tX2tDX1tDX2t12tEZtDZt，则ZtX1tX2t不是泊松过程。

-end-设到达某商店的顾客组成强度为p，且与其是强度为p的泊松过程。证明：设Xt，t0表示到达商店的顾客数，i表示第i个顾客是否购置商品，不妨假设假设第i个顾客购置商品，取i1；假设第i个顾客未购置商品，取i0。则：Pi1p，Pi01p再由题意知：i，i1,2,…彼此独立且同分布，且与Xt，t0独立Xt因此，Yti是复合泊松过程。i1容易验证t〔1〕00〔2〕t是独立增量过程；且：P{YtsYsk}P{(s,ts)内有k个顾客购置}P{(s,ts)内有k个顾客购置,有n个人到达，n0} (tsN(s)n此个人中有k}nket(t)nCkpk1p)nknkt

n! (t)n

k nknke k!(nknk

(1p)t(t)lk

k nke l0

pk!l!

(1p) (lnk)et(pt)k1p)t)lk!ept(pt)kk!

l0 l!是强度为p的泊松过程。

-end-设总机在0tXt是具有强度〔每分钟〕为的泊松过程，求：3次呼叫的概率；3〔〕Xt∼22e则：PYt2Yt3

43e23! 32〔2〕P{3次呼叫PXX0kX2X3k2K02PXX0kPX2X3k2K0PXX00PX2X3PXX01PX2XPXX02PX2Xe1PX2XPX2XPX2X2e1PX2XPX2Xe1PX2X2e1eeee1eee1ee1

22 e

21222 2

-end-设Xt0是具有参数为S是相邻事件的时间间隔，证明：PS1s2S1PSs21发生在将来s2秒的概率等于在将来s2秒出现下一次事件的无条件概率〔这一性质称为“泊松过程无记忆性〞。证Xt∼

s0PSssSsPXs

Xs

2 es21 2 1 1 2 1 0!2 e21PSsPSs2

-end-相互独立，假设把这些汽车合并单个输出过程〔假定无长度、无延时，求：相邻绿色汽车之间的不同到达时间间隔的概率密度；汽车之间的不同到达时刻间隔的概率密度。〔〕21的指数分布，则绿色汽车之间的不同到达时间间隔的概率密度为：ett0ft1 0

t0〔2〕假设把这些汽车合并单个输出过程Yt，则根据3.1〔1〕知Yt服从于参数为123的泊松过程，于是汽车之间的不同到达时刻间隔的概率密度为：

e123

t0YftY

1 2 30

t0

-end-设Xt0为具有参数为的泊松过程，证明：E

n，即泊松过程第n次到达时间的数学期望恰好是到达率倒数的n倍；n〔〕Dnn

，即泊松过程第n次到达时间的方差恰好是到达率平方的倒数的n倍。证明：设Ti表示Xt，t0第i1次事件发生到第i次事件发生的时间间隔，则Ti，i1,2,…相互独立且服从均值为1的指数分布，则：1 1 n Ei ，Di 2，i,,…n，而ni i1n n〔〕EnEii1n n〔〕DnDi 2i1-end-设Xt0和t分别是具有参数为和2W和WXtWW，对于WtWXtXWXWXW1NYWYWN的概率分布。PNkPYW'YWk,W'W0PYW'YWkW'W'Wsds02e2se1sds122e2se1sds12 k! 1

0 1 2

1 2

-end-设脉冲到达计数器的规律是到达率为pXt表示已被记录的脉冲数：〔1〕求PXtk，k0,1,2,…Xt是否为泊松过程。解：设Nt，t0表示在0,t区间脉冲到达计数器的个数，假设第i个脉冲被计数器记录，取i1；假设第i个脉冲不被计数器记录，取i0，则：Pi1p，Pi01p，则：NtXtii1Xt为泊松过程，且：EXtENtE1tpptXt的强度为p，所以：tkPXtk

e2,…k!

-end-888时顾客平均到5人/20人/1320人/13171712人。假定在不相重叠的时间间隔内到达商店的顾客数是相互独立的，问在8:30—9:30间无顾客到达商店的概率是多少？在这段时间内到达商店的顾客数学期望是多少？解：将时间8时至17时平移为0时至9时，依据题意商店的到达率为：5t20，

0t33t5202t55t91.5则：mX1.5mX0.555tdt100.5PX1.5X0.5

t0!

e10te10t则：在8:30—9:30间无顾客到达商店的概率是e10t？在这段时间内到达商店的顾客数学期望是10人。-end-2户定居，即2，如果每户61

3

，一户二人的概率是1，3一户一人的概率是6学期望与方差。

，并且每户的人口数是相互独立的，求在五周内移民到该地区人口的数解：设Nt，t0表示在0,t间的移民户数，Yi表示每户的人口数，则在0,t内的移民人Nt数：XtYi是一个复合泊松过程。i1因为Yi相互独立且具有相同分布的随机变量，其分布率为：PYPY1，PYPY16 3 EY5，EY243 2 6根据题意知Nt在5周内是强度为10的泊松过程，由定理3.6，有：mtEXttEY

tDXttEY2X

1 X 1

5255t2543215X 2 X 6 3所以：在五周内移民到该地区人口的数学期望为25，方差为215。3-end-习题4设质点在区间04041停留在原点，在其1它整数点分别以概率3概率矩阵。

向左、右移动一格或停留在原点，求质点随机游动的一步和二步转移解：根据题意，画出其状态转移图：则一步转移概率矩阵为：则一步转移概率矩阵为：0 0 0 0 1 1 1 0 03 3 3 P

1 1

0，I0,1,2,3,4 3 3 3 0

1 1 13 3 3 0 0 0 0 1二步转移概率矩阵为：0 0 0 00 0 0 0 0 0 0 0 1 1 3 3

1 1 0 3 3 0

4 2 2 1 0 0 9 9 9 9 0 0 P2

1 1

0

1 1

01 2 3 2 1，I 3 3 3

3 3

9 9 9 9 90

1 1 13 3 3

1 1 1 3 3 3

1 2 2 49 9 9 90 0 0 00 0 0 0 10 0 0 0 1 0 0 0 0 1

-end-p，对于n2些值分别对应于第n次和第n〔，求马尔可夫链n,的一步和二步转移概率矩阵。解：根据题意，有：I0,1,2,3p00

p03 p

0 0 p10

0

p q则一步转移概率矩阵为：P p20

p22

p23 p

0 0 二步转移概率矩阵为：

p33

0

p qp q 0 0p q 0 0 p2 pq pq q2 0 0 p q0 0 p q p2 pq pq q2P2 p q 0 0p q 0 0 p2 pq pq q2 0 0

p q0

p q

pq pq q2

-end-设Xn为马尔可夫链，试证：〔〕PXn1n1,Xn2n2,…XnmnmX00,X11,…XnnPXn1n1,Xn2n2,…Xnmn

Xnin〔〕PX00,…Xnn,Xn2n2,…XnmnmXn1n1PX0,…Xn

Xn1n1PXn2n2,…Xnm

Xn1n1〔〕PXn1n1,Xn2n2,…XnmnmX00,X11,…XnnPX0,X1…Xn,Xn1in1,Xn2in2…XnminmPX0,X1,…Xn0 00 01 n nnm1nm n nn1 nm1nm

i…

pii

…i p …

pii

…ipp…p

inin1

inm1inm pi0i0i1

PXnn,Xn1n1…XnmnmP

i …

i XiPXnn

n1

n1

nm nm n n〔〕PX00,…Xnn,Xn2n2,…XnmnmXn1n1PX0,Xn,Xn1in1,Xn2in2…XnminmPXn1n10 01 0 01 n nnm1nm0 01 nn2 nm1nm

pii…piipii

…

pii…pii

pii

…iipin1

pin1i

pin1iPX0,…Xn

Xn1n1PXn2n2,…Xnm

Xn1n1

-end-设Xn为有限齐次马尔可夫链，其初始分布和转移概率矩阵为： 1 1 1 1 4 4 4 41 1 1 1PX0

1 4 4 4 4 1 1 1 1 1 1 4 4 8 4 8 1 1 1 14 4 4 4试证：PX24X01，1X14PX241X14证明：由题意，有：PX

41X

4P1X14，X2412 1 X18 4 8 8PX1=，X2PX1=，X2PX1=24PX1=3471138 4 8 8PX1PX1

PX1PX1

71 60PX

4X1，1X

4PX01，1X14，X242 0

PX01，1X14PX0，X1，X2PX0，X1，X2PX0，X1PX0，X14 4 4 4 4 8 p24111114 4 4 4 4 8

1 1 1 4 4 4

16 60PX24X0X1PX241X1

-end-设XttT1X1X2X2…XnXn…量序列，令Yt1=X1，YncYn1X试证是马尔可夫链。证明：由题意，有：YnXn-cYn1，知Yn是X1,…Xn的函数，由于X1,…Xn,…是相互独立的随机变量，故对任意的n0，Xn1与Y0,Y1…Yn独立。Pn1n10,11,…nnPn1nn1n0,11,…nnPXn1n1n0,11,…nnPXn1n1cnPXn1n1cnnnPn1n1nn由k,,…n1的任意性知：n是马尔可夫链。-end-0.5 0.5 0 随机游动的转移概率矩阵为：P0 0.5 0.5，求三步转移概率矩阵P3及当初 0.5 0 0.5PX0PX00，PX013的概率。0.5 0.5 00.5 0.5 0 0.25 0.5 0.25 解：由于P20 0.5 0.50 0.5 0.50.25 0.25 0.5 5 0 55 0 5 5 5 50.25 0.5 0.250.5 0.5 0 0.25 0.375 0.375 则：P3P2P0.25 0.25 0.50 0.5 0.50.375 0.25 0.375 5 5 55 0 5 5 5 5而：p1p20，p31

nppn

3pp3pp3pp3pp30.25jiI

iij

33i13

ii3 113 223 333则经三步转移后处于状态3的概率为0.25。本月销售状态的初始分布和转移概率矩阵如下：0.8 0.1 0.1 〔1〕PT00.4 0.2 0.1 0.7 0.2； 2 2 6

-end-0.70.10.10.10.10.60.20.10.10.10.60.20.70.10.10.10.10.60.20.10.10.10.60.210.10.26求下一、二个月的销售状态分布。0.8 0.1 0.10.8 0.1 0.1 0.67 0.17 0.16 解〔〕P21 7 21 7 29 4 7 2 2 62 2 6 3 8 2再由：PTnPT0Pn则下一个月的销售状态分布为：

0.8 0.1 0.1 PTPT0P10.4 0.2 0.40.1 0.7 0.20.42 0.26 0.32 2 2 6同理下二个月的销售状态分布为：

0.67 0.17 0.16 PT2PT0P20.4 0.2 0.40.19 0.54 0.270.426 0.288 0.286 3 8 20.7 0.1 0.1 0.10.7 0.1 0.1 0.1 0.52 0.15 0.17 0.16 0.1 0.6 0.2 0.10.1 0.6 0.2 0.1 0.16 0.40 0.27 0.17〔2〕P2 0.1 0.1 0.6 0.20.1 0.1 0.6

0.16 0.15 0.43 0.26 1 1 2 61 1 2 6 6 5 7 2再由：PTnPT0Pn0.70.70.10.10.10.60.20.10.10.6.10.10.2PTPT0P10.2 0.2 0.3 0.3下二个月的销售状态分布为：

0.10.10.22 0.2 0.3 0.260.520.150.170.160.160.400.270.170.160.150.430.260.150.2720.520.150.170.160.160.400.270.170.160.150.430.260.150.27224个季度销售记录如下表〔12—滞销〕

-end-季 节123456789101112销售状态112122111212季 节121415161718192021222324销售状态112211212111以频率估计概率，求：销售状态的初始分布；三步转移概率矩阵及三步转移后的销售状态分布。〔〕45个季节，用频率估计概率，则：pPX115，pPX291 0 24 2 0 24则：PT0p

15 91 24 241

7 714 14〔2〕一步转移概率矩阵为P p21

p22

7 29 9 7 77 714 1414 14

23 1336 36则，二步转移概率矩阵为P2 7 27 29 99 9

91 71162 162 23 137 736 3614 14 0.6 0.4所以，三步转移概率矩阵为P3 1 17 2 2 8 162 1629 9 由PTnPT0Pn4 42 8则：PT3PT0P34 42 8 设老鼠在如图4.14 k

-end-1

条通道时以概率 随k12123654789图4.14解：显然，状态空间I1,2,3,4,5,6,7,8,9由题意，一步转移概率矩阵为：01000000012 1212

0 0 0 0 0 0 0121212120 0 0 0 0 0 0 0100010000000000001000000100 0P0

P20 12120 0 0 0 0 0 01212 000013010000130130100000010 30 ，2I可分为两个闭集：IC1C2，其中C11,2,3,4，C25,6,7,8,9-end-讨论以下转移概率矩阵的马尔可夫链的状态分类：〔1〕0.2 0.3 0.5 0 0〔1〕 0.7 0.3 0 0 0 P0 1 0 0 0 0 0 0 0.4 0.6 0 0 0 1 0解：1°画出状态转移图2°由状态转移图，有：N，C11,2,3，C24,544 44 3°考查状态4，f10.4，f20.61＝0.6，fn0n344 44 f fnff20.40.614常返44 44 44 44n1

4 44 44 nfn1f2f210.420.61.644 44 44 n141445遍历态。44 44 再考查状态1，f10.2，f20.30.7＝0.21，fn0.30.70.3n20.50.70.3n3n344 44

fn0.20.210.30.70.310.30.32…0.50.710.30.32…44 n44 0.410.590.710.30.32…0.410.591，则状态1常返 nfn10.220.21n0.30.70.n20.50.70.n31 1 44n1

n300101000001010000.30.7000.60.20.20〔2〕P解：1°画出状态转移图22fn220.71n022 22.3n10.722n1n1 nfn30.72 22n1n124N1、2、3构成一个常返闭集C3。2f2n22fn220.71n022 22.3n10.722n1n1 nfn30.72 22n1n1则：f22

1，则状态2常返，且周期为1。而平均返态，则闭集C3为遍历闭集。1

2n1n0.n10.72为遍历0…0……………0rp0………0qrp0……0…………0qrp……………01 q 0 〔3〕P ，其中qrp。 0 0 解：1°画出状态转移图，如下：…2C1N2,…b是非常返态。设马尔可夫链的转移概率矩阵为：

-end-1 1

02 2 〔1〕1 2 〔2〕0 p2 q23 3 11 f11

3 0

p3nnij ij 〔〕pnfkpnkij ij k1fn

n1pn fkpnkij ij ij kf=p11，f=p1111 11 2 12 12 21

1

1 1

5 7 P1

2 2，所以：P2P1P1

2 2

2 2

12 121 2 1

1 2 7

11 3 3

3 33 3

18 18则：f2p2f1p1

5111，f2p2f1p1

712111 11 11

12 2 2

12 12 12

12 2 3 41 15

29 43 同理：P3P1P22 2

12 12 72 721 27

11 29 25 3 3

18 18 54 54f3p3fp2f2p1111 11 11 11 11 11 9f3p3fp2f2p1112 12 12 22 12 22 8〔2〕1°画出状态转移图如下：2f=p1=p，f2=0，f3

qqq

11223311 11 1 11 11 12fp=qf2=pq11112f3=p211 11 1 11 11 12

111111212 12 1 12 11 12 11

-end-I2,…7，转移概率矩阵为：0.40.2 0.1 00.10.10.10.40.2 0.1 00.10.10.10.10.3 0.2 0.20.10.10.1000 0.6 0.40 0.4 000.60000000.20.5000.20.50.300000000.30.7000000.80.2

，求状态的分类及各常返闭集的平稳分布。解：1°画出状态转移图2°根据状态转移图，显然有：状态6、7互通，3、4、5互通，1、2互通。f fn

f1f2f3…11 11 11 11 11n10.40.20.10.20.30.10.20.320.1…70.40.20.110.30.32…317126、7互通，且：f fnff2f3…0.30.70.80.70.20.80.70.220.8…66 66 66 66 66n10.30.70.810.20.22…0.30.7则状态6常返，所以状态7也是常返态，得闭集C16,73、4、5也是常返态，得闭集C2

1 110.2下面进一步判断状态6、7是正常返还是零常返，求其平均返回时间：nf 1f 2f 3f n 2 36 66 66 66 66n110.320.70.830.70.20.840.70.220.8… 〔1〕60.210.30.220.70.80.230.70.220.8… 〔2〕6〔1〕减〔，得：60.810.30.30.220.70.810.70.20.810.70.220.8…60.8

1.360.70.810.20.22…1.360.7

11

2.0662.575，则状态6为正常返，所以状态7也是正常返。同理，可判断状态3、4、5也是正常返态的，略。3°由状态3、4、5为非周期正常返状态，则平稳分布存在。0.6 0.4 0 对应的随机子矩阵为：0.4 0 0.6设状态345对应的平稳分布为：3,4,5 2 5 3 0.6 0.4 0 3,4,50.4 0 0.63,4,5

0.2 0.5 0.3345110,7,6，则闭集C010,7,600232323 2 232323 同理可得闭集C0000,8,71 1515 设马尔可夫链转移概率矩阵为：

-end-0 100 10………q1 0p10…0 q20p20 ………………P ，求它的平稳分布。0,1,2,…，则： 0 1 0 … …… q1 0 0 ……0,1,2,… 0,1,2,… 0 q2 0 p2 0 … … … … …012…10q1110q22得： p q

jj j

j

j

j1012…110 110 1q p2 1010

q1q23

(p2qqq

p2qqq 0 123 123… pp...pj0 12 jj0

j2,3,4,…012.1则： p2...pj1j

1

0p01，j1,2,…0

jp 1k j1k0k1

-end-艾伦菲斯特〔Erenfest〕链。设甲、乙两个容器共有2N个球，每隔单位时间从这2N个Xn为在时刻nX是齐次马尔可夫链，称为艾伦菲斯特链。求该链的平稳分布。解：根据题意，艾伦菲斯特链的状态空间为I0,1,2,…2N，则转移概率矩阵为：

2Ni，p

ii0,1,…2Nii i,i1 2N i,i1 2N平稳分布0,1,2,…2N，满足如下方程组：0 1 0 0 … 0 1 0 2N1

0 … 0,,

,…

2N 2N

,,

,… 0 1 2 2

… … … ……

0 1 2 2N0 0 … 0 1 0 10 2N 1则：

2Nj1

j11

j2N1j j

j2N 1112N

2N2N1j

j2

…

1

C1

C2

…C2N10 1 2 2

0 2

2

0 2N00 12N1220 222N,2

22N,C

22N,…C2N22N

-end-2224322子中各任取一球，交换后放回盒中〔甲盒内取出的球放入乙盒中，乙盒内取出的球放入甲盒中Xn表示经过n次交换后甲盒中的红球数，则Xnn试求：一步转移概率矩阵；证明Xn，n是遍历链；〔3〕求limpn，j0,1,2。nij解：根据题意，状态空间I0,1,2p00

p02

13 023 23〔1〕一步转移概率矩阵为：Pp p

2

5 210 11 12

9 9 93 31p p p 3 3120 21 22 〔2〕III4.131有：I中所有状态全部为正常返。显然，状态0,1,2的周期全部为1，即I中所有状态全部为非周期的正常返状态，则Xn，n是遍历链。〔3〕由4.39式，有：limpn1

，其中

,,

为平稳分布，且满足： 13

n223

ij jj0

0 1 2 0,1,22 5 20,1,2 9 9 93 31 3 31 10 1 2解以上方程组，得平稳分布为：131，则：,,limpn

1impn

5553impn1

-end-n

i0

5n

i1 1

5n

i2 2 5设Xn，njI移概率矩阵满足条件：pij1，试证：iIijjpn1ijiII2,…m〔1〕n1成立设nm成立，来考查nm1结论是否成立-Kj,pmpmpppmp1ij ik kj kj ik iI iIkI kI kI由条件知：Xn，n4.16推论1知：该马尔可夫链为遍历链。limpn

10jIn

ij jmjmlimpnlim

pn

1m1所以：mmijnmmij

n

ij

i1

i1

i1 j jjmj2,…m

-end-BOD〔生物耗氧量〕I是BOD浓度为极低、低、中、高分别表示的，其一步转移概率矩阵〔以一天为单位〕为：0.5 0.4 0.1 0 0.2 0.5 0.2 0.1P 0.1 0.2 0.6 0.1 0 02 4 4假设BOD浓度为高，则称河流处于污染状态，证明该链为遍历链；求该链的平稳分布；4。〔1〕证明：

0.5 0.4 0.1 00.5 0.4 0.1 0 0.34 0.42 0.19 0.05 0.2 0.5 0.2 0.10.2 0.5 0.2 0.1 0.22 0.39 0.28 0.11由P2PP 0.1 0.2 0.6 0.10.1 0.2 0.6 0.1 0.15 0.28 0.45 0.12 0 2 4 40 2 4 4 8 6 4 2知马尔可夫链所有状态I1,2,3,4互通，即该马尔可夫链不可约且每个状态为非周期的，则由定理4.16推论1知，该马尔可夫链为遍历链。〔2〕4.161知，该马尔可夫链的平稳分布存在，不妨假设为1,2,3,4，则有： 0.5 0.4 0.1 0 0.2 0.5 0.2 0.11,2,3,4 1,2,3,4 0.1 0.2 0.6 0.1 0 0.2 0.4 0.412341得：10.2112，20.3028，30.3236，40.1044则平稳分布为：1,2,3,41〔3〕414

10.1044

9.58〔天〕

-end-习题5设连续时间的马尔可夫链Xt0具有转移概率：ihoh 1hohpijh 0

ji1jiji1oh

ji2其中Xtt的成员总数，求柯尔莫哥洛夫方程，转移概t。解：由定理5.3，有：lim1piitd

h

i，i0iii t

t dh

h0qlim

pijtdp

h

ji1，i0ij ij t0

t

h

0其它则由5.9式，柯尔莫哥洛夫向前方程为：p'tptq ptqij ik kj ij kj即：p'tptq ptq pt p

t，ji1ij ik kj ij jj jij j kj

i,j1p'tptii iii上述微分方程的解由初始条件：1ijpij00ijp'

t

tjt

ejt

si1ij得：

j0

i,j1

〔过程略〕p'

tetii i

-end-1，2，3t质点位于这三个点之一，则在tth内它以概率1hoh分别转移到其它两点之一，试求质点随机游动的柯尔莫哥洛夫方程，转移2概率pijt及平稳分布。解：由定理5.3，有：qlim1piitdp

h

1，i1,2,3ii t

t dh

h0qijlim

pijtd

pijh

1jit0

t

h0 2Q12q12

1

12 q1Qq1

q22

1 123 2 2 12q q q 1 11231 32 33 2 则由5.11式，柯尔莫哥洛夫向前方程为：P'tPtQ1212p't p't p't pt pt pt121211 12 13 11 12 13 12即：p't p't p'tpt pt pt12 1 121221 22

21 22

p'

t

p't

p't

t

pt

pt1

1331 32 33 31 32 33 3而：pijt1i1,2,3j1所以：p't

t1

t

tij

2 i,j

i,j1pt11

t3

t1i,jI，其中I1,2,3ij 2

2 ij

23t 1则上述一阶线性微分方程的解为：pijtce23由初始条件：1ipij00ij２

ij则：c ３１

ij ３1 23t e

ij

t3 1

3t

ij e23 3

tlimpt1，j1,2,3。j t ij 3

-end-Mt+h停止工作的概率为hohtt+h开始工作的概率为hohNtt车床数，求：齐次马尔可夫过程Nt0的平稳分布；假设M30〔1〕NtI,,,…M。ti台车床工作，则在tth内又有一台车床开始工作，在不计高阶无穷小时，它M-i台车床中，在tthpi,i1hMihoh，i0,1,…M1pi,i1hihoh，i2,…Mijhohij2则Nt，t0为生灭过程，其中：iMih，i0,1,…M1i2,…M由5.14式知它的平稳分布为： M M01

j

j

Mj j C j Cj M j C j C

M

，j1,2,…M 〔2〕假设M10，60，30，则：10 10

60j3010jCjPNtCjj6

1090 j6 1090

0.7809

-end-0t顾客流是泊松过程，单位时间到达效劳台的平均人数为，效劳台只有一个效劳员，对顾客的效劳时间是按指数分布的随机变量，平均效劳时间为1。如果效劳台空闲时到达的顾客Xtt时刻系统内的顾客人〔包括正在被效劳的顾客和排队等候的顾客I；又设在t0Q矩阵tjpjt所满足的微分方程。解：由题意知Xt，t0是时间连续的马尔可夫链，其状态空间为I0,1,2,3。q00

q03 q10

Q q20

q21

q22

q23 30 31 32 33 习题6Xtcost0是在区间0上服从均匀分布Xt是否为平稳过程。Xt是否只与时间的间隔有关，下面一一考查：EXtEost2ost100 RXt,tEXtXt 2stost1d0 12ostos4012osd1os1ost无关0 2XEXt2RX

01Xt为二阶矩过程。2Xt是平稳过程。-end-XtAcostA是均值为零，方差为2的正态随机变量，求：4XX14 Xt是否为平稳过程。〔1〕XtAcostA~N0,2X1Acos

2A44 44 EXEAEA，DXDADA2 DX D A DA EX1E2A2EA 1 DX D A DA 4

2 2

4

2 2 2

1 x2 2Xfx 21

e2xR1 x2X1f

;x

e2xR44 〔2〕XtAstEXtcostEA0Rt,tEXtXtEAcostAcost2costAcostX RXt,ttXt不是平稳过程。

-end-XtAcostAafa00

a2e2

a0a0均值为零，方差为2的正态随机变量，是在0,2上服从均匀分布且与求A相互独立的随Xt是否为平稳过程。解：由A服从瑞利分布，则：EA

xfxdx

xx

x2e22dxxe

x22

0

x2e22dx212

02x2 222dx 2

1 x22e22

02由于被积函数恰恰是标准正态分布2由于被积函数恰恰是标准正态分布 的概率密度，所以：

x2则：EA

N0,1

e22dx1EA2

2 2 x2fxdx

x2x

x2e22dxy

x222EA22yeydy20 所以：DAEA2E2A2224 2 2则：A~N

,42 2 2 下面一一验证平稳过程的条件：1°由A与相互独立，且cost是关于的连续函数，则A与cost也相互独立。2 10EXtEAstEAEostEAost00 °RXt,tEXtXtEAstAst 1co