随机过程_习题_第2章

1、WORD格式.整理版2.1设L(t)是一马尔可夫过程，又设tit2tntn+itn4ko试证明:ftn /tn 1,tn k (xn / xn -1,，xn -Q - ftn/tn .1(xn /xn 1)即一个马尔可夫过程的反向也具有马尔可夫性。证明：首先，由条件概率的定义式得ftn,tn 1,tn k (xn，xn 1， ，xn k)ftn/tn1:tn kd/xn 山，xn ftn .1； -1,Xn k)根据马尔可夫性将上式中的分子和分母展开，并化简得ftn/tn 1,tn k (xn / xn 1,，xn k)，tn ：:k / tn 也 (xn k /xn k -1) ftn 2/

2、tn 1 (xn 2 /xn 1) ftn 1 /tn (xn 1 / xn ) ftn (xn )ftn k/tn kJ (xn k / xn k-1) ftn2/tn 1 (xn 2/ xn 1) ftn 1 (xn 1)ftn 1 /tn(xn 1/xn)ftn (xn)ftn 1 (xn 1)于是,ftn /tn 1，,tn k (xn / xn 1 ,xn*)= ftn) ftn 1 (xn 1)=ftn/tn 1 (xn / xn 1)2.2试证明对于任何一个马尔可夫过程， 如“现在的一t)值为已知，则该过程的“过 去”和“将来”是相互统计独立的，即如果有t1 t2 t3,其中t2

3、代表“现在”，t1代 表“过去”，t3代表“将来，若t2)=x2为已知值。试证明：ft1,t3/t2 (x1 ,x3 /x2) = ft1/t2 (x1 /x2) ft3/t2 (x3 /x2)证明：首先，由条件概率的定义式得ft1,t2,t3 (x1, x2,x3)ft1 ,t3/t2 (x1 , x3 / x2 ) =1一；ft2(x2)然后，根据马尔可夫性将上式中的分子展开，并化简得ftl,t3/t2(X1,X3/x2) =ft3/t2 (X3/ X2) ft2/tl (x2 /x1)fti (x1)ft2(X2)=ft3/t2 (X3 / X2)ftl,t2(X1, X2)ft2 (X

4、2)=ft3/t2(X3/X2)ft”t2(Xi /X2)2.3右-(t)是一马尔可夫过程，t1 t2 tm ctm由 tm+2 0试证明:ftm 1,tm 2/t1,t2；，tm(Xm 1, Xm 2 /X1, X2 ,Xm) = ftm 1,tm 2/tm(Xm 1,Xm 2 /Xm)证明：首先，利用性质：PAB|C = PA|BCPB|C得ftm 1 ,tm 2/t1,t2； ,tm(Xm 1, Xm 2 /X1, X2, , Xm)=ftm .2/t1,t2；tm, tm 1(Xm 2 / X1, X2 , , Xm ,Xm 1 ) ftm 1 /t1 ,t2, ,tm(Xm 1 /

5、X1, X2 , , Xm ) 于是，由马尔可夫性得ftm 1,tm 2/t1,t2, ,tm(Xm 1 , Xm 2 / X1 ,X2 , Xm )=ftm 2/tm 1,tm(Xm 2 /Xm 1 ,Xm) ftm 1 /tm(Xm 1 /Xm)再利用性质 PA|BCPB|C =PAB|C得ftm 1 ,tm .2/t|,t2，,tm(Xm 1, Xm 2 /x1 ,X2, Xm ) = ftm .1,tm 2/tm(Xm 1, Xm 2 /Xm)2.4若有随机变量序列 W,，且。力2,之间相互统计独立， 一的 概率密度函数为f(xn)= fn(xn)，EJ = 0(n = 1,2，)。定

6、义另一随机变量序列 ，如下：1=12=12试证明：(1)序列1产2,产n，具有马尔可夫性;(2)En/1 = y1，“2 = y2，n= yn=En/r|n-1 =yn-1 = yn-1(1)证明：由于 ,、，鸿n，相互统计独立，其n维联合概率密度函数为f 1 2 n(y1，y2, ,yn) =f 1(w)f 2(y2)f n(yn)由随机变量序列%与4的关系可得如下的雅可比行列式10 0+911.:J = 1ma + 0所以，的n维联合概率密度函数为f 1 2 n 由 .， ，Xn)= f 1(X1)f 2依-刈)f n(X -Xn-1)于是，f n/ nd/，2， 1(xn / Xn-1，

7、 x2，x1)二 f 1(X1)f 2(X2 -2)f 门乂 1 -Xn 2)f n (Xn - Xn)f 1(X1) f 2(X2 -X1) f n(Xn_1 -Xn_2)=f n(% -Xn-1)由于f n 二 n(XnV，Xn)Ho2 n (X1，X2，Xn)dX1dX2 dXn_2Ho=f n (Xn -Xn)f 1 (X1)f 2 (X2 - 勺)f n(XnT -Xn，2)dX1 dX2dXn，2且f n J （xnd）ho=_.f 1 2 n（Xl，X2， ，Xn）dXidX2 dXn_2-feo=Cf 1（Xi）f 2（X2 -Xi）f n（Xn-Xn/）dXidX2 dXnq

8、所以，f n/ n（Xn/Xn）=f n（Xn -Xn）因此f n/ n；2，1（Xn/XnX2，X1）= f n/ n（Xn/Xn）所以，序列 户2,产n，具有马尔可夫性。（2）证明：根据条件均值的定义得E n / 1=y1, 2=y2, n_1=yn-Ho二 Upnf n/ n；2, 1(yn/yn1 丫2。14Ho=匚ynf n/ n/(yn/yn_1)dyn=E n / n-1=yn于是，由给定的关系和 E n =0=12优质参考.资料E n/ 1 =y1，2 =y2，n-1= YnT】=E nyn-1=yn-12.5设有随机过程 （n） （n=1, 2, 3,），它的状态空间I :

9、x： 0x1是连续的, 它的参数T为离散的，T=n （ n=1, 2, 3,）。设 （1）为（0, 1）间均匀分布的随 机变量，即 （1）的概率密度为(0 x1 1)(其它值)1f1(X1)= (1)(X1) = Jc(i),， (m的联合概率密度为f1,2,m (x1, x2，xm)=值1)卷2)：: *m) (x1, x2，xm)1小)、(0 xm xm=父 x1 1)1X1X2Xmf1,2 L,m (x1 , x2, ,Xm)=0 , 其匕为值求 (2)的边际概率密度f 2( X2)；(2)试问该过程是否为马尔可夫过程；(3)求转移概率密度 f 2|1(X2| X 1) , ,fmlm：

10、(xm| X m 1)。3 1(4)求P1),a3) 。4 3 解：由给出的(1),(2)，(m)的联合概率密度函数可知,，、1 ，c,、f1,2(X1,X2) =(0 二 X2 二 X1 二 1)X1X2=X21X1其分布区域如右图加黑部分所示。因此，42)的边际概率密度函数为1 1一dX1 =-lnX2 (0X21) 200,其它Xi值证明：因为f1,2； ,m(X1，X2, Xm)1fm|1,2； ,md(Xm | X1，X2, Xm-1) -7- 二f1,2, ,m(X1,X2 , ,xm-1)Xm-1(0X m X m ： X1 1)显然，fm|1,2,mT只与Xm1有关，所以该过程

11、是马尔可夫过程。解：由(2)得1fm|m_1(xm | xm)=fm|1,2; m(xm | x1, x2xm_1)=xm_1其中，0V x m xm 0 ,又41)的概率密度函数为e*(x1 之 0)(为)=)= 0(其它x1值)4(1), 42),金(m)的m维联合概率密度为f1,2,m (x1 , x2, , xm) = x1x2xmJ exp _(xmxm+ xm J xm-2 + x2x1 + x1)(x1 - 0, x2 - 0, xm - 0)、f1,2,m (x1，x2， ，xm) =0 (其匕 Xj值)(1) 求边际概率密度f1,2,m/(x1, x2，xm-1)(2) 求4

12、2)的概率密度；(3) 说明该过程是马尔可夫过程，并求其转移概率密度ftm/tm(xm / xm)(1)解：由m维联合概率密度可得m-1维联合概率密度f1,2； ,m(x1 ,x2 , xm -)Ho=0 x1x2 xmexP-(xmxm-1xm-1xmx2x1 x1)dxmHo二空2xm/ exp-(xmqxm_222x/ 0 exp(-xmxm)dxmuxG2xmexp (xm,xm_2”22 )(2)解：同(1)理可求得：f1,2； ,m -2(x1，x2，xm-2)二2xmexp -(xm-2xm-3x2x1x1)f1；2(x1,x2) =x1 exp -(x2x1 +x1)所以，2

13、， X2 -0r z 、 “收r z. x, ./V一 4八f2(x2) = j0 x1exp(x2x1+x1)dx1 =(x2 +1)0,其它X2值(3)解：由条件概率的定义可得，1,2,m(Xl, X2 , Xm )f m/1,2,m(xm / x1, x2 , Xm J ) - 7c7x - Xm-1 eXp(-XmXm-1)f1,2； ,m_1(X1,X2,xm.1)由此可见，当m-1时刻的状态确定时，m时刻的状态与以前时刻的状态无关。所以, 该过程为马尔可夫过程。其转移概率密度为xm 1 exp( -xmxm_1), xm -1 - 0 , xm ,二 0fm/m(xm/xm)=，其

14、它xi值2.7有三个黑球和三个白球。把六个球任意等分给甲乙两个袋中，并把甲袋中的白球数定义为该过程的状态，则有四种状态：0, 1, 2, 3。现每次从甲、乙两袋中各取一球，然后互相交换，即把从甲袋取出的球放入乙袋，把从乙袋取出的球放入甲袋，经过n次交换，过程的状态为4n)(n=1, 2, 3, 4,)。(1)试问此过程是否为马尔可夫链；(2)计算它的一步转移概率矩阵。(1)证明：显然，该过程由当前状态转移到另一个状态的转移概率只与当前状态和转移到的状态有关，与其它时刻的状态无关。因此，该过程是为马尔可夫链。(2)解：以甲袋中的白球数i作为该过程的状态。当i#0和3时，过程状态由i转移到j概率为

15、Pt(n +1) = j | n) =i = 3 .if 3 J(j =i 1)3-i3,(j =i)(j =i -1)其它j值当 i=0 时，Poi=1, Poj =0(j #1)；当 i=3 时，P32=1, % =0(j #2)。于是,步转移概率矩阵为:0 10 0：0 0 1 02.8设 n)是一马尔可夫链，它的状态转移空间为 I: 0, 1, 2,它的初始状态1.1.1的概率分布为P0)=0= , P 计算概率 P0)=0,优质参考.资料所以,1 0JP.J,1 - pP;11-PPP;*)34)(2)解：实际上，一步转移概率矩阵P可以经过行列变换为由此可见，这是一个周期为2的马尔可

16、夫链。所以，当n为奇数时WORD格式.整理版优质参考.资料2.10设有马尔可夫链，它的状态转移空间为I: 0, 1,它的一步转移概率矩阵为试用数学归纳法证明P(n)(0 :： p ：二 1)u-p11”(2p-1)n2-2(2p-1)ni4(2p-1)n证明：当n=1时，显然是成立的。假设n = k-1成立，即P(kf =11k-1-(2p -1)2 21 1k-1二一二(2 p 一 D22k2 i(2p-1)k-1则当n = k时P(k) _ P(k -1) P _1。八。-一(2 p 1)21 4 1 S 八 J-+-(2p -1)2 211k 12 2(2p-1k 1-(2p-1)k-1

17、 2l+l(2p-1)k2 21 1 k二一二(2 p _1)2 21 -1(2p-1)k2 21 1 k(2p-1)k2 2所以结论成立。2.11设有马尔可夫链，它的状态空间为1：0,1,它的一步转移概率矩阵为(0 二 a 1,0 :二 b ：二1)1 -bJ试求p（利用矩阵的特征值、特征矢量方法计算）解：解算此题有以下三种方法：方法一:利用矩阵的相似变换：首先，容易解得矩阵P的两个特征值人和对应的特征向量分别为1入 1 =1 ,由这些特征向量做为列向量构成的矩阵Q和其逆阵Q1为彳a 1Q = 1 -b 1与矩阵P存在如下关系Q-1 =一 ba +b1_a +ba 1 a + b-1a +

18、b _I0 1QPQ =0 1 _ a _ b _一 10QqQ =j0 1 _ a _ b _并且(Q -1 PQ)n =Q-1PQQ“PQ Q-1PQ =Q-1PnQ于是得-10P(n) =Q0 1 _ a _ b _n a(1ab)n+b a-a(1-a-b)n qT=| a+ba+bb -b(1 -a -b)n a + b(1 - a - b) n- a+ba+b 方法二:利用矩阵的特征值、特征矢量：首先，由下面的等价关系PX = X = PPX = PX = 2X = PX = nXP的所有特可知产是P(n)的特征值，P的特征向量是P的特征向量。因此，可由征值和特征向量，利用PX =

19、KnX这个等式解P。设Pl P2 1P(n)=J3 P4 _对于本题，可得方程组如下- Pl P2 M I 口 11.P3 P4JL1J上-p1P2-a - a=(1 -a-b)nJp3 P4.b_二b_解得Pi, P2, P3, P4的值与方法一的结果相同。方法三:利用母函数：首先，转移概率矩阵对应的母函数为1 - (1 - a) s - as I G(s) = P(n)sn =(I -Ps)=n=1 bs1 (1 b)s_1(1 - a - b)s - (2 - a - b)s 11 -(1 -b)s_ bsas1 (1 a)s将矩阵G(s)的第一行第一列元素展开成s的级数为ab oO a

20、 b a b - an na皿 -aJ =(1 a - b) s 1 _ (1 - a _ b) s 1 _ sn =o a b h八_b_na b其中，sn项的系数就是P的第一行第一列元素，即P1 =(1 - a -b)n同理可得P2, P3, P4。(即一连三天2.12天气预报问题。其模型是：今日是否下雨依赖于前三天是否有雨WORD 格式 .整理版有雨；前面两天有雨，第三天是晴天；），问能否把这个问题归结为马尔可夫链。如果可以，问该过程的状态有几个？如果过去一连三天有雨，今天有雨的概率为0.8；过去三天连续为晴天，而今天有雨的概率为0.2； 在其它天气情况时，今日的天气与昨日相同的概率为0

21、.6。求这个马尔可夫链的转移矩阵。解：此问题本来不是马尔可夫链，但是通过将连续三天的天气情况定义为一个状态，则可以认为是一个马尔可夫链。每天的天气状况分为有雨（用 “ 1” 表示） 和无雨 （用“ 0”表示）两种情况，所以该马尔可夫链有23=8中状态。将连续四天的天气情况用Y和N表小。例如，前三天有雨，第四天无雨，则表小为 YYYN根据题意可知，如果过去一连三天有雨，今天有雨的概率为0.8；过去三天连续为晴天，而今天有雨的概率为0.2；即P1111=0.8 ， P0001=0.2 ，在其它天气情况时，今日的天气与昨日相同的概率为0.6，即P0011= P0111=P1011=0.6P1100=

22、P0000= P0100=P1000=0.6于是可得其它的概率值为P0000=1-P0001=0.8 ， P0010=1-P0000=0.2 ， P0101=1-P0100=0.4P0110=1-P0111=0.4 ， P1001=1-P1000=0.4 ， P1010=1-P1011=0.4因此，概率转移矩阵为优质.参考.资料WORD格式.整理版优质参考.资料0 0 0 0.2 0.80.80.20.40.40.60.40.60.60.40.60.20.82.13设有马尔可夫链,它的状态空间为01它的步转移概率矩阵为f/f0(1)，f0(1* 2)P=2(3) f01f0(2) =(1) (1)P01 P10f0(12)=(1) (1)P00 P01f (3) f01(1) (1) (1)一 P00 P00 P01f (3) 1 01(1) (1) (1)一 P01 p11 p10另一种方法是利用母函数由下面的关系Poo(s)Poo(s)226 1 -s:3 )(s-1)(s-6)2s(s-1)(s-6)P01(s