随机过程作业和答案第三章.doc

第三章 马尔科夫过程1、将一颗筛子扔多次。记Xn 为第n次扔正面出现的点数，问X(n) , n=1,2,3,是马尔科夫链吗？如果是，试写出一步转移概率矩阵。又记Yn为前n次扔出正面出现点数的总和，问Y(n) , n=1,2,3,是马尔科夫链吗？如果是，试写出一步转移概率矩阵。解：1)由已知可得，每次扔筛子正面出现的点数与以前的状态无关。故X(n)是马尔科夫链。E=1,2,3,4,5,6 ,其一步转移概率为:Pij= Pij=PX(n+1)=jX(n)=i=1/6 (i=1,2,6,j=1,2,6)转移矩阵为2)由已知可得，每前n次扔正面出现点数的总和是相互独立的。即每次n次扔正面出现点数的总和与以前状态无关，故Y(n)为马尔科夫链。其一步转移概率为其中2、一个质点在直线上做随机游动，一步向右的概率为p , (0p1)，一步向左的概率为 q , q =1-p 。 在x = 0 和x = a 出放置吸收壁。记X(n)为第n步质点的位置，它的可能值是0,1,2,a。试写出一步转移概率矩阵。解：由已知可得,其一步转移概率如下：故一步转移概率为3、做一系列独立的贝努里试验，其中每一次出现“成功”的概率为p ( 0p1 ) ,出现“失败”的概率为q , q = 1-p。如果第n次试验出现“失败”认为 X(n) 取得数值为零；如果第n次试验出现“成功”，且接连着前面k次试验都出现“成功”，而第 n-k次试验出现“失败”，认为X(n)取值k ，问X(n) , n =1,2,是马尔科夫链吗？试写出其一步转移概率。解：由已知得：故为马尔科夫链，其一步转移概率为4、在一个罐子中放入50个红球和50个蓝球。每随机地取出一球后，再放入一个新球进去，新球为红球和兰球的概率各为1/2。第n次取出一球后，又放入一个新球，留下的红球数记为X(n)。问X(n) , n =1,2,是马尔科夫链吗？试写出一步转移概率矩阵（当 n50）。解：由已知得，将来状态X(n)只与当前状态X(n-k)有关，故X(n)为马尔科夫链5、随机地扔两枚分币，每枚分币的面有“国徽”和“分值”之分。X(n) 表示两枚分币分扔 n 次后面正面出现“国徽”的总个数。试问X(n)是否是马尔科夫链？写出一步转移概率。解：由已知得，将来状态X(n)只与当前状态X(n-k)有关。故X(n)是马尔科夫链。6、扔一颗筛子，如果前n次扔出现点数的最大值为j，就说X(n)的值等于。试问X(n) , n =1,2,是不是马尔科夫链？并写出一步转移概率矩阵。解：由已知得，将来状态X(n)只与当前状态X(n-k)有关。故X(n)是马尔科夫链。其一步转移概率矩阵为7、假定随机变量X0的概率分布为 PX0=1=p , PX0= -1=1-p，0p0,q0,p+q=1。试求二步转移概率矩阵和三步转移概率矩阵，并用数学归纳法证明一般n步转移概率矩阵为解：1） 2）证明：a)当n=1时，等式成立b)假设当n=k时，等式成立即：则当n=k+1时，即当n=k+1时，等式成立。综合a),b)得，一般n步转移概率矩阵位11、设马尔科夫链具有状态空间E=1,2,3，初始概率分布为和一步转移概率矩阵为(1) 计算PX(0)=1,X(1)=2,X(2)=2;(2) 试证PX(1)=2,X(2)=2 | X(0)=1=p12p22(3) 计算p12(2)。解：1）2）3）12、设马尔科夫链具有状态空间E=1,2 ，初始概率分布为和一步转移概率矩阵为（1） 计算PX(0)=1,X(1)=2,X(2)=2;（2） 计算PX(n)=1,X(n+1)=2,X(n+2)=2，n=1,2,3;（3） 计算PX(n)=1, X(n+2)=2，n=1,2,3;（4） 计算P X(n+2)=2，n=1,2,3;（5） 在（1），（2），（3），（4）中哪些依赖于n，哪些不依赖于n。解：1)2)13、在12题中，初始概率分布为试对n=1,2,3计算其绝对概率分布解：14、设马尔科夫链的一步转移概率矩阵为其中p0,r0,且p+q+r=1,初始概率分布为试对n=1,2,3计算其绝对概率分布解：15、在第9题的马尔科夫链中，转移概率的 是否存在，此链是否遍历？并求极限分布。解：由已知得，该马尔科夫链为有限马尔科夫链，且满足此链是遍历的，且 ，即极限存在16、在第11题的马尔科夫链中，转移概率的 是否存在，此链是否遍历？并求极限分布。解： 此链是遍历的，极限 存在。由19、假定某商店有一部电话。如果在时刻t电话正被使用，那么置X(t)=1,否则置X(t)=0。假定X(t),t0具有转移概率矩阵又假定初始分布为（1） 计算矩阵P(0)（2） 验证P(t)的每一行元素之和等于1；（3） 计算概率：PX(0.2)=0, PX(0.2)=0 | X(0)=0, PX(0.1)=0 , X(0.6)=1 , X(1.1