第五章马尔科夫过程复习

1、第五章 马尔可夫过程,一马尔可夫过程的定义,1马尔可夫性,2. 马尔可夫过程,的条件分布函数恰好等于,3.马尔可夫链,定义 参数集和状态空间都是离散的马尔可夫过程 称为马尔可夫链。,注 只讨论马尔可夫链的状态空间为有限或可列无限.,则马尔可夫性可表示为,特别对取T=0,1,2,的马尔可夫链，记为,或,此时的马尔可夫性为,或,今后,记,二 马尔可夫链的转移概率与概率分布,1. 转移概率,经过k步转移,于n+k时到达状态j的条件概率).,在n时的k步转移概率.,n时的k步转移概率矩阵.,特别 当k=1时，,特别k时，约定,. Chapman-kolmogorov方程,定理 (C-K方程),或矩阵形

2、式,（解决了k步转移概率与一步转移概率间的关系）,C-K方程的直观意义：,系统在n 时从状态i的出发,经过k+m步转移,于n+k+m时到达状态j,可以先在n时从状态i出发，经过k步转移于n+k时到达某种中间状态l,再在n+k时从中间状态l出发经过m步转移于n+k+m时到达最终状态j,而中间状态l要取遍整个状态空间S.,定理 马尔可夫链的k 步转移概率由其一步转移概率 所完全确定.,1）初始分布,为马尔可夫链的初始分布,3.马尔可夫链 的分布,2）有限维分布,3.齐次马尔可夫链,为齐次(时间其次或时齐)马尔可夫链.,否则，称为非齐次马尔可夫链.,为方便，一般假定时间起点为零即,显然对齐次马尔可夫

3、链，k步转移概率也与起始 时刻n无关记为,相应的k步与一步转移概率矩阵分别记为,例 不可越壁的随机游动,设一质点在线段1，5 上随机游动，状态空间I=1，2，3，4，5，每秒钟发生一次随机游动，移动的规则是：,（1）若移动前在2，3，4处，则均以概率1/3向左 或向右移动一单位，或停留在原处；,（2）若移动前在1处，则以概率1移到2处；,（3）若移动前在5处，则以概率1移到4处。,试写出一步转移矩阵.,分析,故,例,甲、乙两人进行比赛，设每局比赛中甲胜的概率是p，乙胜的概率是q，和局的概率是r ,（ p+q+r=1）。设每局比赛后，胜者记“+1”分，负者记“-1”分，和局不记分。当两人中有一人

4、获得2分结束比赛。以 表示比赛至第n局时甲获得的分数。,（1）写出状态空间；,（3）问在甲获得1分的情况下，再赛二局可以结束比赛的概率是多少？,解,（1）,记甲获得“负2分”为状态1，获得“负1分”为状态2，获得“0分”为状态3，获得“正1分”为状态4，获得“正2分”为状态5，则状态空间为,一步转移概率矩阵,（2）二步转移概率矩阵,（3）,从而结束比赛的概率；,从而结束比赛的概率。,所以题中所求概率为,解,证毕！,由上例知，泊松过程是时间连续状态离散的马氏过程， 维纳过程是时间状态都连续的马氏过程。,Markov链的状态分类与判别,定义 称状态iE为吸收态，若pii = 1.,定义 对i,j

5、E，若存在n N，使 ，则称自状态i出发可达状态j，记为i j.如果ij且ji，则称i,j 相通，记为ij.,定理 相通是一种等价关系,即满足 自返性 i i; 对称性 ij,则 ji; 传递性 ij, jk则 ik.,定义若一Markov链的任意两个状态都相通，则称为不可约链。,定义 令 Tij=minn:X0=i,X n=j,n1，称为系统在0时刻从状态i出发，首次到达状态j的时间，简称为首达时. 且规定, 若右边为空集，则Tij =.,定义 令,表示0时刻从状态 i出发，经 n步转移后首次到达状态j 的概率，称为n步首达概率；由i 出发，经过有限步首次到达状态 j 的概率为,定义 若fi

6、i=1，则称状态 i 为常返态; 若fii 1，则称状态 i 为瞬时态（非常返态）。,定义 如果fij = 1, 记 则 表示从i出发到达j的平均转移时间.特别，称 为从状态i出发，返回状态i的平均返回时间. 若 ，称i为正常返态；若 =，称i为零常返状态.,引理 对任意i, jE及n1，有,上式也称为M . C从状态 i 首次到达状态 j 的分解式，简称首达分解式。,推论,定理,i 为瞬时态,定理,推论 有限状态马氏链的状态空间至少有一个常返态。,定理 常返态全体构成一个闭集。,定义 设C E，若对任意的iC，和任意的jC, 及任意的nT，pij(n)=0，则称C为E的闭集。,i 为常返态,

7、定理 设马氏链的状态空间为E， (1) 对任意i, jE，若 ij，则它们同为常返态或瞬时态；而且当i, j是常返态时，i, j 同为正常返态或同为零常返态； (2) 不可约的有限齐次马氏链的状态都是正常返的。,定义 如果集合n :n1, 0，称该数集的最大公约数d(i)为状态i的周期.若d(i)1，称i为周期的，若d(i)=1，称i为非周期的.,定义 若状态 i为正常返态的且非周期的，则称i为遍历状态.,定义 称Markov链是遍历的,如果所有状态都是遍历态.,小结,相通、闭集、不可约,状态,常返,瞬时,正常返、 零常返,周期、 非周期,遍历,定理 设马氏链的状态空间为E， i, jE， （

8、1）若 i E是一个周期态，且 ij，则 j 也是周期态，且di= dj ； （2）若此链不可约，且对i E有pii 0，则此链是非周期链。,状态空间分解定理,任意Markov链的状态空间E可唯一分解为有限或可列个互不相交的子集之和 其中 N由全体瞬时态组成; 每个 或 是零常返或正常返态组成的不可约闭集; (3)每个 或 中的状态同类.它们有相同的周期,且,例1,其一步转移矩阵为,试研究各状态间的关系，并画出状态传递图。,解,先按一步转移概率，画出各状态间的传递图,由图可知,状态0可到达状态1，经过状态1又可到达状态2；反之，从状态2出发经状态1也可到达状态0。,因此，状态空间I的各状态都是