随机过程理论：14 马尔可夫链

1、问题背景条件概率太多的条件，计算上面临困难完全独立不能反映事物之间的关联关系有限记忆性 马尔科夫！马尔可夫 俄国 18561922在概率论方面发展了其老师切比雪夫的矩方法，使中心极限定理的证明成为可能。推广了大数定律和中心极限定理的应用范围。在数理统计方面引入了等价互不相容概念和有效性统计原理。马尔可夫 随机过程创始人在随机过程方面开创了用数学分析方法研究自然过程的一般模式（1906），这种模式后人即以他的姓氏命名为马尔可夫链。开创了一种无后效性随机过程的研究，即马尔可夫过程。马尔可夫链、过程第14讲：北京航空航天大学主讲人：张有光电话：82314978，F806一、马尔可夫链1、马尔可夫链定

2、义 2、马尔可夫链转移概率3、马尔可夫链转移概率性质4、齐次马尔可夫链1、马尔可夫链定义 设 为一随机序列，其状态空间 ，对任一 （ N一般包含有限或者可列无穷个非负整数 ) ，有则称为马尔可夫链。直观意义举例家族消失问题高尔顿、瓦特森曾研究，斯蒂芬森给出了完整解基因突变知道群体的现在，群体的将来与过去无关邮递员模型：处理状态机一类问题信源序列：马尔科夫信源2、马尔可夫链转移概率引入转移概率： 表示已知在时刻 m 系统处于状态 ，或说 取值 的条件下，经 ( n-m ) 步转移到状态 的概率，也可理解为已知在时刻 m 系统处于状态 i 的条件下，在时刻 n系统处于状态 j 的条件概率。3、转移

3、概率的性质3、转移概率性质3、转移概率性质k步3、转移概率的性质矩阵表示4、齐次马尔可夫链5、马尔可夫链有限状态马尔可夫链可数无穷状态的马尔可夫链二、切普曼科尔莫戈罗夫方程1、CK方程2、齐次马尔可夫链CK方程3、CK方程的矩阵表示4、马尔可夫链定理1、CK方程说明: 若过程开始位于状态i，经过（m+r）步后转移到状态j，必须经过m步从状态i转移到中间状态k，再从中间状态k经余下的r步转移到状态j。证明2、齐次马尔可夫链CK方程用一步转移概率表达多步转移概率。3、CK方程的矩阵表示4、马尔可夫链定理马尔可夫链由初始分布和一步转移概率决定。三、马尔可夫链举例1、贝努里试验2、例23、例34、无限

4、制随机游走5、带两个反射壁6、带两个吸收壁7、艾伦费斯特模型1、贝努里试验2、马尔可夫链例23、马尔可夫链3证明：4、无限制随机游走一个质点在直线上做随机游走，如果在某一时刻质点位于i，则下一步质点将以概率p(0p1) 向前游走一步到达i+1处，或以概率q(p+q=1)向后游走一步到达i-1处，现规定，这一质点只能“向前”或“向后”游走一步，并且经过一个单位时间它必须游走。如果以 表示n时刻质点的位置，则 是一个随机过程。并且当 时， 等在时刻n后质点所处的状态仅与 有关，而与时刻n以前的状态无关，故它是一个齐次马尔可夫链。随机游走转移概率矩阵一步转移概率n步转移概率5、带有两个反射壁的随机游

5、走考虑一个质点在直线段上作随机游走，直线段的两个终端为反射壁，此随机游走所取得的状态空间为 I= 0 , 1 , 2 , , c 。其中0状态和 c 状态均为反射态。一旦质点进入0状态，则下一步必以概率1向前游走一步，进入 c 状态，必以概率1向后游走一步，其余各点与上题同。转移概率矩阵6、带有两个吸收壁的随机游走 考虑一个质点在直线段上作随机游走，此随机游走所取得的状态空间为 I = 0 , 1 , 2 , , c 。其中0状态和 c 状态均为吸收态。一旦质点进入 0 状态或 c 状态，则会被吸收，即质点不会再做任何的游走。其余各点与上题同。 （有限赌资的输光问题）转移概率矩阵7、艾伦费斯特

6、模型该模型可以用一个模型来说明。设一个坛中装有c个球，它们或是红色的，或者黑色的。随机地从坛子中取出一个球，并换以另一个颜色的球放回坛中。经过n次摸换，研究坛中的黑球数。7、艾伦费斯特模型四、马尔可夫序列1、马尔可夫序列 基本定义2、齐次性与平稳性3、马尔可夫序列的性质1、基本定义一个随机变量序列Xn，若对任意的n2、马尔可夫序列的齐次性平稳性3、马尔可夫序列性质马尔可夫序列的子序列也是马尔可夫序列。马尔可夫序列的逆也是马尔可夫序列已知现在，过去与未来相互独立马尔可夫过程分类马尔可夫链时间离散、状态离散马尔可夫序列时间离散、状态连续马尔可夫过程连续时间参数，可分为状态离散和状态连续的马尔可夫过

7、程三、马尔可夫过程1、马尔可夫过程定义2、马尔可夫过程特性3、切普曼-柯尔莫哥洛夫方程4、相关例题1、马尔可夫过程定义设 为一随机过程，若对任一 n 和对于 T 中的 有则称此过程为马尔可夫过程。问题：与其他定义的区别？1、马尔可夫过程定义一阶马尔可夫过程可以看成是白噪声过程（完全独立）的简单推广。 Markov18561922，在1907年在有限状态的离散参数系统中首次引入。 Kolmogorov1936年研究可列状态， 我国王梓坤院士进行了系统研究。2、马尔可夫过程特性当条件概率密度函数存在时，有此式说明若 表过去时刻，则将来时刻 的X(t)的统计特性仅取决于现在时刻 的状态，而与过去时刻的状态无关，这种特性称为马尔可夫特性，或称无后效性。2、马尔可夫过程特性联合概率密度可见，马氏过程的所有统计特性完全包含在它的一阶和二阶概率密度函数中。 2、马尔可夫过程特性马尔可夫过程的逆也满足马尔可夫性2、马尔可夫过程特性马尔可夫过程的子过程也是马尔可夫过程3、切普曼-柯尔莫哥洛夫方程其意义：与马尔可夫链进行比较证明过程(序列时的证明)：4、相关例题（1）设随机过程 由下述方程确定其中 是均值为0，方差为 的高斯随机变量。试分析该过程的特性。例1：解