马氏过程的资料

马氏过程的资料第1页/共116页本章基本要求理解马尔可夫性与马尔可夫过程概念，学会判别马尔可夫过程;理解马尔可夫链与齐次马尔可夫链的概念，会判别齐次马尔可夫链;会求一步转移概率及一步转移概率矩阵，会画概率转移图;第2页/共116页3掌握n步转移概率求法及切普曼－柯尔莫哥洛夫方程;了解初始分布和绝对分布概念，会求马氏链的绝对分布和任意有限维分布;了解齐次马氏链的遍历性意义，会求平稳分布.第3页/共116页§6.1马尔可夫过程概念

马尔可夫过程，也称为“健忘”过程，是在20世纪初由前苏联学者马尔可夫在研究随机过程中得到的，因而称马尔可夫过程，简称马氏过程。马尔可夫过程是一类重要的随机过程，它在信息理论、自动控制、数值计算、近代物理、工程技术、生物科学、经济交通等领域都起到了非常重要的作用。4第4页/共116页5引例：从数1，2，……N中任取一数，记为X1，再从1，2，……

X1

中任取一数，记为X2，如此下去，……从

1,2，……

Xn-1

中任取一数，记为Xn

。第5页/共116页6一、马尔可夫过程的数学定义1.马尔可夫性

马尔可夫性，又称“无后效性”，是指当随机过程在某时刻所处状态已知的条件下，该过程在之后的时刻处于的状态只会与时刻的状态有关，而与该过程在以前所处的状态无关。注：马尔可夫过程是具有马尔可夫性的一类随机过程，马尔可夫性（无后效性）体现了马尔可夫过程的“健忘”特点。简单地说，马尔可夫性（简称马氏性），是指“将来”只与“现在”有关，而与“过去”无关。第6页/共116页72.马尔可夫过程的定义[定义6.1.1]马尔可夫性（无后效性）设为一随机过程，为其状态空间，若对任意的，任意的，任意的，随机变量在已知条件下的条件分布函数若只与有关，而与

无关，即条件分布函数满足等式第7页/共116页8即或相应的条件概率分布（离散型）满足等式：或相应的条件概率密度（连续型）满足等式：则称此过程为马尔可夫过程，简称为马氏过程。第8页/共116页二、常见的马氏过程[定理6.1.1]独立随机过程为马氏过程。证：设{X(t),t∈T}为独立过程，则相互独立，9故，独立过程是马氏过程。第9页/共116页10[例1]连续抛硬币试验中，令表示第n次抛掷时正面朝上，否则，则为独立过程，从而它是马氏过程。[例2]连续掷骰子试验中，令表示第n次掷得的点数，则随机过程为独立过程，从而它是马氏过程。第10页/共116页[定理6.1.2]设为一独立增量过程，且有

，为常数，则此过程为马氏过程。证：设{X(t),t∈T}为独立增量过程，则相互独立，11故，独立增量过程是马氏过程。从而，则：第11页/共116页12齐次和非齐次泊松过程是马氏过程;

复合泊松过程、维纳过程也是马氏过程。二项过程是马氏过程。这是因为它们均是独立增量过程，且初值为零。所谓二项过程，是指每次试验中事件A发生的概率为

，独立重复进行这一试验，以表示前n次

试验中事件A发生的次数。可知是独立增量过程且，故该二项过程是马氏过程。第12页/共116页13三、马氏过程的分类马氏过程根据参数空间与状态空间的离散与连续类型分为以下四种类型：（1）离散参数集，离散状态集马氏过程；

（2）离散参数集，连续状态集马氏过程；

（3）连续参数集，离散状态集马氏过程；

（4）连续参数集，连续状态集马氏过程；离散参数马尔可夫链连续参数马尔可夫链第13页/共116页14四、马氏过程的有限维分布族设为一马氏过程，则对于，其n维分布函数如下：第14页/共116页

状态集为离散集的马尔可夫过程称为马尔可夫链，简称马氏链。马氏链按照参数集的离散与连续类型又分为：离散参数马氏链和连续参数马氏链。本课程中，我们将主要学习离散参数马氏链，其参数集常被当作离散的时间集。15§6.2马尔可夫链第15页/共116页16离散参数集：常作为时间集，取为

其中称为初始时刻。离散状态集：为简单记，常取为整数集或整数

集的无限或有限子集。常见有：

或

或

或

等等。一般情形第16页/共116页17一、马氏链的定义1.定义[定义6.2.1]设为一随机过程，状态集为,若对于任意的

及对应的随机变量满足则称此过程为马尔可夫链，简称马氏链。马氏性第17页/共116页18注：

可以证明，定义中的马氏性具有如下两个等价形式：

对于任意正整数

，，有

对于任意正整数，有第18页/共116页192.有限维概率分布

若

是一马氏链，则维随机变量的概率分布为：马氏链的n+2维分布是由一系列条件分布与初始分布的乘积组成。第19页/共116页203.一步转移概率

我们称条件概率

为马氏链在k时刻处于状态i，而下一时刻将处于状态j的一步转移概率．

的性质：第20页/共116页21事实上，S第21页/共116页[例1]贝努利试验序列：记表示第n次试验中事件A发生,否则，则是独立随机变量序列，状态空间，故而它是马氏链。请写出其一步转移概率（设每次试验中A发生的概率为p）。22解第22页/共116页2323二、齐次马氏链1.定义[定义6.2.2]设是一马氏链，状态空间为，若其一步转移概率与马氏链现在所在时刻（绝对时间k）无关，即满足等式则称此马氏链为齐次马氏链（或时齐马氏链），亦称之为具有平稳转移概率的马氏链。齐次性（时齐性）或平稳性第23页/共116页242.的性质3.一步转移概率矩阵的元素非负，且行和为1。第24页/共116页25问：如何判断和说明一随机过程是马氏链？是否齐次马氏链？写出一步转移概率矩阵？步骤：（1）明确X(n)表示什么样的随机过程，并写出状态集E；（2）判定是否马氏链：说明X(n+1)的取值仅与X(n)的取值(状态)有关，而与过去时刻的状态无关；（3）判定是否齐次：写出一步转移概率，若能说明X(n+1)转移至状态j的概率仅与当前时刻

X(n)所处的状态

i有关，而与绝对时间n无关，则为齐次马氏链；（4）写出一步转移概率矩阵。第25页/共116页例1：从数1，2，……N中任取一数，记为X1，再从1，2，……

X1

中任取一数，记为X2，如此下去，……从

1,2，……

Xn-1

中任取一数，记为Xn

。问：1){Xnn≥1}是否构成马尔可夫链？4)是否构成齐次马尔可夫链？2)写出状态空间？3)写出一步转移概率矩阵？第26页/共116页例2：在线段[1，5]上有个质点，假定它只能停留在1，2，3，4，5点上，并且只在t1,t2,……等时刻发生随机移动，移动的规则是：移动前若在2，3，4点上，均以1/3的概率向左，右移一格或不动；移动前若在1点上，则以概率1移动到2点，移动前若在5点上，则以概率1移动到4点，这样，如果以Xn=i(i=1,2,3,4,5)表示质点在时刻tn处于i点.问：1){Xnn≥1}是否构成马尔可夫链？2)是否构成齐次马尔可夫链？3)写出一步转移概率矩阵？第27页/共116页[例3]（随机游动）设质点在数轴的整数点上作随机游动，如某时刻质点位于i，则下一步以概率运动到i-1，而以概率运动到i+1。特别地，若，则称之为对称随机游动（对称流）。试描述这一随机游动，并判断它是否齐次马氏链。28解设X(n)为质点在时刻n所处的位置，若X(n)=i，则X(n+1)的可能取值只与i有关，故而是马氏链。又与绝对时间n无关，故而X(n)是齐次马氏链。为

i-1和i+1，第28页/共116页29[例4]连续掷一枚均匀骰子的试验中，如前n次掷得的最大点数为j，则称质点在n时刻处于状态j，试问：（1）这样的质点运动是否构成马氏链？是否齐次的？（2）写出它的一步转移概率矩阵。解设X(n)为前n次掷得的最大点数，则其状态集E={1,2,…,6}。（1）若已知X(n)=i,

则可见X(n+1)的取值仅与X(n)的状态i有关，而与过去时刻的状态无关，故而它是马氏链。第29页/共116页30[例4]连续掷一枚均匀骰子的试验中，如前n次掷得的最大点数为j，则称质点在n时刻处于状态j，试问：（1）这样的质点运动是否构成马氏链？是否齐次的？（2）写出它的一步转移概率矩阵。解设X(n)为前n次掷得的最大点数，则其状态集E={1,2,…,6}。（1）若已知X(n)=i,

则可见X(n+1)的取值仅与X(n)的状态i有关，而与过去时刻的状态无关，故而它是马氏链。第30页/共116页31[例4]连续掷一枚均匀骰子的试验中，如前n次掷得的最大点数为j，则称质点在n时刻处于状态j，试问：（1）这样的质点运动是否构成马氏链？是否齐次的？（2）写出它的一步转移概率矩阵。解设X(n)为前n次掷得的最大点数，则其状态集E={1,2,…,6}。（1）若已知X(n)=i,

则可见n+1时刻转移到状态j的概率与绝对时间n无关，故而它是齐次马氏链。第31页/共116页（2）32第32页/共116页33几种常见的随机游动类型：（1）自由随机游动：状态集，一步转移概率为一步转移概率矩阵为

第33页/共116页34（2）有一个吸收壁（状态0）的随机游动：状态集，一步转移概率为一步转移概率矩阵为

第34页/共116页3535（3）有两个吸收壁（状态0和N）的随机游动：状态集，一步转移概率为一步转移概率矩阵为

第35页/共116页3636（4）有一个反射壁（状态0）的随机游动：状态集，一步转移概率为一步转移概率矩阵为

第36页/共116页373737（5）有两个反射壁（状态0和N）的随机游动：状态集，一步转移概率为一步转移概率矩阵为

第37页/共116页383838（6）有一个弹射壁（状态0）的随机游动：状态集，一步转移概率为一步转移概率矩阵为

第38页/共116页39393939（7）有两个弹射壁（状态0和N）的随机游动：状态集，一步转移概率为一步转移概率矩阵为

第39页/共116页40[例5]（艾伦菲斯特（Ehrenfest）模型）设一个坛子中装有红色和黑色球共计c个。从坛中随机摸出一球，并换入一个另一种颜色的球，经过n次摸换，记坛中的黑球数为

，试问是否构成一齐次马氏链？解分析关键词：摸出、换入E={0,1,…,c}，——球总数不变若X(n)=i，则X(n+1)的可能取值为

i-1和i+1，只与i有关，故而是马氏链。又与绝对时间n无关，故而X(n)是齐次马氏链。第40页/共116页41[例6]（波利亚（Polya）坛子模型）设坛子中有r只红球，t只白球。每次从中任取一球，观察其颜色后放回，并同时放入a只与所取出的那只球同色的球，如此不断取放，令

表示在第n次取放后坛子中有i只红球。试问是否为齐次马氏链？解分析关键词：任取、放回、放入—球总数在变化若X(n)=i，则X(n+1)的可能取值为只与i有关，故而是马氏链。又与绝对时间n有关，故而X(n)不是齐次马氏链。

i和i+a，第41页/共116页42思考：如何利用定义证明一随机过程是马氏链？[例7]设是相互独立的随机变量序列，，试证明是马尔可夫链。证明：因为故是马尔可夫链。第42页/共116页43三、概率转移图概率转移图能够更加直观形象地表现马氏链的状态转移过程和概率特性。

要会根据一步转移概率矩阵画出概率转移图；也能够根据概率转移图写出一步转移概率矩阵。例如，给定，一步转移概率矩阵

则相应概率转移图如下：第43页/共116页44又如，已知齐次马氏链的概率转移图如下，试写出相应的一步转移概率矩阵。可知相应的一步转移概率矩阵如下：

易见，从状态2到状态3至少要经两步到达。第44页/共116页45[思考题]有三个黑球和三个白球,把这六个球任意等分给甲乙两个袋中,并把甲袋中的白球数定义为该过程的状态,则有四种状态0,1,2,3。现每次从甲乙两袋中各取一球，然后相互交换。设X(n)表示经n次交换后过程的状态。问：（1）该过程是否马氏链？（2）计算其一步转移概率矩阵。[答案:]

是。第45页/共116页解分析关键词：各取一球、相互交换X(n)—n次交换后甲袋中的白球数，E={0,1,2,3}，若X(n)=0，则X(n+1)的可能取值为1，其余皆不可能.P(甲袋中取出白球，乙袋中取出黑球)46若X(n)=3，则X(n+1)的可能取值为2，其余皆不可能.若X(n)=1，则X(n+1)的可能取值为0,1,2，P(两袋中同时取出白球，或同时取出黑球)P(甲袋中取出黑球，乙袋中取出白球)若X(n)=2，类似。第46页/共116页§6.3切普曼－柯尔莫哥洛夫方程切普曼－柯尔莫哥洛夫方程,简称C-K方程，是马尔可夫过程的一个重要概率特性，它揭示了状态之间转移的统计规律。C-K方程在马氏链，特别是齐次马氏链的研究中占有极其重要的地位。利用此方程，可以很方便地求出多步转移概率。47第47页/共116页48一、n步转移概率

一步转移概率：

n步转移概率：

n步转移概率的性质：

第48页/共116页从m时刻的状态i经n步到达状态j的概率49n步转移概率矩阵：设其中，为腹元。该矩阵腹元非负且行和为1。通常，规定0步转移概率为：第49页/共116页必然事件S50问题:n步转移概率与一步转移概率的关系？1.简单情况：设齐次马氏链，状态集有限.可得，其二步转移概率为：第50页/共116页51P的第i行*P的第j列！第51页/共116页52可见，齐次马氏链的二步转移概率矩阵恰是两个一步转移概率矩阵的乘积，即类似，可推广至：齐次马氏链的n步转移概率矩阵等于其n-1步转移概率矩阵与一步转移概率矩阵的乘积，即具体地，亦即先从状态i走n-1步到达某一状态k，再走一步到达状态j第52页/共116页定理中不要求是齐次马氏链，故其多步转移概率与时间起点有关！53二、C-K方程[定理6.3.1]设为一马氏链，状态空间或其有限子集，则其n步转移概率满足：

对应的n步转移概率矩阵满足：第53页/共116页54证明：第54页/共116页55

设为一齐次马氏链，状态空间或其有限子集，则其n步转移概率满足：

对应的n步转移概率矩阵满足：[推论6.3.1]设为一齐次马氏链，状态空间或其有限子集，则其n+m步转移概率满足：

[推论6.3.2]第55页/共116页56

设为一齐次马氏链，状态空间或其有限子集，则有：[推论6.3.3]上述定理和推论6.3.1-2中的五个公式，均称为切普曼－柯尔莫哥洛夫方程，简称为C－K方程.由推论6.3.3可见，n步转移概率（矩阵）是由一步转移概率（矩阵）所确定.

C-K方程常用于计算多步转移概率（矩阵）.即第56页/共116页57[例1]设为齐次马氏链，状态空间

，其一步转移概率为：

，其余为0.试求：（1）两步转移概率矩阵；（2）从状态3经两步到达状态3的概率；（3）从状态3经四步到达状态5的概率；（4）从状态3经三步到达状态5的概率.第57页/共116页其余为0解58第58页/共116页59若此题中保持一步转移概率矩阵不变，但是状态空间变成E={0,1,2,3,4}呢？（假设第（3）－（4）问中状态5变成状态4.）第59页/共116页60三、初始分布与绝对分布[定义6.3.1]设为一马氏链，状态空间或其有限子集，令

且对于均有则称为该马氏链的初始分布，或称初始概率.初始分布实际上就是马氏链在初始时刻n=0时处于各个状态i的概率(X(0)的分布律).第60页/共116页61绝对分布实际上是指马氏链在时刻n处于各个状态i的概率(X(n)的分布律).[定义6.3.2]

设为一马氏链，状态空间或其有限子集，令

且对于均有则称为该马氏链的绝对分布，或称绝对概率.初始分布常记为：绝对分布常记为：行向量第61页/共116页62[定理6.3.2]马氏链的绝对概率由其初始分布和相应的多步转移概率唯一确定。[推论6.3.4]马氏链的绝对概率由其初始分布及一步转移概率唯一确定。计算式：第62页/共116页63[定理6.3.3]马氏链的有限维概率分布由其初始分布及一步转移概率唯一确定。事实上，均由一步转移概率唯一确定！第63页/共116页64[例2]设为齐次马氏链，状态空间

，其一步转移概率矩阵为：

初始分布试求：（1）；（2）；（3）；（4）.联合分布绝对分布联合分布条件概率第64页/共116页65012012第65页/共116页66[练习]设为齐次马氏链，状态空间

，其一步转移概率矩阵为：

试求：1.2.[答案:]1.3/25002.1/6第66页/共116页§6.4转移概率的遍历性与平稳分布

有这样一种物理现象：不管系统的初始状态如何，当影响系统的条件是稳定的或变化不大时，在经历一段较长的时间之后，系统将处于某种平衡状态（比如温度恒定时，气体状态将趋于稳定）。那么当过程的转移无限进行下去时，齐次马氏链是否具有某种稳定性呢？随机过程的概率特性与其结构有着密切关系，这就是我们要讨论的“遍历性”。67第67页/共116页68本节考察齐次马氏链：讨论其n步转移概率：

当时，的极限是否存在？问题：

若此极限存在，它是否与当前所处

的状态i无关？遍历性第68页/共116页69[定义6.4.1]设齐次马氏链的状态空间为，若对于所有的状态

，存在不依赖于的常数,为其转移概率在时的极限，即其相应的转移概率矩阵有则称此马氏链具有遍历性,并称为状态的稳态概率，也称为极限分布.第69页/共116页70下列为齐次马氏链的一步转移概率矩阵，考察其遍历性。（1）此马氏链不遍历！（2）不遍历！（3）此马氏链是遍历的！不存在！第70页/共116页(4)第71页/共116页72（5）故此链不遍历！第72页/共116页(6)第73页/共116页74利用定义来判断一齐次马氏链是否具有遍历性，或是否存在稳态概率，需要求出n步转移概率矩阵的极限——通常会很困难!第74页/共116页75那么,一般该如何判断遍历性,或求稳态概率呢?下面引入平稳分布![定义6.4.2]

设是一齐次马氏链，状态空间为，若存在实数集合满足（1）（2）（3）则称是一平稳齐次马氏链，称是该过程的一个平稳分布。平稳方程注：定义中的平稳方程也可写成，其中是行向量。第75页/共116页76[例1]设为齐次马氏链，状态空间

，其一步转移概率矩阵为：

初始分布为:考察其初始分布是否平稳分布,求其绝对分布.需验证：是否成立？由绝对分布计算式第76页/共116页77可见，此例中的初始分布就是马氏链的平稳分布，且其任意时刻的绝对分布都等于初始分布——此链的分布不随着时间的推移而变化——体现出“平稳”二字！第77页/共116页78一个结论：

若平稳方程成立，则齐次马氏链的n步转移概率满足.

事实上，反复利用平稳方程和C-K方程，有第78页/共116页79[定理6.4.1]

设是一平稳齐次马氏链，状态空间为，其初始分布为。若为的平稳分布，则对任意，绝对分布等于初始分布，即

.

事实上，由绝对分布计算式和前面结论可得，该定理表明，如齐次马氏链的初始分布是其平稳分布，则该链任意时刻的绝对分布等于初始分布，不随着时间的推移而发生改变！利用前面的结论或写成矩阵形式第79页/共116页80[例2]设为齐次马氏链，状态空间

，其一步转移概率矩阵为：

试讨论该链的遍历性及其平稳分布.解故此链不遍历。由平稳方程，有无穷多个平稳分布。可见，齐次马氏链即使不具有遍历性，也可能存在平稳分布；且平稳分布可能不唯一！第80页/共116页81[定理6.4.2]

设是一齐次马氏链，状态空间为，若存在正整数，使得对任意的，其步转移概率均大于0，即，则此链具有遍历性；且各状态的稳态概率

为方程组，即的唯一解，其中

满足条件：（1）（2）该定理给出判定有限状态齐次马氏链是否具有遍历性的充分条件！第81页/共116页82注：

不管一个齐次马氏链是否具有遍历性，其平稳分布都可能存在；

平稳分布可能不唯一；

在满足上述定理的条件下，平稳分布

即为极限分布（稳态概率）。第82页/共116页83[例3]设为齐次马氏链，状态空间

，其一步转移概率矩阵为：

问：(1)此链是否具有遍历性？

(2)转移概率的极限分布是否平稳分布？求其平稳分布.第83页/共116页84解故此链遍历。由平稳方程，所以其平稳分布为极限分布即为平稳分布。第84页/共116页85[例4]设为齐次马氏链，状态空间

，其一步转移概率矩阵为：

试讨论其遍历性，并求其平稳分布.第85页/共116页86解故此链遍历。由平稳方程，所以其平稳分布为第86页/共116页87[例5]

已知6月份，甲、乙、丙3种型号的某商品在某地有相同的销售额，7月份甲保持原有顾客的60%，分别获得乙、丙顾客的15%和30%；乙保持原有顾客的70%，分别获得甲、丙顾客的10%和20%；丙保持原有顾客的50%，分别获得甲、乙顾客的30%和15%，求8月份各型号商品的市场占有率,并求稳定状态时的占有率.第87页/共116页88分析6月份有相同的销售额：一步转移概率矩阵0.60.150.30.10.70.20.30.150.5（遍历！）8月份市场占有率：稳定状态时的市场占有率：——稳态概率，即求平稳分布。[答案:](1)8月份3种型号商品的市场占有率为

(2)稳定状态时甲乙丙的市场占有率为7月份甲保持原有顾客的60%，分别获得乙、丙顾客的15%和30%；乙保持原有顾客的70%，分别获得甲、丙顾客的10%和20%；丙保持原有顾客的50%，分别获得甲、乙顾客的30%和15%，第88页/共116页89

设齐次马氏链的状态空间为E={1，2，3}，一步转移概率矩阵（1）计算（2）计算（3）计算（4）计算（5）计算（6）计算

练习初始分布为第89页/共116页90解：由于是齐次马氏链，其两步转移概率矩阵

（1）（2）（3）（4）（5）（6）

第90页/共116页第六章小结马尔可夫过程独立过程和具有常数初值的独立增量过程是马氏过程（二项过程、泊松过程、非齐次泊松过程、复合泊松过程、维纳过程均是马氏过程！）马尔可夫链马氏性马氏性一步转移概率91第91页/共116页齐次马尔可夫链一步转移概率一步转移概率矩阵行和为1会判断和说明一随机过程是否齐次马氏链；会写一步转移概率矩阵和画出概率转移图！n步转移概率C-K方程：矩阵形式对齐次马氏链：92第92页/共116页初始分布绝对分布X(0)的分布X(n)的分布计算式：有限维分布（齐次马氏链）93第93页/共116页