No.12-第5章-马尔可夫预测的基本原理

主要内容：马尔可夫预测的基本原理马尔可夫预测的应用预测与决策教程第五章马尔可夫预测方法西安电子科技大学经济与管理学院管理工程系5.1马尔科夫预测的基本原理知识点1：马尔可夫链【案例5-1】Centerville小镇的天气每天都在变化。如果今天是晴天，则明天出现晴天的可能性就比今天是雨天明天出现晴天的可能性大。如果今天是晴天，则明天也是晴天的概率为0.8。而今天是雨天，则明天是晴天的概率为0.6。即使考虑了今天之前所有各天的气象情况，这个概率值也不会发生改变。Centerville小镇的天气变化可看作一个随机过程{Xt}。从某天开始（这一天被记为第0天），连续记录随后每一天（第t天）的气象状况，t=0,1,2,…,第t天系统的状态可能为1(代表第t天为晴天)，也可能为2(代表第t天为雨天)。因此，对于，t=0,1,2,…，随机变量Xt可表示为：背景案例

因此，随机过程{Xt}={X0,X1,X2

,…}是一种描述Centerville小镇气象状况随时间变化的数学表达式。

[资料来源：Hillier,FS,Lieberman,GJ.著，胡运权等译.运筹学导论，清华大学出版社，2007。p714-715]如果第t天是晴天如果第t天是雨天西安电子科技大学经济与管理学院管理工程系

马尔可夫（A.A.Markov）是俄国数学家。二十世纪初，他在研究中发现自然界中有一类事物的变化过程仅与事物的近期状态有关，而与事物的过去状态无关。具有这种特性的随机过程称为马尔可夫过程。西安电子科技大学经济与管理学院管理工程系类似上述系统状态动态变化问题的表述和预测可以通过马尔可夫预测方法来完成。设备维修和更新、人才结构变化、资金流向、市场需求变化等许多经济和社会行为都可用这一类过程来描述或近似，其应用范围非常广泛。一、马尔可夫链定义1

随机过程参数集（随机变量）——随机过程

定义2

如若

为离散集（设），同时的取值也是离散的，则称为离散型随机过程。知识点1什么是马尔可夫链？西安电子科技大学经济与管理学院管理工程系

设有一离散型随机过程，它在时刻所有可能处于的状态的集合为称S为状态空间。（与时刻无关）

定义3若只与有关，而与等无关，称

为马尔可夫链，即在荷花池中有

N张荷叶，编号为1，2，……，N

。假设有一只青蛙随机地从这张荷叶上跳到另一张荷叶上。青蛙的运动可看作一随机过程。在时刻t，青蛙所在的那张荷叶，称为青蛙所处的状态。那么，青蛙在未来处于什么状态，只与它现在所处状态有关，与它以前在哪张荷叶上无关。此过程就是一个马尔可夫链。【例】青蛙跳荷叶马尔科夫链：离散的、状态有限、状态仅与上期有关的随机过程。当系统由一种状态变为另一种状态时，我们称之为状态转移。

定义4

一步状态转移概率定义5

状态转移概率矩阵与n无关假设：（齐性）知识点2：状态转移矩阵Review:马尔科夫链—离散的、状态有限、状态仅与上期有关的随机过程。再引入几个概念：

概率向量：对于任意的行向量（或列向量），如果其每个元素均非负且总和等于1，则称该向量为概率向量。概率向量（市场占有率）

概率矩阵：由概率向量作为行向量所构成的方阵称为概率矩阵。概率矩阵（选择产品时不同品牌间转化）初始状态概率向量记为过程的开始时刻，则称为初始状态概率向量。概率矩阵有如下性质：如果

、皆是概率矩阵，则也是概率矩阵；如果

是概率矩阵，则

的任意次幂也是概率矩阵。定义6

k步状态转移概率，k步状态转移概率矩阵

称为k步状态转移概率，为k步状态转移概率矩阵。【案例6-1】Centerville小镇的天气每天都在变化。如果今天是晴天，则明天出现晴天的可能性就比今天是雨天明天出现晴天的可能性大。如果今天是晴天，则明天也是晴天的概率为0.8。而今天是雨天，则明天是晴天的概率为0.6。即使考虑了今天之前所有各天的气象情况，这个概率值也不会发生改变。Centerville小镇的天气变化可看作一个随机过程{Xt}。从某天开始（这一天被记为第0天），连续记录随后每一天（第t天）的气象状况，t=0,1,2,…,第t天系统的状态可能为1(代表第t天为晴天)，也可能为2(代表第t天为雨天)。因此，对于，t=0,1,2,…，随机变量Xt可表示为：回顾：

因此，随机过程{Xt}={X0,X1,X2

,…}是一种描述Centerville小镇气象状况随时间变化的数学表达式。

如果第t天是晴天如果第t天是雨天西安电子科技大学经济与管理学院管理工程系由题设，

从而，

又，由于第二天的天气情况不受今天之前天气情况的影响，因此，该随机过程具有马尔可夫属性，该过程为马尔可夫链。状态转移概率矩阵

状态

12状态

12以一个月为单位，经观察统计，知其从某个月份到下月份，机床出现故障的概率为0.3。在这一段时间内，故障机床经维修恢复到正常状态的概率为0.9。

例5.1考察一台机床的运行状态。机床的运行存在正常和故障两种状态。机床在运行中出现故障：1－>2；处于故障中的机床经维修，恢复到正常状态：2－>1。12p12=0.3p21=0.9两步状态转移概率：11121212同理，即有一般地，两步转移概率可以由一步转移概率得到：其含义为：系统从状态

出发，经1步转移到

，其中

从1到

，然后再从状态

转移到

的概率的总和。（全概率公式）更为一般，

—一步状态转移概率矩阵—k

步状态转移概率矩阵回到例5.1.如已知初始概率向量

，比如0.90.30.7

马尔可夫链中任何k步状态转移概率矩阵都可由1步状态转移矩阵求出。西安电子科技大学经济与管理学院管理工程系如已知齐次马尔可夫链的转移矩阵以及初始状态概率向量，则任一时刻的状态概率分布也就确定了。马尔科夫链：离散的、状态有限、状态仅与上期有关的随机过程。一步状态转移概率：状态转移概率矩阵小结：k步状态转移概率，k步状态转移概率矩阵

马尔可夫链中任何k步状态转移概率都可由1步状态转移概率求出。西安电子科技大学经济与管理学院管理工程系初始状态概率向量记为过程的开始时刻，则称为初始状态概率向量。如已知齐次马尔可夫链的转移矩阵以及初始状态概率向量，则任一时刻的状态概率分布也就确定了。西安电子科技大学经济与管理学院管理工程系案例案例5-1的n

步转移矩阵运用上述公式计算案例6-1的一步转移矩阵P的n次方，求解其各n步转移矩阵。该2步转移矩阵说明，如果今天是睛天（1），那么两天后仍为晴天（1）的概率为0.76，为雨天（2）的概率为0.24；如果今天是雨天（2），那么两天后为晴天（1）的概率为0.72，为雨天（2）的概率为0.28。2步转移矩阵：3天，4天或5天后的气象状态转移概率可通过计算3步、4步和5步转移矩阵得到。注意：在5步转移矩阵中有一个十分有趣的现象，即该矩阵两行的值完全一样，这表明5天之后的气象状态的概率与5天前的气象状态无关。因此，这个5步转移矩阵中每行的概率被称为该马尔可夫链的平稳概率。

西安电子科技大学经济与管理学院管理工程系知识点3：稳态概率矩阵Review:一步状态转移概率：状态转移概率矩阵：k步状态转移概率，k步状态转移概率矩阵

马尔可夫链中任何k步状态转移概率都可由1步状态转移概率求出。

问题：当

不断增大时，的变化趋势？三、稳态概率矩阵已知系统的状态转移矩阵和系统的初始状态，可以推断出系统在任意时刻可能所处的状态。西安电子科技大学经济与管理学院管理工程系1.平稳分布

若存在非零概率向量，使得则称

为

的固定概率向量。

如为一状态概率向量，

为状态转移概率矩阵。若则称

为马尔可夫链的一个平稳分布。

若随机过程某时刻的状态概率向量

为平稳分布，则称过程处于平衡状态。一旦过程处于平衡状态，则过程经过一步或多步状态转移之后，其状态概率分布保持不变，也就是说，过程一旦处于平衡状态后将永远处于平衡状态。2.稳态分布若存在，设其极限为，问题1：对于系统的状态

，当

趋于无穷时，是否存在极限？则称为稳态分布。

定义

对于概率向量如对任意的，均有此时，不管初始状态概率向量如何，均有这也是称为稳态分布的理由。令，得

设存在稳态分布，则由于下式恒成立即，有限状态马尔可夫链的稳态分布如存在，那么它也是平稳分布。

问题2系统是否存在稳态分布？什么条件？如果有正整数

,只有当

时,,或者说当

不能被

整除时,

,则称

状态是具有周期性状态,如果除了

外使

的各

值没有其公约数,则称该状态

为非周期性的.

设齐次马尔可夫链

的状态空间为

，如果存在某个正整数

，使得

的一步转移概率矩阵

的次幂

中每个元素都大于0，则称此马尔科夫链是不可约的。

对非周期的马尔可夫链，稳态分布必存在，对不可约非周期的马尔可夫链，稳态分布和平稳分布相同且均唯一。