第六讲 马尔科夫决策

y管理模型

董纪昌中科院研究生院管理学院2010.10马尔科夫过程及决策目录MM的由来马尔可夫性和马尔可夫链HMM实例HMM的三个基本算法马尔科夫决策MM的由来

1870年，俄国有机化学家VladimirV.Markovnikov第一次提出马尔科夫模型马尔可夫模型（MM）马尔可夫链隐马尔可夫模型（HMM）估算隐藏于表面事件背后的事件的概率：观察到一个人每天带雨伞的情况，反过来推测天气情况马尔可夫性如果一个过程的“将来”仅依赖“现在”而不依赖“过去”，则此过程具有马尔可夫性,或称此过程为马尔可夫过程X(t+1)=f(X(t))从Xt到Xt+1的转换只依赖于Xt马尔科夫链时间和状态都离散的马尔科夫过程称为马尔科夫链记作{Xn=X(n),n=0,1,2,…}在时间集T1={0,1,2,…}上对离散状态的过程相继观察的结果链的状态空间记做I={a1,a2,…},ai∈R.条件概率Pij(

m,m+n)=P{Xm+n=aj|Xm=ai}为马氏链在时刻m处于状态ai条件下，在时刻m+n转移到状态aj的转移概率。转移概率矩阵阴天晴天下雨

晴天阴天下雨晴天0.500.250.25阴天0.3750.250.375下雨0.250.1250.625转移概率矩阵(续)

由于链在时刻m从任何一个状态ai出发，到另一时刻m+n，必然转移到a1，a2…，诸状态中的某一个，所以有当Pij(m,m+n)与m无关时，称马尔科夫链为齐次马尔科夫链，通常说的马尔科夫链都是指齐次马尔科夫链。

HMM实例

ObservedBallSequenceUrn3Urn1Urn2VeilHMM实例——描述设有N个缸，每个缸中装有很多彩球，球的颜色由一组概率分布描述。实验进行方式如下根据初始概率分布，随机选择N个缸中的一个开始实验根据缸中球颜色的概率分布，随机选择一个球，记球的颜色为O1，并把球放回缸中根据描述缸的转移的概率分布，随机选择下一口缸，重复以上步骤。最后得到一个描述球的颜色的序列O1,O2,…，称为观察值序列O。

HMM实例——约束

在上述实验中，有几个要点需要注意：不能直接观察缸间的转移从缸中所选取的球的颜色和缸并不是一一对应的每次选取哪个缸由一组转移概率决定HMM概念HMM的状态是不确定或不可见的，只有通过观测序列的随机过程才能表现出来观察到的事件与状态并不是一一对应，而是通过一组概率分布相联系

HMM是一个双重随机过程，两个组成部分：

马尔可夫链：描述状态的转移，用转移概率描述。

一般随机过程：描述状态与观察序列间的关系，用观察值概率描述。Markov链（

,A）随机过程（B）状态序列观察值序列q1,q2,...,qTo1,o2,...,oTHMM的组成示意图HMM组成HMM的基本要素用模型五元组＝（N,M,π，A，B）用来描述HMM，或简写为=(π，A，B)参数含义实例N状态数目缸的数目M每个状态可能的观察值数目彩球颜色数目A与时间无关的状态转移概率矩阵在选定某个缸的情况下，选择另一个缸的概率B给定状态下，观察值概率分布每个缸中的颜色分布p初始状态空间的概率分布初始时选择某口缸的概率HMM可解决的问题问题1：给定观察序列O=O1,O2,…OT,以及模型,如何计算P(O|λ)？问题2：给定观察序列O=O1,O2,…OT以及模型λ,如何选择一个对应的状态序列S=q1,q2,…qT，使得S能够最为合理的解释观察序列O？问题3：如何调整模型参数,使得P(O|λ)最大？解决问题1基础方法解决问题1前向法解决问题1后向法Baum-Welch算法(模型训练算法)目的：给定观察值序列O，通过计算确定一个模型l，使得P(O|l)最大。HMM的应用领域金融领域运营管理质量管理市场营销语音识别机器视觉图像处理生物医学分析马尔科夫决策

马尔科夫决策方法就是根据某些变量的现在状态及其变化趋向，来预测它在未来某一特定期间可能出现的状态，从而提供某种决策的依据。马尔科夫决策基本方法是用转移概率矩阵进行预测和决策。

回总目录回本章目录

一、转移概率矩阵及其决策特点

转移概率矩阵模型为：

其中，

表示概率值，

表示转移概率矩阵。回总目录回本章目录

转移概率矩阵的特点：

（1）转移矩阵中的元素非负，即：（2）矩阵各行元素之和等于1，即：回总目录回本章目录

（1）转移概率矩阵中的元素是根据近期市场或顾客的保留与得失流向资料确定的。（2）下一期的概率只与上一期的预测结果有关，不取决于更早期的概率。（3）利用转移概率矩阵进行决策，其最后结果取决于转移矩阵的组成，不取决于原始条件，即最初占有率。

用马尔科夫决策方法进行决策的特点：回总目录回本章目录

二、转移概率矩阵决策的应用步骤转移概率矩阵决策的步骤如下：

1、建立转移概率矩阵。

2、利用转移概率矩阵进行模拟预测。

3、求出转移概率矩阵的平衡状态，即稳

定状态。4、应用转移概率矩阵进行决策。回总