马尔科夫预测

马尔柯夫预测法第三节马尔柯夫预测马尔柯夫（A.AMarkov）预测法是应用概率论中马尔柯夫链的理论和方法来研究随机事件变化并借此分析预测未来变化趋势的一种方法。马尔柯夫（A.AMarkov俄国数学家）。基本概念稳态概率实例第三节马尔可夫决策

例6-7我国出口某种设备，在国际市场上的销售状况有两种：畅销和滞销。畅销每年可以获利100万元，滞销时每年仅获利30万元。以一年为一个时期，如果不采用广告推广产品或采取广告措施，状态的转移矩阵分别为如表6-5、表6-6所示。案例引入：实例2：P198第三节马尔可夫决策

假定上一年处于畅销状态，每年的广告费为15万元。为了保证今后3年的利润最大化，是否应该采用广告措施？畅销滞销畅销0.80.2滞销0.40.6畅销滞销畅销0.90.1滞销0.70.3表6-3不采取广告措施

表6-4采取广告措施案例引入：例6-5P194某企业为使技术人员具有多方面经验，实行技术人员在技术部门，生产部门和销售部门的轮换工作制度。轮换办法采取随机形式，每半年轮换一次，初始状态，即技术人员开始是在某部门工作概率用表示，j=1，2，；pij表示处于第i个部门的技术人员在半年后（一步）转移到第j个部门的概率。已知状态转移概率如果某人开始在工程技术部门工作（部门1），则经过2次转移后它在生产部门工作（部门2）的概率是多少？一、基本概念20世纪初，马尔科夫在研究中发现自然界中有一类事物的变化过程仅与事物的近期状况有关，而与事物的过去状态无关。例：设备维修和更新、人才结构变化、资金流向、市场需求变化等许多经济行为都可用这一类过程来描述或近似。所谓马尔柯夫链，就是一种随机时间序列，它在将来取什么值只与它现在的取值有关，而与它过去取什么值无关，即无后效性。具备这个性质的离散型随机过程，称为马尔柯夫链。一、基本概念一、马尔可夫链

经济问题采取的行动已经确定，但将这个行动付诸实践的过程又分为几个时期。在不同的时期，系统可以处在不同的状态，而这些状态发生的概率又可受前面时期实际所处状态的影响。其中一种最简单、最基本的情形，是每一时期状态参数的概率分布只与这一时期的前一时期实际所处的状态有关，而与更早的状态无关，这就是所谓的马尔可夫链。利用马氏过程分析系统当前状态并预测未来状态的决策方法，称为马尔可夫决策。第三节马尔可夫决策一、基本概念经济学中把这种现象称为“无后效性”，即“系统在每一时刻的状态仅仅取决于前一时刻的状态”。例如，池塘里有三张荷叶，编号为1，2，3，假设有个青蛙在荷叶上随机地跳来跳去，在初始时刻t0，它在第二张荷叶上。在时刻t1，123123第三节马尔可夫决策一、基本概念它可能跳到第一张或者第三张荷叶，也可能在原地不动。我们把青蛙在某个时刻所在的荷叶称为青蛙所处的状态，这样，青蛙在未来处于什么状态，只与它现在所处的状态有关，与它以前所处的状态无关，这种性质就是所谓的“无后效性”。上例中，青蛙所处的那张荷叶，称为青蛙所处的状态，在经济系统的研究中，一种经济现象，在某一时刻t所出现的某种结果，就是该系统在该时间t所处的状态。一、基本概念：状态、状态转移概率、

状态转移概率矩阵、初始状态概率向量（一）、状态与状态变量状态：客观事物可能出现或存在的状况。如：商品可能畅销也可能滞销；机器运转可能正常也可能故障等。同一事物不同状态之间必须相互独立:不能同时存在两种状态。客观事物的状态不是固定不变的，它可能处于这种状态，也可能处于那种状态，往往条件变化，状态也会发生变化。如某种产品在市场上本来是滞销的，但是由于销售渠道变化了，或者消费心理发生了变化等，它便可能变为畅销产品。用状态变量来表示状态：它表示随机运动系统，在时刻 所处的状态为状态转移：客观事物由一种状态到另一种状态的变化。如：由于产品质量或替代产品的变化，市场上产品可能由畅销变为滞销。（二）、状态转移概率客观事物可能有共种状态，其中每次只能处于一种状态，则每一状态都具有个转向（包括转向自身即。由于状态转移是随机的，因此，必须用概率来描述状态转移可能性的大小，将这种转移的可能性用概率描述，就是状态转移概率概率论中的条件概率：P（AB）就表达了由状态B向状态A转移的概率，简称为状态转移概率。对于由状态Ei

转移到状态Ej的概率，称它为从i

到j

的转移概率。记为：它表示由状态Ei经过一步转移到状态Ej的概率。第三节马尔可夫决策（二)、状态转移概率某地区有甲、乙、丙三家食品厂生产同一种食品，有一千个用户（或购货点），假定在研究期间无新用户加入也无老用户退出，只有用户的转移，已知2009年5月份有500户是甲厂的顾客，400户是乙厂的顾客，100户是丙厂的顾客，6月份，甲厂有400户原来的顾客，上月的顾客有50户转乙厂，50户转丙厂；乙厂有300户原来的顾客，上月的顾客有20户转甲厂，80户转丙厂；丙厂有80户原来的顾客，上月的顾客有10户转甲厂，10户转乙厂。试求状态转移概率。第三节马尔可夫决策甲乙丙合计甲乙丙40020105030010508080500400100合计4303602101000表6-1顾客转移表(二)、状态转移概率到

从

第三节马尔可夫决策(二)、状态转移概率(三)、状态转移概率矩阵 将事件个状态的转移概率依次排列起来，就构成一个N行×N列的矩阵，这种矩阵就是状态转移概率矩阵。

通常称矩阵P

为状态转移概率矩阵，没有特别说明步数时，一般均为一步转移概率矩阵。矩阵中的每一行称之为概率向量。

转移概率矩阵的特征??一、基本概念

状态转移概率矩阵具有如下特征： （1）

（2）

状态转移概率矩阵及其基本特征状态转移概率的估算主观概率法（一般缺乏历史统计资料或资料不全情况下使用）统计估算法。第三节马尔可夫决策二、马尔可夫性随机过程如果对任意都存在则称具有马尔可夫性。第三节马尔可夫决策二、马尔可夫链与转移概率矩阵条件概率称为转移概率，也称一步转移概率。各状态之间的转移概率可记为例设味精市场的销售记录共有6年24个季度的数据，见表。求味精销售转移概率矩阵。季度123456789101112销售状态畅1畅1滞2畅1滞2滞2畅1畅1畅1滞2畅1滞2季度131415161718192021222324销售状态畅1畅1滞2滞2畅1畅1滞2畅1滞2畅1畅1畅1用“1”表示畅销用“2”表示滞销季度123456789101112销售状态畅1畅1滞2畅1滞2滞2畅1畅1畅1滞2畅1滞2季度131415161718192021222324销售状态畅1畅1滞2滞2畅1畅1滞2畅1滞2畅1畅1畅1

共24个季度数据，其中有15个季度畅销，9个季度滞销，现分别统计出:连续畅销、由畅转滞、由滞转畅和连续滞销的次数。以

p11

表示连续畅销的可能性，以频率代替概率，得：

??

分子7

是表中连续出现畅销的次数，分母15是表中出现畅销的次数，因为第24季度是畅销，无后续记录，故减1。2个状态:“1”

畅销“2”

滞销季度123456789101112销售状态畅1畅1滞2畅1滞2滞2畅1畅1畅1滞2畅1滞2季度131415161718192021222324销售状态畅1畅1滞2滞2畅1畅1滞2畅1滞2畅1畅1畅1

以

p12

表示由畅销转入滞销的可能性： 分子7

是表中由畅销转入滞销的次数。以

p21

表示由滞销转入畅销的可能性： 分子7

是表中由滞销转入畅销的次数，分母数9是表中出现滞销的次数。2个状态:“1”

畅销“2”

滞销季度123456789101112销售状态畅1畅1滞2畅1滞2滞2畅1畅1畅1滞2畅1滞2季度131415161718192021222324销售状态畅1畅1滞2滞2畅1畅1滞2畅1滞2畅1畅1畅1

以

p22

表示连续滞销的可能性： 分子2

是表中连续出现滞销的次数。综上所述，得销售状态转移概率矩阵为：第三节马尔可夫决策例：某经济系统有三种状态E1，E2，E3（比如畅销，一般，滞销）。系统状态转移情况如表，试求系统的二步状态转移概率矩阵。系统下步所处状态E1E2E3系统本步所处状态E1E2E321161078814122状态次数状态（二）、状态转移概率第三节马尔可夫决策（二）、状态转移概率即P即为一步状态转移概率矩阵，二步转移概率矩阵可由一步转移概率矩阵求出第三节马尔可夫决策（二）、状态转移概率第三节马尔可夫决策（二）、状态转移概率于是第三节马尔可夫决策例题：某商店在最近20个月的商品销售量统计记录如下：试预测第21月的销售量。时间

t销售量时间

t销售量时间

t销售量时间

t销售量1234540458012011067891038405062901112131415110130140120551617181920704580110120表6-2商品销售量统计表单位：千件第三节马尔可夫决策（二）、状态转移概率解：1.划分状态。按盈利状况为标准选取（1）销售量<60千件属滞销；（2）60千件≤销售量≤100千件属一般；（3）销售量>100千件属畅销；

2.计算初始概率Pi

为了使问题更为直观，绘制销售量散点图，并画出状态分界线，第三节马尔可夫决策第三节马尔可夫决策（二）、状态转移概率解：由图可以算出处于：滞销状态的有M1=7一般状态的有M2=5畅销状态的有M3=83.计算状态转移概率矩阵第三节马尔可夫决策（二)、状态转移概率从而所以第三节马尔可夫决策(二)、状态转移概率4.预测第21月的销售情况由于第20月的销售量属于畅销状态，而经由一次转移到达三种状态的概率是：因此，第21月超过100（千件）的可能性最大。即预测第21月的销售状态为“畅销”。第三节马尔可夫决策(三)、马尔可夫链与转移概率矩阵定义：如果随机过程满足下述性质，则称是一个有限状态的马尔可夫链（Markov）。（1）具有有限种状态；（2）具有马尔可夫性；（3）转移概率具有平稳性。第三节马尔可夫决策三、稳态概率称为稳态概率。且因此我们可以从n步转移矩阵的极限取得稳态概率分布

第三节马尔可夫决策三、稳态概率得此方程组为稳态方程三、稳态概率矩阵:

平稳分布与稳态分布

在马尔可夫链中，已知系统的初始状态和状态转移概率矩阵，就可推断出系统在任意时刻可能所处的状态。 现在需要研究当k

不断增大时，P(k)

的变化趋势。

1、平稳分布如存在非零向量

X=(x1，x2，

…，xN)，使得：

XP=X其中：P为一概率矩阵则称X为P的固定概率向量。特别地，设X=(x1，x2，

…，xN)为一状态概率向量，P为状态转移概率矩阵，若XP=X即： 称X

为该马尔可夫链的一个平稳分布若随机过程某时刻的状态概率向量P(k)为平稳分布，则称过程处于平衡状态。（XP=X）一旦过程处于平衡状态，则经过一步或多步状态转移之后，其状态概率分布保持不变，也就是说，过程一旦处于平衡状态后将永远处于平衡状态。对于所讨论的状态有限（即N个状态）的马尔可夫链，平稳分布必定存在。特别地，当状态转移矩阵为正规概率矩阵时，平稳分布唯一。正规概率矩阵？？？定义1：如果P为概率矩阵，且存在m>0，使Pm

中诸元素皆非负非零。则称P为正规概率矩阵。例如：均为正规概率矩阵。P1为正规概率矩阵是明显的（m=1）P2是正规概率矩阵也也易于论证：即存在（m=2），使P2

的元素皆非负非零。

是非正规概率矩阵。正规概率矩阵的这一性质很有实用价值。因为在市场占有率是达到平稳分布时，顾客（或用户）的流动将对市场占有率不起影响。即各市场主体丧失的顾客（或用户）与争取到的顾客相抵消。

例：甲乙丙三个食品厂顾客的32步转移概率。二、稳态分布

可以看到每一列都有相同的值。这说明不管初始状态三个食品厂占有多少顾客，经过32月之后处于状态j的概率都是相同的。即：经过多次转移之后，系统存在一个处于状态j的有限概率，此概率与系统原始状态无关。二、稳态分布

对概率向量

=(

1，

2，

…，

N)，如对任意的i，jS

：

则称

为稳态分布。此时，不管初始状态概率向量如何，均有，或这也是称

为稳态分布的理由。性质？？

设存在稳态分布

=(

1，

2，

…，

N)，则由于下式恒成立：令k→∞就得

A：即有限状态马尔可夫链的稳态分布如存在，那么它也是平稳分布。

B：当马尔科夫链的状态转移概率矩阵为正规概率矩阵时稳态分布存在，且稳态分布和平稳分布相同且均唯一。例：设一马尔可夫链的状态转移矩阵如下，求其平稳分布及稳态分布。解：(1)P是正规概率矩阵即存在（m=2），使P2

的元素皆非负非零。(2)求解如下方程组：这就是该马尔可夫链的稳态分布，而且也是平稳分布。§5.3

马尔可夫链预测法

马尔可夫链预测方法的最简单类型是预测下期最可能出现的状态。步骤：第一步：划分预测对象所出现的状态。 从预测目的出发，考虑决策需要来划分现象所处的状态。第二步：计算初始概率。据实际问题分析历史资料所得的状态概率称为初始概率。第三步：计算状态转移概率第四步：根据转移概率进行预测由状态转移概率矩阵P

：如果目前预测对象处于状态Ei，这时Pij

就描述了目前状态Ei

在未来将转向状态Ej（j=1，2，…，N）的可能性。按最大可能性作为选择原则：选择（Pj1，Pj2，…，

PjN

）中最大者为预测结果。第三节马尔可夫决策

例6-7我国出口某种设备，在国际市场上的销售状况有两种：畅销和滞销。畅销每年可以获利100万元，滞销时每年仅获利30万元。以一年为一个时期，如果不采用广告推广产品或采取广告措施，状态的转移矩阵分别为如表6-5、表6-6所示。四、马尔可夫应用实例第三节马尔可夫决策

假定上一年处于畅销状态，每年的广告费为15万元。为了保证今后3年的利润最大化，是否应该采用广告措施？四、马尔可夫应用实例畅销滞销畅销0.80.2滞销0.40.6畅销滞销畅销0.90.1滞销0.70.3表6-3不采取广告措施

表6-4采取广告措施第三节马尔可夫决策

解：这是短期经营不变策略问题，所以可以把不采用广告措施和采用广告时这三年中每一年畅销、滞销的概率分别求出来，然后计算每一年的利润期望值，通过比较每种措施下三年利润期望值总和，便可得出结论。四、马尔可夫应用实例第三节马尔可夫决策四、马尔可夫应用实例第三节马尔可夫决策

由于上一时期处于畅销状态，因此，如不采取广告措施，第一年畅销和滞销的概率分别为0.8和0.2，第二年畅销和滞销的概率分别为0.72和0.28，第三年畅销和滞销的概率分别为0.688和0.312.所以可以算得，三年所获期望利润值总和四、马尔可夫应用实例第三节马尔可夫决策四、马尔可夫应用实例第三节马尔可夫决策四、马尔可夫应用实例

比较两式，可知最满意的方案应该是不采取广告策略，其期望利润值总和为244.56万元。第三节马尔可夫决策四、马尔可夫应用实例

例6-6某生产商标为的产品的厂商为了与另外两个生产同类产品和的厂家竞争，有三种可供选择的措施：（1）发放有奖债券；（2）开展广告宣传；（3）优质售后服务。三种方案分别实施以后，经统计调查可知，该类商品的市场占有率的转移矩阵分别是第三节马尔可夫决策四、马尔可夫应用实例

已知三种商标的商品的月总销售量为一千万件，每件可获利1元。另外，三种措施的成本费分别为150万，40万，30万。为长远利益考虑，生产商标为的产品的厂商应该采取何种措施？第三节马尔可夫决策四、马尔可夫应用实例

解：由于考虑的是长期经营，而且采取的是不变策略，所以采取三种措施的稳态状态概率进行决策。（1）计算出措施1的稳态概率为：第三节马尔可夫决策四、马尔可夫应用实例第三节马尔可夫决策

（2）生产商标为a的商标的厂商采取措施后的期望值为107∏1，采取措施前后的纯利润计算如表：措施市场占有率毛利期望值措施成本费用纯利润期望值10.5444544.4150394.420.55004046030.550030470表6-4采取措施后的纯利润单位：万元

四、马尔可夫应用实例

（3）计算结果表明，生产商标为a的商品的厂商应该采用措施3。实例3（市场占有率的预测）

已知在某地区销售同类型产品的有A，B，C三个公司，经过一年营业后进行调查，发现：1A公司的200名顾客中有160名继续订货，有20名转向B公司订货，20名转向C公司订货。2B公司的500名顾客中有450名继续订货，有35名转向A公司订货，15名转向C公司订货。3C公司的300名顾客中有255名继续订货，有25名转向A公司订货，20名转向B公司订货。

如果三个公司在这个地区的初始占有率为A=22%，B=49%，C=29%，且它们都不改变营业状态和规模，问：（1）明年和后年，三个公司在这个地区市场占有率为如何？（2）稳定状态下，三个公司的市场占有率？解：根据题意，状态转移矩阵为：

ABCA160/20020/20020/200P=B35/500450/50015/500C25/30020/300255/300状态转移矩阵为：

ABCA0.800.100.10P=B0.070.900.03C0.0830.0670.85今年的市场占有率u=（0.22,0.49,0.29）明年的市场占有率up=0.800.100.10（0.22,0.49,0.29）0.070.900.030.0830.0670.85明年的市场占有率up1=（0.234,0.483,0.283）后年的市场占有率up2=（up）（P）=（0.245,0.477,0.278）稳定状态下，市场占有率将是：

(x1,x2,x3)(P)=(x1,x2,x3)x1+x2+x3=10.800x1+0.070x2+0.083x3=x10.100x1+0.900x2+0.067x3=x20.100x1+0.030x2+0.850x3=x3

x1+x2+x3=1得：x1=0.273x2=0.454x3=0.273实例4（营业点的选择）

某城市出租汽车公司有A、B、C三个汽车站，顾客可以在这三个汽车站任意租车，汽车用完就近开回汽车站，根据一段时间营业后发现，汽