马氏链模型及matlab程序

1、一、用法，用来干什么，什么时候用二、步骤，前因后果，算法的步骤，公式三、程序四、举例五、前面国赛用到此算法的备注一下马氏链模型用来干什么马尔可夫预测法是应用概率论中马尔可夫链(Markov chain )的理论和方法来研究分析时间序列的变化规律，并由此预测其未来变化趋势的一种预测技术。什么时候用应用马尔可夫链的计算方法进行马尔可夫分析，主要目的是根据某些变量现在的情况及其变动趋向，来预测它在未来某特定区间可能产生的变动，作为提供某种决策的依据。马尔可夫链的基本原理我们知道，要描述某种特定时期的随机现象如某种药品在未来某时期的销售情况，比如说第n季度是畅销还是滞销，用一个随机变量K便可以了，但要

2、描述未来所有时期的情况，则需要一系列的随机变量X, %,，K,.称 X, t CT , T是参数集为随机过程， X的取值集合称为状态空间. 若随机过程 X的参数为非负整数，Xn为离散随机变量，且 Xn 具有无后效性(或称马尔可夫性)，则称这一随机过程为马尔可夫链(简称马氏链).所谓 无后效性，直观地说，就是如果把 Xn 的参数n看作时间的话，那么它在将来取什么值只与它现在的取值有关，而与过去取什么值无关.对具有N个状态的马氏链，描述它的概率性质， 最重要的是它在 n时刻处于状态i下一时刻转移到状态j的一步转移概率:P(Xn 1 j|Xn i) Pij(n)i, j 1,2, N若假定上式与n无

3、关，即pij (0) pij (1)Pij (n) ，则可记为pij (此时，称过精选PiiPi2Pinp21p22p2 NpN 1PN2PN N(1)程是平稳的)，并记P称为转移概率矩阵.转移概率矩阵具有下述性质：(1)Pij0, i, j 1, 2, ,N .即每个元素非负.N(2)Pij1, i 1, 2, N .即矩阵每行的元素和等于1.j 1如果我们考虑状态多次转移的情况，则有过程在n时刻处于状态i,n+k时刻转移到状态j的k步转移概率：P(Xnk j|Xn i)p(k)(n)i,j 1,2, ,N同样由平稳性，上式概率与n无关，可写成pi(k) .记(k)(k)(k)p11口2p1

4、N(k)Jk)(k)P (k)p21p22p2N(k)(k)J)p N1pN2pN N称为k步转移概率矩阵.其中 p(k)具有性质：Np(k)0, i,j 1,2, ,N;Pi(k)1, i 1,2, Nj 1一般地有，若 P为一步转移矩阵，则 k步转移矩阵J)n(k)(k)DUa 2p1N(k)Jk)(k)p (k)p21p22p2N(3)(k)(k)J)pN1pN2pNN(2)状态转移概率的估算在马尔可夫预测方法中，系统状态的转移概率的估算非常重要.估算的方法通常有两种：一是主观概率法，它是根据人们长期积累的经验以及对预测事件的了解，对事件发生的可能性大小的一种主观估计，这种方法一般是在缺

5、乏历史统计资料或资料不全的情况下使用.是统计估算法，现通过实例介绍如下.例3记录了某抗病毒药的 6年24个季度的销售情况，得到表 1.试求其销售状态的转 移概率矩阵.表1某抗病毒药24个季度的销售情况季度销售状态季度销售状态季度 销售状态 季度销售状态11 （畅销）71（畅销）131（畅销）192（滞销）21（畅销）81（畅销）141（畅销）201（畅销）32（滞销）91（畅销）152（滞销）212（滞销）41（畅销）102（滞销）162（滞销）221（畅销）52（滞销）111（畅销）171（畅销）231（畅销）62（滞销）122（滞销）181（畅销）241（畅销）分析表中的数据，其中有15个

6、季度畅销，9个季度滞销，连续出现畅销和由畅销转入滞销以及由滞销转入畅销的次数均为7,连续滞销的次数为 2.由此，可得到下面的市场状态转移情况表（表 2）.现计算转移概率.以频率代替概率，可得连续畅销的概率连续出现畅销的次数P11出现畅销的次数15-0.5 1分母中的数为15减1是因为第24季度是畅销，无后续记录,同样得由畅销转入滞销的概率:畅销转入滞销的次数p12出现畅销的次数15- 0.5 1滞销转入畅销的概率:滞销转入畅销的次数P21出现滞销的次数0.78连续滞销的概率:0.22连续滞销的次数P22-出现滞销的次数综上，得销售状态转移概率矩阵为:PP11P12P21P220.50.50.7

7、80.22从上面的计算过程知，所求转移概率矩阵P的元素其实可以直接通过表2中的数字计算而得到，即将表中数分别除以该数所在行的数字和便可:PiiP12P21p2277 227 7Matlab 程序： format rat clc a= 1 1 2 1 2 2 1 1 1 2 1 2,1 1 2 2 1 1 2 1 for i=1:2 for j=1:2 f(i,j)=length(findstr(i j,a); end end f ni=(sum(f)' for i=1:2 p(i,:)=f(i,:)/ni(i); end2 1 1 1;P由此，推广到一般情况，我们得到估计转移概率的方法

8、：假定系统有m#状态S, &,Sn,根据系统的状态转移的历史记录，得到表3的统计表格，以 ？ij表示系统从状态i转移到状态j的转移概率估计值，则由表 3的数据计算估计值的公式如下:? nij? ji, j 1, 2, mnik k 1(3)带利润的马氏链在马氏链模型中，随着时间的推移，系统的状态可能发生转移，这种转移常常会引起某种经济指标的变化.如抗病毒药的销售状态有畅销和滞销两种，在时间变化过程中,有时呈连续畅销或连续滞销，有时由畅销转为滞销或由滞销转为畅销，每次转移不是盈利就是亏本.假定连续畅销时盈rii元，连续滞销时亏本 22元，由畅销转为滞销盈利12元,由滞销转为畅销盈利21元

9、，这种随着系统的状态转移，赋予定利润的马氏链，称为有利润的马氏链.对于一般的具有转移矩阵的马氏链，当系统由P11P12P1 NP21p22P2NPn 1Pn 2Pn n时，赋予利润ij(i ， j=1, 2,Pi转移到，N),则称221N(5)为系统的利润矩阵,门j >0称为盈利,N1N 2N N< 0称为亏本,ru = 0称为不亏不盈.随着时间的变化,系统的状态不断地转移，从而可得到一系列利润，由于状态的转移是随机的，因而一系列的利润是随机变量，其概率关系由马氏链的转移概率决定.例如从抗病毒药的销售状态的转移矩阵，得到一步利润随机变量Xi(1)、x21)的概率分布分别为:(1)X

10、ir 11r 12(1)X2r 21r 22概率P11P12概率P21P22其中P11+ P 12 = 1, P21+ p 22 = 1 .如果药品处于畅销阶段，即销售状态为=1 ,我们想知道，经过 n个季度以后，期望Vi其中E(xi)是随机变量xi的数学期望.2rij Pij1获得的利润是多少？为此，引入一些计算公式.首先，定义v(n)为抗病毒药现在处于i ( i 1, 2),经过n步转移之后的总期望利润,步转移的期望利润为:(1)、E(xi )ri1 Pi1ri2Pi2二步转移的期望利润为:Vi(2)E(xi)ri1Vl1)Pi1ri2 v21)Pi22rijj 1v(j1)Pij其中随机

11、变量x(2)(称为二步利润随机变量)的分布为:P(x(2)rij v(1)Pij, j1,2例如，若0.5 0.5 P0.4 0.6则抗病毒药销售的一步利润随机变量:X1(1)93概率0.50.5x21)3-7概率0.40.6抗病毒药畅销和滞销时的一步转移的期望利润分别为:V1E(Xi(1)r11P11r12 P129 0.50.5r21P21r22 P223 0.40.6二步利润随机变量为:(2)X19+63-3x22)概率0.50.5概率3+60.4-7-30.6抗病毒药畅销和滞销时的二步转移的期望利润分别为:(2)(2)v1E(Xi )11(明V1 P11r12v2)p12(9 6) 0

12、.5 (33) 0.57.5v22)e(x22)r21v1(1)P21r22v21) P22(3 6) 0.43) 0.62.4般地定义k步转移利润随机变量(k)Xi(i 1,2,N)的分布为:P(x(k)心 v(k1)Pijj 1,2, N则系统处于状态i经过k步转移后所得的期望利润v(k)的递推计算式为:(k)(k)、viE(x )N(rij1(k 1)、vj)PijNrijPij j 1N(kvjj 11)PijViN (k 1)vj Pij j 1(6)当k=1时，规定边界条件v(0) 0.称一步转移的期望利润为即时的期望利润，并记viqi, i 1,2,可能的应用题型题型一、市场占有

13、率预测A、B、C三药例题1在购买该药的总共1000家对象(购买力相当的医院、药店等)中，买 厂的各有400家、300家、300家，预测A B、C三个厂家生产的某种抗病毒药在未来的市场占有情况。顾客订货情况如下表5:表5顾客订货情况表合计下季度订货情况ABC来A160120120400自B1809030300C1803090300合计5202402401000模型建立与求解一、问题分析目前的市场占有情况为：在购买该药的总共1000家对象（购买力相当的医院、药店等） 中，买A、R C三药厂的各有 400家、300家、300家，那么A、B C三药厂目前的市场占 有份额分别为：40% 30% 30%称

14、（0.4 , 0.3 , 0.3 ）为目前市场的占有分布或称初始分布.此外，我们需要查清使用对象的流动情况。流动情况的调查可通过发放信息调查表来了解顾客以往的资料或将来的购买意向，也可从下一时期的订货单得出。由题已知顾客订货情况如下表5表5顾客订货情况表下季度订货情况合计ABC来A160120120400自B1809030300C1803090300合计5202402401000、模型的建立2.1模型构建假定在未来的时期内，顾客相同间隔时间的流动情况不因时期的不同而发生变化，以1、2、3分别表示顾客买 A、B、C三厂家的药这三个状态，以季度为模型的步长（即转移一步所需的时间），那么根据表 5,

15、我们可以得模型的转移概率矩阵：p11p12p13p21p22p23p31p32p33矩阵中的第一行0.30.3 )为买B厂和C厂的各有30%同样,度的流向.由P我们可以计算任意的160400180300180300120400903003030012040030300903000.40.30.30.60.30.10.60.10.3表示目前是 A厂的顾客下季度有 40%m买A厂的药，转第二行、第三行分别表示目前是B厂和C厂的顾客下季0.40.30.30.4960.2520.252P(3)_ 3P0.60.30.10.5040.2520.2440.60.10.30.5040.2440.252k步转

16、移矩阵，如三步转移矩阵:3从这个矩阵的各行可知三个季度以后各厂家顾客的流动情况.如从第二行(0.504 , 0.252 ,0.244 )知，B厂的顾客三个季度后有 50.4%转向买A厂的药，25.2%仍买B厂的，24.4%转向买C厂的药.设S(k)( p【k), p2k)，p3k)表示预测对象k季度以后的市场占有率，初始分布则为s(0)(pi,p20), p30),市场占有率的预测模型为S(k) s(0) pk S(k1) p已知S(0)(0.4, 0.3, 0.3),由此，我们可预测任意时期A B、C三厂家的市场占有率.例如,三个季度以后的预测值为:(Pi(3),p23),P(33)S(0)

17、0.4960.2520.2520.5040.2520.2440.5040.2440.252P3 (0.4 0.3 0.3)(0.5008 0.24960.2496 )大致上，A厂占有一半的市场,B厂、C厂各占四分之一.模型(7)可推广到N个状态的情形:Pl1Pl2piNS(k) S(k1)p S(0)pk (p1(0), p20),pN0) p21p22p2N(8)pN 1pN2pN N如果我们按公式(7)继续逐步求 A B、C三家的市场占有率，会发现，当k大到一定的程度，s(k)将不会有多少改变，即有稳定的市场占有率， 设其稳定值为S (p1, p2，p3),满足 p1p2p31 .事实上，

18、如果市场的顾客流动趋向长期稳定下去，则经过一段时期以后的市场占有率将会出现稳定的平衡状态，即顾客的流动，不会影响市场的占有率，而且这种占有率与初始分布无关.如何求出这种稳定的市场占有率呢？2.2模型求解7)可得方程S = S P,以A、B C三家的情况为例，当市场出现平衡状态时，从公式(0.40.30.3(Pi, P2,P3)(Pi,P2,P3)0.60.30.10.60.10.3由此得P10.4p1 0.6p2 0.6p3P2 0.3Pi 0.3P2 0.1P3P3 0.3P1 0.1P2 0.3P3经整理，并加上条件 P1 p2 p31 ,得0.6P1 0.6p20.6p300.3p10.

19、7p2 0.1p3 00.3p10.1p2 0.7p3 0P1 P2P3 10.4 0.3 0.3, 0.6 0.3 0.1,0.6 0.1 0.3上方程组是三个变量四个方程的方程组，在前三个方程中只有二个是独立的，任意删去一个,从剩下的三个方程中，可求出唯一解：P10.5,P20.25,P3 0.25这就是A、B、C三家的最终市场占有率.一般N个状态的稳定市场占有率(稳态概率)S(p1,p2， pN)可通过解方程组P11P12p1 NP21(P1, P2, PN )( P1, P2, PN )p22p2NP N1PN 2PN N(9)Nk 1Pk 1求得，而(9)的前N个方程中只有 N-1个是独立的，可任意删去一个。MATLA翼序：format ratp= 0.4 0.3 0.3, 0.6 0.3 0.1,0.6 0.1 0.3；a=p'-eye(3);ones(1,3);b=zeros(3,1);1;p_limit=ab题型二、期望利润预测企业追逐市场占有率的真正目的是使利润增加，因此，竞争各方无论是为了夺回市场份额，还是为了保住或者提高市场份额，在制订对策时都必须对期望利润进行预测.预测主要分两