马氏链模型及matlab程序

一、用法，用来干什么，什么时候用二、步骤，前因后果，算法的步骤，公式三、程序四、举例五、前面国赛用到此算法的备注一下马氏链模型用来干什么马尔可夫预测法是应用概率论中马尔可夫链(Markovchain)的理论和方法来研究分析时间序列的变化规律，并由此预测其未来变化趋势的一种预测技术。什么时候用应用马尔可夫链的计算方法进行马尔可夫分析，主要目的是根据某些变量现在的情况及其变动趋向，来预测它在未来某特定区间可能产生的变动，作为提供某种决策的依据。马尔可夫链的基本原理我们知道，要描述某种特定时期的随机现象如某种药品在未来某时期的销售情况，比如说第n季度是畅销还是滞销，用一个随机变量Xn^可以了，但要描述未来所有时期的情况，则需要一系列的随机变量X1，％，…，*，•••.称｛Xt，tET，T是参数集｝为随机过程，｛X」的取值集合称为状态空间.若随机过程｛*｝的参数为非负整数，Xn为离散随机变量，且｛X」具有无后效性(或称马尔可夫性)，则称这一随机过程为马尔可夫链(简称马氏链).所谓无后效性，直观地说，就是如果把｛Xi｝的参数n看作时间的话，那么它在将来取什么值只与它现在的取值有关，而与过去取什么值无关.对具有N个状态的马氏链，描述它的概率性质，最重要的是它在n时刻处于状态i下一时刻转移到状态j的一步转移概率：P(X"]=jIXn=i)=Pjj(n)i,j=1,2,…,N若假定上式与n无关，即Pjj(0)=pij⑴=…=pij(n)=…，则可记为p..(此时，称过程是平稳的)，并记P1NP2NP1NP2N⑴.PNNP=P21P22......PPN1N2称为转移概率矩阵.转移概率矩阵具有下述性质：

⑴PijZ0,/,j=1,2,…,N.即每个元素非负.i=1,2,…,N.即矩阵每行的元素和等于1.如果我们考虑状态多次转移的情况，则有过程在n时刻处于状态i,n+k时刻转移到状P(XP(X二n+k=jIXn=i)=P(?(n)i,j=1,2,…,N同样由平稳性，上式概率与n无关，可写成P(k).记ijP(k)=(，P(k)p(k)1112p2k)p22)……一、、•…p(k)1N…p(k)2N……1p(k)p(k)'N1N2…p(k)NN态j的k步转移概率:(2)称辨步转移概率矩阵•其中听具有性质:p：?>0,i,j=1,2,…,N；£p(?=1,i=1,2,…，N.lJj=1l]一般地有，若P为一步转移矩阵，则k步转移矩阵p(kp(k)p(k)…p(k)11121Np(k)p(k)…p(k)21222N…………p(k)p(k)…p(k)N1N2NNP(k)=(3)(2)状态转移概率的估算在马尔可夫预测方法中，系统状态的转移概率的估算非常重要.估算的方法通常有两种:一是主观概率法，它是根据人们长期积累的经验以及对预测事件的了解，对事件发生的可能性大小的一种主观估计，这种方法一般是在缺乏历史统计资料或资料不全的情况下使用.二是统计估算法，现通过实例介绍如下.例3记录了某抗病毒药的6年24个季度的销售情况，得到表1.试求其销售状态的转移概率矩阵.表1某抗病毒药24个季度的销售情况季度销售状态季度销售状态季度销售状态季度销售状态

11（畅销）71（畅销）131（畅销）192（滞销）21（畅销）81（畅销）141（畅销）201（畅销）32（滞销）91（畅销）152（滞销）212（滞销）41（畅销）102（滞销）162（滞销）221（畅销）52（滞销）111（畅销）171（畅销）231（畅销）62（滞销）122（滞销）181（畅销）241（畅销）分析表中的数据，其中有15个季度畅销，9个季度滞销，连续出现畅销和由畅销转入滞销以及由滞销转入畅销的次数均为7,连续滞销的次数为2.由此，可得到下面的市场状态转移情况表（表2）.现计算转移概率.以频率代替概率，可得连续畅销的概率：p=连续出现畅销的次数==0511出现畅销的次数15-1分母中的数为15减1是因为第24季度是畅销，无后续记录，需减1.同样得由畅销转入滞销的概率：p=畅销转入滞销的次数==0512出现畅销的次数15-1.滞销转入畅销的概率：p=滞销转入畅销的次数=7=07821出现滞销的次数9.连续滞销的概率:p=连续滞销的次数=2=022

22出现滞销的次数9.综上，得销售状态转移概率矩阵为:0.5]0.22)从上面的计算过程知，所求转移概率矩阵P的元素其实可以直接通过表2中的数字计算而得到，即将表中数分别除以该数所在行的数字和便可：7PTOC\o"1-5"\h\z7+77P—7+77P—7+22P—7+7Matlab程序：formatratclca=[112122111212,112211212111];fori=1:2forj=1:2f(i,j)=length(findstr([ij],a));endendfni=(sum(f'))'fori=1:2p(i,:)=f(i,:)/ni(i);endp由此，推广到一般情况，我们得到估计转移概率的方法：假定系统有m种状态S1，S2,…，Sm，根据系统的状态转移的历史记录，得到表3的统计表格，以P,/表示系统从状态i转移到状态j的转移概率估计值，则由表3的数据计算估计值的公式如下:

n/\••p..=—jiJmi,j=1,n/\••p..=—jiJmi,j=1,2,…，m(3)带利润的马氏链在马氏链模型中，随着时间的推移，系统的状态可能发生转移，这种转移常常会引起某种经济指标的变化.如抗病毒药的销售状态有畅销和滞销两种，在时间变化过程中，有时呈连续畅销或连续滞销，有时由畅销转为滞销或由滞销转为畅销，每次转移不是盈利就是亏本.假定连续畅销时盈r11元，连续滞销时亏本r22元，由畅销转为滞销盈利ri2元，由滞销转为畅销盈利r2i元，这种随着系统的状态转移，赋予一定利润的马氏链，称为有利润的马氏链.对于一般的具有转移矩阵fPiiP=P21…pI"N1P12P22…PN2…………P1N]P2N…Pnn)的马氏链，当系统由i转移到j时，R=赋予利润rijfrr1112rr2122……rrN1N2(i，j=1，2，…，N)，……r2N………rNNJ则称(5)为系统的利润矩阵，r..>0称为盈利，r..<0称为亏本，r..=0称为不亏不盈.随着时间的变化，系统的状态不断地转移，从而可得到一系列利润，由于状态的转移是随机的，因而一系列的利润是随机变量，其概率关系由马氏链的转移概率决定.例如从抗病毒药的销售状态的转移矩阵，得到一步利润随机变量叫】)、x21)的概率分布分别为:

x(1)气1r12x21)r21r22概率p11P12概率P21P22其中叩p广1,叩p广1-如果药品处于畅销阶段，即销售状态为i=1,我们想知道，经过n个季度以后，期望获得的利润是多少？为此，引入一些计算公式.首先，定义v(-)为抗病毒药现在处于i(i=1,2)，经过n步转移之后的总期望利润，i则一步转移的期望利润为：v(1)=E(x⑴)=rp+rp=£rpiii1i1i2i2ijijj=1其中E(x(1))是随机变量x⑴的数学期望.二步转移的期望利润为：v⑵=E(x(2))=[r+v⑴]p+[r+v⑴]p=£[r+v(1)]piii11i1i22i2ijjijj=1其中随机变量矿)(称为二步利润随机变量)的分布为:P(平)=rtj+v?=P3j=1，2例如，若(0.5(0.50.5)

^0.40.6/(93)<3-7>则抗病毒药销售的一步利润随机变量：-70.50.50.40.6抗病毒药畅销和滞销时的一步转移的期望利润分别为：0.50.50.40.6v⑴=E(x⑴)=rp+rp=9x0.5+3x0.5=6111V1112^12v⑴=E(x⑴)=rp+rp=3x0.4一7x0.6=-32221212222二步利润随机变量为:9+63-33+6-7-30.50.50.40.69+63-33+6-7-30.50.50.40.6抗病毒药畅销和滞销时的二步转移的期望利润分别为:H2)=E料2))Fi+H1叫1+[「2+啰圮2=(9+6)x0.5+(3-3)x0.5=7.5堂=驰2））=［命+七⑴农1+吃+呼］〃22=(3+6)x0.4+(-7-3)x0.6=-2.4一般地定义k步转移利润随机变量x（幻（i=1,2,…N）的分布为:iP(x(k)=r,.+v(k-1))=pj=1,2,…N则系统处于状态i经过k步转移后所得的期望利润v（幻的递推计算式为:iv(k)=E(x(k))=2(r.•+v(k-1))p1j=1l]Jl]N

=V⑴+2V(k-1)pjij

j=1（6）XNrp+2v(k-1)pijijjijj=N

=V⑴+2V(k-1)pjij

j=1（6）称一步转移的期望利润为即时的期望利润，并记v(1)=q,,i=1,2,…N.可能的应用题型买A、B、C三药题型一、市场占有率预测例题1在购买该药的总共1000家对象（购买力相当的医院、药店等）中厂的各有400家、300家、300家，预测A、B、C买A、B、C三药表5顾客订货情况表合计下季度订货情况合计ABC来A160120120400自B1809030300C1803090300合计5202402401000模型建立与求解一、问题分析目前的市场占有情况为：在购买该药的总共1000家对象（购买力相当的医院、药店等）中，买A、B、C三药厂的各有400家、300家、300家，那么A、B、C三药厂目前的市场占有份额分别为：40%、30%、30%.称（0.4,0.3,0.3）为目前市场的占有分布或称初始分布.此外，我们需要查清使用对象的流动情况。流动情况的调查可通过发放信息调查表来了解顾客以往的资料或将来的购买意向，也可从下一时期的订货单得出。由题已知顾客订货情况如下表5表5顾客订货情况表下季度订货情况合计ABC来A160120120400自B1809030300C1803090300合计5202402401000二、模型的建立2.1模型构建假定在未来的时期内，顾客相同间隔时间的流动情况不因时期的不同而发生变化，以1、2、3分别表示顾客买A、B、C三厂家的药这三个状态，以季度为模型的步长（即转移一步所需的时间），那么根据表5,我们可以得模型的转移概率矩阵：ppp1112ppp2122p31p32p13)2333矩阵中的第一行(0.4，0.30.3)为买B厂和C厂的各有30%.同样，度的流向.f竺400180300竺"3001204009030030300]400如300理300)f0.40.30.30.60.30.1k0.60.10.3表示目前是A厂的顾客下季度有40%仍买A厂的药，转第二行、第三行分别表示目前是B厂和C厂的顾客下季由P我们可以计算任意的k步转移矩阵，如三步转移矩阵:(0.40.30.3'3(0.4960.2520.252、0.60.30.1=0.5040.2520.244、0.60.10.3,、0.5040.2440.252,P(3)=P3=从这个矩阵的各行可知三个季度以后各厂家顾客的流动情况.如从第二行(0.504，0.252，0.244)知，B厂的顾客三个季度后有50.4%转向买A厂的药，25.2%仍买B厂的，24.4%转向买C厂的药.设S(k)=(p件,p；k),p(k))表示预测对象k季度以后的市场占有率，初始分布则为S(0)=(p(0),p(0),p(0))，市场占有率的预测模型为123，S(k)=S(0)-Pk=S(k-1).P(7)已知S(0)=(0.4,0.3,0.3)，由此，我们可预测任意时期A、B、C三厂家的市场占有率.例如，三个季度以后的预测值为:'0.496S⑶=(p(3),p(3),p(3))=S(0).P3=(0.40.30.3)0.504"0.5040.2520.2520.2520.2440.2440.252=(0.50080.24960.2496)大致上，A厂占有一半的市场，B厂、C厂各占四分之一.模型(7)可推广到N个状态的情形:S(k)=S(k-1)P=S(0)Pk=(p(0),p(0),・・・p(0))12Npp…p11121Npp…p21:22:…2N:pp…pN1N2NN7V(8)如果我们按公式（7）继续逐步求A、B、C三家的市场占有率，会发现，当k大到一定的程度，S（k将不会有多少改变，即有稳定的市场占有率，设其稳定值为S=（p1,p2,p3），满足P1+P2+P3=1.事实上，如果市场的顾客流动趋向长期稳定下去，则经过一段时期以后的市场占有率将会出现稳定的平衡状态，即顾客的流动，不会影响市场的占有率，而且这种占有率与初始分布无关.如何求出这种稳定的市场占有率呢？2.2模型求解0.30.30.30.10.10.3(0.4以A、B、C三家的情况为例，当市场出现平衡状态时，从公式（7）可得方程S=SP,(p,p,p)=(p,p,p)(0.4、0.6由此得P1=0.4pi+0.6p2+0.6p3p2=0.3pi+0.3p2+0.1p3P3=0.3pi+0.1p2+0.3p3经整理，并加上条件P1+P2+P3=1，得'-0.6p+0.6p+0.6p=00.3p1-0.7p2+0.1p3=00.3p1+0.1p2-0.7p3=0R+p2+p3=10.40.30.3，0.60.30.1,0.60.10.3上方程组是三个变量四个方程的方程组，在前三个方程中只有二个是独立的，任意删去一个，从剩下的三个方程中，可求出唯一解:P1=0.5，p2=0.25，p3=0.25这就是A、B、C三家的最终市场占有率.一般N个状态的稳定市场占有率（稳态概率）S=（p1,p2,PN）可通过解方程组

'p11'p11P12…P1N、(p,p，…p)=(p,p,…p)12N12Np21P22….••P2N<Pn1PN2…PNN>（9）芸七Tk=1求得，而(9)的前N个方程中只有N-1个是独立的，可任意删去一个。MATLAB程序：formatratp=[0.40.30.3，0.60.30.1,0.60.10.3];a=[p'-eye(3);ones(1,3)];b=[zeros(3,1);1];p_limit=a\b题型二、期望利润预测企业追逐市场占有率的真正目的是使利润增加，因此，竞争各方无论是为了夺回市场份额，还是为了保住或者提高市场份额，在制订对策时都必须对期望利润进行预测.预测主要分两步进行：①市场统计调查.首先调查销路的变