随机决策理论与方法

随机决策理论与方法演示文稿当前第1页\共有58页\编于星期四\13点优选随机决策理论与方法当前第2页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法3/61多属性决策分析—多目标决策什么是多目标决策问题？(例如购买衣服时，款式、价格、颜色、质量等可能都是决策目标)。多目标决策问题的特点：决策问题的目标多于一个；多个目标间不可公度(non-commensurable)，即各目标没有统一的衡量标准，难以比较；各目标之间存在矛盾。一般将决策变量离散、决策方案有限的多目标决策问题称为多属性(Multi-attribute)决策问题；而将决策变量连续、有无限决策方案的多目标决策问题称为多目标(Multi-objective)决策问题。两者又可以统称为多准则(Multi-criterion)决策问题。当前第3页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法4/61多属性决策分析—相关术语属性(Attribute)：备选方案的特征、品质或性能参数(如描述服装的款式、颜色、布料、质量、价格)，也称为指标。指标体系(IndexSystems)：一系列互相联系、互相补充的指标所组成的统一整体。指标体系往往由多层组成(习惯上称为一级指标、二级指标等)，层次结构分为树状结构和网状结构，其中以树状结构最常用。一级指标总目标二级指标三级指标当前第4页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法5/61多属性决策分析—相关术语目标(Objective)：决策人的愿望或决策人所希望达到的、努力的方向(如物美价廉)。在多目标决策中，目标是求极值的对象，是需要优化的函数式。目的(Goal)：在特定时间、空间状态下，决策人的期望，是目标的具体数值表现。目标和目的常混用。准则(Criterion)：判断的标准或度量事物价值的原则及检验事物合意性的规则，兼指属性和目标。当前第5页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法6/61多属性决策分析—求解过程当前第6页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法7/61多属性决策分析—目标与属性在多目标决策中，决策目标常用目标集、目标递阶分层结构以及属性集描述；目标递阶分层结构的最下层目标要用一个或多个属性来描述；不同的方案对应的各属性值存在差异，也就导致目标实现的差异，因此可借此来评价方案的优劣；替代属性：某些目标无法用属性值直接度量时，需要使用替代属性对目标进行度量。如师资队伍的质量可以用学历结构、职称结构、专业结构、科研能力等替代属性来衡量。(寻找“替代属性/替代变量”在科学研究中是非常重要的)当前第7页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法8/61多属性决策分析—目标与属性属性选择的要求：每个属性是可测和可理解的；属性集是最小完备集：既要能够描述决策问题的所有(重要)方面，又不能有冗余；属性的测量值是可运算的；属性集内的各属性相互独立、可分解。但在实际决策中，上述要求很难达到，这也正是我们开展决策理论与方法研究的动力源。当前第8页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法9/61多属性决策分析—目标与属性例：某流域水资源项目建设目标(指标体系)及属性当前第9页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法10/61多属性决策分析—问题的符号表示MA=<X,A,Θ,V,,f>X表示方案集，X={x1,x2,…,xm}A表示属性集，A={a1,a2,…,an}Θ表示状态集，Θ={1,2,…,k}V表示值集，所有可能取值的集合:Θ→V，分布函数，确定各状态发生的可能性f:X×A→V，目标函数，确定各方案对应的属性值当前第10页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法11/61多属性决策分析—问题的符号表示例：给定自然状态的多属性决策问题方案集发电作物船运COD水流失土流失景点数动物植物减灾x18.945557.2827734115887x27.662476.4768245121354x39.246679.5918033912499当前第11页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法12/61多属性决策分析—属性值预处理剩下的问题是我们如何评价方案的优劣。属性值预处理的目标是规范化各属性值，使其能够真正体现方案优劣的实际价值。属性值类型：效益型指标：属性值越大越好；成本型指标：属性值越小越好；中性指标：属性值取某一个恰当的值最优，过大、过小都不合适。当前第12页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法13/61多属性决策分析—属性值预处理预处理主要有两项任务：非量纲化：通过某种方法消除量纲的选用对决策或评价结果的影响。归一化：不同属性的属性值取值范围存在很大差别，为了真实反映各属性值的价值，需要将属性值统一变换到[0,1]区间上以消除属性取值范围的差异对决策或评价结果的影响。当前第13页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法14/61多属性决策分析—属性值预处理设fi(a)为方案i的a属性值，记fmax=max(fi(a))，fmin=min(fi(a))线性变换效益型。变换z:fi(a)→zi(a)定义为：zi(a)=fi(a)/fmax；成本型。变换z:fi(a)→zi(a)定义为：zi(a)=1-fi(a)/fmax；或者变换z:fi(a)→zi(a)定义为：zi(a)=fmin/fi(a)。标准0-1变换效益型。

zi(a)=(fi(a)-fmin)/(fmax-fmin)；成本型。zi(a)=(fmax-fi(a))/(fmax-fmin)。向量规范化：zi(a)=fi(a)/(ifin(a))1/n(n可以取1或2)。当前第14页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法15/61多属性决策分析—属性值预处理ji人均论著(a1)科研经费(a3)逾期毕业率(a4)10.00001.00000.000020.03700.78800.714230.18520.20700.485740.07410.57590.228651.00000.05681.0000ji人均论著(a1)科研经费(a3)逾期毕业率(a4)逾期毕业率(a4)10.03571.00000.00000.255320.07140.80000.53190.545530.21430.25200.36170.400040.10710.60000.17020.307751.00000.05680.74471.0000ji人均论著(a1)生师比(a2)科研经费(a3)逾期毕业率(a4)10.5550004.721.0740002.233.01012603.041.5430003.9514.022841.2fmax1450004.7fmin0.52841.2(f2)1/214.4471887.25ji人均论著(a1)科研经费(a3)逾期毕业率(a4)10.03460.69560.648220.06930.55650.303430.20780.17530.413740.10390.41740.537850.96950.03950.1655线性变换标准0-1变换向量变换当前第15页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法16/61多属性决策分析—属性值预处理中性属性(最优值为给定区间)规范化策略下极限f0上极限f0最优区间f1～f21zfzi(a)=(1)fi(a)≤f0，0(2)f0<fi(a)<f1，1-(f1-fi(a))/(f1-f0)(3)f1≤fi(a)≤f2，1(4)f2<fi(a)<f0，1-(fi(a)-f2)/(f0-f2)(5)fi(a)≥f0，0当前第16页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法17/61多属性决策分析—属性值预处理ji生师比(a2)生师比z(a2)设：f0=2,f1=5,f2=6,f0=12151.0000270.83333100.3333440.6666520.0000ji生师比(a2)Temp(a2)生师比z(a2)(1)E=5.6000（均值）(2)Tempi(a)=|fi(a)-E|/E(3)应用线性变换或标准0-1变换或向量变换。本例采用线性变换。zi(a)=1-tempi(a)/max(tempi(a))150.10710.8636270.25000.68183100.78570.0000440.28570.6364520.64290.1818当前第17页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法18/61多属性决策分析—属性值预处理异常(outlier)处理。对同一个属性a，若各方案的值差异极大或某方案的值相对其他方案出现明显的偏离，如按一般方法规范化，在评价时该属性的影响将被不恰当地放大（如前例中的论著一项，方案5的值是14，显著大于其他4个方案）。因此需要采用特别方法处理，处理方法有很多，下面介绍一种常用方法。设定一个转换后的期望值（均值）：M(0.5～0.75)作变换z：fi(a)→zi(a)，zi(a)=(fi(a)-E)×(1-M)/(fmax-E)+M其中E为当前属性值的均值；fmax为当前属性值的最大值当前第18页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法19/61多属性决策分析—属性值预处理当前第19页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法20/61多属性决策分析—属性值预处理专家评分范围差异的处理。当一组专家对若干方案进行评价时，由于习惯不同，各自的评分范围可能存在较大差异，需要进行规范化处理。映射区间定义：[M0,M*]定义映射z：fi(a)→zi(a)，zi(a)=M0+(M*-M0)(fi(a)-fmin)/(fmax-fmin)一般取M0=0，M*=1。对应标准0-1转换。当前第20页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法21/61多属性决策分析—属性值预处理两个不同专家对方案1-5评价结果(百分制)如下表。ji专家1(a)专家2(a)专家1(z(a))专家2(z(a))174910.84210.8750265810.36840.4583360700.10530.0000477941.00001.0000558720.00000.0833当前第21页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法22/61多属性决策分析—权重确定当决策者面对多个目标时，存在目标的重要性不同的问题，这就需要引入权(Weight)的概念加以解决。权是目标重要性的数量化表示，它的作用有：决策人对目标的重视程度；（主观）各目标属性值的差异程度；（客观）各目标属性值的可靠程度；（客观+主观）各目标属性值的依赖程度；（客观）当前第22页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法23/61多属性决策分析—权重确定权重确定分为主观赋权法、客观赋权法和组合赋权法主观赋权法通常由专家根据经验主观判断获得，主要有层次分析(AnalyticalHierarchyProcess，AHP)法、德尔菲（Delphi）法等。客观赋权法通常依据指标内属性值的差异程度（可用方差、信息熵等度量）、指标间的依赖程度（可用相关系数、粗糙集中的依赖度等度量）获得，主要方法有主成分分析法、离差及均方差法、熵权法等。组合赋权法通过综合主观和客观赋权结果获得指标权重。当前第23页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法24/61多属性决策分析—权重确定两两比较法确定权重：判断矩阵构造假设属性ai的权记为wi，则wij=wi/wj为判断矩阵A的第i行第j列元素。A=[wij]n×n在实际决策中，wi是未知的。需要借助专家对不同目标的重要性进行两两比较，并用专家的评价结果aij=ai/aj代替wij，形成一个判断矩阵。aij=ai/aj的取值如下：=1：同等重要=3：目标i略重要于目标j=5：目标i比目标j重要(相当重要)=7：目标i比目标j明显重要=9：目标i相对目标j绝对重要=2,4,6,8：上述两个相邻判断的中间值当前第24页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法25/61多属性决策分析—权重确定最小二乘法。由于用aij代替wij，两者之间可能存在误差ij=(wjaij-wi)。利用最小二乘法，得到下列二次规划方程：

Minijij2=ij(wjaij-wi)2St:iwi=1，wi>0(i=1,2,…,n)利用拉格朗日法可将该优化问题转为求解下列方程组：当前第25页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法26/61多属性决策分析—权重确定Matlab求解：Functionweight(A)D=diag(diag(A'*A)+1)-A-A';n=length(A);Row1=ones(n,1);Col1=ones(1,n);D=[DRow1;Col10];B=zeros(n,1);B=[B;1];W=inv(D)*B当前第26页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法27/61多属性决策分析—权重确定特征向量法：因为AW=nW，n为A的最大特征值。当判断矩阵A的估计存在误差时，则A中元素值的变化带来最大特征值的变化，记此时的最大特征值为max，则AW=maxW，W为A关于最大特征值max的特征向量，对W进行归一化处理即得到权重向量。Matlab函数：[V,D]=eig(A)，返回的V为特征向量矩阵；D为特征值矩阵。当前第27页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法28/61多属性决策分析—权重确定Satty近似法：A中每行元素连乘并开n次方，记为wi*；求权重：wi=wi*/iwi*；A中每列元素求和：Sj=iaij；计算最大特征值max=iwiSi=sum(AW)。当前第28页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法29/61多属性决策分析—权重确定判断矩阵存在两方面的一致性问题：(1)a1/a2=3,a2/a3=2a1/a3=6?(2)不同专家间的一致性问题a2(1)/a3(1)=2a2(2)/a3(2)=2?判断矩阵A的一致性检验一致性指标CI(ConsistencyIndex)：CI=|max-n|/(n-1)随机指标RI(RandomIndex)：用随机方法构造判断矩阵，经过500次以上的重复计算，求出一致性指标并加以平均得到。一致性比率CR(ConsistencyRatio)：CR=CI/RI。CR≤0.1，一致性好；CR>0.1，一致性差。当前第29页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法30/61多属性决策分析—权重确定例：设判断矩阵为A，求权重。特征向量法最小二乘法Satty近似算法w10.15840.15690.1685w20.18930.18010.1891w30.19800.15080.1871w40.04830.03920.0501w50.15030.09920.1501w60.25580.37370.2550max6.42085.94596.4431CI0.08420.01080.0886CR0.06790.00870.0715当前第30页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法31/61多属性决策分析—决策方法一般加权和法将属性表值cij规范化，得zij；i=1～m;j=1～n。确定各指标的权重系数，wj；j=1～n。计算各方案的综合指标Ci=jwjzij。最后根据Ci大小排出各方案的优劣。一般加权和法的使用条件（实际上很难满足）指标体系为树状结构；每个属性的边际价值是线性的(优劣与属性值大小成正比)；任意两个指标的相互价值都是独立的；属性间的完全可补偿性：一个方案的某属性无论多差都可用其他属性来补偿（一个方案优于另一个方案并不要求在所有属性上都优）。当前第31页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法32/61多属性决策分析—决策方法加权和与加权积的综合决策法：加权和要求指标具有线性可加（可补偿）性，但在实际决策中有些指标之间是不可补偿的，此时方案关于这类指标的优劣可用加权积法。例如，设方案的优劣可由四个一级指标A,B,C,D评判，其中A,B满足可加性，C,D满足可加性，但A、B与C、D间不满足可加性，则可用下面的加权和与加权积的综合决策法确定各方案的优劣：(wAzA+wBzB)×(wCzC+wDzD)当前第32页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法33/61多属性决策分析—决策方法逼近理想解排序方法(TechniqueforOrderPreferencebySimilaritytoIdealSolution,TOPSIS)：借助多属性问题的理想解和负理想解给方案集X中的各方案排序。在多属性决策中，每个属性都有一个最优值，也有一个最差值。取所有属性的最优值构造一个虚拟方案x*，同时取所有属性的最差值构造另一个虚拟方案x0，则称x*为理想解，x0为负理想解。TOPSIS法就是将各实际方案与理想解和负理想解进行比较，离理想解越近、离负理想解越远的方案越好。当前第33页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法34/61多属性决策分析—决策方法TOPSIS法求解步骤用向量规范法求得规范决策矩阵：zij=cij/(icij)1/2确定各属性的权重系数W={w1,w2,…,wn}确定理想解和负理想解：zj*=maxi(zij)(效益型属性)或mini(zij)(成本型属性)zj0=mini(zij)(效益型属性)或maxi(zij)(成本型属性)计算各方案到理想解和负理想解的加权距离di*=(j(wjzij-wjzj*)2)1/2di0=(j(wjzij-wjzj0)2)1/2计算综合评价指标Ci=di0/(di0+di*)按Ci的大小对各方案排序，Ci越大方案越优，否则越劣。当前第34页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法35/61多属性决策分析—决策方法权重0.20.30.40.1简单加权和

属性方案人均论著(a1)生师比(a2)科研经费(a3)逾期毕业率(a4)10.03571.00001.00000.00000.7071420.07140.83330.80000.53190.6374630.21430.33330.25200.36170.2798240.10710.66660.60000.17020.4784251.00000.00000.05680.74470.29719TOPSISdi*di0Ci10.03460.66660.69560.64820.19310.32990.630820.06930.55550.55650.30340.19190.26790.582730.20780.22220.17530.41370.29140.09560.247140.10390.44440.41740.53780.21950.20230.479650.96950.00000.03950.16550.32990.19310.3692x*0.96950.66660.69560.1655x00.03460.00000.03950.6482当前第35页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法36/61多属性决策分析—决策方法TOPSIS法的边界问题x*x0当前第36页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法37/61多属性决策分析—决策方法AHP法(层次分析法，Satty)：在实际决策中并不是所有指标的值都是容易测量的，但不同方案的这些指标的优劣性是可以比较的。Satty提出了一种层次分析法(AnalyticHierarchyProcess)来解决此类问题。构造关于指标权重的判断矩阵，求出各指标的权重wj，并检验判断矩阵的一致性；构造每个方案关于各指标优劣性的判断矩阵，从而得到各方案关于该指标的规范化属性值zij；（如果方案关于该指标的值是可测的，则不需要构造此指标的判断矩阵）计算各方案的综合指标Ci=jwjzij。根据Ci的优劣确定方案的优劣。当前第37页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法38/61多属性决策分析—决策方法根据下图所描述的指标体系，如果完全使用AHP法进行决策，需要构造多少个判断矩阵？()16当前第38页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法39/61随机决策理论与方法1、主观概率2、效用函数3、决策准则4、贝叶斯决策分析5、多属性决策分析6、多目标决策分析7、序贯决策分析当前第39页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法40/61多目标决策分析—问题描述多目标决策问题是指决策变量连续、存在无数决策方案的多准则决策问题。其一般形式为：决策规则：DR{f1(x),f2(x),…,fn(x)}x表示一种方案，且xX={xRN|gk(x)0,k=1,2,…,m,x0}问题共包含n个目标，每个目标可能受N个属性影响，所有属性必须满足一定的约束条件（共计m+N个约束）。多目标决策分析就是根据给定的决策规则（体现了决策人的偏好）从可行方案集X中找出最佳调和解xC。f1(x)f2(x)…fn(x)x1…xN当前第40页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法41/61多目标决策分析—决策方法多目标决策问题主要使用多目标规划方法进行求解。DEA方法(DataEnvelopmentAnalysis)：在多目标决策分析中，除多目标优化问题外，还有一类多目标评价问题：对于多个同质的管理系统(决策单元)，如果已知各系统投入和产出，如何评价这些系统的优劣，或者说相对有效性？问题描述：设有n个决策单元，每个决策单元都有m种资源投入，第j个决策单元第i种投入指标的投入量记为xij>0(已知)；每个决策单元均有p种产出，第j个决策单元第r种产出量记为yrj>0(已知)。vi、ur分别表示第i种投入指标和第r种产出指标的权系数，需要通过建模得到。如何评价这n个决策单元的相对有效性？当前第41页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法42/61多目标决策分析—决策方法C2R(Charnes,Cooper,Rhodes)模型(第一个DEA模型)对每一个决策单元j，都定义一个效率评价指标：hj称为效率指标，可通过对权系数取值的选择使hj1。评价第j0个决策单元有效性的C2R模型为：当前第42页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法43/61多目标决策分析—决策方法模型转化：将分式规划转变成线性规划。令则分式规划转变为下列形式：当前第43页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法44/61多目标决策分析—决策方法有效性分析：若线性规划的最优解0，0满足条件则决策单元j0为弱DEA有效。若0>0，0>0也成立，则决策单元为DEA有效。xy=f(x)A:规模有效，技术有效C：技术有效生产函数曲线B：既不是规模有效也不是技术有效当前第44页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法45/61随机决策理论与方法1、主观概率2、效用函数3、决策准则4、贝叶斯决策分析5、多属性决策分析6、多目标决策分析7、序贯决策分析当前第45页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法46/61序贯决策分析—问题描述序贯决策是一类多阶段决策问题，前一阶段的决策结果对后一阶段决策直至最终决策产生影响，整个决策问题的求解需要采取多次行动才能完成。将贝叶斯决策分析方法应用于不同的决策阶段，并根据各阶段之间的关系可以获得多阶段决策问题的解。动态规划和马尔可夫决策是两类重要的多阶段决策方法。当前第46页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法47/61序贯决策分析—多阶段决策经过相互衔接、相互关联的若干阶段决策才能完成的决策任务称为多阶段决策。决策分析的关键：划分决策阶段、确定各阶段状态变量、寻找各阶段之间的关系；采用从后向前的逆序归纳法进行决策分析。决策方法：根据问题不同，可选用贝叶斯决策分析方法、多属性决策方法或多目标决策方法。当前第47页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法48/61序贯决策分析—贝叶斯方法例：某公司计划购买一种新产品专利，购置费1万元。若购置了专利，可选择三种生产规模：大批量生产(a1)，中批量生产(a2)，小批量生产(a3)。市场销售状态为：{畅销1,0.6;一般2,0.3;滞销3,0.1}。根据历年资料统计分析，新产品进入市场的销售收益矩阵如左下表。为了准确掌握市场动向，公司可投入0.5万元开展试销。根据统计表明，产品欢迎度和销售状态之间的关系如右下表。试帮助该企业做如下决策：是否购买专利？(已知如果不购买专利，1万元的投资收益为1.1万元)购买专利后是否试销？如何确定该公司的批量生产计划？万元123a142-3a233-2a3111123H1(欢迎)0.60.20.2H2(一般)0.30.60.3H3(不受欢迎)0.10.20.5当前第48页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法49/61序贯决策分析—贝叶斯方法解：这是一个三阶段决策问题。第一阶段确定是否购买专利，第二阶段确定是否试销，第三阶段确定批量生产计划。决策过程采取逆序归纳法，即先从第三阶段开始。试销：计算后验概率及各批量生产计划的收益，得：试销的期望收益为：0.44*2.906+0.39*2.120+0.17*1.030=2.2805H1H2H3p(Hi)0.440.390.17p(1|Hi)0.8180.4620.353p(2|Hi)0.1360.4620.353p(3|Hi)0.0460.0760.294H1H2H3a12.906

2.044

0.736

a22.270

2.120

1.030

a30.5000.5000.500当前第49页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法50/61序贯决策分析—贝叶斯方法不试销：结论：123期望p(i)0.60.30.1a142-32.7a233-22.5a31111购买专利不购买试销不试销H1,a1：2.906万元H2,a2：2.120万元H3,a2：1.030万元a1：2.7万元1.1万元当前第50页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法51/61序贯决策分析—Markov法有一类序贯决策问题，其状态随着时间变化而随机变化，决策的任务就是根据当前状态预测其未来某一时刻的状态，如销售状态预测、股价预测等。下面介绍一种Markov决策方法分析求解此类问题。虽然Markov过程是很严格的，实际管理问题并不能总是满足其条件，但往往将其看作近似Markov过程也能得到很好的结果。当前第51页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法52/61序贯决策分析—Markov法链及其状态集：设为随机变量(如股价)，称随机变量序列{m|m=1,2,...}为链，称由m的全体状态构成的有限集为该链的状态集(如上涨、持平、下跌)，记为N={N1,N2,...,Nn}。Markov链：设链{m|m=1,2,...}，其状态为N={N1,N2,...,Nn}。若对于任意正整数k及i(1),i(2),...,i(k),i(k+1)n，条件概率等式：p{k+1=Ni(k+1)|1=Ni(1),...,k=Ni(k)}=p{k+1=Ni(k+1)|k=Ni(k)}成立，则称链{m|m=1,2,...}为Markov链。说明：Markov链的特点是随机变量在第k+1时刻出现某状态的概率仅取决于其在第k时刻的状态，而与k时刻之前的任何时刻的状态无关，即无后效性。当前第52页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法53/61序贯决策分析—Markov法例：如果股价状态(u:上涨；e:持平；d:下跌)的变化序列构成Markov链，则根据下列两个序列：udeedu,duddeu预测下一个交易日为上涨的概率相同。齐次Markov链：设{m|m=1,2,...}，其状态为N={N1,N2,...,Nn}。对于任意正整数i,j,以及s,t,k，条件概率等式p{s+k=Nj|s=Ni}=p{t+k=Nj|t=Ni}成立，则称此Markov链为齐次Markov链。ueue1246810133579111214当前第53页\共有58页\编于星期四\13点*决策理论与方法-随机决策理论与方法54/61序贯决策分析—Markov法状态转移概率及转移概率矩阵：设齐次Markov链{m|m=1,2,...}，状态为N={N1,N2,...,Nn}。称pij=p{s+1=Nj|s=Ni}为随机变量从状态Ni到Nj的转移概率(即s时刻为Ni状态时，s+1时刻为Nj状态的概率)。称对应的矩阵P=(pij)n×n为转移概率矩阵。显然有：pij0;jpij=1。k步转移概率及k步转移概率矩阵：设齐次Markov链{m|m=1,2,...}，其状态为N={N1,N2,...,Nn}。称pij(k)=p{s+k=Nj|s=Ni}为随机变量从状态Ni经k步转移到Nj的转移概率(即