版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
L13多属性决策1詹文杰(教授/博导)Office:华中科技大学管理学院611室Telmail:wjzhan@L13多属性决策1詹文杰(教授/博导)1学习目标了解多目标决策的特点;掌握多属性决策的决策矩阵;掌握多属性决策问题的方案筛选方法;掌握多属性决策问题的数据预处理方法;掌握多属性决策问题权的确定方法;掌握多属性决策常用方法。学习目标了解多目标决策的特点;213多属性决策13.1多目标决策的特点13.2多属性决策矩阵13.3方案筛选13.4数据预处理13.5权的确定方法13多属性决策13.1多目标决策的特点313.1多目标决策的特点一、多目标决策的例子:买车决策二、多目标决策的目标准则体系三、评价准则和效用函数四、目标准则体系的风险因素处理五、多目标决策问题的分类六、多目标决策的求解过程13.1多目标决策的特点一、多目标决策的例子:买车决策4一、多目标决策的例子:
买车决策例1:买车决策问题。指标备选车价格(万元)油耗(升/百公里)舒适度(无量纲)Mercedes(M)402510Chevrolet(C)15183Toyota(T)25106Volvo(V)35158单目标决策1(价格):价格(C)<价格(T)<价格(V)<价格(M)单目标决策2(油耗):油耗(T)<油耗(V)<油耗(C)<油耗(M)单目标决策3(舒适度):舒适(M)>舒适(V)>舒适(T)>舒适(C)一、多目标决策的例子:
买车决策例1:买车决策问题。5多目标决策的特点①决策问题的目标(或指标)多于一个。②多目标决策问题的目标间不可公度性(non-commensurable),即各目标(或指标)没有统一的衡量标准或计量单位,因而难以进行比较。③各目标间的矛盾性,即提高了一个指标的值,可能损害另一指标的值。指标备选车价格(万元)油耗(升/百公里)舒适度(无量纲)Mercedes(M)402510Chevrolet(C)15183Toyota(T)25106Volvo(V)35158多目标决策的特点①决策问题的目标(或指标)多于一个。6目标和属性
(Objective&attribute)Max(satisfactioncartobuy)Min(油耗)Min(价格)Max(舒适度)40,15,25,3525,18,10,1510,3,6,8总目标分目标属性值例1:买车决策问题目标和属性
(Objective&attribute)M7术语1:Objectives(目标):AnobjectivehasbeendefinedbyKeeneyandRaiffaasanindicationofthepreferreddirectionofmovement.Thus,whenstatingobjectives,weusetermslike‘minimize’or‘maximize’.Typicalobjectivesmightbetominimizecostsormaximizemarketshare.术语1:Objectives(目标):8术语2:Attributes(属性):Anattributeisusedtomeasureperformanceinrelationtoanobjective.Sometimeswemayhavetouseanattributewhichisnotdirectlyrelatedtotheobjective.Suchanattributeisreferredtoasaproxyattribute.Forexample,acompanymayusetheproxyattribute‘staffturnover’tomeasurehowwelltheyareachievingtheirobjectiveofmaximizingjobsatisfactionfortheirstaff.术语2:Attributes(属性):9多目标决策术语
(1)属性(attribute)备选方案的特征、品质或性能参数。(2)目标(objective)它是决策人所感觉到的比现状更佳的客观存在,用来表示决策人的愿望或决策人所希望达到的、努力的方向。(3)目的(goal)是在特定时间、空间状态下,决策人所期望的事情。目标给出预期方向,目的给出希望达到的水平或具体数值。(4)准则(criterion)是判断的标准或度量事物价值的原则及检验事物合意性的规则,它兼指属性及目标。
多目标决策术语(1)属性(attribute)备选方案10二、多目标决策的
目标准则体系在多目标决策问题中,其目标或者经过逐层分解,或者依据决策主体要求和实际情况需要,形成多层次结构的子目标系统,使得在最低一层子目标可以用单一准则进行评价,称之为目标准则体系。目标准则体系的层次结构,一般用树形结构图直观表示。最上一层,通常只有一个目标,称之为总体目标,最下一层,其中的每一个子目标都可以用单一准则评价,称之为准则层。二、多目标决策的
目标准则体系在多目标决策问题中,其目标或者11决策目标准则1准则2准则k子准则1子准则2子准则m方案1方案2方案n………………………………目标层准则层子准则层方案层二、多目标决策的
目标准则体系决策目标准则1准则2准则k子准则1子准则2子准则m方案1方案121)单层次目标准则体系各个目标都属于同一层次,每个目标无须分解就可以用单准则给出定量评价。图1单层次目标准则体系总目标目标m目标m-1目标2目标1……1)单层次目标准则体系各个目标都属于同一层次,每个目标无须132)多层次树型目标准则体系各子目标可按序列关系分属各类目标,不同类别的目标准则之间不发生直接联系;每个子目标均由相邻上一层的某个目标分解而成。总目标目标m目标m-1目标2目标1……子目标11子目标12子目标13子目标m1子目标m2子目标m3子目标21子目标22子目标232)多层次树型目标准则体系各子目标可按序列关系分属各类目标143)多层次网状目标准则体系相邻两层次子目标之间,仅按自身的属性建立联系,存在联系的子目标之间用实线连结,无实线连结的子目标之间,不存在直接联系。G............c1c2cn-1cn…g11g12g1n-1g1n…最高层中间层准则层…g21g22g1k-1g1k3)多层次网状目标准则体系相邻两层次子目标之间,仅按自身的15三、评价准则和效用函数在多目标决策中,制定了目标准则体系,不同的目标用不同的评价准则衡量。在多目标决策中,目标准则体系一经制定,任何一个可行性方案实施的效果,均可由目标准则体系的全部结果值所确定。可行方案在每一个目标准则下确定一个结果值,对目标准则体系,就得到一组结果值,并经过各目标准则的效用函数,得出一组效用值。效用值分别表示了可行方案在各目标准则下,对决策主体的价值,都用区间(0,1)上的实数表示。这样任何一个可行方案在总体上对决策主体的满意度,通过这些效用值按照某种法则并合而得,满意度是综合评价可行方案的依据。
三、评价准则和效用函数在多目标决策中,制定了目标准则体系,不16四、目标准则体系的
风险因素处理多目标决策的风险因素,应该在目标准则体系中对涉及风险因素的各子目标分别加以处理。
可以利用单目标风险决策技术,对某些存在风险因素的目标准则,将可行方案在各自然状态下的结果值转化为期望结果值。对存在风险因素的所有目标准则都分别做这样的技术处理。于是,任何一个可行方案在目标准则体系所有准则下,都只有一个确定的结果值,风险型多目标问题就转化为确定型多目标问题。四、目标准则体系的
风险因素处理多目标决策的风险因素,应该在17五、多目标决策问题的分类最常用的分类法是按备选方案的数量来划分:1.多属性决策问题(multi-attributedecisionmakingproblems):这一类决策问题中的决策变量是离散型的,其中的备选方案数量为有限个,因此,有些文献也称之为有限方案多目标决策问题。这一类问题求解的核心是对各备选方案进行评价后排定各方案的优劣次序,再从中择优。2.多目标决策问题(multi-objectivedecisionmakingproblems):这一类决策问题中的决策变量是连续型的,即备选方案数有无限多个,因此,有些文献也称之为无限方案多目标决策问题。求解这类问题的关键是向量优化,也即数学规划问题。多属性决策和多目标决策统称多准则决策(multi-criteriondecisionmaking)。五、多目标决策问题的分类最常用的分类法是按备选方案的数量来划18六、多目标决策的求解过程六、多目标决策的求解过程19例:
设某人拟购买住宅一栋,有四所房屋可供选择,房屋的合意程度用五个指标去衡量,即价格、使用面积、距工作地点的距离、设备、环境。见下表的决策矩阵:指标方案价格C1(万元)使用面积C2(m2)上班距离C3(公里)设备C4(无量纲)环境C5(无量纲)A16010010好好A250808差一般A3365020一般很好A4447012一般很好13.2多属性决策矩阵例:设某人拟购买住宅一栋,有四所房屋可供选择,房屋的合意程20多属性决策矩阵:设有n个决策指标Cj(j=1,2,…,n),m个可行方案Ai(i=1,2,…,m),方案Ai在指标Cj
下的指标(属性)值为yij,则有如下决策矩阵(或属性值表):指标方案C1…Cj…CnA1y11…y1j…y1n………………Aiyi1…yij…yin………………Amym1…ymj…ymn13.2多属性决策矩阵多属性决策矩阵:设有n个决策指标Cj(j=1,2,…,n21例1:买车备选车价格(万元)C1油耗(升/百公里)C2舒适度C3x1402510x215183x325106x435158例1:买车备选车价格(万元)油耗(升/百公里)舒适度x122例3:研究生院试评估指标方案人均专著C1(本/人)生师比C2科研经费C3(万元/年)逾期毕业率C4(%)A10.1550004.7A20.2740002.2A30.61012603.0A40.3430003.9A52.822841.213.2多属性决策矩阵例3:研究生院试评估指标人均专著C1生2313.3方案筛选当方案集X中方案的数量太多时,在使用多属性决策或评价方法进行正式评价之前就应当尽可能筛除一些性能较差的方案,以减少评价的工作量。常用的方案预筛选方法有如下三种:一、选优法二、满意值法三、逻辑和法13.3方案筛选当方案集X中方案的数量太多时,在使用多属24一、选优法选优法(Dominance)又称优势法,是利用非劣解的概念(也称优势原则)淘汰一批劣解。若方案集X中的方案xi与方案xk相比,方案xi至少有一个属性值严格优于方案xk,而且方案xi的其余所有属性值均不劣于方案xk,则称方案xi比方案xj占优势,处于劣势的方案xk可从方案集X中删除。从大批方案中选取少量方案时,可以用选优法淘汰全部劣解。一、选优法选优法(Dominance)又称优势法,是利用非25一、选优法例子1:买车备选车价格(万元)油耗(升/百公里)舒适度x1402510x215183x325106x435158x540303注意:在用选优法淘汰劣解时,不必在各目标或属性之间进行权衡,不用对各方案的属性值进行预处理,也不必考虑各属性的权重。一、选优法例子1:买车备选车价格(万元)油耗(升/百26二、满意值法满意值法(Conjunctive)又称逻辑乘法(即“与门”)。不失一般性,设各属性均为效益型。满意值法首先对每个属性都提供一个能够接受的最低值,称为切除值,记作yj0(j=1,..,n)。只有当方案xi的各个属性值yij都不低于相应的切除值时,即yij≥yj0(j=1,..,n)均满足时,方案xi才被保留;只要方案xi有一个属性值小于切除值,即yij<yj0,方案xi就被删除。这种方法的主要缺点是:属性之间完全不能补偿,一个方案的某个属性值只要稍稍低于切除值,其他属性值再好,它也会被删除。
二、满意值法满意值法(Conjunctive)又称逻辑乘法27二、满意值法备选车价格(万元)油耗(升/百公里)舒适度x1402510x215183x325106x435158例子1:买车。切除值:价格高于30万的不与考虑二、满意值法备选车价格(万元)油耗(升/百公里)舒适度28三、逻辑和法逻辑和法(Disjunctive)意义为“或门”,该方法与满意值法的思路正好相反。不失一般性,设各属性均为效益型。逻辑和法首先为每个属性规定一个阀值yj*(j=1,..,n)。只要当方案xi有某个属性值yij优于相应阀值yj*,即yij≥yj*(j=1,..,n),方案xi就被保留。这种方法的主要特点是:该方法显然不利于各属性都不错但没有特长的方案,但是可以用来保留某个方面特别出色的方案。三、逻辑和法逻辑和法(Disjunctive)意义为“或门29备选车价格(万元)油耗(升/百公里)舒适度x1402510x215183x325106x435158例子1:买车。阀值:油耗低于15的都考虑三、逻辑和法备选车价格(万元)油耗(升/百公里)舒适度x14025130小结:方案筛选上面介绍的这些方法可以用于初始方案过的预选,但是都不能用于方案排序,因为它们都无法量化方案的优先程度。小结:方案筛选上面介绍的这些方法可以用于初始方案过的预选,但3113.4数据预处理数据的预处理又称属性值的规范化,主要有如下三个作用:(1)统一化。属性值有效应型和成本型,对决策矩阵中的数据进行预处理,使表中任一属性下性能越优的方案变换后的属性值越大。(2)非量纲化。设法消去(而不是简单删除)量纲,仅用数值的大小来反映属性值的优劣。(3)归一化。把表中数均变换到[0,1]区间上。13.4数据预处理数据的预处理又称属性值的规范化,主要有如3213.4数据预处理数据预处理的主要方法:一、线性变换二、标准0-1变换三、区间数变换四、向量规范化五、统计处理六、专家打分的预处理七、定性指标的量化处理13.4数据预处理数据预处理的主要方法:33一、线性变换原始的决策矩阵为:Y={yij},变换后的决策矩阵记为:Z={zij},i=1,…,m,j=1,…,n。设yjmax是决策矩阵第j列中的最大值,若yj
为效益型属性,则:采用上式进行变换后:最差属性值不一定为0,最佳属性值为1。一、线性变换原始的决策矩阵为:Y={yij},变换后的决策34一、线性变换原始的决策矩阵为:Y={yij},变换后的决策矩阵记为:Z={zij},i=1,…,m,j=1,…,n。令yjmax是决策矩阵第j列中的最大值yjmin是决策矩阵第j列中的最小值,若yj为成本型属性,则:(1)经上式变换后,最佳属性值不一定为1,最差为0。
(2)经上式变换后,最差不一定为0,最佳为1,且是非线性变换。一、线性变换原始的决策矩阵为:Y={yij},变换后的决策35指标方案人均专著C1(本/人)生师比C2科研经费C3(万元/年)逾期毕业率C4(%)A10.1550004.7A20.2740002.2A30.61012603.0A40.3430003.9A52.822841.2指标方案人均专著C1(z1)科研经费C3(z3)逾期毕业率C4(z4)逾期毕业率C4(z4’)A10.03571.00.00.2553A20.07140.80.53190.5455A30.21430.25200.36170.4A40.10710.60.17020.3077A51.00.05680.74471.0指标人均专著C1生师比C2科研经费36二、标准0-1变换属性值进行线性变换后,若属性yj的最优值为1,则最差值一般不为0;若最差值为0,最优值就往往不为1。为了使每个属性变换后的最优值为1且最差值为0,可以进行标准0-1变换。对效益型属性yj,令:对成本型属性yj,令:二、标准0-1变换属性值进行线性变换后,若属性yj的最优值为37指标方案人均专著C1(本/人)生师比C2科研经费C3(万元/年)逾期毕业率C4(%)A10.1550004.7A20.2740002.2A30.61012603.0A40.3430003.9A52.822841.2指标方案人均专著C1(z1)科研经费C3(z3)逾期毕业率C4(z4)A10.01.00.0A20.03700.78800.7142A30.18520.20700.4857A40.07410.57590.2286A51.00.01.0指标人均专著C1生师比C2科研经费38三、区间数变换前面提到,有些属性既非效益型又非成本型,如生师比。显然这种属性不能采用前面介绍的两种方法处理。设给定的最优属性区间为[yj0,yj*],
yj’为无法容忍下限,yj’’为无法容忍上限,则:三、区间数变换前面提到,有些属性既非效益型又非成本型,如生师39三、区间数变换变换后的属性值与原属性值之间的函数图形为一般梯形。例如,设研究生院的生师比最佳区间为[5,6],yj’=2,yj’’=12,则函数图像如下图所示。三、区间数变换变换后的属性值与原属性值之间的函数图形为一般梯40三、区间数变换[yj0=5,yj*=6],yj’=2,yj’’=12:三、区间数变换[yj0=5,yj*=6],yj’=2,41指标方案人均专著C1(本/人)生师比C2科研经费C3(万元/年)逾期毕业率C4(%)A10.1550004.7A20.2740002.2A30.61012603.0A40.3430003.9A52.822841.2指标方案生师比C2A11.0A20.8333A30.3333A40.6666A50.0指标人均专著C1生师比C2科研经费42四、向量规范化无论成本型属性还是效益型属性,向量规范化均用下式进行变换:这种变换也是线性的,但是它与前面介绍的几种变换不同,从变换后属性值的大小上无法分辨属性值的优劣。它的最大特点是,规范化后,各方案的同一属性值的平方和为1,因此常用于计算各方案与某种虚拟方案(如理想点或负理想点)的欧氏距离的场合。四、向量规范化无论成本型属性还是效益型属性,向量规范化均用下43指标方案人均专著C1(本/人)生师比C2科研经费C3(万元/年)逾期毕业率C4(%)A10.1550004.7A20.2740002.2A30.61012603.0A40.3430003.9A52.822841.2指标方案人均专著C1(z1)生师比C2(z2’)科研经费C3(z3)逾期毕业率C4(z4)A10.03460.66660.69560.6482A20.06930.55550.55650.3034A30.20780.22220.17530.4137A40.10390.44440.41740.5378A50.96950.00000.03980.1655指标人均专著C1生师比C2科研经费44五、统计处理有些时候某个目标的各方案属性值往往相差极大,或者由于某种特殊原因只有某个方案特别突出。如果按一般方法对这些数据进行预处理,该属性在评价中的作用将被不适当地夸大。例如研究生院评估问题,方案5的第一个属性值远大于其他方案,若不作适当处理,会使整个评估结果发生严重扭曲。为此可以采用类似于评分法的统计平均方法。指标方案人均专著C1(本/人)生师比C2科研经费C3(万元/年)逾期毕业率C4(%)A10.1550004.7A20.2740002.2A30.61012603.0A40.3430003.9A52.822841.2五、统计处理有些时候某个目标的各方案属性值往往相差极大,或者45五、统计处理具体的做法有多种方式,其中之一是设定一个百分制平均值M,将方案集X中各方案该属性的均值定位于M,再用下式进行变换:(9.7)其中,是个方案第j个属性的均值,M取值可在0.5~0.75之间。五、统计处理具体的做法有多种方式,其中之一是设定一个百分制平46五、统计处理(9.7)式多种变形,例如:(9.7’)其中,σj
是方案集X中各方案关于第j个属性的均方差。当高端方差大于2.5σj
时,变换后的值均为1.0。五、统计处理(9.7)式多种变形,例如:(9.7’)47五、统计处理指标方案人均专著C1(本/人)线性变换式(9.7)(M=0.7)式(9.7’)A10.10.03570.59500.6625A20.20.07140.61000.6750A30.60.21430.67000.7250A40.30.10710.62500.6875A52.81.01.01.0五、统计处理指标人均专著C1线性变换式48六、专家打分的预处理假设,被邀请的各位专家意见的重要性相同,则每个专家在评价中理应发挥同样的作用;但是,对同一批被评价对象的同一指标,由于不同专家的打分习惯不同,所给分值所在区间往往会有很大差别。比如,专家甲的打分范围在50~95之间,而专家乙的打分范围在75~90之间。如果不对专家所打出的原始分值进行处理直接计算平均值,则专家甲在评价中所起的实际作用将是专家乙的3倍。
六、专家打分的预处理假设,被邀请的各位专家意见的重要性相同,49六、专家打分的预处理为了改变这种无形中造成的各个专家意见重要性不同的状况,使得各位专家的意见在评价中起同样的作用,应该把所有专家的打分值规范到相同的分值区间[M0,M*]内。M0和M*的取值对评价的结果无影响,只要所有专家的打分值都规范到该区间就行。具体算法为:若M0=0.0,M*=1.0,上式就与效益型属性值的标准0-1变换相同。六、专家打分的预处理为了改变这种无形中造成的各个专家意见重要50七、定性指标的量化处理将定性指标依问题的性质划分为若干级别,每一级别分别赋以不同的量值。如:分五级赋以分值等级指标很低低一般高很高效益型指标13579成本型指标97531七、定性指标的量化处理将定性指标依问题的性质划分为若干级别,51例4:某航空公司欲购买飞机按6个决策指标对不同型号的飞机进行综合评价。这6个指标是,最大速度(f1)、最大范围(f2)、最大负载(f3)、价格(f4)、可靠性(f5)、灵敏度(f6)。现有4种型号的飞机可供选择,具体指标值如下表:指标(fj)机型(ai)
最大速度(马赫)最大范围(公里)最大负载(千克)费用(106美元)可靠性灵敏度a12.01500200005.5一般很高a22.52700180006.5低一般a31.82000210004.5高高a491800200005.0一般一般例4:某航空公司欲购买飞机按6个决策指标对不同型号的飞机进行52指标(fj)机型(ai)
最大速度(马赫)最大范围(公里)最大负载(千克)费用(106美元)可靠性灵敏度a12.01500200005.5一般很高a22.52700180006.5低一般a31.82000210004.5高高a491800200005.0一般一般指标(fj)机型(ai)
最大速度(马赫)最大范围(公里)最大负载(千克)费用(106美元)可靠性灵敏度a12.01500200005.559a22.52700180006.535a31.82000210004.577a491800200005.055例4:指标(fj)最大速度(马赫)最大范围(公里)最大负5313.5权的确定方法权(weight):多目标决策问题的特点,也是求解的难点在于目标间的矛盾性和各目标的属性值不可公度,求解多属性决策问题同样需要解决这两个难点。(1)不可公度性可通过属性矩阵的规范化得到部分解决,但这些规范化方法无法反映目标的重要性。(2)解决各目标之间的矛盾性靠的是引入权(Weight)这一概念。权是目标重要性的度量,即衡量目标重要性的手段。13.5权的确定方法权(weight):多目标决策问题的特54权(weight)权这一概念包含并反映下列几重因素:①决策人对目标的重视程度;②各目标属性值的差异程度;③各目标属性值的可靠程度。权应当综合反映三种因素的作用,而且通过权,可以通过各种方法将多目标决策问题化为单目标问题求解。权(weight)权这一概念包含并反映下列几重因素:55目标层次结构比较复杂的多属性决策问题的目标往往具有层次结构。根据不同层次的目标间的关系,可以把多层次的目标体系分成两类。一种是树状结构,如图9.2(a)所示,其中较低层次的目标只与上一层各目标中的一个相关联。另一种是网状结构,如图9.2(b)所示,其中较低层次的某些目标与上一层次的一个以上的目标相关。
目标层次结构比较复杂的多属性决策问题的目标往往具有层次结构。56树状结构对于树状结构的目标体系,只要自上而下,即由树干向树梢,求树杈各枝相对于树杈的权,使,直到最低层目标相对上一层次目标的各组权全部设定为止。在求出上述各组权后,只要将上一层次目标的权与该目标相关的下一层目标的权相乘即得下一层目标关于总目标的权,树状结构对于树状结构的目标体系,只要自上而下,即由树干向树57网状结构网状结构58权重的确定方法分类(1)主观赋权法:根据主观经验和判断,用某种特定法则测算出指标权重的方法。(2)客观赋权法:依据决策矩阵提供的评价指标的客观信息,用某种特定法则测算出指标权重的方法。权重的确定方法分类(1)主观赋权法:根据主观经验和判断,用59常用的确定指标权重方法一、相对比较法二、连环比率法三、专家咨询法(Delphi法)四、熵值法
常用的确定指标权重方法一、相对比较法60一、相对比较法
(属于主观赋权法)1.将所有指标按三级比例标度两两相对比较评分,三级比例标度的含义是:显然:注意:评分时应满足比较的传递性,即若f1比f2重要,f2又比f3重要,则f1比f3重要。2.指标fi的权重系数为:一、相对比较法
(属于主观赋权法)1.将所有指标按三级比例61例5:确定例4中6个指标的权重。解1:相对比较法
指标fi指标fif1f2f3f4f5f6评分总计权重wif10.51110.50f00f3000f4000f50.51110.50f6111110.5评分值45.5∑:182/91/121/121/122/911/36例5:确定例4中6个指标的权重。解1:相对比较法 指标62二、连环比率法
(属于主观赋权法)1.将所有指标以任意顺序排列,不妨设为:f1,f2,…,fn。从前到后,依次赋以相邻两指标相对重要程度的比率值。指标fi与fi+1比较,赋以指标fi以比率值ri(i=1,2,…,n-1):并赋以rn=1。二、连环比率法
(属于主观赋权法)1.将所有指标以任意顺序63二、连环比率法
(属于主观赋权法)2.计算各指标的修正评分值。赋以fn的修正评分值kn=1,根据比率值ri计算各指标的修正评分值:ki=ri·ki+1(i=1,2,…,n-1,注:从后往前算);3.归一化处理,求出各指标的权重系数值。即:二、连环比率法
(属于主观赋权法)2.计算各指标的修正评分64例6:确定例4中6个指标的权重。解2:连环比率法
指标fi比率值修正评分值指标权重wif13f21f31f41/3f51/2f61∑11/21/61/61/61/25/21/51/151/151/151/52/5例6:确定例4中6个指标的权重。解2:连环比率法 指标fi651.设有n个决策指标f1,f2,…,fn,组织m个专家咨询,每个专家确定一组指标权重估计值:2.对m个专家给出的权重估计值平均,得到平均估计值:3.计算估计值和平均估计值的偏差:三、专家咨询法(Delphi法)
(属于主观赋值法)1.设有n个决策指标f1,f2,…,fn,组织m个664.对偏差△ij较大的第j个指标的权重估计值,再请专家i重新估计第j个指标的权重。5.反复进行以上步骤,直至偏差满足一定要求为止。这样就得到一组权重指标的平均估计修正值。三、专家咨询法(Delphi法)
(属于主观赋值法)4.对偏差△ij较大的第j个指标的权重估计值,再请专家i重671.对决策矩阵X=(xij)m×n用线性比例变换法作标准化处理,得到标准化矩阵Y=(yij)m×n,并进行归一化处理,得:2.计算第j个指标的熵值:
其中,k>0,ej≥0四、熵值法
(属于客观赋值法)熵值法:利用指标熵值确定权重,熵越大,权重越小。1.对决策矩阵X=(xij)m×n用线性比例变换法作标准化683.计算第j个指标的差异系数:4.确定指标权重。第j个指标的权重为:四、熵值法
(属于客观赋值法)3.计算第j个指标的差异系数:4.确定指标权重。第j个指69指标(fj)机型(ai)
最大速度(马赫)最大范围(公里)最大负载(千克)费用(106美元)可靠性灵敏度a12.01500200005.559a22.52700180006.535a31.82000210004.577a491800200005.055例7:确定例4中6个指标的权重。解3:熵值法
(1)线性比例变换得:指标(fj)最大速度(马赫)最大范围(公里)最大负70例7:确定例4中6个指标的权重。解3:熵值法
(2)归一化处理得:例7:确定例4中6个指标的权重。解3:熵值法 (2)归一化71解:(3)计算第j个指标的熵值(取k=0.5)
得:差异系数:指标权重为:例7:确定例4中6个指标的权重。解:(3)计算第j个指标的熵值(取k=0.5) 得:差异系72演讲完毕,谢谢观看!演讲完毕,谢谢观看!73L13多属性决策1詹文杰(教授/博导)Office:华中科技大学管理学院611室Telmail:wjzhan@L13多属性决策1詹文杰(教授/博导)74学习目标了解多目标决策的特点;掌握多属性决策的决策矩阵;掌握多属性决策问题的方案筛选方法;掌握多属性决策问题的数据预处理方法;掌握多属性决策问题权的确定方法;掌握多属性决策常用方法。学习目标了解多目标决策的特点;7513多属性决策13.1多目标决策的特点13.2多属性决策矩阵13.3方案筛选13.4数据预处理13.5权的确定方法13多属性决策13.1多目标决策的特点7613.1多目标决策的特点一、多目标决策的例子:买车决策二、多目标决策的目标准则体系三、评价准则和效用函数四、目标准则体系的风险因素处理五、多目标决策问题的分类六、多目标决策的求解过程13.1多目标决策的特点一、多目标决策的例子:买车决策77一、多目标决策的例子:
买车决策例1:买车决策问题。指标备选车价格(万元)油耗(升/百公里)舒适度(无量纲)Mercedes(M)402510Chevrolet(C)15183Toyota(T)25106Volvo(V)35158单目标决策1(价格):价格(C)<价格(T)<价格(V)<价格(M)单目标决策2(油耗):油耗(T)<油耗(V)<油耗(C)<油耗(M)单目标决策3(舒适度):舒适(M)>舒适(V)>舒适(T)>舒适(C)一、多目标决策的例子:
买车决策例1:买车决策问题。78多目标决策的特点①决策问题的目标(或指标)多于一个。②多目标决策问题的目标间不可公度性(non-commensurable),即各目标(或指标)没有统一的衡量标准或计量单位,因而难以进行比较。③各目标间的矛盾性,即提高了一个指标的值,可能损害另一指标的值。指标备选车价格(万元)油耗(升/百公里)舒适度(无量纲)Mercedes(M)402510Chevrolet(C)15183Toyota(T)25106Volvo(V)35158多目标决策的特点①决策问题的目标(或指标)多于一个。79目标和属性
(Objective&attribute)Max(satisfactioncartobuy)Min(油耗)Min(价格)Max(舒适度)40,15,25,3525,18,10,1510,3,6,8总目标分目标属性值例1:买车决策问题目标和属性
(Objective&attribute)M80术语1:Objectives(目标):AnobjectivehasbeendefinedbyKeeneyandRaiffaasanindicationofthepreferreddirectionofmovement.Thus,whenstatingobjectives,weusetermslike‘minimize’or‘maximize’.Typicalobjectivesmightbetominimizecostsormaximizemarketshare.术语1:Objectives(目标):81术语2:Attributes(属性):Anattributeisusedtomeasureperformanceinrelationtoanobjective.Sometimeswemayhavetouseanattributewhichisnotdirectlyrelatedtotheobjective.Suchanattributeisreferredtoasaproxyattribute.Forexample,acompanymayusetheproxyattribute‘staffturnover’tomeasurehowwelltheyareachievingtheirobjectiveofmaximizingjobsatisfactionfortheirstaff.术语2:Attributes(属性):82多目标决策术语
(1)属性(attribute)备选方案的特征、品质或性能参数。(2)目标(objective)它是决策人所感觉到的比现状更佳的客观存在,用来表示决策人的愿望或决策人所希望达到的、努力的方向。(3)目的(goal)是在特定时间、空间状态下,决策人所期望的事情。目标给出预期方向,目的给出希望达到的水平或具体数值。(4)准则(criterion)是判断的标准或度量事物价值的原则及检验事物合意性的规则,它兼指属性及目标。
多目标决策术语(1)属性(attribute)备选方案83二、多目标决策的
目标准则体系在多目标决策问题中,其目标或者经过逐层分解,或者依据决策主体要求和实际情况需要,形成多层次结构的子目标系统,使得在最低一层子目标可以用单一准则进行评价,称之为目标准则体系。目标准则体系的层次结构,一般用树形结构图直观表示。最上一层,通常只有一个目标,称之为总体目标,最下一层,其中的每一个子目标都可以用单一准则评价,称之为准则层。二、多目标决策的
目标准则体系在多目标决策问题中,其目标或者84决策目标准则1准则2准则k子准则1子准则2子准则m方案1方案2方案n………………………………目标层准则层子准则层方案层二、多目标决策的
目标准则体系决策目标准则1准则2准则k子准则1子准则2子准则m方案1方案851)单层次目标准则体系各个目标都属于同一层次,每个目标无须分解就可以用单准则给出定量评价。图1单层次目标准则体系总目标目标m目标m-1目标2目标1……1)单层次目标准则体系各个目标都属于同一层次,每个目标无须862)多层次树型目标准则体系各子目标可按序列关系分属各类目标,不同类别的目标准则之间不发生直接联系;每个子目标均由相邻上一层的某个目标分解而成。总目标目标m目标m-1目标2目标1……子目标11子目标12子目标13子目标m1子目标m2子目标m3子目标21子目标22子目标232)多层次树型目标准则体系各子目标可按序列关系分属各类目标873)多层次网状目标准则体系相邻两层次子目标之间,仅按自身的属性建立联系,存在联系的子目标之间用实线连结,无实线连结的子目标之间,不存在直接联系。G............c1c2cn-1cn…g11g12g1n-1g1n…最高层中间层准则层…g21g22g1k-1g1k3)多层次网状目标准则体系相邻两层次子目标之间,仅按自身的88三、评价准则和效用函数在多目标决策中,制定了目标准则体系,不同的目标用不同的评价准则衡量。在多目标决策中,目标准则体系一经制定,任何一个可行性方案实施的效果,均可由目标准则体系的全部结果值所确定。可行方案在每一个目标准则下确定一个结果值,对目标准则体系,就得到一组结果值,并经过各目标准则的效用函数,得出一组效用值。效用值分别表示了可行方案在各目标准则下,对决策主体的价值,都用区间(0,1)上的实数表示。这样任何一个可行方案在总体上对决策主体的满意度,通过这些效用值按照某种法则并合而得,满意度是综合评价可行方案的依据。
三、评价准则和效用函数在多目标决策中,制定了目标准则体系,不89四、目标准则体系的
风险因素处理多目标决策的风险因素,应该在目标准则体系中对涉及风险因素的各子目标分别加以处理。
可以利用单目标风险决策技术,对某些存在风险因素的目标准则,将可行方案在各自然状态下的结果值转化为期望结果值。对存在风险因素的所有目标准则都分别做这样的技术处理。于是,任何一个可行方案在目标准则体系所有准则下,都只有一个确定的结果值,风险型多目标问题就转化为确定型多目标问题。四、目标准则体系的
风险因素处理多目标决策的风险因素,应该在90五、多目标决策问题的分类最常用的分类法是按备选方案的数量来划分:1.多属性决策问题(multi-attributedecisionmakingproblems):这一类决策问题中的决策变量是离散型的,其中的备选方案数量为有限个,因此,有些文献也称之为有限方案多目标决策问题。这一类问题求解的核心是对各备选方案进行评价后排定各方案的优劣次序,再从中择优。2.多目标决策问题(multi-objectivedecisionmakingproblems):这一类决策问题中的决策变量是连续型的,即备选方案数有无限多个,因此,有些文献也称之为无限方案多目标决策问题。求解这类问题的关键是向量优化,也即数学规划问题。多属性决策和多目标决策统称多准则决策(multi-criteriondecisionmaking)。五、多目标决策问题的分类最常用的分类法是按备选方案的数量来划91六、多目标决策的求解过程六、多目标决策的求解过程92例:
设某人拟购买住宅一栋,有四所房屋可供选择,房屋的合意程度用五个指标去衡量,即价格、使用面积、距工作地点的距离、设备、环境。见下表的决策矩阵:指标方案价格C1(万元)使用面积C2(m2)上班距离C3(公里)设备C4(无量纲)环境C5(无量纲)A16010010好好A250808差一般A3365020一般很好A4447012一般很好13.2多属性决策矩阵例:设某人拟购买住宅一栋,有四所房屋可供选择,房屋的合意程93多属性决策矩阵:设有n个决策指标Cj(j=1,2,…,n),m个可行方案Ai(i=1,2,…,m),方案Ai在指标Cj
下的指标(属性)值为yij,则有如下决策矩阵(或属性值表):指标方案C1…Cj…CnA1y11…y1j…y1n………………Aiyi1…yij…yin………………Amym1…ymj…ymn13.2多属性决策矩阵多属性决策矩阵:设有n个决策指标Cj(j=1,2,…,n94例1:买车备选车价格(万元)C1油耗(升/百公里)C2舒适度C3x1402510x215183x325106x435158例1:买车备选车价格(万元)油耗(升/百公里)舒适度x195例3:研究生院试评估指标方案人均专著C1(本/人)生师比C2科研经费C3(万元/年)逾期毕业率C4(%)A10.1550004.7A20.2740002.2A30.61012603.0A40.3430003.9A52.822841.213.2多属性决策矩阵例3:研究生院试评估指标人均专著C1生9613.3方案筛选当方案集X中方案的数量太多时,在使用多属性决策或评价方法进行正式评价之前就应当尽可能筛除一些性能较差的方案,以减少评价的工作量。常用的方案预筛选方法有如下三种:一、选优法二、满意值法三、逻辑和法13.3方案筛选当方案集X中方案的数量太多时,在使用多属97一、选优法选优法(Dominance)又称优势法,是利用非劣解的概念(也称优势原则)淘汰一批劣解。若方案集X中的方案xi与方案xk相比,方案xi至少有一个属性值严格优于方案xk,而且方案xi的其余所有属性值均不劣于方案xk,则称方案xi比方案xj占优势,处于劣势的方案xk可从方案集X中删除。从大批方案中选取少量方案时,可以用选优法淘汰全部劣解。一、选优法选优法(Dominance)又称优势法,是利用非98一、选优法例子1:买车备选车价格(万元)油耗(升/百公里)舒适度x1402510x215183x325106x435158x540303注意:在用选优法淘汰劣解时,不必在各目标或属性之间进行权衡,不用对各方案的属性值进行预处理,也不必考虑各属性的权重。一、选优法例子1:买车备选车价格(万元)油耗(升/百99二、满意值法满意值法(Conjunctive)又称逻辑乘法(即“与门”)。不失一般性,设各属性均为效益型。满意值法首先对每个属性都提供一个能够接受的最低值,称为切除值,记作yj0(j=1,..,n)。只有当方案xi的各个属性值yij都不低于相应的切除值时,即yij≥yj0(j=1,..,n)均满足时,方案xi才被保留;只要方案xi有一个属性值小于切除值,即yij<yj0,方案xi就被删除。这种方法的主要缺点是:属性之间完全不能补偿,一个方案的某个属性值只要稍稍低于切除值,其他属性值再好,它也会被删除。
二、满意值法满意值法(Conjunctive)又称逻辑乘法100二、满意值法备选车价格(万元)油耗(升/百公里)舒适度x1402510x215183x325106x435158例子1:买车。切除值:价格高于30万的不与考虑二、满意值法备选车价格(万元)油耗(升/百公里)舒适度101三、逻辑和法逻辑和法(Disjunctive)意义为“或门”,该方法与满意值法的思路正好相反。不失一般性,设各属性均为效益型。逻辑和法首先为每个属性规定一个阀值yj*(j=1,..,n)。只要当方案xi有某个属性值yij优于相应阀值yj*,即yij≥yj*(j=1,..,n),方案xi就被保留。这种方法的主要特点是:该方法显然不利于各属性都不错但没有特长的方案,但是可以用来保留某个方面特别出色的方案。三、逻辑和法逻辑和法(Disjunctive)意义为“或门102备选车价格(万元)油耗(升/百公里)舒适度x1402510x215183x325106x435158例子1:买车。阀值:油耗低于15的都考虑三、逻辑和法备选车价格(万元)油耗(升/百公里)舒适度x140251103小结:方案筛选上面介绍的这些方法可以用于初始方案过的预选,但是都不能用于方案排序,因为它们都无法量化方案的优先程度。小结:方案筛选上面介绍的这些方法可以用于初始方案过的预选,但10413.4数据预处理数据的预处理又称属性值的规范化,主要有如下三个作用:(1)统一化。属性值有效应型和成本型,对决策矩阵中的数据进行预处理,使表中任一属性下性能越优的方案变换后的属性值越大。(2)非量纲化。设法消去(而不是简单删除)量纲,仅用数值的大小来反映属性值的优劣。(3)归一化。把表中数均变换到[0,1]区间上。13.4数据预处理数据的预处理又称属性值的规范化,主要有如10513.4数据预处理数据预处理的主要方法:一、线性变换二、标准0-1变换三、区间数变换四、向量规范化五、统计处理六、专家打分的预处理七、定性指标的量化处理13.4数据预处理数据预处理的主要方法:106一、线性变换原始的决策矩阵为:Y={yij},变换后的决策矩阵记为:Z={zij},i=1,…,m,j=1,…,n。设yjmax是决策矩阵第j列中的最大值,若yj
为效益型属性,则:采用上式进行变换后:最差属性值不一定为0,最佳属性值为1。一、线性变换原始的决策矩阵为:Y={yij},变换后的决策107一、线性变换原始的决策矩阵为:Y={yij},变换后的决策矩阵记为:Z={zij},i=1,…,m,j=1,…,n。令yjmax是决策矩阵第j列中的最大值yjmin是决策矩阵第j列中的最小值,若yj为成本型属性,则:(1)经上式变换后,最佳属性值不一定为1,最差为0。
(2)经上式变换后,最差不一定为0,最佳为1,且是非线性变换。一、线性变换原始的决策矩阵为:Y={yij},变换后的决策108指标方案人均专著C1(本/人)生师比C2科研经费C3(万元/年)逾期毕业率C4(%)A10.1550004.7A20.2740002.2A30.61012603.0A40.3430003.9A52.822841.2指标方案人均专著C1(z1)科研经费C3(z3)逾期毕业率C4(z4)逾期毕业率C4(z4’)A10.03571.00.00.2553A20.07140.80.53190.5455A30.21430.25200.36170.4A40.10710.60.17020.3077A51.00.05680.74471.0指标人均专著C1生师比C2科研经费109二、标准0-1变换属性值进行线性变换后,若属性yj的最优值为1,则最差值一般不为0;若最差值为0,最优值就往往不为1。为了使每个属性变换后的最优值为1且最差值为0,可以进行标准0-1变换。对效益型属性yj,令:对成本型属性yj,令:二、标准0-1变换属性值进行线性变换后,若属性yj的最优值为110指标方案人均专著C1(本/人)生师比C2科研经费C3(万元/年)逾期毕业率C4(%)A10.1550004.7A20.2740002.2A30.61012603.0A40.3430003.9A52.822841.2指标方案人均专著C1(z1)科研经费C3(z3)逾期毕业率C4(z4)A10.01.00.0A20.03700.78800.7142A30.18520.20700.4857A40.07410.57590.2286A51.00.01.0指标人均专著C1生师比C2科研经费111三、区间数变换前面提到,有些属性既非效益型又非成本型,如生师比。显然这种属性不能采用前面介绍的两种方法处理。设给定的最优属性区间为[yj0,yj*],
yj’为无法容忍下限,yj’’为无法容忍上限,则:三、区间数变换前面提到,有些属性既非效益型又非成本型,如生师112三、区间数变换变换后的属性值与原属性值之间的函数图形为一般梯形。例如,设研究生院的生师比最佳区间为[5,6],yj’=2,yj’’=12,则函数图像如下图所示。三、区间数变换变换后的属性值与原属性值之间的函数图形为一般梯113三、区间数变换[yj0=5,yj*=6],yj’=2,yj’’=12:三、区间数变换[yj0=5,yj*=6],yj’=2,114指标方案人均专著C1(本/人)生师比C2科研经费C3(万元/年)逾期毕业率C4(%)A10.1550004.7A20.2740002.2A30.61012603.0A40.3430003.9A52.822841.2指标方案生师比C2A11.0A20.8333A30.3333A40.6666A50.0指标人均专著C1生师比C2科研经费115四、向量规范化无论成本型属性还是效益型属性,向量规范化均用下式进行变换:这种变换也是线性的,但是它与前面介绍的几种变换不同,从变换后属性值的大小上无法分辨属性值的优劣。它的最大特点是,规范化后,各方案的同一属性值的平方和为1,因此常用于计算各方案与某种虚拟方案(如理想点或负理想点)的欧氏距离的场合。四、向量规范化无论成本型属性还是效益型属性,向量规范化均用下116指标方案人均专著C1(本/人)生师比C2科研经费C3(万元/年)逾期毕业率C4(%)A10.1550004.7A20.2740002.2A30.61012603.0A40.3430003.9A52.822841.2指标方案人均专著C1(z1)生师比C2(z2’)科研经费C3(z3)逾期毕业率C4(z4)A10.03460.66660.69560.6482A20.06930.55550.55650.3034A30.20780.22220.17530.4137A40.10390.44440.41740.5378A50.96950.00000.03980.1655指标人均专著C1生师比C2科研经费117五、统计处理有些时候某个目标的各方案属性值往往相差极大,或者由于某种特殊原因只有某个方案特别突出。如果按一般方法对这些数据进行预处理,该属性在评价中的作用将被不适当地夸大。例如研究生院评估问题,方案5的第一个属性值远大于其他方案,若不作适当处理,会使整个评估结果发生严重扭曲。为此可以采用类似于评分法的统计平均方法。指标方案人均专著C1(本/人)生师比C2科研经费C3(万元/年)逾期毕业率C4(%)A10.1550004.7A20.2740002.2A30.61012603.0A40.3430003.9A52.822841.2五、统计处理有些时候某个目标的各方案属性值往往相差极大,或者118五、统计处理具体的做法有多种方式,其中之一是设定一个百分制平均值M,将方案集X中各方案该属性的均值定位于M,再用下式进行变换:(9.7)其中,是个方案第j个属性的均值,M取值可在0.5~0.75之间。五、统计处理具体的做法有多种方式,其中之一是设定一个百分制平119五、统计处理(9.7)式多种变形,例如:(9.7’)其中,σj
是方案集X中各方案关于第j个属性的均方差。当高端方差大于2.5σj
时,变换后的值均为1.0。五、统计处理(9.7)式多种变形,例如:(9.7’)120五、统计处理指标方案人均专著C1(本/人)线性变换式(9.7)(M=0.7)式(9.7’)A10.10.03570.59500.6625A20.20.07140.61000.6750A30.60.21430.67000.7250A40.30.10710.62500.6875A52.81.01.01.0五、统计处理指标人均专著C1线性变换式121六、专家打分的预处理假设,被邀请的各位专家意见的重要性相同,则每个专家在评价中理应发挥同样的作用;但是,对同一批被评价对象的同一指标,由于不同专家的打分习惯不同,所给分值所在区间往往会有很大差别。比如,专家甲的打分范围在50~95之间,而专家乙的打分范围在75~90之间。如果不对专家所打出的原始分值进行处理直接计算平均值,则专家甲在评价中所起的实际作用将是专家乙的3倍。
六、专家打分的预处理假设,被邀请的各位专家意见的重要性相同,122六、专家打分的预处理为了改变这种无形中造成的各个专家意见重要性不同的状况,使得各位专家的意见在评价中起同样的作用,应该把所有专家的打分值规范到相同的分值区间[M0,M*]内。M0和M*的取值对评价的结果无影响,只要所有专家的打分值都规范到该区间就行。具体算法为:若M0=0.0,M*=1.0,上式就与效益型属性值的标准0-1变换相同。六、专家打分的预处理为了改变这种无形中造成的各个专家意见重要123七、定性指标的量化处理将定性指标依问题的性质划分为若干级别,每一级别分别赋以不同的量值。如:分五级赋以分值等级指标很低低一般高很高效益型指标13579成本型指标97531七、定性指标的量化处理将定性指标依问题的性质划分为若干级别,124例4:某航空公司欲购买飞机按6个决策指标对不同型号的飞机进行综合评价。这6个指标是,最大速度(f1)、最大范围(f2)、最大负载(f3)、价格(f4)、可靠性(f5)、灵敏度(f6)。现有4种型号的飞机可供选择,具体指标值如下表:指标(fj)机型(ai)
最大速度(马赫)最大范围(公里)最大负载(千克)费用(106美元)可靠性灵敏度a12.01500200005.5一般很高a22.52700180006.5低一般a31.82000210004.5高高a491800200005.0一般一般例4:某航空公司欲购买飞机按6个决策指标对不同型号的飞机进行125指标(fj)机型(ai)
最大速度(马赫)最大范围(公里)最大负载(千克)费用(106美元)可靠性灵敏度a12.01500200005
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 文化活动的保安工作探讨计划
- 基于项目的美术教学计划
- 西南医科大学《灾害卫生学》2022-2023学年第一学期期末试卷
- 西南交通大学《数据结构与算法》2022-2023学年第一学期期末试卷
- 西华师范大学《日语二外》2021-2022学年第一学期期末试卷
- 2024年01月11141工程经济与管理期末试题答案
- 西昌学院《规划设计》2023-2024学年第一学期期末试卷
- 西北大学《网页设计》2023-2024学年第一学期期末试卷
- 西北大学《近代物理实验》2022-2023学年第一学期期末试卷
- 探究暖宝宝的发热原理说课稿-2023-2024学年九年级化学人教版下册
- 2024全球体育行业调研报告(第八期)-渐入佳境
- 事业单位考试职业能力倾向测验(综合管理类A类)试题与参考答案(2024年)
- 血液透析室医院感染控制与管理
- 换热站维保合同范例
- 急诊与灾难医学(广西中医药大学)知到智慧树章节答案
- 2024-2025学年上海市普陀区六年级(上)期中语文试卷
- 2024年新款消防灭火器购销协议
- 深圳大学《计算机网络与应用》2022-2023学年期末试卷
- 职业培训师教学技能手册
- 南京信息工程大学《自然语言处理》2023-2024学年期末试卷
- 临沂大学《信息可视化设计》2021-2022学年第一学期期末试卷
评论
0/150
提交评论