系统评价方法

系统评价方法第1页，课件共54页，创作于2023年2月评价需要考虑的问题？目的：选优评价的尺度:变量的度量尺度评价的指标评价指针必须与评价目的和目标密切相关评价指标应当构成一个完整体系，能全面地反映所需评价对象的各个层面评价指标总数应尽可能的少，以降低评价的负担评价函数:模型构成及权重评价的理论与方法第2页，课件共54页，创作于2023年2月评价理论的类别以数理为基础的理论通常在某些条件限制下，以数学理论和解析方法对评价系统进行严密的定量描述和计算以统计为主的理论与方法通过统计数据来建立只能凭感觉而不能测量的评价项目的评价模型。特别是心里感觉等度量和评价。以重现决策的方法即研究如何才能比较容易地决定与目标一致的人类行为。例如，利用系统仿真方法来建立与评价一个系统第3页，课件共54页，创作于2023年2月评价理论的应用和具体方法评价理论效用理论偏好确定性理论非精确性理论最佳化理论透过最佳化的方法来决定那一个方案是最好的评价方法成本效益分析关联矩阵法层次分析法模糊评价法第4页，课件共54页，创作于2023年2月第一节：系统评价原理决策初步SA规范分析系统评价NY系统评价的范式系统评价是根据预定的系统目标，采用系统分析方法，对新开发的或改建的系统的各种设计方案，从所涉及和影响的各方面（技术、经济、社会、生态、政治、军事等）进行评审和比较，全面权衡利弊得失，以评定方案优劣，为决策选择最优方案提供科学的依据。第5页，课件共54页，创作于2023年2月2.系统评价：评价→价值。系统方案评价需要考虑的问题：评价对象（What）评价主体（Who），效用、风险等

效用：某主体对某种利益和损失所独有的感觉及反应。评价目的（Why），指标体系评价时期（When）

期初评价、期中评价、期末评价、跟踪评价评价地点（Where），高度和深度评价方法（How）

系统评价是多方面要素（5W1H）所构成的问题复合体。

第6页，课件共54页，创作于2023年2月系统评价与系统开发决策之间的关系第7页，课件共54页，创作于2023年2月评价指标体系的组成政策性指标，方针、政策、法令等方面要求；技术性指标，性能、寿命、可靠性、安全性等；经济性指标，成本、利润等；社会性指标，就业、社会福利、污染、环境等；资源性指标，物资、人力、能源、土地条件等；时间性指标，进度、试制周期等；风险性指标，失败的可能；其它指标。第8页，课件共54页，创作于2023年2月3.程序和方法

认识评价问题(5W1H)搜集、整理、分析资料方案准则主体选择评价方法、建立评价模型分析、计算评价值综合评价决策关联矩阵法（原理性方法）层次分析法（评价要素多层次分布）模糊综合评判法（多评价主体）因子分析法，多城市评价第9页，课件共54页，创作于2023年2月第二节：关联矩阵法：评价对象（可替代且非劣的方案）：评价指标（准则、项目）：评价指标权重，第10页，课件共54页，创作于2023年2月Vi

X1X2

…Xn

XjVijAiVij=?逐对比较法、古林法

A1A2Am…V11V12V1nV21V22V2nVm1Vm2Vmn

………………...第11页，课件共54页，创作于2023年2月方案预期结果例表

评价指标Xj替代方案Ai期望利润（万元）产品成品率（%）市场占有率（%）投资费用（万元）产品外观自行设计（A1）6509530110美观国外引进（A2）7309735180比较美观改建（A3）520922550美观第12页，课件共54页，创作于2023年2月逐对比较法例表

评价指标得分序号累计得分权重12345678910期望利润（X1）1111

40.4产品成品率（X2）0

111

30.3市场占有率（X3）

0

0

01

10.1投资费用（X4）

0

0

1

120.2产品外观（X5）

0

0

0000.0第13页，课件共54页，创作于2023年2月评价逐对比较法是确定评价指标权重的简便方法之一。其基本的做法是：对各替代方案的评价指标进行逐对比较，对相对重要的指标给予较高得分，据此可得到各评价项目的权重Wj。再根据评价主体给定的评价尺度，对各替代方案在不同评价指标下一一进行评价，得到相应的评价值，进而求加权和得到综合评价值。但是1和0的重要性比较过于笼统和绝对，缺少重要程度，此时，古林法部分解决了上述问题。第14页，课件共54页，创作于2023年2月评价尺度例表

评价尺度(得分)评价指标54321期望利润（万元）800以上701-800601-700501-600500以下产品成品率（%）97以上96-9791-9586-9085以下市场占有率（%）40以上35-3930-3425-2925以下投资费用（万元）20以下21-8081-120121-160160以上产品外观非常美观美观比较美观一般不美观第15页，课件共54页，创作于2023年2月VijAi

期望利润产品成品率市场占有率投资费用产品外观Vi0.40.30.10.20.0自行设计(A1)333343.0国外引进(A2)444133.4改建(A3)232442.7Xj关联矩阵表（逐对比较法）第16页，课件共54页，创作于2023年2月古林法求例表30.54序号评价指标RjKj1期望利润180.5802产品成品率60.1943市场占有率20.0654投资费用40.1295产品外观—10.032合计311.0003Rj

Kj

Wj基准化归一化第17页，课件共54页，创作于2023年2月评价当对各评价项目的重要性可作出定量估计时，古林法比逐对比较法前进了一大步。他是确定指标权重和方案权重的基本方法。但是，相对重要程度的确定归于专家的主观判定而具有不确定性，而且很难给出。因此也不太实用。第18页，课件共54页，创作于2023年2月古林法求Vij例表序号（j）评价指标替代方案RijKijVij1期望利润A10.8901.2500.342A21.4041.4040.384A3—1.0000.2742产品成品率A10.9791.0320.334A21.0541.0540.342A3—1.0000.324第19页，课件共54页，创作于2023年2月3市场占有率A10.8571.2000.333A21.4001.4000.389A3—1.0000.2784投资费用A11.6360.4550.263A20.2870.2870.160A3—1.0000.5775产品外观A11.3331.0000.364A20.7500.7500.272A3—1.0000.364第20页，课件共54页，创作于2023年2月关联矩阵例表（古林法）VijAi期望利润产品成品率市场占有率投资费用产品外观Vi0.5800.1940.0650.1290.032A10.3420.3840.2740.3340.3420.3240.3330.3890.2780.2630.1600.5770.3640.2720.3640.3300.3340.326A2A3Xj第21页，课件共54页，创作于2023年2月第三节：层次分析法将所包含的因素分组设层，并标明各层因素之间的关系，如对决策问题，可构造出下图所示的层次结构模型。目标层A准则层C方案层P目标A准则C1准则C2准则C3方案P1方案P2方案P3方案P4方案P5AnalyticHierarchyProcess——AHP（美国运筹学家、匹兹堡大学教授T.L.Saaty,1977）第22页，课件共54页，创作于2023年2月AHP思路第23页，课件共54页，创作于2023年2月AHP方法的基本工具——判断矩阵

判断矩阵标度定义

标度含义1两个要素相比，具有同样重要性3两个要素相比，前者比后者稍微重要5两个要素相比，前者比后者明显重要7两个要素相比，前者比后者强烈重要9两个要素相比，前者比后者极端重要2，4，6，8上述相邻判断的中间值倒数两个要素相比，后者比前者的重要性标度第24页，课件共54页，创作于2023年2月判断矩阵的一致性检验使用AHP，判断矩阵A的一致性很重要，但要求所有判断都有完全的一致性不大可能。因此，一般只要求A具有满意的一致性，此时λmax稍大于矩阵阶数n，其余特征根接近零。这时，基于AHP得出的结论才基本合理。为使所有判断保持一定程度上的一致，AHP步骤中必须进行一致性检验。第25页，课件共54页，创作于2023年2月为了检验判断矩阵的一致性，需要计算它的一致性指标max－nn－1CI=将CI与平均随机一致性指标RI比较，RI可从下表查得：阶数RI1234567890.000.000.580.901.121.241.321.411.45

只有当随机一致性比例CR=0.10时，判断矩阵才具有满意的一致性，否则就需要对判断矩阵进行调整。CIRI第26页，课件共54页，创作于2023年2月关键问题AHP计算的根本问题是计算判断矩阵的最大特征根max及其对应的特征向量W.三种常用的计算方法：幂法、和积法、方根法P136幂法：计算机进行，可得到任意精确度的最大特征根max及其相应的特征向量W。和积法：近似算法。方根法：近似算法。（手工常用）第27页，课件共54页，创作于2023年2月判断矩阵中两两比较的必要性为了给出判断矩阵，需要进行n(n-1)/2次两两比较。有人会问，只要让其它所有元素与某一个元素进行比较，即总共进行n-1次比较就可以构造出判断矩阵了，两两比较必要吗？如仅用n-1次比较来决定元素排序，则其中任何一次判断失误必将导致不合理的排序。两两比较可以集中决策者提供的更多的信息，正好是对每一次比较是否合理进行检查的过程，通过不同角度的反复比较，降低个别失误所造成的影响，避免系统性的错误。两两比较非常必要，应保证每次比较能够独立进行。第28页，课件共54页，创作于2023年2月举例投资效果好（T）风险程度（I1）资金利润率（I2）转产难易程度（I3）产品1（P1）产品2（P2）产品3（P3）（目的层）（准则层）（方案层）第29页，课件共54页，创作于2023年2月判断矩阵及其分析处理举例TI1I2I3WiWioI111/320.8740.230I23152.4660.648I31/21/510.4640.122(3.804)[注]Wi的求取采用方根法（几何平均值法）

I1P1P2P3WiWioP111/31/50.4060.105P2311/31.0000.258P35312.4660.637第30页，课件共54页，创作于2023年2月I2P1P2P3WiWioP11272.4100.592P21/2151.3570.333P31/71/510.3060.075I3P1P2P3WiWioP111/31/70.3620.081P2311/50.8430.188P37513.2710.731第31页，课件共54页，创作于2023年2月求综合重要度（加权和）TI1I2I3综合重要度权重0.2300.6480.122加权和P10.1050.5920.1490.426P20.2580.3330.0660.283P30.6370.0750.7850.291第32页，课件共54页，创作于2023年2月

AHP方法步骤： （1）分析评价系统中各基本要素之间的关系，建立系统的递阶层次结构（分解法、ISM法）；（2）对同一层次的各要素关于上一层次中某一准则的重要性进行两两比较，构造判断矩阵（专家调查法）；古林法比较时的误差有传递。（3）由判断矩阵计算被比较要素对于该准则的相对权重（方根法）； （4）计算各层要素相对于系统目的（总目标）的合成（总）权重，并据此对方案等排序（关联矩阵表及加权和法）。第33页，课件共54页，创作于2023年2月评价1、判断矩阵通不过一致性检验，需要调整的问题。有人提出对原始数据取对数。2、依靠定性思维建立判断矩阵，客观性不强。判断矩阵的建立本身会因人而异，难以综合各位评价人员的意见，随意性强。3、采用人类能够同时比较的1-9标度，对于因素较多、规模较大的复杂系统（如要素个数大于9），可能难以辨别差异。4、结果只是方案的优劣顺序，不能回答方案是否可行。第34页，课件共54页，创作于2023年2月某省轻工部门有一笔资金准备生产三种产品：家电：I1,某紧俏产品I2，本地传统产品I3。评价和选择方案的准则是：风险程度C1、资金利用率C2、转产难易程度C3三个。现设判断矩阵如下：投资C1C2C3C111/32C2315C31/21/51C1I1I2I3I111/31/5I2311/3I3531作业题第35页，课件共54页，创作于2023年2月C2I1I2I3I1127I21/215I31/71/51C3I1I2I3I111/31/7I2311/5I3751试利用AHP法计算三种方案的排序结果。第36页，课件共54页，创作于2023年2月第四节：模糊综合评价法什么是事物的模糊性？指客观事物在中介过渡时所呈现的“亦此亦彼性”。(1)清晰的事物——每个概念的内涵（内在涵义或本质属性）和外延（符合本概念的全体）都必须是清楚的、不变的，每个概念非真即假，有一条截然分明的界线，如男、女。(2)模糊性事物——由于人未认识，或有所认识但信息不够丰富，使其模糊性不可忽略。它是一种没有绝对明确的外延的事物。如美与丑等。人们对颜色、气味、滋味、声音、容貌、冷暖、深浅等的认识就是模糊的。第37页，课件共54页，创作于2023年2月模糊综合评价方法很多时候，人们不仅要从多种因素考虑，且一般只能用模糊语言描述。如显示器的舒适性，人员的政治立场坚定，某建设方案的社会影响等。评价者从诸因素出发，参照有关信息，根据其判断对复杂问题分别作出“大、中、小”；“高、中、低”；“优、良、可、劣”；“好、较好、一般、较差、差”等程度性的模糊评价。

FuzzyMaths，专门用来处理和研究模糊性事物的一种新的数学方法。1965年美国加州大学查德(L.A.Zadeh)教授发表《FuzzySets》一文，标志其诞生。第38页，课件共54页，创作于2023年2月模糊集如对某项指标(u1)来进行评定，若采用民意测验的方法，结果16%的人说“很好”，42%的人说“好”，39%的人说“一般”，3%的人说“差”，则评价结果可用模糊集描述评价结果是评语集合V这一论域上的模糊子集。可简记为向量形式就是对被评对象所做的单因素评价。第39页，课件共54页，创作于2023年2月一个模糊综合评价问题，就是将评价因素集合U这一论域上的一个模糊集合经过模糊关系变换为评语集合V这一论域上的一个模糊集合，即上式即模糊综合评价的数学模型。其中种评语的可能程度。模糊综合评价模型中的矩阵乘积表示复合关系。——模糊综合评价的结果，是m维模糊行向量。——模糊评价因素权重集合，是n维模糊行向量。——从U到V的一个模糊关系，是矩阵。表示从第i个因素着眼，做出第j模糊综合评价的数学模型第40页，课件共54页，创作于2023年2月模糊综合评价的步骤：设定评价指标因素集U；设定评语集V；确定评价指标权重集；用民意测验方法请专家实施评价；建立评价矩阵；按数学模型进行综合评价；归一化处理，得出具有可比性的综合评价结果。第41页，课件共54页，创作于2023年2月1.讲课质量的评估

U=[清楚易懂，教材熟练，生动有趣，板书整洁]V=[很好，较好，一般，不好]第42页，课件共54页，创作于2023年2月模糊综合评价的应用归一化：第43页，课件共54页，创作于2023年2月例子：某种新产品有三种不同的设计方案,根据“质量”、“成本”、“实用性”三个目标对这三个方案进行优、良、中、劣评价。◆评价对象：◆评价目标：◆评价等级：◆建立隶属函数★1：V={Ⅰ方案，Ⅱ方案，Ⅲ方案}X={质量，成本，实用性}

={优，良，中，劣}◆根据最大隶属度原则★4

得综合评价结果：

◆统计得隶属度矩阵★2：◆评价目标权重★3：◆求模糊合成运算(M（∧,∨))：第44页，课件共54页，创作于2023年2月大学生综合素质评价体系第45页，课件共54页，创作于2023年2月判断矩阵第46页，课件共54页，创作于2023年2月模糊评价原则第47页，课件共54页，创作于2023年2月第48页，课件共54页，创作于2023年2月综合量化第49页，课件共54页，创作于2023年2月举例2—简化做法课程：

教师：

班级：

评价项目（权重）好（100）较好(85)一般（70）较差（55）1.教学计划及教学内容安排（0.10）90.36140.5620.0800.002.教材及参考资料状况(0.10)30.12140.5670.2810.043.教师教学态度及责任心(0.15)50.20150.6050.2000.004.教师讲解能力（0.10）10.04100.40110.4430.12评价结果(票数/隶属度)

评价等级第50页，课件共54页，创作于2023年2月5.课堂教学形式的多样化程度（0.10）20.08110.44120.4800.006.理论联系实际程度及教学案例使用情况（0.10）50.20140.5660.2400.007.辅助教学环节及考核情况(0.10)40.1660.24130.5220.088.教学改革与创新情况(0.10)30.1280.32120.4820.089.从本课程学习中所获得的收益程度（0.15）50.20120.4860.2420.08综合评价结果综合隶属度0.1680.4700.3180.044综合得分81.43第51页，课件共54页，创作于2023年2月隶属度rij

指多个评价主体对某个评价对象在第i个项目下作出第j等级评定的可能性程度。

若记：隶属度矩阵为

评价项目权重向量为

评价等级分值向量为

则有：综合隶属度向量S=W•R综合得分

第52页，课件共54页，创作于2023年2月假设对电视机的评价因素U={图像u1，声音u2，价格u3}，评语集合V={很好v1，较好v2，可以v3，不好v4}，现请专家10人对三种电视机进行评价，结果如下：(1)v1v2v3v4(2)v1v2v3v4(3)v1v2v3v4u1541043