系统工程：第6章 系统评价方法

《系统工程》

第六章系统评价方法程森林主要内容6.1、系统评价的基本概念6.2、评价指标体系的建立6.3、评价指标的量化方法6.4、评价指标综合的主要方法6.5、可能满意度方法6.6、模糊综合评价方法6.1、系统评价的基本概念6.1.1系统评价的定义6.1.2系统评价的特性6.1.3系统评价的要素6.1.4系统评价的步骤6.1.1系统评价的定义系统评价是方案优选和决策的基础在系统分析中，对系统最优目标的给定、最优方案的选择、同系统效能对应费用的决定等，只有正确的评价才能正确地选择和决策。系统评价是系统分析的后期工作即根据预定的目标，在系统调查和可行性研究的基础上，借助系统模型，从技术、经济、社会、政策等方面就系统的各种备选方案进行比较和评定，选出优化方案或满意方案。6.1.1系统评价的定义系统评价是对系统开发、系统改造、系统管理中等问题，运用系统工程的思想，根据系统的目标和属性，综合考察系统在社会、政治、经济、技术等方面作用（效用），全面权衡利弊得失，从而为系统决策选择最优方案提供科学的依据。因此，系统评价是系统工程工作中的一项重要的基础工作。6.1.2

系统评价的特性近似性原因由于事物客观效用是客观存在的，而评价得到的结果是评价者的主观效用；其次评价者只是社会的某一部分，由于认识的局限性，他们的主观欲望与整个社会的要求之间不可避免地存在差异。用评价者主观欲望来代替客观效用必然是一种近似。改进方法可采用增加评价者的数量，即有足够的数量以反映社会代表性，一般应超过30人；其次，提高评价者的素质，要求评价者具有渊博的知识，对被评价系统有较深的了解。对于具体评价问题，参加的专家要涵盖问题所涉及的领域，不同类型的专家比例与问题的主要方面正相关6.1.2

系统评价的特性模糊性原因由于任何系统都是比较复杂的，存在多属性、多变量，而评价时为了实用、可行，往往只能用有限个属性来表示事物的功能，用有限个变量来表示事物的属性，这抓住了事物的本质的主要方面而不是全部；其次许多属性难以用一个或几个变量来描述，在评价时，不得不借助专家的定性评价。因此评价结果肯定不是精确的。改进方法在实用可行的基础上，条目尽可能包含系统的各种属性，条目细化，定量分析。其次，对某一指标不得不用打分方法评价时，要邀请内行专家，且条目要分得细一点，即有针对性。6.1.2

系统评价的特性相对性原因由于最终的评价值是将各个属性加以综合得到的，而综合过程中是将各个属性按一定的权重及并合原则得到的。这些并合原则及权重是评价者（集团）决定的。其次社会观念不断变迁，今天科学的权重明天会变得不合理。所以，评价值只能是事物（社会效用）这个绝对真理的相对值。改进方法首先参与评价人员（尤其是模型建立者）对指标体系有一个好的理解，对并合原则的选择要尽可能符合物理概念；其次随着时间的变化，应重新对所评价的问题进行评价。6.1.3

系统评价的要素评价目标即评价的目的、意向、预期的目标；评价对象事物、方案、工作、个人……；评价指标体系即衡量事物的标准尺，它由评价指标条目、标准、权重组成；评价的数学模型即能将测定的与指标有关属性的效用，综合成系统主观效用的数学表达式；评价的组织者与专家群体6.1.4

系统评价的步骤(1)明确目标与对象即明确评价的目的（选优、控制、管理）(2)熟悉评价对象实际调查，搜集有关情报资料，搞清系统构成要素及其相互关系，对系统的行为功能、特点以及有关属性并分析这些属性的重要程度。(3)挑选专家在保证一定数量的基础上，注意专家的合理构成，又要注意专家的素质，挑选那些真正熟悉对象的内行专家，切忌只图专家的名望。(4)设计评价指标体系这是最重要的一环，在熟悉评价对象及评价目标的基础上，一般把评价目标进行逐层分解。其次，应依据一定的思路与原则进行。6.1.4

系统评价的步骤(5)测定对象属性评价对象的每一属性都需测定(6)建立评价数学模型(7)仿真、综合主观效用进行计算机仿真计算，灵敏度分析，得到主观效用值。(8)择优由于评价模型的评价指标不可能包含系统的所有东西，所以应对评价对象的结果进行综合考虑，以便提供正确的决策依据。6.2评价指标体系的建立6.2.1明确评价的目的6.2.2评价指标建立的原则6.2.3评价指标建立的程序6.2.1明确评价的目的建立评价指标体系是评价工作的关键步骤，首先要有明确的目的。如评价的目的是为了控制管理系统，使系统处于最优运行轨迹，使领导有效地对系统进行管理，可采用控制的思路。如过程评价、组织的评价、市场秩序评价，这些评价目的是改进工作，可从投入、产出、内部结构和内部状态、环境反映等方面来构建评价指标体系。如果评价的目的是选优，可采用系统的思路，即对系统进行整体地剖析、综合思考，从目标分解或社会价值观等不同角度来构造评价指标体系。一般有如下两种指标构成方法：评价指标的直接分解法，如“五好”学生的评价指标由德、智、体、美、劳五方面组成；价值观分解法，即把政治、经济、技术、社会、环境等作为大类指标，如港址选择的评价指标体系。6.2.2评价指标建立的原则(1)要保证评价的客观性评价资料的全面性和可靠性，评价人员的代表性，自由表态的可能性，专家人数的比例。(2)要保证方案的可比性替代方案在保证实现系统的基本功能上要有可比性和一致性，个别功能突出或方案内容新的项目，只能说明其相关方面，不能代替其他方面得法。更不能搞“陪衬”方案，失去评价的意义。(3)评价指标要成系统(4)评价指标符合国家的方针、政策6.2.3评价指标建立的程序(1)草拟评价指标体系调查研究、实地勘查、查阅资料、头脑风暴。(2)设计咨询书将咨询的重要性以及咨询内容要求告诉专家（如条目的内含，条目的增删方法，回信的时间等）尤其要注意口气、语气的表示，以及一定会给以报酬的许诺6.2.3评价指标建立的程序案例：邀请信_______________：您好！市场秩序是党和国家领导人以及广大百姓所关心的话题，它关系到社会的稳定发展，经济体制改革的顺利进行。因此，建立和维持一个良好的市场秩序，实现从传统的计划经济体制向社会主义市场经济体制转化，已成为人们研究的一个重大课题。对一个地区的市场秩序进行评价，为政府调控市场提供决策信息，为立法部门和行业组织提供改进各种管理规则的依据，为市场管理部门提供监管重点和抓手已成为一项重要和紧迫的任务。6.2.3评价指标建立的程序我们受国家工商管理总局市场司的委托，承担“市场秩序评价指标体系及监管”的研究课题。课题经过前阶段理论探索和实际调查，目前已进入专家咨询（Delphi咨询）阶段。您长期从事和关心市场经济及市场秩序的理论研究与实践工作，具有较深的造诣，得到同行的一致认可。课题组热切盼望得到您的帮助，希望您在百忙之中对市场秩序评价指标体系提出宝贵意见和建议（有关咨询内容见附录）。由于时间紧迫，课题组希望您在___月___日之前给我们回复，以帮助我们能够按时完成课题研究。课题咨询一旦结束，我们将略致薄酬以示谢意。6.2.3评价指标建立的程序(3)第一轮Delphi咨询将咨询书邮寄（E-mail）给专家，并作好接受回信的准备工作。(4)第二轮Delphi咨询将第一轮咨询进行统计处理（平均值、方差），并将结果告诉专家，请专家根据上一轮统计结果再次进行评判。如意见差异较大，请专家能否给出自己的依据。(5)结束当指标方差达到给定的标准时6.2.3评价指标建立的程序案例：市场秩序评价区域市场秩序评价指标体系大类指标重要性级别极其重要很重要重要应考虑意义不大市场主体的状况

市场监管的状况

市场法律环境

社会经济环境

6.2.3评价指标建立的程序重要等级的定义(1)极其重要：如果这一指标条件状况不好，其他所有的条件再好也不能说明市场秩序的状况是好的。(2)很重要：此项指标是市场秩序的关键影响因素，如果缺少了此指标，会使评价结果产生重大的缺陷。(3)重要：是影响市场秩序的重要因素，如果缺少了此指标，会显得指标体系不够完善。(4)应考虑：指此项指标是市场秩序应考虑的影响因素，如果加上这一条指标，则使得整个体系更加的完备。(5)意义不大：是否选择这一指标对评价市场秩序的影响不大。6.2.3评价指标建立的程序结果统计域市场秩序评价指标体系大类指标重要性级别

均值

方差极其重要很重要重要应考虑意义不大市场主体状况1920001.09520.0905市场监管状况1290001.42860.2571市场法律环境1281001.47620.3619社会经济环境5410202.42860.95716.3评价指标的量化方法6.3.1排队打分法6.3.2体操计分法6.3.3专家评分法6.3.4两两比较法6.3.1排队打分法如果指标因素(例如汽车的时速、油耗，工厂的产值、利润、能耗等等)已有明确的数量表示，就可以采用排队打分法。设有m种方案，则可采取m级记分制：最优者记m分，最劣者记1分，中间各方案可以等步长记分(步长为1分)，也可以不等步长记分，灵活掌握；或者各项指标均采用l0分制，最优者满分为10分。6.3.1体操计分法体育比赛中许多计分方法也可以用到系统评价工作中来。例如，体操计分法是请6位裁判员各自独立地对表演者按10分制评分，得到6个评分值，然后舍去最高分和最低分，将中间的4个分数取平均，就得到表演者最后的得分数。在系统评价工作中，就可用这种体操计分法得到系统的各评价指标的最后得分。6.3.1专家评分法这是一种利用专家经验的感觉评分法。例如，要对多台设备操作性进行评价，可以请若干专家，即有经验的实际操作者来试车，专家们根据主观感觉和经验。对每台设备按一定的记分制来打分，再将每台设备的得分相加，最后将和数除以操作者的人数，就获得了各台设备的得分数。6.3.1两两比较法这也是一种感觉(经验)评分法。它将方案的某个指标量化得分由两两比较而打分，然后对每一方案的得分求和，并进行百分化等处理。打分时可以采用0～2打分法、0～4打分法或多比例打分法等等。(当i>j时为2，当i～j时为1，当i<j时为0)6.4评价指标综合的主要方法6.4.1加法法则6.4.2乘法法则6.4.3代换法则6.4.4取大取小法则6.4.1加法法则应用场合：各个属性具有独立性，它们对于价值的贡献没有本质的差别，可以线性补偿。用俗语表示：好坏搭配。例如：人们生活水平提高的程度Ｗ，它是由吃、穿、住、行、娱乐等属性组成，任何一个属性Ｑ(ｓ)的提高都意味着人们生活水平的提高，即W(α)的提高。6.4.2乘法法则应用场合：各个属性应尽可能取较好的水平，才能使总价值提高，它不允许指标的某一个属性处在较低的水平上。如果有一属性零，那么，不管其它属性如何，总价值Ｑ(α)=0。用俗语表示：不可偏废。例如：人员的选择；装置的功能与可靠性；项目中的经济效益与政治原则；产品的数量和质量；建设方案中的政治、经济、技术。6.4.3代换法则应用场合：多个坏品质可以依靠一个或几个好的品质加以矫正。用俗语表示：一好遮百丑。特点：反对折衷，倾向于一个极端。例：某开发区的交通方便性指标，一般来讲交通指标由航空、铁路、公路、水路组成，即有四个属性共同反映。但这一开发区建在某一高速公路边上，但远离铁路、港口、机场。在评价时认为开发区的交通是很方便的。6.4.4取大取小法则应用场合：特定的物理含义和场所。例如：通航条件Ｑ(α)，一般航道深度的满意度ｑ1(ｓ)和港区水深ｑ2(ｓ)）组成，应取最小值作为评价依据6.5可能满意度方法6.5.1可能度定义、6.5.2满意度定义6.5.3可能满意度的定义6.5.1可能度的定义如果一件事物肯定能够做到的话，那么从可能度上讲，它的把握程度最大，其“可能度”最高，给以定量描述记为P，并定义P=1。反之，一件事情肯定做不到P=0。P=0～1之间某个实数就可以表示各种不同的可能程度，记为P∈[0,1]例：有一台标牌Ｒａ升降机，在正常情况下，提升ｒ≤Ｒａ是肯定能做到的，即P（ｒ≤Ｒａ）=1，通过试验，总能够找到某一重量Ｒｂ，这一重量是肯定提升不起来的。P（ｒ≥Ｒｂ）＝０。为了应用方便，采用线性内插法求解P(Ｒａ～Ｒｂ)。6.5.2满意度的定义一件事件出现后，就人们的主观欲望讲“是否满意”也有客观依据。但“满意度比“可能度”带有更多的主观随意性。仿可能度方法，用Q表示满意度，充分满意时Q=1，完全不满意时Q=0用Q∈［0,1]某一实数表示人们对某一事物的满意程度。例：人们在选择某个岗位人员时，对年龄有一个范围，例如30—45岁，但并不排斥小于、或大于该年龄段的人，但满意度会降低。sq1.0abcd6.5.3可能满意度的定义可能满意度就是把事物对各种属性的可能度P(ｒ)与满意度Q(ｓ)合并成为某一属性α的可能满意度w（α），它定量描述既可能又满意的程度。同理，ｗ（α）∈[0，1]，ｗ＝１.0，百分之百既可能又令人满意。ｗ＝０完全不可能、或完全不令人满意、或既完全不可能又完全不令人满意。关键的问题是合理确定ａ、ｂ点。本来就有数字定量的条目，只要科学的制定标准（因素、标尺）间接定量的条目，要进行分析研究，找到定量的依据只能定性处理的条目，采用分级定量方法。6.6模糊综合评价方法6.6.1模糊综合评价应用场合6.6.2模糊综合评价的数学模型6.6.3应用举例6.6.1模糊综合评价应用场合模糊综合评价可以用来对人、事、物进行全面、正确而又定量的评价，因此它是提高领导者决策能力和管理水平的一种有效方法。一些领导者在面对多种而又复杂的方案、褒贬不一的人才、众说纷纭的成果时，常常会感到不知所措，以致由于主观决策失误，给工作带来损失，但是，此时若能运用模糊综合评价方法，就有可能避免上述情况的发生6.6.1模糊综合评价应用场合对于方案、人才、成果的评价，人们的考虑往往是从多种因素出发的，而且这些考虑一般只能用模糊语言来描述。例如，评价者从考虑问题的诸因素出发，参照有关的数据和情况，根据他们的判断对复杂问题分别作出“大、中、小”；“高、中、低”；“优、良、可、劣”；“好、较好、一般、较差、差”等程度的模糊评价。然后通过模糊数学提供的方法进行运算，就能得出定量的综合评价结果，从而为正确决策提供依据。6.6.2模糊综合评价的数学模型对某一事物进行评价，若评价的指标因素(着眼点)为n个，分别记为u1,u2,u3,…un，则这n个评价因素便构成一个评价因素的有限集合若根据实际需要将评语划分为m个等级，分别记为v1,v2,v3,…vn，则又构成一个评语的有限集合6.6.2模糊综合评价的数学模型例如，对某本教材进行评价，假如可从科学性(u1)、实践性(u2)、适应性(u3)、先进性(u4)、专业性(u5)等方面着眼，则其评价因素集合便为若评价结果划分为“很好”(v1)、“好”(v2)、“一般”(v3)、“差”(v4)4个等级，则其评语集合便为6.6.2模糊综合评价的数学模型若只着眼于科学性(u1)一个因素来评定该教材，采用“民意测验”的办法，结果是16%的人说它“很好”，42%的人说它“好”，39％的人说它“一般”，3%的人说它“差”，则这个结果可用模糊集合来描述。也可简记为向量的形式6.6.2模糊综合评价的数学模型评价结果是评语集合V这一论域上的模糊子集。就是对被评对象所做的单因素评价。然而，一般往往需要从几个不同方面来综合地评价某一事物，从而得到一个综合的评价结果，该结果仍是评语集合V这一论域上的一个模糊子集，这便是综合评价问题。通常，V为一有限集合，则也为相应的有限模糊集合简记为一m维模糊向量形式6.6.2模糊综合评价的数学模型在实际评价工作中，各个评价因素的重要程度往往是不相同的，考虑到这个客观存在的事实，评价因素集合实际上是因素集合U这一论域上的一个模糊集合，实际上亦为一有限集，即因素集合也为一相应的有限模糊集合同样也可用一个n维模糊向量来表示6.