第15章软件产品评价

第15章软件产品评价

在软件业界普遍认同通过评估和改进软件过程可以提高软件质量的趋势下，通过采用规范化的软件产品评价过程，对开发组织开发的、商业现货提交或定制的软件产品等进行评价，也是推动软件产品质量进一步提高的一项重要手段。2023/9/17§

15.1软件产品评价的概念 通过软件产品评价，为有关各方提供关于软件产品质量可以理解、可以接受并且是可以信赖的定量评价结果，为软件的推广或者采用提供可以依赖的客观依据。其潜在的好处如下：（1）开发者可以利用评价结果确定纠正措施（2）产品的供方可以从评价中对其产品的价值充满信心（3）产品的需方可以把评价结果用作获取决定所依据的客观数据（4）推广软件产品的评价将有助于与把产品质量作为一个营销参数2023/9/17215.1.1软件产品评价的定义

--根据特定的规程，对软件产品的一个或多个特性执行评估的技术操作

也就是说，按照一定的程序要求，通过测量、评审等方式确定软件产品与质量要求间的符合程度，这种符合程度既与对软件产品的明确要求有关，也涉及隐含的要求，即软件产品的质量。§15.1软件产品评价的概念2023/9/173§15.1软件产品评价的概念15.1.2软件产品评价级别 在GB/T18492-2001标准中，系统和软件的完整性依据系统风险的可容忍度被分为A、B、C、D共4个等级。2023/9/174§

15.2软件产品评价的通用模型2023/9/175§15.2软件产品评价的通用模型15.2.1确定评价需求1.确立评价目的 确立评价目的是为了直接支持开发和获得能满足用户要求的软件2.标识产品类型 标识要评价产品的类型，确定本次要评价的软件是中间产品还是最终软件产品，类型取决于所处的生存周期的阶段和评价的目的。3.规定质量模型 将一个被评价的软件产品质量分解成几种不同特性，通过质量特性、子特性或质量属性来描述产品的质量需求。表15-22023/9/176§15.2软件产品评价的通用模型15.2.2规定评价1.选择度量

GB/T16260《软件工程产品质量》通过给出若干度量元的方式列出了一些行之有效的测量方法。2.确定度量评定等级

将产品满足质量需求的程度进行分类，也就是建立评价结果的度量标度，以便将评价结果映射到某一标度上。表15-2度量等级3.确立评估准则

可以按照软件的完整性级别、规定的质量模型和优先顺序列出要评价的质量特性和子特性，选择的内部、外部或使用质量的度量，可能的验收准则等。2023/9/177§15.2软件产品评价的通用模型15.2.3设计评价

设计评价的主要活动是制定评价计划，这一活动的输入是评价规格说明，输出是评价计划。评价计划描述了评价方法和评价者活动的进度表，其结果是评价计划或一个评价模块。2023/9/178§15.2软件产品评价的通用模型15.2.4执行评价这一活动的输入是评价计划，输出是评价报告和评价数据。执行评价包括获取测量数据、与评估准则相比较和给出评价结果3个主要活动。2023/9/179§15.3评价者用的评价过程15.3.1评价者进行评价的相关概念

当今软件专业化分工越来越细化，有越来越多的软件开发组织或软件的需方倾向于将软件产品提交给独立的第三方专业机构进行客观的评价，不仅体现公正性，也有助于发现软件中的问题。 第三方评价者用的评价过程与开发者和需方用的评价过程最大的不同是，它强调独立性。评价原则如下：（1）可重复性（2）可再现行（3）公正性（4）客观性2023/9/1710§15.3评价者用的评价过程

1.评价的参与者及其职责 评价的请求者和评价者是参与评价者用的评价过程的两类角色，评价过程是由两者共同实施的一组活动构成。这里可能涉及的请求者包括：软件的供方、需方、开发者、用户；可能涉及的评价者包括：第三方测试实验室，实施产品比较评价的机构或者供方组织、需方组织和系统集成组织中的测试评价实体。2023/9/1711§15.3评价者用的评价过程

请求者的职责如下：（1）对评价的软件产品拥有合法的权利（2）为标识和描述产品提供必要的信息（3）提供最初的评价需求（4）说明对评价提交的信息加以保密的要求（5）必要时还应满足其他的相关需求2023/9/1712§15.3评价者用的评价过程

评价者的职责如下：（1）确认申请者对提交评价的软件产品拥有充分合法的权利（2）按照要求对申请者提供的所有信息保密（3）提供有资格的经过培训的人员实施评价（4）提供适当的评价工具和技术（5）按照评价需求实施评价（6）保留评价期间影响评估结果的所有工作记录（7）保证及时间申请者交付评价报告（8）按照申请者要求的程度是评价的活动可视化2023/9/1713§15.3评价者用的评价过程

2.评价者和请求者之间的相互影响

在评价过程中评价者和请求者之间的活动表现在如下几个方面：（1）评价需求阶段：通常是请求者指定评价需求和评价者接受评价需求（2）评价规格说明阶段：评价者将根据交付的产品信息的评价需求指定评价规格说明（3）评价设计阶段：评价者根据评价规格说明中的条款制定一个评价计划，请求者可以接受或者拒绝这一提议（4）评价执行阶段：评价者按照计划执行评价（5）评价结论阶段：评价者将评价报告交付给请求者2023/9/1714§15.3评价者用的评价过程

3.评价需要考虑的问题（1）被评价的软件产品是为满足特定需求而开发的，评价的请求者可能会提出特定的评价需求，因而评价目标也会随之不同（2）被评价的软件产品是由各个部件构成的，但由于开发方法的不同，其划分、形式等也可以有所不同（3）能用于评价的技术有很多，在选择时应考虑评价目标和软件产品组成特点2023/9/1715§15.3评价者用的评价过程15.3.2评价过程的实施2023/9/1716§15.3评价者用的评价过程 1.确立评价需求

确立评价需求的目的就是以软件产品的不同用户为视角，如产品的需方、供方、开发者、操作者或维护者等，来描述评价目标，而这些目标关系到软件产品的预期用途和相关风险。联合评审应注意如下问题：（1）评价范围（2）所需信息（3）质量需求2023/9/1717§15.3评价者用的评价过程

2.规定评价 规定评价规格说明的输入是上一步批准的评价需求，输出是双方共同认可批准的评价规格说明。这一活动的主要任务如下：（1）标识要评价的产品（2）规定评价所用的技术和方法（3）对照评价需求验证评价规格说明2023/9/1718§15.3评价者用的评价过程

3.设计评价 评价者应制定一个评价计划来描述评价所需要的资源，应把评价者使用的测量规程编写成文档，以便于执行评价规格说明中规定的测量。它的输入是评价规格说明，输出是评价计划。这一活动主要任务如下：（1）编写评价计划（2）优化评价计划（3）根据可用资源安排评价活动的进度2023/9/1719§15.3评价者用的评价过程 4.执行评价 按照评价规格说明中的规定和评价计划的安排，评价者执行具体的评价动作，得到测量和验证的结果。它的输入是评价计划，输出是评价报告草案和评价记录。本活动的主要任务如下：（1）产品部件的管理（2）评价数据的管理（3）评价工具的管理（4）现场评价的管理（5）特定评价技术使用要求的管理2023/9/1720§15.3评价者用的评价过程

5.作出评价结论 对执行评价输出的评价报告草案进行评审和评价数据管理。 评价者对评价数据的管理，可以采用多种方法，具体如下：（1）将评价的文档归还请求者（2）评价报告和评价记录均在一个规定的期限保存（3）所用其他数据应在一个规定的期限内保存2023/9/1721§

15.4产品评价实例 本节通过一个由某软件开发机构开发的ERP（EnterpriseResourcePlanning企业资源计划）软件系统实例，介绍软件评价的具体过程与方法。 ERP简介：ERP是一种主要面向制造行业进行物质资源、资金资源和信息资源集成一体化管理的企业信息管理系统。ERP是一个以管理会计为核心可以提供跨地区、跨部门、甚至跨公司整合实时信息的企业管理软件。针对物资资源管理（物流）、人力资源管理（人流）、财务资源管理（财流）、信息资源管理（信息流）集成一体化的企业管理软件[1]。

2023/9/1722§15.4产品评价实例15.4.1确立评价需求

在本实例中，被评价的ERP系统是一款面向国内执照企业的ERP软件产品，基于Windows操作系统、SQLServer数据库、采用C/S运行模式。该系统由公共子系统、计划子系统、BOM（BillOfMaterial物料清单）子系统、库存子系统、采购子系统、销售子系统和财务子系统7个子系统组成。 确立对该软件系统的评价需求的活动主要有确立评价目的、标识产品类型、规定质量模型（表15-3）组成。2023/9/1723§15.4产品评价实例15.4.2规定评价规格说明

规定评价的活动实际上就是规定评价的规格说明。它由选择度量、确立度量评定等级和确立评估准则组成。这一活动的输入是上一步的输出--评价需求，它的输出是评价规格说明。书上表格15-4规定了相关的评价的权重。 根据GB/T14598-6对软件评价规格应包括如下内容：（1）评价范围（2）评价的输入和度量（3）评价结果的解释准则（表15-5）2023/9/1724§15.4产品评价实例15.4.3设计评价

评价的设计主要是针对评价的规格说明进一步细化，并给出具体的测试用例2023/9/1725§15.4产品评价实例15.4.4执行评价对以上评价进行综合考虑计算得出相关的评价结果。功能性评价的结果Q1：88.38%可靠性评价的结果Q2：99.11%易用性评价的结果Q3：86.00%总体评价质量Q=Q1*0.4+Q2*0.3+Q3*0.3=90.86%2023/9/1726§15.4产品评价实例15.4.5编写评价报告根据上述评价过程所产生的记录和结果，编写评价报告。2023/9/1727§

15.5评价的策划和管理15.5.1一般考虑和支持机构的主要任务评价支持机构的主要任务如下：（1）获取与产品有关的标准和信息，以及必要时获取有关专家的支持（2）基于项目需求和组织需求指定适当的内部标准和开发适当的工具（3）制定为评价设立基准的准则（4）评审软件获取和开发的效益和质量（5）收集和分析评价结果，并在组织内通过数据库进行分发（6）基于组织内部和各项目评价的经验，为技术转移提供便利（7）支持评价项目及其各自的项目管理者2023/9/1728§15.5评价的策划和管理支持机构和评价项目