（计算机软件与理论专业论文）度量过程评价及辅助工具的研究.pdf

摘要 d e m a r c o 曾经说过：“没有度量就不能控制”。软件度量的重要性日益被软件行业所 认可，越来越多的软件组织开始建立软件度量过程以更好地管理软件过程。但软件度量 过程的实施非常困难，其主要原因在于软件度量过程和其他过程一样，它也需要软件度 量过程管理理论的指导。软件度量过程的度量即软件度量过程评价是度量过程管理的核 心和基础。 本文在对软件度量过程评价进行分析研究的基础上，提出了度量过程评价指标体 系、度量过程评价方法和度量过程评价过程模型，以更好的理解、控制、预测和改进度 量过程。本文的主要研究工作体现在以下几个方面： 1 对度量过程评价相关领域以及度量过程评价的研究现状进行了研究，分析了度量过 程评价中面临的一些问题。 2 给出了度量过程评价指标体系和评价方法。 3 为了规范度量过程评价的过程，给出了度量过程评价的实施模型即度量过程评价的 过程模型。 4 设计并实现基于b s 结构的度量过程评价辅助工具( m p a t 0 0 1 ) ，以辅助度量过程评 价环境的建立，提高度量过程评价的效率。 关键词：度量过程评价指标体系，度量过程评价方法，度量过程评价过程模型 a b s t r a c t t o md e m a r c os a i d ：“y o uc a n n o tc o n t r o lw h a ty o uc a nn o tm e a s u r e ”t h ei m p o r t a n c eo f s o f t w a r em e a s u r e m e n th a si n c r e a s i n g l yb e i n gr e c o g n i z e da n dm o r ea n dm o r eo r g a n i z a t i o n s h a v eb e g u nt os e tu ps o f t w a r em e a s u r e m e n tp r o c e s st ow i nu n d e r s t a n d i n g ，c o n t r o l l i n ga n d i m p r o v i n gi ns o f t w a r ep r o c e s sa n dp r o d u c tq u a l i t y h o w e v e r , i ti sh a r dt oi m p l e m e n tt h e p r o c e s s ，t h em a i nr e a s o no fw h i c hi st h a tt h es o f t w a r em e a s u r e m e n tp r o c e s s ，l i k eo t h e r p r o c e s s e s ，c a nn o tg ow i t h o u tt h eg u i d eo f s o t l w a r em e a s u r e m e n t p r o c e s sm a n a g e m e n tt h e o r y t h ek e ya c t i v i t yo fs o t t w a r em e a s u r e m e n tp r o c e s sm a n a g e m e n ti st h em e a s u r e m e n to f s o f t w a r em e a s u r e m e n tp r o c e s s ，w h i c hi sc a l l e ds o f t w a r em e a s u r e m e n tp r o c e s sa s s e s s m e n t h e r e t h ep a p e rp r o p o s e dap r o c e s sm o d e lo fm e a s u r e m e n tp r o c e s sa s s e s s m e n t ，am e a s u r e m e n t p r o c e s sa s s e s s m e n ti n d e x e ss y s t e ma n da na s s e s s m e n tm e t h o db a s e do nm e a s u r e m e n tp r o c e s s m o d e la n dr e l a t e dm e a s u r e m e n tp r o c e s st h e o r i e si nt h ev i e wo fs o f t w a r em e a s u r e m e n tp r o c e s s u n d e r s t a n d i n g ，c o n t r o l l i n g ，p r e d i c t i n ga n di m p r o v i n g t h em a i nw o r ki sl i s t e db e l o w ： 1 s t u d y i n gt h er e l a t e dm e a s u r e m e n tp r o c e s sa s s e s s m e n ta r e a ，a sw e l la si t sp r e s e n tr e s e a r c h c o n d i t i o n ，a n da n a l y z i n gt h ep r o b l e m sf a c i n g 2 p r e s e n t i n gam e a s u r e m e n tp r o c e s sa s s e s s m e n ti n d e x e ss y s t e ma n da na s s e s s m e n tm e t h o d 3 p r o p o s i n gap r o c e s sm o d e lo fm e a s u r e m e n tp r o c e s sa s s e s s m e n tt os p e c i f yt h ea s s e s s m e n t p r o c e s s 4 d e s i g n i n ga n di m p l e m e n t i n gam e a s u r e m e n tp r o c e s sa s s e s s m e n tt o o i ( m p a t 0 0 1 ) b a s e do n b sa r c h i t e c t u r et oa s s i s tt h ef o u n d a t i o no fp r o c e s sa s s e s s m e n te n v i r o n m e n ta n di m p r o v et h e a s s e s s m e n te f f i c i e n c y k e y w o r d s ：s o f t w a r e m e a s u r e m e n t p r o c e s s a s s e s s m e n ti n d e x e s s y s t e m ，s o f t w a r e m e a s u r e m e n tp r o c e s sa s s e s s m e n tm e t h o d ，t h ep r o c e s sm o d e lo fs o f t w a r em e a s u r e m e n t p r o c e s sa s s e s s m e n t 西北大学学位论文知识产权声明书 本人完全了解西北大学关于收集、保存、使用学位论文的规定。学校 有权保留并向国家有关部门或机构送交论文的复印件和电子版。本人允许 论文被查阅和借阅。本人授权西北大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存 和汇编本学位论文。同时授权中国科学技术信息研究所等机构将本学位论 文收录到中国学位论文全文数据库或其它相关数据库。 保密论文待解密后适用本声明。 学位论文作者签名：摊指导教师签名：毒匕 州年5 月户巾月户 西北大学学位论文独创性声明 学位论文作者签名：弓艮吣 一c 月咖 两北大学硕上学位论文 第一章绪论 本章简单分析度量过程评价的研究背景，接着描述本文的主要工作内容，最后给出 文章的组织结构。 1 1 研究背景 度量在自然科学中已经有了很长的发展历史。f r e ds r o b e r t s 指出：发展不完备和 发展完备的科学之间，一个重要的差异就在于事物可被测量的程度【1 1 。度量是所有科学 和工程学的理论基础。 软件项目与其他项目相比，具有智力密集，可见性差；单件生产，自动化程度低； 使用方法繁琐，维护困难；软件工作渗透了人的因素等特点。软件产品与其他产业的产 品不同，它是无形的，完全没有物理属性。对于这样看不见、摸不着的产品，难以理解 和驾驭。 根据1 9 9 5 年专门从事跟踪软件项目成败的权威机构s t a n d i s hg r o u p 对美国境内的 8 3 8 0 个软件项目的调查可知，在所有被跟踪调查的项目中，未能完成的项目占到1 3 ， 而在完成的2 3 的项目中，未成功实施的项目高达1 2 。 只有可度量的才是可控制的。为了实现软件项目在可控的状态下使用可控的过程， 生成出质量、功能、性能可控的软件产品，实现项目的成功实施，软件工程必须以度量 学为基础【2 1 。 软件度量学并非新生事物。软件度量学在19 5 8 年由r e b e y 和h u r t w i c k 提出。软件 度量学的研究开始于2 0 世纪6 0 年代末，进一步的研究工作在8 0 年代、9 0 年代得到展 开【3 1 ，并在9 0 年代得到了空前的发展，成为软件工程领域中的热点研究方向之一。统计 表明【4 】，近几年有关软件度量方面的论文已达1 6 0 0 余篇，其中仅专著就有约4 0 余篇。 度量是管理的基础。度量过程是度量实施的基础，如果没有良好定义的度量过程， 度量就无法正确实现。上世纪8 0 年代，鉴于度量过程的重要意义，软件度量的研究领 域又拓宽到度量的实施机制和实施方法的研究上，出现了很多优秀的度量过程模型。其 中由b a s i l i 教授提出的g q m ( g o a l q u e s t i o n m e t r i c ) 模型【5 1 最具有代表性。r o b e r te p n b a s i l i 教授提出的g q m 模型进行改进，在问题层和度量元层中间增加指示器层，提出 了g q m 的扩展模型g q ( i ) m 模型【6 1 。2 0 0 0 年，i s o 和i e c 共同推出了关于软件度量 过程的一个标准i s o i e c1 5 9 3 9 t 7 1 。w i l l i a ma f l o r a c 和a n t i ad 于1 9 9 9 年提出了一个度 量过程行为框架隅l 。c m m i 不仅专门为度量定义一个过程域一度量和分析过程域，且在 1 第一章绪论 该过程域中使用两个特定实践，九个度量活动指导度量实施。美国的d o n a l d r m c a n d r e w s 介绍了一些具体的可用来设计和建立可重用的度量的过程的方法，通过此 方法建立的过程不仅关注数据收集，而且注重度量目标建立、数据分析和决策支持【9 1 。 美国卡内基梅隆大学软件工程研究所的w i l l i a ma f l o r a e 等人提出了一个完整的软件过 程度量框架【l o 】。c a r d ，d n 提出了一个度量过程模型和度量信息模型p s m ，用以帮助项 目管理者分析所需过程信息【1 1 1 。 b r i a n de ta 1 【1 2 】曾说过：“虽然软件度量在过去的十五年里取得了很大的进展，但是， 执行一个成功的软件度量程序仍然是一个巨大挑战，十几年后的今天依然如此。 虽然在度量过程方面，已经进行了大量的研究并给出了可用的经典模型，但是，如 何验证实施的度量过程可以生成满足信息需求和度量目标信息产品? 这方面的研究分 为两个方向：第一通过对信息产品进行评价来验证度量过程的性能，比如k i t c h e n h a m 给 出了一个度量验证的框架及信息产品评价的若干指标【1 3 】。第二、通过对度量过程自身的 评价来验证度量过程的性能。i s o i e c1 5 9 3 9 提出要对软件度量过程进行评价【。于海给 出一个良好的软件度量过程应该具备的特征【l4 1 。m a r kk a s u n i c ，j a m e sm c c u r l e y ，d a v i d z u b r o w 总结度量方面的成功实践经验和理论研究成果并给出软件度量过程诊断的检查 列表【1 5 】。f e n t o n 和h a l l 分析总结了影响度量程序成功实施的四个内部因素【1 6 】。o s t e r w e i l 根据项目调研从度量过程对度量需求的满足程度和度量过程在过程改进方面的成就( 给 组织带来的收益) 两个方面拓展了f e n t o n 和h a l l 给出的四个影响度量程序成功实施的 四个内部因素，总结出影响软件度量程序成功的八个因素【1 7 】。但是上述这些研究只是根 据经验和理论研究给出了一个良好定义的、成功实施的度量过程应该具备的特点、要素， 并没有给出系统的、可行的评价方法。曹会明给出软件度量过程评价框架，从过程依从 性、过程性能和过程能力三个方面对软件度量过程进行评价，并给出了软件度量过程评 价方面的文档模板【l 引。m c g a r r y 和w i l l i a m 也提出要根据度量计划制定度量过程评价的 标准，并给出了软件度量过程评价部分可以进行度量的指标、指示器及度量的可度量概 念【1 9 】【2 0 】。虽然上述研究给出了度量过程评价的框架和部分指标，但在度量过程评价方面 的研究很少，度量过程评价指标体系也不健全。 本文的研究工作正是在这样的背景下提出的。软件度量在软件项目中的重要性无可 比拟，但是软件度量成功实施的经验并不多，其中一个原因就是软件度量过程是不可控 的。参照过程管理方面的理论和经验，可以从度量过程定义、度量过程监控、度量过程 改进和度量过程度量几个方面解决软件度量过程不可控的问题。但在度量过程定义方 2 两北大学硕士学位论文 面，已经存在大量的参考模型和方法学；而度量过程监控和度量过程改进也是以度量过 程度量为基础进行的，由此看来，要解决度量过程的可控问题，进而实现度量过程改进， 保证度量成功实施的关键是度量过程度量，即度量过程评价问题。虽然在度量过程评价 方面，已有研究给出了可以参考的评价指标，但评价指标缺乏系统性、逻辑性和完整性， 其尚未形成健全合理的指标体系，缺少定义良好的实施模型的支持。本文参考已有的度 量过程评价指标和影响度量成功实施的因素，给出度量过程评价指标体系；同时在分析 度量过程评价特点的基础上，给出基于模糊综合评判方法的度量过程评价方法；为了保 证度量过程评价的科学有序实施，给出了度量过程评价的过程模型。 1 2 论文主要工作 本文以软件度量和软件度量过程评价理论为基础，主要工作包含以下几个方面： 1 参考现有的度量过程评价指标和影响度量成功实施的因素，给出了度量过程评价指 标体系。 2 根据度量过程评价在评价方法上的特定需求，通过比较分析现有评价方法，给出基 于模糊综合评判方法的度量过程评价算法 3 为了保证度量过程评价过程科学、有序的进行，本文给出了度量过程评价的过程模 型，并定义了过程中的角色、工作产品及生命周期。 4 在w i n d o w sx p 平台上，以t o m c a t 和a c c e s s 为开发环境，以j s p 为主要开发语言， 设计并实现了度量过程评价辅助工具( m p a t 0 0 1 ) 。 1 3 论文组织结构 全文内容围绕度量过程评价的研究展开，共分为六章，论文的组织结构安排如下： 第一章绪论。首先分析了软件度量过程评价的研究背景，接着介绍了论文的主要 工作，最后给出了本文的组织结构。 第二章相关研究。简单介绍了软件度量、度量评价和度量过程评价的基本概念， 给出了几种流行的软件度量过程模型，在此基础上对度量过程评价的国内外研究现状进 行了讨论，分析了度量评价过程中存在的主要问题。通过对这些内容的研究与分析引出 了本文的研究内容，并对本文相关的研究内容做了简要的介绍。 第三章度量过程评价指标体系及评价方法。给出了度量过程评价指标体系的构建 原则，在此基础上定义度量过程评价指标体系并分析了度量过程评价指标体系的特点。 接下来，在分析度量过程评价对评价方法的特定需求和现有评价方法的基础上，引入基 3 第一章绪论 于模糊综合评判方法的度量过程评价方法。然后，系统的描述了度量过程评价方法的各 个步骤以及使用的数学模型。最后为了说明度量过程评价方法的使用方式，给出了度量 过程评价方法的应用实例。 第四章度量过程评价的过程模型。给出了度量过程评价的操作模型即过程模型， 描述了过程中的各个活动，参与的角色，工作产品以及过程的生命周期等问题。 第五章度量过程评价辅助工具的研究与实现。从系统需求分析、系统功能介绍、关 键用例描述、系统开发和运行环境、系统结构设计、数据库中关键表关系及表结构的设 计和系统运行实例等方面详细介绍度量过程评价辅助工具( m p a t 0 0 1 ) 的设计与实现。 第六章总结和展望。总结了本文的理论研究内容和实践工作，并对以后的工作做 出了展望。 4 两北大学硕上学位论文 第二章相关研究 本章简单介绍了软件度量、度量评价和度量过程评价的基本概念及几种流行的软件 度量过程模型，在此基础上综述了度量过程评价的研究现状，分析了度量评价过程中存 在的主要问题。通过对这些内容的研究与分析引出了本文的主要研究内容。 2 1 软件度量的基本概念 软件度量是对软件开发项目、过程及其产品进行数据定义、收集及分析的持续性量 化过程，目的在于对此进行理解、预测、评价、控制和改善。 软件度量根据度量对象的不同可分为以下三类【2 1 1 ：过程度量、项目度量、产品度量。 过程度量：过程度量是从管理者的角度进行观察，给管理者提供有关过程的状态信 息，辅助管理者研究或解释潜在的问题。 项目度量：项目度量是针对具体项目的特性进行的测量。目的是确定项目的当前状 态，评价项目开发过程的质量，预测项目进度、工作量以及下一步发展趋势，从而辅助 管理者进行有效的项目管理和控制。 产品度量：产品度量是通过评审、走查、测试等环节，对过程中的产品质量进行测 量，从而及时了解产品质量的变化，发现、纠正并预防缺陷，实现产品质量的全程管理 与控制。 软件度量在现代软件工程中的重要性毋庸置疑，目前已经取得了一定的成功。在工 业界，软件度量活动有了明显的增加，软件度量的流程已经就位。但软件度量理论仍然 存在许多有待完善的地方，以致企业在实施软件度量的过程中遇到许多难题。在k a r le w i e g e r s 指出的1 0 种常见的度量困境【2 2 1 ，度量过程虽然不是造成这些问题的主要原因， 但如果度量过程定义完善和实施正确，那么其中一半的问题都可以解决。正因为度量过 程在度量实施中的重要地位，度量过程研究已经成为度量领域一个新的研究方向。 2 2 度量过程模型研究 软件度量是对软件开发过程中产品、资源、环境以及过程进行理解、预测、评价、 控制和改善的重要载体，直接关系到产品质量、过程性能和项目成败，而度量过程为度 量实施提供工具、资源、技术，规范方面的指导，所以度量过程的好坏直接关系到整个 组织的成败。目前，存在很多度量过程模型，本节简单介绍了几个比较流行的度量过程 模型，为度量过程评价提供理论基础。 5 第二章相关研究 2 2 1p s m 实用软件度量( p s m p r a c t i c a ls o f t w a r em e a s u r e m e n t ) 1 9 】1 2 0 】【2 3 】【2 4 】【2 5 】是由美国实用软 件和系统度量支持中心提出的一种信息驱动的度量方式，是对软件度量过程的国际标准 i s o i e c1 5 9 3 9 t 7 】的具体实现，其给出了两个度量方面的模型度量信息模型和度量过程 模型。 度量信息模型是度量过程中的一项主要资源。度量信息模型提供了将信息需求、度 量以及信息产品联系在一起的结构，其直接支持度量策划和分析活动，有助于定义项目 决策者的信息需求，并将度量策划活动的焦点放在选择和指定最适合的软件度量上，以 满足这些需求。 度量过程模型与度量信息模型一起为实施度量提供应用框架。度量过程模型基于典 型的“计划、实施、检查和行动 的管理顺序定义，它包括四个主要活动：计划度量、 执行度量、评价度量、建立和维持承诺( 见图2 1 ) 。 计划度量活动包括项目或组织信息需求的标识及用于满足信息需求的度量的选择。 计划度量活动的输出是良好定义的、满足信息需求的度量计划。 执行度量活动包括收集和处理度量数据，根据数据处理结果，生成信息产品，以提 供候选行动方案及供项目决策者参考的改进建议。执行度量活动的输出是支持有效决策 的信息产品。 图2 - 1p s m 度量过程模型 度量评价活动包含四项任务，如图2 2 所示。 6 西北人学硕上学位论文 1 评价度量和指示器。 2 评价度量过程，用来检验度量过程的效率。评价度量过程包含： 1 ) 定量过程绩效。 2 )评价度量过程和度量计划的一致性。 3 )评价度量过程相对于相关标准的成熟度。 3 更新经验数据库和过程基线，识别在度量产品和过程评价中总结的经验和教训。 4 识别和实施改进活动，这里将明确定义对指示器以及度量过程的改进行为。 图2 - 2 度量评价活动 建立和维持承诺活动的主要任务在于确保度量获得项目级和组织级支持并为度量 程序的执行提供资源、人员、培训、工具等。 在此度量过程模型中，度量过程评价作为评价度量活动的一部分，与计划度量活动、 执行度量活动、建立和维持承诺活动一样被定义为度量过程模型的必备活动。并且评价 度量活动被作为确保度量方法持续更新、满足信息需求、支持决策制定，促进过程成熟 度提高的一种途径，要求组织必须定期评价度量以及度量过程。 为了获得组织的承诺和支持，保证度量的持续实施，在建立和维持承诺活动中，集 成了评审度量程序的任务。 p s m 在度量过程模型中，一半的活动都是进行度量评价，包括对度量和度量过程的 评价，由此可见度量过程评价的重要性。 2 2 2i s o i e c15 9 3 9 t 2 5 】 i s o i e c1 5 9 3 9 是由国际标准化组织和国际电子组织共同制定的软件度量过程方面 的标准，为软件开发和系统工程定义了度量过程模型以及相关术语。i s o i e c1 5 9 3 9 把 7 第一二章相关研究 软件度量过程分为四个部分：建立和维持承诺、计划度量、执行度量和评价度量。p s m 是i s o i e c1 5 9 3 9 的具体实现，各个活动的描述见2 2 1 。 i s o i e c1 5 9 3 9 虽然给出了度量过程模型方面的相关术语和活动描述，但是在度量 过程的具体实施方法方面并没有给出具体的指导方案。 2 2 3g q m g q ( i ) m g q m ( g o a l q u e s t i o n m e t r i c ) 是由马里兰大学的v i c t o r b a s i l i 教授及其助手提出的 一种用来告诉组织为满足度量目标，应采集哪些数据的度量方法。其主体思想是基于这 样一个假设：每一个组织的项目均有一系列要实现的目标，目标的实现与否可以用一组 问题的答案来衡量，对提出的每个问题，都可以找到一个完整、可以量化的满意解答。 g q m 模型可以划分为如图2 3 所示的三层结构。 图2 - 3g q m 模型 在g q m 模型中，最上层是目标层，对目标层进行细化得到几个问题，构成第二层 一问题层。对于每一个问题，可以进一步细化为几个可度量项，构成第三层度量层。不 同的目标也可能涉及相同的问题，不同的问题可能使用相同的可度量项。 g q m 模型提供将度量元和目标联系在一起以确保选择的度量元最终用来显示是否 成功达到组织的目标的度量框架。但问题和度量元之间存在一定的落差，通常无法从问 题直接定义最终的度量。 为了解决问题和度量元之间的过渡问题，提出了g q ( i ) m 模型。g q ( i ) m 模型在问 题和度量中间加入指示器。此模型定义了根据度量目标导出度量的方法和使用度量数据 的方法，如图2 4 所示。 g q ( i ) m 模型与g q m 模型的重要差异就在于问题和度量元中间增加了指示器。而 这个指示器以问题达到目标所需要的数据为需求，指导度量数据收集，并对收集到的数 据进行处理和分析，满足问题需求，从而解决了度量交流和问题与度量之间的落差。 8 两北大学硕上学位论文 g q m g q ( i ) m 模型包括四个阶段： 1 计划阶段。定义项目计划。 2 定义阶段。定义度量程序目标、问题、度量并文档化。 3 数据收集阶段。收集数据，分析数据。 4 解释阶段。根据度量定义解释数据，得到度量结果，根据度量结果回答提出的问题， 评估所要达到的目标。 图2 - 4g q ( i ) m 模型 在g q m g q ( i ) m 模型中同样把度量过程分为四部分，主要关注度量目标和度量计 划的开发，但并没有定义度量过程评价。 2 2 4 统计过程模型 用于软件过程改进的统计过程控制s p c ( s t a t i s t i c a lp r o c e s sc o n t r 0 1 ) 2 6 】将统计过程控 制原理和方法引入到软件度量中，并给出一个过程度量的活动框架，包括度量定义、过 程度量执行、过程度量分析和过程评价几个部分。在这个框架中，主要关注过程度量。 2 3 度量过程评价 在上述四个典型的度量过程模型中，其中有三个过程模型都把度量评价定义为度量 过程中必不可少的一项活动。度量过程是度量评价的一个对象，而且度量过程评价关系 到度量过程的改进和成熟度的提高，所以对度量过程评价的研究非常重要。本节首先分 析度量过程评价的目的和作用，然后综述度量过程评价的研究现状，并分析度量过程评 9 第二章相关研究 价存在的问题，最后引出本文的研究内容。 2 3 1 度量评价 度量评价是将度量和分析技术应用到度量过程本身【1 9 】【2 0 】。它对应用的度量和度量过 程的能力进行评价，协助标识相关的度量、过程、项目、产品等方面的改进措施。其主 要目的是推动组织和项目度量方法的持续改进，满足组织或项目当前的信息需求，实现 组织或项目目标并促进项目及组织级度量过程能力的提高。 度量评价的对象包括：应用的度量和度量过程。本文主要关注度量过程的评价。 2 3 2 度量过程评价 由度量评价的定义可知，度量过程评价就是应用度量和分析技术，对度量过程进行 评价，并且根据评价结果，帮助标识相关的度量过程改进措施。 2 3 3 度量过程评价目的及作用 度量的目标是生成满足商业、组织和项目信息需求的信息产品，以便决策人员做出 精明的决策，同时度量也是确保商业目标、组织目标和项目目标实现的一种手段。然而 在度量的实施过程中总会面临各种各样的困境，阻碍度量发挥应有的作用。为了提高评 价度量的准确性、可用性和可靠性，必须实施度量评价，以保证度量的结果满足商业、 组织和项目的信息需求。而度量过程评价，是通过评价度量过程，实现其改进和完善， 进而从过程层面上保证度量的质量。 度量过程评价的重要性之所以得到很多度量过程研究人员和度量过程实施人员的 认可是因为其具有以下几个作用： 1 理解度量过程。 度量过程评价是度量过程中独立的、必备的一项度量活动。评价度量过程，首先必 须理解度量过程涉及的所有内容，比如当前度量过程是基于什么目标制定的；度量过程 的输入是什么；度量过程的输出是什么；度量过程的实施存在什么约束和制约；度量应 该如何执行；当前组织的文化、人员素质、过程能力是否支持当前的度量等。只有理解 度量过程，才能制定出度量过程的评价准则，也就是说，度量过程评价的实施是以理解 度量过程为前提。 2 确认与验证度量过程。 一般来说，度量评价计划是作为度量计划或组织改进计划的一部分，在计划度量的 过程中，制定度量过程评价计划。同时度量过程评价过程与计划度量过程、执行度量过 1 0 两北大学硕十学位论文 程、改进度量过程是并行的。在计划度量过程、执行度量过程、改进度量过程中，根据 度量过程评价计划，收集、分析数据，评价各个活动的过程依从性、过程成熟度等，其 评价结果、提出的改进措施和方法作为经验数据，支持度量改进和过程改进，指导度量 和度量过程实施。这是一种对度量过程进行事后验证和确认的方法。 3 控制度量过程。 在度量的实施过程中，根据度量过程评价的结果和度量计划，及时调整度量过程实 施策略，保证度量过程朝正确的方向前进。即度量过程控制是基于度量过程评价。 4 改进度量过程。 根据得到的度量过程评价信息，可以帮助我们检查度量过程的性能、度量过程与度 量计划的致性、度量过程的能力等。把标识和收集到的度量过程评价及其过程中的经 验教训放入度量经验库。根据这些数据，确定要采取的改进行动，执行这些行动以改进 正在执行的度量过程。也可以通过在下一个周期的计划度量活动中更新度量计划或者作 为一个并行的改进行动完成来这些改进。根据度量过程评价信息，持续改进度量过程， 提高项目及组织级度量过程成熟度。 对度量过程评价的上述分析，都是从度量过程管理角度来分析的。如果从过程管理 的角度来讲，度量过程评价是度量过程的组织部分，度量过程是软件过程的组成部分， 那么度量过程评价是过程评价的一部分，而过程评价支持过程控制和过程改进，也就是 说度量过程评价有助于过程控制和过程改进。如果从度量的角度来讲，度量过程评价是 度量过程的组织部分，度量过程是度量的实施模型，度量过程有助于度量的成功实施， 那么度量过程评价也有助于度量的成功实施。总之，度量过程评价是工程领域一个亟待 关注的重要的研究方向。 2 3 4 度量过程评价的相关研究 度量过程评价作为软件工程领域的一个新的研究方向，关于这方面的研究并不多。 i s o i e c1 5 9 3 9 1 7 1 提出要对软件度量过程进行评价，并给出度量过程评价的示例指标。于 海【1 4 】给出一个良好的软件度量过程应该具备的四个特征，但并未给出特征的准确定义。 m a r kk a s u n i c ， j a m e sm c c u r l e y 和d a v i dz u b r o w l l 5 1 总结度量方面的成功实践经验和理 论研究成果给出了软件度量过程诊断的检查列表。f e n t o n 和h a l l l l 6 】研究了影响度量程序 成功实施的四个内部因素。曹会明【1 8 1 从度量过程对度量需求的满足程度和度量过程在过 程改进方面的成就( 给组织带来的收益) 两个方面总结了影响软件度量程序成功的八个 因素，给出了软件度量过程评价框架以及度量过程评价相关文档的模板，从过程依从性、 1 1 第二章相关研究 过程性能和过程能力三个方面对软件度量过程进行评价，并给出了软件度量过程评价方 面的文档模板。m c g a r r y 和w i l l i a m 也提出要根据度量计划制定度量过程评价的标准， 并给出了软件度量过程评价部分可以进行度量的指标、指示器及可度量概念【1 9 】【2 们。 s t a r o n ，m e d i n g 和n i l s s o n 【2 7 1 提出在度量过程中要关注度量过程与目标的符合程度，但缺 乏验证方法。r e nb r a u n g a r t e n 2 8 1 给出了度量过程改进模型。美国卡内基梅隆大学软件工 程研究所( s e i s o f t w a r ee n g i n e e r i n gi n s t i t u t e ) 的软件工程度量与分析组( s o f t w a r e e n g i n e e r i n gm e a s u r e m e n ta n da n a l y s i sg r o u p s e m a ) 于2 0 0 8 年提出了度量和分析基础架 构诊断( m a i d m e a s u r e m e n ta n da n a l y s i si n f r a s t r u c t u r ed i a g n o s i s ) 的概念，从提高度量 数据质量的角度，提出了m a i d 模型【2 8 1 ，并给出度量和分析基础架构诊断的诊断标准。 和大多过程评价组织采用的方法一样，m a d 通过以下三种方式对度量过程进行评价： 评审一全面评审基于度量的计划文档、过程规程，分析结果和管理报告；访问一访问 小组和个人，收集数据，分析、解释和报告度量信息，使用报告的数据做决策；报告 一逐条报告度量程序的优缺点。 由以上分析可知，虽然在度量过程评价指标方面，已提出一些度量过程评价的指标， 但是尚未形成一个完善的度量过程评价的指标体系。但是已有的研究为本文提供了很好 的参考模型，有助于深入研究度量过程评价方面的问题。 2 3 5 度量过程评价存在的问题 虽然在度量过程评价方面，有很多组织和个人进行了大量的有意义的研究，但仍存 在如下几个问题： 1 利益攸关者的参与。 在上述研究中，没有明确定义度量过程评价的利益攸关者，也没有强调度量过程评 价利益攸关者在度量过程评价过程中的作用。利益攸关者在项目管理中指的是参与项目 的人、组织或受项目影响的人或组织【2 9 1 。本文中把利益攸关者定义为参与度量过程评价 的人、组织或受度量过程评价影响的人或组织。利益攸关者是度量过程评价的主体，如 果利益攸关者定义不明确或者不完整，度量过程评价就很难得到组织的支持和认可。所 以在度量过程评价的实践中，必须慎重定义和选择利益攸关者。本文在第三章定义了利 益攸关者参与的度量过程评价方法。 2 度量过程评价指标体系。 目前，很多学者给出了一些度量过程评价指标，但是这些指标存在指标体系不完备、 指标难以量化、指标对应的度量不明确和指标定义不明确等问题。而且，不同的组织具 12 西北大学硕上学位论文 有不同的度量评价的目标，组织的不同利益攸关者有不同的度量过程评价关注点，对不 同的度量过程评价指标也有不同的关注度，上述研究没有给这些问题的解决方案，这使 得度量过程评价缺乏理论指导。本文首先给出构建完备合理的度量过程评价指标体系需 要遵循的原则，然后根据这些原则，给出度量过程评价指标体系，并且在度量过程评价 指标体系的构建方面，强调度量过程评价利益攸关者在指标体系构建过程中的重要性。 3 度量过程评价方法。 虽然对度量过程进行评价有多种方式，但是度量过程评价通常是采用问卷、访谈和 文档评审的方式。而且，度量过程评价的大多指标由于很难直接度量获得具体数值而采 用定性的方法，而不同的度量过程评价人员对不同度量过程指标的观点不尽相同，这就 造成了度量过程评价的模糊性。再者，在度量过程评价中，不同指标采用的评价方法不 同，有的指标采用定性评价，有的指标采用定量评价，采用定性评价的指标量纲不统一， 采用定量评价的指标量纲也不统一。而传统的模糊理论，仅根据“好、良、中、差”等 语言等级对指标进行评价，导致指标评价信息的遗漏。本文通过对模糊综合评判方法的 修改，给出度量过程评价的方法。 4 评价过程模型。 过程模型定义了过程的输入、输出、过程处理、资源、产品、约束等方面的内容， 没有过程模型的指导和约束，过程就变得不可管理、不可控制，更不可能实现度量过程 改进和优化。度量过程评价包括制定度量过程评价计划、收集数据、分析数据、分配资 源和工具等一系列活动，其本身也是一个过程。度量过程评价和软件过程一样，也需要 良好定义的过程模型。本文给出度量过程评价的过程模型，指导度量过程评价的实施。 2 4 本章小结 本章首先介绍了度量过程评价相关概念，给出了几种流行的软件度量过程模型，综 述了度量过程评价的研究现状，分析了度量过程评价中存在的主要问题。最后引出本文 的主要研究内容。 1 3 第三章度量过程评价指标体系及评价方法 第三章度量过程评价指标体系及评价方法 当前的软件商业环境的特征可以用激烈竞争的市场中迅速改变的技术来刻画，在 不断加剧的竞争环境中，度量已经成为组织能否跟上快速变化的信息技术发展的关键 构件。度量可以为整个软件组织提供客观信息，可以准确地描述软件项目过程和产品 的状态，可以促进早期发现并纠正技术和管理上的问题，可以为决策制定者提供决策 信息支持其做出客观、关键的决策。同其他过程一样，度量成功实施的机率会随着度 量过程成熟度的提高而提高。度量过程成熟度的提高，离不开度量过程评价的支持。 而度量过程评价的核心是度量过程评价指标体系的构建和评价方法的定义。本章基于 现有的度量过程评价理论，给出度量过程评价指标体系的构建原则，并定义了一个度 量过程评价指标体系。接着，在分析度量过程评价对评价方法特定需求的基础上，给 出基于模糊综合评价方法的度量过程评价方法。 3 1 度量过程评价指标体系构建原则 建立一套科学、客观、实用的度量过程评价指标体系，对于客观测评度量过程当 前状况，识别企业度量过程的优势和劣势，制定改进计划，提升企业竞争力都有极大 的作用。 在度量过程评价中，度量过程评价指标体系的构建是度量过程评价的核心部分。 度量过程评价指标体系是由度量过程评价利益攸关者选取的，反映度量过程评价的关 注点。在度量过程评价指标体系中，有些指标是不能直接量化的，必须分解为可以直 接量化的子指标。指标量化是对度量过程特性的客观反映。但是，期望所有的特性都 能被量化是不现实的。必须采用主观评价的方法，作为补充。 结合度量过程评价的特点，本文认为构建度量过程评价指标体系的基本原则有： 1 评价指标体系需要利益攸关者共同构建。 因为大多数度量过程评价是由利益攸关者发起的，他们是度量过程评价的用户或 客户。度量过程评价的过程就是确定及满足利益攸关者度量过程评价需求的过程。确 定利益攸关者需求的过程即构建度量过程评价指标体系的过程，满足利益攸关者度量 过程评价需求的过程即根据指标收集、分析评价信息并给出度量过程评价结果的过程， 所以度量过程评价指标体系的构建，需要度量过程评价利益攸关者的参与。 2 高效性原则。 1 4 西北人学硕上学位论文 企业中的所有活动都是以取得商业利益为出发点的，度量过程评价也不例外，在 构建度量过程评价指标体系的过程中，需要关注度量过程评价的成本和收益，确保度 量过程评价的收益在价值上应该超过执行它的成本。 3 综合性原则。 度量过程评价指标体系的设置应能综合反映度量过程的特征和状态。 4 可操作性原则。 度量过程评价指标体系的设计是一个操作性很强的过程，它是对设计理论的具体 贯彻和行动实施。从理论上讲，我们希望设计一个理想的指标体系来描述度量过程的 状况，但在实际中，我们能够得到的数据资料却极其有限，甚至收集不到对我们的研 究起到关键作用的指标数值。所以在度量过程评价指标体系设计时，要尽量采用操作 性强的指标。 5 系统性原则。 度量过程评价指标体系内部各指标之间条理必须清楚、层次分明、逻辑性强，只 有这样的指标才适合在实践领域中推广应用，才具有可操作性。 6 简明性原则。 设立指标体系时，必须认真筛选，避免重复，尽量选取那些有代表性的综合性指 标和主要指标。 7 可理解性原则。 如果评价指标设置简洁、明了，一方面使得评价人员易于接受和应用。另一方面， 由于在指标设置上不存在歧义。 8 可度量性原则。 度量过程评价指标体系中的指标可以通过主观或客观的手段去度量。 9 差别性原则。 度量过程评价指标的选择因行业不同、组织性质不同而存在差异。 3 2 度量过程评价指标体系 3 2 1 度量过程评价指标体系 构建评价指标体系是度量过程评价工作的前提和基础，对度量过程的评价，根本 上是考察各指标的满足程度。指标体系是否全面合理，并具有良好的可操作性是评价 能否成功的基础。本节参考相关的度量过程评价指标研刭1 8 】【2 8 】1 3 0 1 3 2 】 3 3 j 3 5 】【3 6 】，定义了 一个度量过程评价指标体系( 见图3 1 ，见表3 1 ) 。组织可以根据项目需要、成本和进 1s 第三章度量过程评价指标体系及评价方法 度等方面的约束，对此指标体系进行裁剪。 图3 - 1 度量过程评价指标体系 该指标体系从三个方面考察度量过程：过程依从性、过程性能和过程能力。这些 指标中的部分指标可以映射到p s m 给出的信息分类和可度量概念中。下面将介绍各个 指标。 1 度量过程依从性。 度量过程的执行必须严格按照软件组织的度量过程规程，否则就会导致度量过程 不稳定，达不到预期的效果。因此，定期评价软件度量过程的依从性是非常必要的。 但是，软件度量过程的依从性和性能存在很大差异：评价度量过程依从性的目的是提 供解释过程性能的上下文信息，而度量过程性能的评价在于满足其目标及目标满足的 程度。 过程依从性表现在三个方面，一是对过程进行控制和评价的能力：二是实际过程 性能与标准、规范、计划的一致性；三环境对过程运作的支持能力。 度量过程依从性可以从计划度量过程、执行度量过程、评价度量过程和建立和维 持承诺过程的环境支持能力、计划一致性、过程控t i l l l 力和过程评价能力来审计。 1 6 西北大学硕上学位论文 表3 - 1 度量过程评价指标体系 评价要素评价指标 评价子指标 度量计划过程的环境支持能力( c 11 1 ) 环境支持能力 度量执行过程的环境支持能力( c 1 1 2 ) 度量评价过程的环境支持能力( c 1 1 3 ) ( c 1 1 ) 建立和维持承诺过程的环境支持能力 ( c 1 1 4 ) 度鼍计划过程的计划一致性( c 1 2 1 ) 计划一致性 度量执行过程的计划一致性( c 1 2 2 ) 过 ( c 1 2 )度量评价过程的计划一致性( c 1 2 3 ) 程 建立和维持承诺过程的计划一致性( c 1 2