【转自UMLONLINE张传波老师原创】用数据管理.doc

【转自UMLONLINE 张传波老师原创】用数据管理原文地址摘要用数据说话，这是当前很时髦的话，本文将数据管理过程划分成4个层次，并阐述企业如何达到这四个层次。1.初级量化管理：以数据感知项目的状况(相当于CMMI2级)2.中级量化管理：通过经验值来管理项目(相当于CMMI3级)3.高级量化管理：用PCB进行项目管理(相当于CMMI4级)4.超级量化管理：持续优化的量化管理(相当于CMMI5级)1.让人目眩的量化理论说起量化这个话题，大家可以发现很多相关资料、理论，什么六西格玛、统计过程控制(SPC)、过程能力基线(PCB)、软件度量、功能点法、软件估算等等，大有百家争鸣之势！即将进行的第五届中国系统与软件过程改进年会，主题是用数据管理过程，正所谓不时髦就不拿来做主题啊！这下好了，各路英雄豪杰将济济一堂，各类关于量化管理的理论书包将抛来抛去，希望大家到时不会头晕眼花啦。我们不要头晕，我们不要目眩！谁能系统地把所有量化的理论梳理一遍啊?本文将肩负起这个历史重任，还大家一个明白！2.对量化理论进行格式化关于量化方面文章，大家可能难以把各文章的内容在脑袋中组织成一面知识网，主要因为各文章按照各自的角度阐述问题。我们需要一个统一的角度来描述这些事情，这里我们就以CMMI的为参考标准，对所有的量化理论进行格式化。量化方面的词汇太多了，我们不是搞理论研究的，我们不去咬文嚼字，为了阐述方便，这里我们把与量化有关的内容，全部统称为量化管理，量化管理大致可以分为以下四个级别：1)初级量化管理-感知级，相当于CMMI2级。2)中级量化管理-经验级，相当于CMMI3级。3)高级量化管理-可预测级，相当于CMMI4级。4)超级量化管理-持续优化级，相当于CMMI5级。高级别的量化管理，必满足所有低级别量化管理特点，例如高级量化管理，它具备初级量化管理、中级量化管理的特点，又具备本身的特点。3.量化管理的第一基本法则我们为什么要用功能点法来估计项目的规模?我们为什么要度量项目的工时、费用?我们为什么要做量化管理?如果我们不用量化管理的方式，也能达到量化管理的效果，而且成本更低，那还要不要进行量化管理?当我们面对铺天盖地的量化理论的时候，当我们要考虑要做量化管理的时候，首先要问自己的问题就是：为什么要做量化管理?我们回答一下这个问题：为什么要用功能点法来估计项目的规模?是为了时髦?还是想试用一下功能点法?如果老板想这样做，估计他感觉到项目的估算不是很准，他希望通过一些量化的办法，让项目的估算做得更准。所以，他的要进行量化管理的目的是：提高估算的准确率。这就是老板的完整目标吗?如果员工们不计成本地把功能点法做好了，估算偏差提高到不超过5%，但估算工作需要的时间由原来的5天增加到50天，这样老板会接受吗?其实老板还有隐含的约束条件，就是不能太花成本。如果把老板的目标再完整表达一下，应该是：在一定的时间成本要求内，提高估算的准确率。无论我们做什么量化的工作，都必须先明确：量化管理第一基本法则：明确量化管理的目的及约束条件。功能点法是比较复杂而且难掌握的软件规模度量办法，有可能在研究使用的过程中，才发现不值得用功能点法，大家再反过来看看目标：在一定的时间成本要求内，提供估算的准确率，而不是：在一定的时间成本要求内，用功能点法提高估算的准确率。这时，大家可以选用别的办法，或者对功能点法进行改造。在制定目标的时候，不要把具体的方法写进去，目标是很高层次的，把办法写进去，也就是相当于限制了思路。有人可能会说，在一定的时间成本要求内，提高估算的准确率，这个目标太虚了吧，写了等于没写。呵呵，其实正是因为没有明确这个虚的目标，很多量化管理的工作变成就是为了量化管理而量化管理。什么六西格玛、统计过程控制(SPC)、过程能力基线(PCB)等量化管理办法，都是有很明确的目的的。如果企业对量化管理的目标都不明确的话，那就非常不好意思了，连初级水平都不是，是属于无级别的水平。下面开始，我们感受一下量化管理的四个级别。4.初级量化管理-感知级有很多软件企业，在项目过程中，须提交一些进度报告、总结报告，报告中可能会有进度情况、成本情况的一些数据。收集这些数据的目标也十分明确，就是想了解项目的进度、成本情况，并与计划的情况进行比较，采取必要的措施。例：进度报告(节选)任务概述计划完成日期时间完成日期偏差分析任务18月3日8月5日.任务28月10日8月11日.任务n 8月15日未完成.在软件测试中，会记录各类缺陷的情况，并且在测试报告中报告缺陷的一些数据。项目组会根据缺陷方面的数据，分析软件的质量，并考虑后续的改进措施。例：测试报告(节选)：严重级别已解决的缺陷数量未解决的缺陷数量致命20严重61一般202轻微154汇总437总缺陷数量：50建议：需要在后续版本中修复没有解决的缺陷。感知级的企业，有这样的一些特点：1)有明确的度量目的。2)有度量值的比较基准，如例子中的计划完成时间与实际完成时间的对比。3)被度量对象的属性定义得比较清楚，如上例中缺陷的属性。4)对度量的结果进行分析，并且要考虑改进措施。感知级的企业，应该满足CMMI2级中MA(度量)这个PA的要求的，感兴趣的读者可以去看看MA个PA。下面这种情况，算不算感知级呢?在项目总结报告中，统计项目进度、成本等情况，分析与计划比较的差异，提出对以后有用的改进意见。如果只在项目总结报告的时候，才进行度量的话，是不能算感知级的，度量的结果要能用于项目管理，而不是项目结束后了统计出到一些数字，尽管这些数字可以用来改善以后的工作，但对该项目本身工作的改善已经没有任何作用了。达到初级量化管理的企业，能明确量化管理的目标，通过合适的度量办法，感知项目的各类参数，并根据各度量指标的实际数值，采取改善项目行为的措施。5.中级量化管理-经验级进行量化管理过程中，我们能得到各类参数值，但该参数值应该怎样才算合理呢?例如进度偏差多少才算合理?遗留缺陷数量多少个才算合理?前面提到用功能点法来估算项目的规模，然后我们可以由规模导出工作量，但规模与工作量是怎样的一个关系呢?怎样根据规模导出工作量呢?相同规模的软件，不同的软件企业来做，导出的工作量是不一样的。进行初级量化管理的时候，企业通过实际的参数值，来感觉项目的状况，当积累足够多数据的时候，管理者可能会找出项目间的一些共同的数据特点，如可以统计出平均值、最大值、最小值，这些数据，可以描述组织整体的性能。当数据积累比较多的时候，组织级的经验数据，可以用来指导管理以后的项目，例如可以用组织的平均值做为量化管理的要求。这个时候，就达到了中级量化管理水平了。中级量化管理有以下特点：1)对历史数据进行一定的分析，得出一些数值，从这些数据能大概掌握企业的能力状况。2)根据大概的企业能力状况，定出项目量化的管理目标，并用于管理项目。3)利用历史的经验数据，由项目规模导出工作量。例：项目规模与工作量的关系根据历史的经验数据，可以绘出规模与工作量的关系，由这个关系可用来估计新项目的工作量。如果没有大量的经验数据，这是不能做到的。CMMI3级中，并没有专门的PA是与度量直接对应的，为什么说中级量化管理与CMMI3级的要求是对应的呢?CMMI3级的重要特点之一就是，有组织级的度量库，并且项目依据组织级度量库的数据，定义和管理项目的过程。中级量化管理与初级量化管理的最大区别就是，度量数据已经上升到组织级别，每个项目都可以利用组织的经验(即历史数据)来管理项目。6.高级量化管理-可预测级麦当劳的薯条不少人都吃过，味道很好，而且每家麦当劳的薯条味道很一致。麦当劳是如何做到的呢?我们分析一下生产过程，我们发现薯条从原材料开始，到后续加工，油炸的时间，薯条炸出来后多少分钟没有售出，就销毁，整个过程都有严格的控制，而且很多地方是量化控制，时间甚至精确到秒。严格的过程控制，保证了薯条能高质量地稳定地产出。全球的麦当劳，都用同一的严格过程来管理，所以保证了全球的麦当劳的食品都是高质量的而且是高度一致的。从另外一个角度说，只要麦当劳按照既定的过程来生产食物，我们就可以预测出最终食物的情况，我们将对最终产品的质量非常有信心。那么我们软件开发，是不是也希望能达到这样的效果呢?大家可以回答一下这个问题：如果项目的规模、采用的技术、人员的水平等因素都确定了，那么您是否可以很有信心去预测这个项目的最终结果呢?如果按照中级量化管理的办法，还是比较难达到这个效果的，可预测级的量化管理应该是怎样的呢?在回答这个问题之前，我们需要先搞清楚什么是稳定的过程，什么是不稳定的过程。我们以煮饭为例，说明什么是稳定的过程什么是不稳定的过程。大家小的时候可能都野炊过，野炊煮出来的饭可能普遍都是不太好吃的，不是太硬就是太软。为什么煮出来的效果会差异这么大呢?仔细分析一下，我们发现很多因素会影响煮饭的最终质量，如：饭锅、火候、煮的时间、水量等。当我们用野炊的方式煮饭时，这些因素都不太好控制，所以出来饭的质量变化就会比较大了。我们换一种方式来煮饭，用电饭煲煮饭，失手的几率是不是极大地降低了?为什么会这样呢?当我们用电饭煲的时候，饭锅、火候、时间等因素都被固定在理想范围了，所以最终出来的结果是比较稳定而且质量比较好。再看看我们的软件开发过程，1级的企业做出来的软件，结果是很不稳定的，而4级的企业，能稳定地输出比较好的结果。4级的软件企业，只需要确定了项目的规模、性质、技术、人员技能等因素后，只要按照既定的过程来生产软件，那么就可以很有信心地预测这个项目的最终结果，这个预测是有很高的可信度的。而CMMI2、3级的企业，虽然也能预测项目的最终结果，但只能大概预测，4级企业的预测能准确估计出最终结果的范围，而且这个范围是量化的。稳定的过程与不稳定的过程，大家应该有大致的体会了吧。2、3级的企业，过程还不能说是稳定的，而4级的企业，过程一定是稳定的。同样，初级、中级量化管理，用数据管理的过程，也不能说是稳定的，而高级量化管理，用数据管理的过程，一定是稳定的。用数据管理过程，要进入高级阶段，就必须了解统计过程控制(SPC)的学问，要了解什么是基线(Baseline)，所谓的六西格玛管理，其实就是统计过程控制。例：某公司每周对项目的CPI(成本指数，这是项目挣值管理中的一个重要概念，这里不作介绍)进行度量，分析项目的实际性能。通过分析，发现CPI波动范围比较宽，从最低的10%到最高的210%，这样意味着最终项目的成本很可能会与预算相差1倍以上。作为管理者来说，这是不可以接受的，管理者希望最终的成本与预算相差在比较小的范围内。为什么CPI会波动这么大呢?影响CPI波动的因素非常多，有估算、计划、过程、人的能力等等，如果要收窄波动，就需要在这些影响因素上下功夫，想办法减少这些影响因素的影响。经过改进后，项目的CPI情况如下：以上的做法是不是已经达到统计过程控制的层次呢?还不是，我们看看下图。这个控制图，把整个项目过程分为四个阶段：需求阶段、设计阶段、编码阶段、测试阶段。每个阶段执行的过程不一样，工作的性质不一样，故绘制控制图的时候需要予以区分。对不同阶段的CPI数据点绘制XmR图，得出不同阶段的中值与上下限。用不同阶段的CPI的中值及上下限来监控项目的行为，项目管理的重点就是监控各数据点有没有超出上下限，对超出上下限的数据点(如图中的红点)，分析其原因并采取措施，使之回归到范围内。所谓的统计过程控制是这样的一个过程：1)进行统计过程控制的过程是稳定的，影响该过程的各类因素，都被很好地控制在一定的范围内，故最终的结果也是在可控的范围内的，可预测的。什么叫稳定?简单地说，就是在给定的条件下，产出的结果是在一定可接受的范围内的。如：只要项目性质和以前的项目差不多，项目的人员水平和以前的大体一致，执行的过程也和以前一致，那么该项目的结果应该是在可预测的可接受的范围内的。如果从统计学的角度，可以对数据点进行稳定性测试，判断其是否稳定。详细信息请参考SPC方面的书籍。2)要对过程进行足够地细分，才能清晰地区分出各影响因素，使度量出来的数据点很容易识别是信号还是噪音。在进行数据分组的时候，保证数据之间的可比性是非常重要的，苹果只能跟苹果比，不能苹果跟香蕉比。很多做CMMI4级的企业，很容易犯这样的错误，没有很好地进行数据分组，进行数据分组的时候，要充分考虑项目的性质、人员的水平、所执行的过程等因素。数据分组是否合理的重要标准就是，是否能清晰区分出信号还是噪音。什么是信号?信号可以说是过程之音，就是过程本身内在的特点所引起的正常波动，如项目的性质、技术、执行的过程、人员的水平等。信号反映了过程的正常的能力。什么是噪音?噪音表明实际工作中出现了一些过程之外的特殊情况，如由没有具备项目管理技能的人来担当项目经理工作，而当前过程要求的是需要具备项目管理能力的人来负责的，这样过程执行效果肯定会与预计的效果发生比较大的偏差，从而超出上下限范围。信号体现了过程正在被正常执行，而噪音则反映出过程正在被偏离执行。3)数据点的偏差，是由公共原因(Common Cause)和可归属原因(Special Cause)共同作用下导致的。在控制限内的数据点的偏差，主要是由公共原因导致的，而超出上下限的偏差，则是由公共原因和可归属原因共同引起的。什么是公共原因?公共原因是指过程本身特有的引起偏差的因素，如果人员的水平波动、项目性质的差异、执行过程的力度差异等，这些引起偏差的因素在本过程内已经被削弱，但不可能完全被消除，这些因素共同作用下，会引起数据点的正常波动。信号是由公共原因引起的。什么是可归属原因?可归属原因是指出现了过程没有考虑或者违背了过程的情况，引入了新的引起波动的因素，如：没有安排好相应培训、没有按过程执行等。出现了可归属原因，将会加大数据点的波动，从而超出上下限范围。噪音是由公共原因和可归属原因共同作用引起的。4)通过统计学的办法计算出性能基线，如用XR图、XmR图。5)用性能基线进行项目管理，项目管理的重点是监控超出范围内的数据点，分析其原因，想办法排除可归属原因。消除可归属原因后，就可以消除由于可归属原因引起的波动，这样数据点就会重新回到上下限范围内。组织级应该有详细的进行可归属原因分析及问题解决的指导，项目经理根据该指导来排除可归属原因。SPC的原理比较深奥，想有深刻的理解是不容易的。SPC在制造业等其它行业已经被广泛应用，其基本原因就是通过改造生产流水线，消除或者限制影响产品规格的因素，使产出的产品规格在一定的范围内并符合要求。这个原理要用到软件生产，就没有那么简单了，影响软件质量的因素非常多，需要功力深厚的人分析各影响因素，并通过改造过程来消除或者削弱这些因素的影响。在这个层面上，用数据管理过程的档次已经提高了一大截，这时候数据管理的过程是稳定的过程，该过程的中值和上下限反映出该过程的能力。这里我们引出一个新的问题，什么是有能力的过程?什么是没有能力的过程?什么是能力高的过程?什么是能力低的过程?不稳定的过程，谈不上能力之说，稳定的过程才能谈能力。稳定的过程，可以通过不断地提高性能来提高能力，如收窄性能基线的上下限范围，使中值更接近理想的目标值等，这些都体现了能力的提高。7.超级量化管理-持续优化级高级量化管理主要讲述的是如何把不稳定的过程变成稳定的过程，而超级量化管理主要讲述的是把有能力的过程变成更加有能力的过程。前面提到的CPI中值和上下限，有可能不满足商业目标的需要，如CPI平均值达不是所期望的值，上下限的范围太宽，这样就有必要想办法做一些改进，提高能力，并且能力提高后的过程同样也是稳定的过程。那么有什么办法可以提高能力呢?1)改进过程。过程的性能基线的中值及上下限，是由公共原因所引至的，要提高其性能，必须从这些公共原因入手，对信号进行分析，想办法进一步削弱公共原因引起的偏差，想办法改造过程，使中值符合要求。2)采用新技术。考虑引入新的技术，并调整相应的过程，来提高过程的性能。3)对噪音进行原因分析。噪音是由公共原因和可归属原因共同作用引起的，对每个噪音的可归属原因进行详细的分析，将很可能找到改进的机会。分析过程的可改进地方是比较复杂的，有可能需要对过程进行更深一步的细分，可能会发现原因的数据分组达不到要求，需求增强粒度，以能区分出更多的公共原因，找出可改进点。另外，原来不需要进行基线级别管理的过程，可能也会因为商业目标的需要，需要建立基线并进行基线级别的管理。在这个级别上用数据管理过程意义在于，通过数据来监控过程的改进效果，比较能力的变化，为决策提供依据。当形成新的更有能力的能力基线时，企业将用新的能力基线来管理项目。SPC的建立及优化过程的成本是很高的，但进行SPC管理的过程成功概率是非常高的，企业根据自己的商业目标需要，选择需要进行SPC管理的过程，并不断优化，使企业具备越来越强的竞争力，而这种竞争力是别的企业难以模仿并难以超越的。8.我为高级而狂?由感知级到经验级，再到可预测级、持续优化级这个过程是不可跨越的，