第十六-测试和软件质量分析报告ppt课件

1、软件测试方法和技术软件测试方法和技术 第第16章章 测试和软件质量分析报告测试和软件质量分析报告 顾进广顾进广, Ph.D., Pweibo//simon企业信息系统与语义Web研究室http:/ONTOWEBWUST本章要解决的问题n单元测试采用什么方法和工具的？代码行覆盖率是否达到所设定的目标？n集成测试是否全面验证了所有接口及其参数？n测试用例是否经过开发人员、产品经理的严格评审？n系统测试是否包含了性能、兼容性、安全性、恢复性等各项测试？如果执行了，又是怎么进行的、结果如何？n是否完成了测试计

2、划所要求的各项测试内容？n需要执行的测试用例是否百分之百地完成了？n所有严重的Bug都修正了？企业信息系统与语义Web研究室http:/ONTOWEBWUST第十六章第十六章 测试和软件质量分析报告测试和软件质量分析报告 16.1 软件产品的质量度量软件产品的质量度量16.2 评估系统测试的覆盖程度评估系统测试的覆盖程度16.3 基于缺陷分析的产品质量评估基于缺陷分析的产品质量评估16.4 测试报告的具体内容测试报告的具体内容企业信息系统与语义Web研究室http:/ONTOWEBWUST16.1软件产品的质量度量软件产品的质量度量16.1.1 软件度量及其过程软件度量及其过程16.1.2 软

3、件质量的度量软件质量的度量16.1.3 质量度量的统计方法质量度量的统计方法企业信息系统与语义Web研究室http:/ONTOWEBWUST16.1.1 软件度量及其过程软件度量及其过程软件度量就是对软件所包含的各种属性的量化表示。软件度量可以提供对软件过程和软件产品的深入了解的衡量指标，使组织能够更好地做出决策以达成目标，软件度量具有如下作用： 用数据指标表明验收标准； 监控项目进度和预见风险； 分配资源时进行量化均衡； 预计和控制产品的过程、成本和质量。企业信息系统与语义Web研究室http:/ONTOWEBWUST软件度量的分类软件度量的分类丈量丈量Measurement） 、度量、度量

4、Metric） 和指标和指标 (Indicator) 软件度量的分类软件度量的分类 软件过程度量软件过程度量 软件项目度量软件项目度量 产品质量度量产品质量度量企业信息系统与语义Web研究室http:/ONTOWEBWUST软件度量的内容软件度量的内容p 规模度量：代码行数，功能点和对象点等规模度量：代码行数，功能点和对象点等p 复杂度度量：软件结构复杂度指标。复杂度度量：软件结构复杂度指标。p 缺陷度量：帮助确定产品缺陷变化的状态，并指示修缺陷度量：帮助确定产品缺陷变化的状态，并指示修复缺陷活动所需的工作量，分析产品缺陷分布的情况复缺陷活动所需的工作量，分析产品缺陷分布的情况p 工作量度量工

5、作量度量p 进度度量进度度量p 生产率度量：代码行数人生产率度量：代码行数人月，测试用例数月，测试用例数/人人日；日；p 风险度量：风险度量： “风险发生的概率和风险发生的概率和“风险发生后所带风险发生后所带来的损失来的损失”企业信息系统与语义Web研究室http:/ONTOWEBWUST软件度量的分工软件度量的分工p 度量工作小组由专职的度量研究人员和项目协调人员度量工作小组由专职的度量研究人员和项目协调人员组成，度量研究人员的主要职责是定义度量过程和指组成，度量研究人员的主要职责是定义度量过程和指导进行度量活动，并对数据进行分析、反响；项目协导进行度量活动，并对数据进行分析、反响；项目协调

6、人员的职责是为定义度量过程提供详细的需求信息，调人员的职责是为定义度量过程提供详细的需求信息，并负责度量过程在项目组的推行。并负责度量过程在项目组的推行。p 数据提供者一般是项目中的研发人员，有时还会包括数据提供者一般是项目中的研发人员，有时还会包括用户服务人员和最终用户。用户服务人员和最终用户。p IT支持者确定数据提供的格式与数据存储方式，提供支持者确定数据提供的格式与数据存储方式，提供数据收集工具与数据存储设备数据收集工具与数据存储设备 企业信息系统与语义Web研究室http:/ONTOWEBWUST软件度量的过程软件度量的过程p 识别目标。分析出度量的工作目标和列表，并由管理者识别目标

7、。分析出度量的工作目标和列表，并由管理者审核确认审核确认p 定义度量过程。定义其收集要素、收集过程、分析、反定义度量过程。定义其收集要素、收集过程、分析、反馈过程、馈过程、IT支持体系，为具体的收集活动、分析、反馈支持体系，为具体的收集活动、分析、反馈活动和活动和 IT设备、工具开发提供指导。设备、工具开发提供指导。p 搜集数据。应用搜集数据。应用IT支持工具进行数据收集工作，并按指支持工具进行数据收集工作，并按指定的方式审查和存储。定的方式审查和存储。p 数据分析与反馈。根据数据收集结果，按照已定义的分数据分析与反馈。根据数据收集结果，按照已定义的分析方法进行数据分析，完成规定格式的图表，进

8、行反馈。析方法进行数据分析，完成规定格式的图表，进行反馈。p 过程改进。根据度量的分析报告，管理者基于度量数据过程改进。根据度量的分析报告，管理者基于度量数据做出决策。做出决策。企业信息系统与语义Web研究室http:/ONTOWEBWUST16.1.2 软件质量的度量软件质量的度量软件可靠性度量、复杂度度量、缺陷度量和规模度量软件可靠性度量、复杂度度量、缺陷度量和规模度量 Mic1f1c2f2cnfn Mi是一个软件质量因素是一个软件质量因素(如如SQRC层各项待计算值层各项待计算值)， fn是影响质量因素的度量值如是影响质量因素的度量值如SQDC层各项估计值），层各项估计值），cn是加权因

9、子。是加权因子。 企业信息系统与语义Web研究室http:/ONTOWEBWUST16.1.3 质量度量的统计方法质量度量的统计方法p 说明不完整或说明错误说明不完整或说明错误(IES)p 与客户交流不够所产生的误解与客户交流不够所产生的误解(MCC)p 故意与说明偏离故意与说明偏离(IDS)p 违反编程标准违反编程标准(VPS)p 数据表示有错数据表示有错(EDR)p 模块接口不一致模块接口不一致(IMI)p 设计逻辑有错设计逻辑有错(EDL)p 不完整或错误的测试不完整或错误的测试(IET)p 不准确或不完整的文档不准确或不完整的文档(IID)p 将设计翻译成程序设计语言中的错误将设计翻译

10、成程序设计语言中的错误(PLT)p 不清晰或不一致的人机界面不清晰或不一致的人机界面(HCI)p 杂项杂项(MIS)企业信息系统与语义Web研究室http:/ONTOWEBWUST质量度量的统计方法质量度量的统计方法 （2）总计(Ei)严重(Si)一般(Mi)微小(Ti)错误数量百分比数量百分比数量百分比数量百分比IES29622.3%5528.2%9518.6%14623.4%MCC20415.3%189.2%8717.0%9915.9%IDS644.8%21.0%316.1%315.0%VPS342.6%10.5%193.7%142.2%EDR18213.7%3819.5%9017.6%5

11、48.7%IMI826.2%147.2%214.1%477.5%EDL644.8%2010.3%173.3%274.3%IET14010.5%178.7%5110.0%7211.6%IID544.1%31.5%285.5%233.7%PLT876.5%2211.3%265.1%396.3%HCI423.2%42.1%275.3%111.8%MIS816.1%10.5%203.9%609.6%总计1330100%195100%512100%623100%企业信息系统与语义Web研究室http:/ONTOWEBWUST16.2 评估系统测试的覆盖程度评估系统测试的覆盖程度16.2.1 对软件需求的

12、估算对软件需求的估算16.2.2 基于需求的测试覆盖评估基于需求的测试覆盖评估16.2.3 基于代码的测试覆盖评估基于代码的测试覆盖评估企业信息系统与语义Web研究室http:/ONTOWEBWUST测试的评估测试的评估软件测试评估主要有两个的目的软件测试评估主要有两个的目的 量化测试进程，判断测试进行的状态和进度量化测试进程，判断测试进行的状态和进度 为测试或质量分析报告生成所需的量化数据，如缺陷清为测试或质量分析报告生成所需的量化数据，如缺陷清除率、测试覆盖率等。除率、测试覆盖率等。 例子：例子： 测试覆盖项测试覆盖项测试覆盖率指标测试描述测试覆盖率指标测试描述测试结果测试结果界面覆盖符合

13、需求（界面图标、信息区、状态区）静态功能覆盖 功能满足需求动态功能覆盖 所有功能的转换功能正确正常测试覆盖 所有硬件软件正常时处理异常测试覆盖 硬件或软件异常时处理（不允许的操作）测试结束判断企业信息系统与语义Web研究室http:/ONTOWEBWUST16.2.1 对软件需求的估算对软件需求的估算假设有假设有R个需求，功能需求的数目为个需求，功能需求的数目为F,非功能需求数为非功能需求数为N, 那么：那么：R= F + N.Q1 M/R其中其中Q1表示需求的确定性，表示需求的确定性，M是所有复审者都有相同解释的需求数目。是所有复审者都有相同解释的需求数目。功能需求的完整性功能需求的完整性Q

14、2：Q2Fu/(NiNs)其中其中Fu是唯一功能需求的数目，是唯一功能需求的数目，Ni是由规格设计说明书定义的输入个数，是由规格设计说明书定义的输入个数，Ns是是被表示的状态的个数。被表示的状态的个数。考虑非功能需求考虑非功能需求 :Q3Fc/(FcFnv)其中其中Fc是已经确认为正确的需求的个数，是已经确认为正确的需求的个数，Fnv是尚未被确认的需求的个数是尚未被确认的需求的个数 企业信息系统与语义Web研究室http:/ONTOWEBWUST16.2.2 基于需求的测试覆盖评估基于需求的测试覆盖评估假定Tx已执行的测试过程数或测试用例数，Rft是测试需求的总数：已执行的测试覆盖 TxRft

15、假定Ts是已执行的完全成功、没有缺陷的测试过程数或测试用例数。成功的测试覆盖 TsRft企业信息系统与语义Web研究室http:/ONTOWEBWUST16.2.3 基于代码的测试覆盖评估基于代码的测试覆盖评估基于代码的测试覆盖评测是对被测试的程序代码语句、路径或条件的覆盖率分析。这种测试覆盖策略对于安全至上的系统来说非常重要。基于代码的测试覆盖通过以下公式计算：已执行的测试覆盖 TcTnc 其中Tc是用代码语句、条件分支、代码路径、数据状态判定点或数据元素名表示的已执行项目数，TncTotal number of items in the code是代码中的项目总数。 企业信息系统与语义We

16、b研究室http:/ONTOWEBWUST16.3 基于缺陷分析的产品质量评估基于缺陷分析的产品质量评估16.3.1 缺陷评测的基线缺陷评测的基线16.3.1 经典的种子公式经典的种子公式16.3.2 基于缺陷清除率的估算方法基于缺陷清除率的估算方法16.3.3 软件产品性能评估软件产品性能评估企业信息系统与语义Web研究室http:/ONTOWEBWUST16.3.1 缺陷评测的基线缺陷评测的基线为软件产品的质量设置起点，在基线的基础上再设置新的为软件产品的质量设置起点，在基线的基础上再设置新的目标，作为对系统评估是否通过的标准目标，作为对系统评估是否通过的标准条目条目目标目标低水平低水平缺

17、陷清除效率95%70%原有缺陷密度每个功能点 7超出风险之外的成本0%=10%全部需求功能点=50%全部程序文档每个功能点页数 6员工离职率每年1 to 3%每年5%企业信息系统与语义Web研究室http:/ONTOWEBWUST已测试出的种子已测试出的种子Bug (s) 已测试出的非种子已测试出的非种子Bug (n)所有的种子所有的种子Bug (S) 全部的非种子全部的非种子Bug (N)则可以推出程序的总则可以推出程序的总Bug数为：数为：N = S * n /s其中其中n是所进行实际测试时发现的是所进行实际测试时发现的Bug总数。假设总数。假设 n = N, 说说明所有的明所有的Bug已

18、找出来，说明做的测试足够充分。已找出来，说明做的测试足够充分。这种测试是否充分，可以用一个信心指数来表示，即用一个这种测试是否充分，可以用一个信心指数来表示，即用一个百分比表示，值越大，说明对产品质量的信心越高，最大值百分比表示，值越大，说明对产品质量的信心越高，最大值为为1。 = 1 if nNC = S/(S-N+1), if n=N16.3.2 经典的种子公式经典的种子公式=企业信息系统与语义Web研究室http:/ONTOWEBWUST16.3.3 基于缺陷清除率的估算方法基于缺陷清除率的估算方法F为描述软件规模用的功能点；D1为在软件开发过程中发现的所有缺陷数；D2为软件发布后发现的缺陷数；D为发现的总缺陷数。因此，D=D1+D2。 质量=D2/F； 缺陷注入率=D/F； 整体缺陷清除率=D1/D；缺陷源缺陷源潜在缺潜在缺陷陷清除效率清除效率(%)被交付的缺陷被交付的缺陷需求报告1.00770.23设计1.25850.19编码1.75950.09文档0.60800.12错误修改0.40700.12合计5.00850.7