第五章—软件测试过程

1、1第五章 软件测试过程 安博测试空间技术中心http:/ 62303260 62303230本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-2本章大纲p本章讨论软件开发过程中的测试活动，包括：n全流程的测试思想n软件测试过程框架n软件测试类文档p测试策略p测试计划p测试设计说明p测试用例p测试执行过程说明p缺陷报告p测试报告本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-3什么是软件开发过程p定义定义n软件开发过程是将用户需求转换为软件的过程，通常包括：1.需求阶段2.设计阶段3.实现阶段4.测试阶段p常用的软件开发过程模型常用的软件开发过程模型n瀑

2、布模型nV 模型n螺旋模型n统一过程模型本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-4瀑布模型需求分析需求分析概要设计概要设计详细设计详细设计编码编码测试测试运行和维护运行和维护本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-5需求规格说明书需求规格说明书评审评审概要设计说明书概要设计说明书详细设计说明书详细设计说明书编码编码单元测试单元测试集成测试集成测试系统测试系统测试系统测试文档系统测试文档集成测试文档集成测试文档单元测试文档单元测试文档评审评审评审评审评审评审评审评审评审评审V模型本科软件测试与质量保证 SEI of ECNU 孙海英 版

3、权所有 6-6需求需求分析分析概要设计概要设计详细设计详细设计编码编码单元测试单元测试集成测试集成测试系统测试系统测试V模型本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-7螺旋模型Determine objectives alternatives and constrainsRisk analysisEvaluate alternatives identify resolve riskPrototype 3Operational PrototypeSimulations models benchmarksreviewRequirements plan lifecycle

4、 planConcept of operationS/W requirementsProduct designDetailed designcodeUnit testIntegration testAcceptance testServiceDesign V&VRequirement validationDevelopment planIntegration and test plan Plan next phaseDevelop verify next-level productRisk analysisRisk analysisRisk analysisPrototype 2Prototy

5、pe 1本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-8统一过程模型（RUP）本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-9瀑布模型与测试需求分析需求分析概要设计概要设计详细设计详细设计编码编码系统测试系统测试测试测试单元测试单元测试集成测试集成测试维护维护验收验收测试测试本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-10测试与瀑布模型p测试与瀑布模型测试与瀑布模型 n瀑布模型是最经典的软件开发过程模型n瀑布模型适合于需求比较稳定的软件项目n在瀑布模型中，测试是软件开发的最后阶段。这其实并不太好，当测试发现了需求的问题时

6、将可能导致工作产品的大量返工，产品交付将因此延期。而这种情况在实际的测试工作中经常发生。本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-11V 模型与测试需求规格说明书需求规格说明书评审评审概要设计说明书概要设计说明书详细设计说明书详细设计说明书编码编码单元测试单元测试集成测试集成测试系统测试系统测试系统测试文档系统测试文档集成测试文档集成测试文档单元测试文档单元测试文档评审评审评审评审评审评审评审评审评审评审走读走读本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-12测试与V模型p测试与测试与V模型模型 n在瀑布模型中，测试是软件开发过程的最后阶段

7、，而在V模型中，测试贯穿在整个软件开发过程活动中n测试人员可以尽早进入项目1.测试人员将更加熟悉产品，这对设计出高质量的测试用例非常有帮助2.更多缺陷将在早期被发现，这有利于大幅度降低成本n在项目后期发现严重缺陷的风险大大降低n很多组织选用V模型作为项目的开发模型本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-13螺旋模型与测试Determine objectives alternatives and constrainsRisk analysisEvaluate alternatives identify resolve riskPrototype 3Operation

8、al PrototypeSimulations models benchmarksreviewRequirements plan lifecycle planConcept of operationS/W requirementsProduct designDetailed designcodeUnit testIntegration testAcceptance testServiceDesign V&VRequirement validationDevelopment planIntegration and test plan Plan next phaseDevelop verify n

9、ext-level productRisk analysisRisk analysisRisk analysisPrototype 2Prototype 1本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-14测试与螺旋模型p螺旋模型螺旋模型n螺旋模型是一个风险驱动的软件开发模型n比V模型有优势的是，螺旋模型是风险驱动的，这将大大增加一个项目成功的可能性，采用螺旋模型时，必须在下一个阶段开始前评估风险。对于测试而言，这将使得测试过程更加合理，因为每个测试项都是基于那些已被评估的风险本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-15RUP与测试本科软件

10、测试与质量保证 SEI of ECNU 孙海英 版权所有 6-16测试与 RUPp统一过程模型统一过程模型 RUP nRUP正在成为越来越有前景的软件工程过程模型1.它不只是迭代，还能提供一种在开发团队内分配任务和职责的方法2.RUP的目标是在一个可预知的计划和预算内交付一个满足终端用户需要的高质量软件产品n前一页的图示给出了RUP的结构，由两个纬度构成：1.水平轴表示时间，描述了项目的生命周期2.垂直轴表示规则给出了在一次迭代中进行的活动本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-17测试与 RUPp统一过程模型统一过程模型RUPn沙丘图展示了随着时间推移项目重点内

11、容的变化，比如，在早期迭代时主要时间花在需求上，在后期迭代中，主要时间则花在实现上n持续的质量验证是RUP的6个最佳实践之一，测试是RUP要求在整个项目生命周期中需要持续进行的活动本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-18全流程的测试思想p为什么各个软件开发过程模型，从模型定义的角度就重视尽早地进行测试？为什么各个软件开发过程模型，从模型定义的角度就重视尽早地进行测试？n尽早进行测试，有如下优点1.降低项目后期发现严重甚至致命缺陷导致项目失败的风险2.降低由于发现缺陷的时间点推迟而导致缺陷修改所增加的项目成本p全流程的测试思想n是指从项目立项开始就着手考虑在项目

12、各个阶段设置与发现阶段产物缺陷相关的测试活动，例如需求规格说明书、设计说明书、代码、项目计划等等，以达到尽早发现软件产品中缺陷的目的。p整个软件开发过程中的测试活动分为两大部分：静态部分和动态部分p本课程所述的软件测试过程只考虑动态部分本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-19缺陷修复成本p上图表明上图表明n缺陷发现得越晚，它的修复成本可能是数十倍的上升p结论结论 n为了降低软件开发成本并交付高质量产品，启动测试越早越好本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-20测试过程模型被测单元1单元测试单元测试被测单元2单元测试单元测试被测单

13、元3单元测试单元测试集成测试集成测试确认测试系统测试。测测试试通通过过的的单单元元设计信息设计信息已已集集成成的的软软件件软件需求软件需求已已确确认认的的软软件件系统其它元素系统其它元素本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-21修正的测试过程模型被测单元1单元测试单元测试被测单元2单元测试单元测试被测单元3单元测试单元测试集成测试集成测试确认测试系统测试。测测试试通通过过的的单单元元设计信息设计信息已已集集成成的的软软件件软件需求软件需求已已确确认认的的软软件件系统其它元素系统其它元素验证测试验证测试用户核心流程用户核心流程本科软件测试与质量保证 SEI of

14、ECNU 孙海英 版权所有 6-22测试相同功能的成本p上图表明上图表明n在不同的测试阶段，测试同样功能的测试成本有数倍差异p结论结论n为了降低测试成本，提高测试效率，最好随着软件开发过程一步步测试产品，也就是从单元测试到系统测试依次进行本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-23测试级别p单元测试单元测试n在代码级别上，针对构成软件的最小组件即单元进行的测试，是测试过程中粒度最小的测试n目的在于验证单元功能的正确性，与设计的符合程度p集成测试集成测试n在单元测试的基础上，将所有经过单元测试的模块按照设计要求组装为子系统或者系统进行测试n目的关注各个模块之间的交互

15、是否正确本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-24测试级别p确认与系统测试确认与系统测试n将已经集成好的软件系统，作为整个基于计算机系统的一个元素，与计算机硬件、外设、某些支持软件、数据和人员等其他系统元素结合在一起。在实际运行（使用）环境下，对计算机系统进行一系列的组装测试和确认测试n目的发现与系统定义不符或矛盾的地方以及系统各个部分是否可以协调工作本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-25测试过程p单元单元/集成集成/系统测试过程系统测试过程n单元/集成/系统测试计划n单元/集成/系统测试设计n单元/集成/系统测试实现n单元/

16、集成/系统测试执行n单元/集成/系统测试报告测试过程测试测试实现实现测试测试计划计划测试测试设计设计测试测试执行执行测试测试报告报告本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-26测试类文档p依据依据IEEE 829-1998软件测试文档（模版）包括软件测试文档（模版）包括n测试计划（Test Plan） 用于描述总体和各级别上的测试计划n测试设计规格说明（Test Design Specification）： 定义各个测试级别的测试用例结构和覆盖信息n测试用例规格说明（Test Case Specification） 描述测试用例或者自动测试脚本n测试用例执行过程规

17、格说明（Test Procedure Specification ） 一组测试用例的执行步骤n测试日志（Test Log） 记录测试过程执行过程中的信息本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-27测试类文档p依据依据IEEE 829-1998软件测试文档（模版）包括软件测试文档（模版）包括n测试意外事件报告（Test Incident Report） 用于描述在测试执行过程发生的任何异常情况，可能定义为缺陷或其它事件n测试总结报告（Test Summary Report） 汇总测试活动和结果的文档，也包含对相应测试项的评估p非IEEE标准中的软件测试文档n测试策略

18、 用于定义测试的各个级别，整个测试过程的总体方针和政策n缺陷问题报告单本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-28总体测试计划总体测试计划单元测试计划单元测试计划验收测试计划验收测试计划系统测试计划系统测试计划集成测试计划集成测试计划被测特性被测特性1 1的测试设计说明的测试设计说明.测试策略测试策略缺陷问题报告单1系统测试报告系统测试报告TC101被测特性被测特性n n的测试设计说明的测试设计说明TC102TC103TC104TC1XXTCN01TCN02TCN03TCN04TCNXX测试执行过程说明测试执行过程说明1 1测试执行过程说明测试执行过程说明K K测

19、试执行过程说明测试执行过程说明2 2缺陷问题报告单2缺陷问题报告单3缺陷问题报告单L缺陷问题报告单m缺陷问题报告单X本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-29测试策略p测试策略大纲n介绍：目的、范围、目标受众、文档术语和缩略语、参考资料n测试综述n单元测试策略：测试重点描述、入口准则、停止准则、测试质量要求（覆盖率、覆盖率策略）、回归测试策略、需要的软件工具、人力资源和硬件资源、被测对象依赖关系n集成测试策略：同单元测试策略内容项n系统测试策略：同单元测试策略内容项n测试结果约定：严重级别定义、优先级别定义本科软件测试与质量保证 SEI of ECNU 孙海英

20、版权所有 6-30总体测试计划p步骤n确定测试目标、最终交付物n确定测试阶段n确定里程碑和交付物n测试工作范围细化，生成WBSn对WBS中的每项任务估计完成时间，需要哪些和多少资源n对WBS中的每项任务估计成本n估计整个测试的工期和成本本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-31总体测试计划p步骤n判断测试是否可以在预定的时间、成本、资源等约束下完成n如果无法完成，需要调整范围、工期、预算和资源配置直至建立切实可行的测试规划本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-32测试计划模版p内容 (IEEE Std. 829-1998 )n测试

21、计划标识、目录、参考文献、词汇表n简介n测试项目：在测试计划范围内需要对哪些内容进行测试及其相关工作n软件风险n待测特性n不被测特性n测试方法（策略）：如何进行测试以及对测试成功与否起关键作用的问题n测试相通过/失败标准n挂起和激活标准n测试交付件本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-33测试计划模版p内容 (IEEE Std. 829-1998 )n测试任务：负责确定准备和进行测试所需的一系列任务，以及任务之间的依赖关系和可能需要的特殊技能n环境需求n职责n人员和培训需求n进度表n计划的风险和应对措施n批准情况本科软件测试与质量保证 SEI of ECNU 孙

22、海英 版权所有 6-34测试准备过程p测试计划测试计划n一篇用于描述测试一个系统或组件需要遵循的技术和管理方法。典型内容包括要测试的条目、待执行的任务、职责、时间计划和测试活动需要的资源p测试设计测试设计n针对一个软件特性或特性组合所使用测试方法的细化文档p测试实现（测试用例）测试实现（测试用例）n描述一个测试项的特定输入、预期输出和一组执行条件的文档本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-35测试设计规格说明p内容 (IEEE Std. 829-1998 )n测试设计规格标识n待测试特性n方法细化：针对待测特性测试用例设计方法说明和相关的一组测试用例n测试项标识

23、n特性通过/失败标准p通常一个待测特性对应一个测试设计规格说明，一个测试设计规格说明对应若干测试用例本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-36测试用例规格说明p内容 (IEEE Std. 829-1998 )n测试用例规格标识n测试项n输入定义n输出定义n测试环境需求n特定的程序上的需要n用例间相关性本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-37测试用例执行过程说明书p定义n描述一组试用例执行序列的文档p内容 (IEEE Std. 829-1998 )n测试过程规格标识1.指定分配给该测试过程的唯一标识2.提供针对本测试过程的关联测试

24、设计规格参考n目的：描述该过程的目标，并提供本测试用例执行参考n特殊需求：描述对测试环境、人员技能水平、培训等的特殊要求本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-38p内容 (IEEE Std. 829-1998 )n过程步骤：这是测试过程的核心，IEEE定义了如下几步：p日志：描述一些记录测试执行结果的特殊方法和格式，观察到的异常和其它与测试有关的事件p预备：准备测试过程执行时必须进行的动作序列p开始：开始执行测试过程时必须进行的动作p进行：测试过程执行过程中必须执行的动作1. 步骤 1 2. 步骤 2 3. 步骤 3 4. 步骤 Z 测试用例执行过程说明书本科软

25、件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-39p内容 (IEEE Std. 829-1998 )n度量：描述测试度量方法n暂停：描述测试因计划外事件挂起前的规定动作n重启动: 确定一些流程上的重新开始点，并给出在每个点上重新启动测试过程的规定动作n挂起：描述让测试过程有序挂起的必要动作n恢复准则：描述恢复环境的必要动作n意外事件：描述应对执行期间发生的异常和其它事件的必要动作测试用例执行过程说明书本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-40测试日志p测试日志测试日志n记录测试执行过程的情况p内容（内容（IEEE 829-1998）n测试日志的标识符n描述n活动和事件条目本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-41缺陷问题报告单p定义定义n描述缺陷细节的文档p模版n缺陷编号n被测系统及其版本n缺陷发现活动n严重程度n优先级n缺陷概要描述n详细描述n重现缺陷步骤本科软件测试与质量保证 SEI of ECNU 孙海英 版权所有 6-42测试意外事件报告p内容（内容（IEEE 829-1998）n意外事件报告标识符n意外事件总结n意外事件描述p输入p期望得到的结果p实际结果p异常情况p日期和时间p规程步骤本科软件测试与质量保证 SEI of ECN