泽众软件缺陷的严重程度上课讲义

让测试管理(guǎnlǐ)变轻松上海泽众软件(ruǎnjiàn)2008年9月第一页，共80页。软件测试管理自动化测试工具选用自动化测试工具演示(yǎnshì)与实践让测试(cèshì)管理变轻松第二页，共80页。软件测试过程(guòchéng)管理缺陷跟踪与管理软件测试管理(guǎnlǐ)第三页，共80页。软件测试过程(guòchéng)管理缺陷跟踪与管理软件测试管理(guǎnlǐ)第四页，共80页。测试(cèshì)工作目的测试(cèshì)过程设计如何规划测试(cèshì)测试(cèshì)策略软件测试过程(guòchéng)管理第五页，共80页。在测试技术兴起的早期，测试的目的主要有两个：证明系统可用，满足了需求；发现系统中的错误。随着软件技术的成熟，人们发现大量错误的根源在于需求和设计，因此现代测试的目的在于：证明系统可用，满足了需求；发现系统中的错误；避免(bìmiǎn)错误的发生。软件测试工作(gōngzuò)目的第六页，共80页。缺陷(quēxiàn)产生的原因第七页，共80页。测试工作(gōngzuò)的目的第八页，共80页。测试工作目的测试过程设计如何(rúhé)规划测试测试策略软件测试过程(guòchéng)管理第九页，共80页。项目(xiàngmù)过程流图立项(lìxiànɡ)阶段项目启动(qǐdòng)阶段项目计划阶段需求阶段设计阶段编码阶段集成测试阶段系统测试阶段项目结束单元测试测试过程测试预算测试团队测试计划测试需求测试用例设计测试执行,缺陷管理测试执行,缺陷管理软件测试过程设计第十页，共80页。测试(cèshì)过程模型第十一页，共80页。测试计划和实施(shíshī)的原则(一)穷尽测试是不可能的测试工作具有创造性和挑战性测试是有风险的测试分析(fēnxī)、计划和设计是非常重要的第十二页，共80页。测试计划和实施(shíshī)的原则(二)测试者的工作态度非常重要时间和资源非常重要测试准备和时间表的重要性必须(bìxū)度量和跟踪测试覆盖度第十三页，共80页。测试工作目的测试过程设计如何(rúhé)规划测试测试策略软件测试过程(guòchéng)管理第十四页，共80页。如何(rúhé)规划测试测试对象测试工作范围项目(xiàngmù)限制制定测试策略测试资源和获取第十五页，共80页。如何规划(guīhuà)测试测试(cèshì)作为一个子项目来规划第十六页，共80页。测试(cèshì)对象被测对象的特性基线被测对象的版本如何评价被测对象的质量(zhìliàng)？各个质量(zhìliàng)指标的优先级是什麽？测试(cèshì)需求？第十七页，共80页。测试工作(gōngzuò)范围确定测试(cèshì)工作范围单元测试(cèshì)？集成测试(cèshì)？系统测试(cèshì)？第十八页，共80页。项目(xiàngmù)限制项目(xiàngmù)进度限制项目(xiàngmù)的成本限制资源的限制第十九页，共80页。制定(zhìdìng)测试策略技术方法和工具测试资源的估计和获取（人力、设备、软件工具）测试进度(jìndù)安排测试人员分工测试启动准则测试结束准则与其他组的协同第二十页，共80页。测试(cèshì)资源和获取测试资源(zīyuán)：人力设备软件工具资源(zīyuán)获取方式：人力设备和软件工具第二十一页，共80页。测试工作目的(mùdì)测试过程设计如何规划测试测试策略软件测试过程(guòchéng)管理第二十二页，共80页。技术方法和工具测试进度安排测试人员的分工(fēngōng)测试的启动准则测试结束准则与其他组的协同测试跟踪测试(cèshì)策略第二十三页，共80页。技术(jìshù)方法和工具测试(cèshì)环境测试(cèshì)方法测试(cèshì)程序测试(cèshì)例设计方法第二十四页，共80页。测试进度(jìndù)安排测试(cèshì)工作阶段的划分：计划设计检查执行报告分析如何保证测试(cèshì)计划、设计、实现与开发任务的并行？PDCA模型(móxíng)第二十五页，共80页。测试人员的分工(fēngōng)测试任务分类测试管理测试设计测试实现(shíxiàn)测试执行测试报告第二十六页，共80页。测试的启动(qǐdòng)准则何时可以开始测试？在测试计划阶段就必须(bìxū)明确，而且是在整个项目组达成一致。可参考的准则：完成单元测试，单元测试符合结束准则建立代码基线发布了测试版本通过版本基本验证项第二十七页，共80页。测试结束(jiéshù)准则项目有预先定义的结束时间，因此测试工作也不可能无休止的进行。可参考的测试结束准则：所有需求都进行了验证通过所有功能验证无致命(zhìmìng)和严重的问题第二十八页，共80页。与其他(qítā)组的协同与开发组的协同与配置组的协同与质量经理的协同与项目(xiàngmù)各级管理者的协同第二十九页，共80页。组间协同(xiétóng)-与开发组测试组与开发组共同确认测试的范围开发组为测试方案提供建议(jiànyì)测试组借鉴开发组的程序开发测试程序测试组与开发组共同确认测试开始和启动准则测试组向开发组通报测试结果和分析测试组和开发组之前的版本传递经配置组完成。第三十页，共80页。组间协同(xiétóng)-配置组所有测试记录提交配置组管理所有测试版本(bǎnběn)由配置组负责合成和发布第三十一页，共80页。组间协同(xiétóng)-质量经理与质量经理一起制定测试流程和规范质量经理审计测试的进行(jìnxíng)状况第三十二页，共80页。组间协同(xiétóng)-各级管理者测试组与各级(ɡèjí)管理者共同确认测试的范围各级(ɡèjí)管理者为测试方案提供建议测试组与各级(ɡèjí)管理者共同确认测试开始和启动准则测试组向各级(ɡèjí)管理者通报测试结果和分析各级(ɡèjí)管理者监控测试执行进度和结果第三十三页，共80页。你计划运行多少个测试用例？你实际运行了多少个测试用例？有多少个测试用例失败了，在这些失败的测试用例中，有多少个在错误得到修改后最终运行成功了？这些测试平均占用的运行时间比你预期的长还是短？你有没有跳过一些测试？如果有的话，为什么？你的测试涵盖了所有影响系统(xìtǒng)性能的重要事件吗？你的测试小组是否要求提交一份关于所有测试结果（成功和失败的）累计报告呢？如果是的话，你是否提交了这样一份精确的报告呢？测试(cèshì)跟踪第三十四页，共80页。测试用例工作(gōngzuò)表[项目名称]测试包/用例状态系统配置缺陷ID执行人备注TFP功能测试内资企业开业PassA,B017Jack101………………………包汇总817……………………T：测试用例数量(shùliàng)；F：失败数量(shùliàng)；P：成功数量(shùliàng)第三十五页，共80页。系统配置子表系统配置ID硬件信息操作系统软件信息备注ACPU=6个内存=6G硬盘=100GHPUNIXWeblogic6.0BCPU=4个内存=4G硬盘=100GWindowsNTOracle817第三十六页，共80页。测试(cèshì)包工作表[项目名称]测试包用例总数FailPass等待功能测试500104900性能测试10073……………总计1000100800100百分比10%80%10%第三十七页，共80页。扩展(kuòzhǎn)的测试用例工作表[项目名称]负责人ID测试包/用例状态系统配置缺陷ID负责人计划日期实际日期计划时长实际时长备注TFPJack2.000功能测试2.001内资企业开业PassA,B017Jack13/714/723101………………………包汇总817……………………第三十八页，共80页。软件测试过程(guòchéng)管理缺陷跟踪与管理软件测试管理(guǎnlǐ)第三十九页，共80页。缺陷生命周期如何收集缺陷缺陷的优先级缺陷的状态缺陷的严重程度缺陷的类型缺陷报告缺陷趋势(qūshì)缺陷统计缺陷跟踪(gēnzōng)与管理第四十页，共80页。缺陷(quēxiàn)生命周期第四十一页，共80页。缺陷(quēxiàn)生命周期第四十二页，共80页。缺陷既指程序中存在的错误，例如(lìrú)语法错误、拼写错误或者是一个不正确的程序语句，缺陷也指可能出现在设计中，甚至在需求、规格说明或其他的文档中的种种错误。为了对缺陷进行管理，首先应对缺陷进行分类，通过对缺陷进行分类，可以迅速找出哪一类缺陷的问题最大，然后集中精力预防和排除这一类缺陷。这正是缺陷管理的关键，一旦这几类缺陷得到控制，再进一步找到新的容易引起问题的几类缺陷上。如何收集(shōují)缺陷第四十三页，共80页。缺陷(quēxiàn)的优先级代码(dàimǎ)解决(jiějué)优先级描述1立即解决ResolveImmediately缺陷必须被立即解决2正常排队NormalQueue缺陷需要正常排队等待修复或列入软件发布清单3不紧急NotUrgent缺陷可以在有时间允许时被纠正第四十四页，共80页。缺陷(quēxiàn)的状态代码(dàimǎ)缺陷(quēxiàn)状态描述1已提交Submitted已提交的缺陷2已打开Opened已确认的缺陷，等待修复3已拒绝Rejected拒绝提交的缺陷，不需要修复或不是缺陷4已解决Resolved缺陷已被修复5已关闭Closed被修复的缺陷被确认，将其关闭第四十五页，共80页。缺陷(quēxiàn)的严重程度代码(dàimǎ)缺陷严重(yánzhòng)等级描述1致命缺陷Critical不能执行正常工作功能或重要功能危及生命或财产2严重缺陷Major严重影响系统要求或基本功能的实现且没有办法更正3普通缺陷Minor影响系统要求或基本功能的实现但有办法更正4轻微缺陷Cosmetic是操作者遇到麻烦或不方便，但不影响执行功能5其他缺陷Other其它错误，例如文字错误、布局不合理等第四十六页，共80页。按错误的影响和后果(hòuguǒ)分类按错误的性质和范围分类缺陷(quēxiàn)的类型第四十七页，共80页。按错误(cuòwù)的影响和后果分类其他错误轻微错误普通错误严重(yánzhòng)错误非常严重(yánzhòng)的错误致命错误第四十八页，共80页。按错误(cuòwù)的性质和范围分类功能错误系统错误加工(jiāgōng)错误数据错误代码错误第四十九页，共80页。功能(gōngnéng)错误规格说明错误(cuòwù)功能错误(cuòwù)测试错误(cuòwù)测试标准引起的错误(cuòwù)第五十页，共80页。外部接口错误内部接口错误硬件结构错误操作系统错误软件结构错误控制(kòngzhì)与顺序错误资源管理错误系统(xìtǒng)错误第五十一页，共80页。算术与操作错误初始化错误控制(kòngzhì)和次序错误静态逻辑错误加工(jiāgōng)错误第五十二页，共80页。动态数据错误静态数据错误数据内容(nèiróng)错误数据结构错误数据属性错误数据(shùjù)错误第五十三页，共80页。语法错误打字错误对语句(yǔjù)或指令不正确理解所产生的错误代码(dàimǎ)错误第五十四页，共80页。按软件生存期阶段(jiēduàn)分类问题定义（需求分析）错误规格说明(shuōmíng)错误设计错误编码错误第五十五页，共80页。问题(wèntí)定义（需求分析）错误它们是在软件定义阶段(jiēduàn)，分析员研究用户的要求后所编写的文档中出现的错误。换句话说，这类错误是由于问题定义不满足用户的要求而导致的错误。第五十六页，共80页。不一致性错误冗余性错误不完整性错误不可(bùkě)行错误不可(bùkě)测试错误规格(guīgé)说明错误第五十七页，共80页。设计(shèjì)不完全错误算法错误模块接口错误控制逻辑错误数据结构错误设计(shèjì)错误第五十八页，共80页。编码过程中的错误是多种多样的，大体可归为以下几种：数据说明错、数据使用错、计算(jìsuàn)错、比较错、控制流错、界面错、输入／输出错，及其它的错误。编码(biānmǎ)错误第五十九页，共80页。缺陷报告(bàogào)的目的摘要语言可重现的步骤测试数据截屏严重程序/优先级别日志其他信息缺陷(quēxiàn)报告第六十页，共80页。缺陷(quēxiàn)趋势Open&Close图形缺陷遗漏(yílòu)图形全部解决图形缺陷发现趋势图形第六十一页，共80页。Open&Close图形(túxíng)第六十二页，共80页。理想(lǐxiǎng)Open&Close图形第六十三页，共80页。无休止的Open&Close图形(túxíng)第六十四页，共80页。缺陷遗漏(yílòu)图形第六十五页，共80页。全部解决(jiějué)图形第六十六页，共80页。缺陷(quēxiàn)发现趋势图形第六十七页，共80页。缺陷(quēxiàn)统计缺陷严重程度(chéngdù)分布统计模块-开发员-测试员-缺陷统计模块缺陷率统计项目缺陷率统计第六十八页，共80页。缺陷严重程度分布(fēnbù)统计第六十九页，共80页。模块-开发员-测试员-缺陷(quēxiàn)统计第七十页，共80页。模块(mókuài)代号缺陷(quēxiàn)数N(KLOC)M1001165M10021912M1003307M10046220M1005211M1006143M100762缺陷(quēxiàn)数/KLOC3.21.64.23.1214.735年以下的工程师：缺陷数/KLOC>1212年以下的工程师：缺陷数/KLOC<6模块缺陷率统计第七十一页，共80页。项目(xiàngmù)缺陷率统计第七十二页，共80页。自动化测试工具优缺点自动