产品测试管理培训

1、产品测试管理将研发战略转化为高效的行动1内容提要1、产品测试管理综述2、产品测试管理体系3、产品测试流程4、产品测试组织5、产品测试度量2第一节:产品测试管理综述3质量基本概念探讨质量管理体系与测试产品测试的基本原则产品测试的常见方法产品测试管理综述产品测试管理综述4质量基本概念探讨地球的质量约为61024千克高质量的生活如何提高睡眠质量。.(生活中广义的质量定义)符合需求适用/fitness for use“must-be quality”and”attractive quality”.对客户的价值.(专家学者的质量定义)5质量基本概念探讨质量基本概念探讨-如何衡量?产品/服务固有特性客户要

2、求和期望符合指导0 50% 100%6质量管理体系与测试质量管理的发展 ISO9000 ISO14000 CMMI/QS9000 数理统计 抽样检查 专职检查 严格控制 全面质量管理统计质量管理质量检验阶段7质量管理体系与测试质量管理的活动 -质量策划 -质量控制 -质量保证 -质量改进质量管理方法及工具 -PDCA -新老七种工具 -SPC/FMEA/QFD8质量管理体系与测试质量测试成本分析 利润 预防 POC 评估 质量成本 销售收入 Failure ponc 运营成本 开发 销售/行政/人事等必要成本 思考:1测试越充分越全面越好吗?9产品测试的基本原则测试的定义我们认为测试是为了:

3、-发现系统存在的问题-树立对系统的信心-增强团队对系统的熟悉程度,了解系统固有的缺陷10产品测试的基本原则测试的一个事实:彻底的测试实际上不可操作!-如果让我再测一遍,肯定能发现问题(某测试人员)-我们如何面对这种局面?11产品测试的基本原则1 .客户化测试 系统中有许多错误 客户遇到的错误只占很小比例 针对客户最容易遇到的错误进行测试,以便改进测试的有效性IBM: 客户所看到的57%以上的故障是由占错误总数2%以下的错误引起的.OperationscenarioTestscenario12产品测试的基本原则2 .不同的测试等级不同系统/子系统需要不同测试质量要求A灾难性的影响 C重要的影响需

4、要MC/DC测试 需要SC测试-引擎控制 -无线数据链接-飞行计算-导航处理B危险的影响 D次要性影响需DC测试 函数进入/退出覆盖率测试-差分GPS -飞机内娱乐设施-飞机之间接近感应133 .尽早测试在部署之后又发现软件问题再进行修复，这通常要多花100到1000倍的成本。要防患于未然.在特定时间达到既定目标，在整个项目生命周期内不断对质量进行检验和管理必不可少。产品测试的基本原则144 . Good-enough这是一种权衡投入/产出比的原则，测试既不要不充分也不要过分。不充分和过分都是一种不负责任的表现。产品测试的基本原则155 . PARETO(排列图)一般情况下，在分析、设计、实验

5、阶段的评审和测试工作能够发现和避免80%的BUG，而系统的软件测试能够找出其余BUG中的80%。最后约5%的BUG只有在用户大范围、长时间的使用才会暴露出来。因此测试只能保证尽可能多地发现错误，不能保证发现所有的错误。产品测试的基本原则16小节结 -完全测试基本不可能，应制定合理的策略 -客户化测试 -质量目标和测试强度 -为了减少投入，主张尽早测试 -测试需要在投入与收益上取得平衡 -专网捕鱼策略讨论：质量是设计出来的，还是测试出来的？产品测试的基本原则17常见的测试方法白盒测试结构测试（打开盒子）黑盒测试功能测试（不关心内部结构）单元测试（软件单元模块）集成测试（软件集成模块）其它测试系统

6、测试公司内部测试，完全受控Alpha 测试模拟用户环境，基本受控 Beta测试真实用户环境，不受控18第二节:产品测试管理体系19产品测试管理体系1.产品测试管理体系概述2.产品测试流程及生命周期3.产品测试项目管理4. 产品测试管理20产品测试管理体系概述质量管理体系与测试管理体系映射流程组织测度流程测试测试组织21研发管理体系中的“测试”、投资管理团队中需包括：（便于较快传达上级的产品变化情况）研发总监测试总监市场总监财务总监制造总监2、产品测试从产品概念阶段就需参与。（做出可测试性分析，能测哪些？不能做哪些？或委外等）3、计划阶段需做测试策略和计划产品测试管理体系概述22产品测试流程及生

7、命周期1、瀑布模型（适用于开发过程变化较小，风险小的项目）2、V模型、3、W模型（开发与测试并行）23项目管理知识体系产品测试项目管理项目整体管理人力资源管理项目沟通管理项目风险管理项目采购管理项目范围管理项目时间管理项目成本管理项目质量管理24测试项目管理总体过程确定测试范围，启动测试项目设定测试目标（成本/进度/质量）制定测试策略/定义测试过程制定测试计划（进度/资源/风险。）计划监控（会议/报告。）问题和风险管理（定量与定性）变更控制（整体联动）阶段项目总结产品测试项目管理25产品测试管理质量保证TQA一手软一手硬引导和培训 产品过程审计26评审：（避免“抓壮丁”、“科普会”、“批斗会”

8、）业务决策评审立项/概念/计划/技术评审需求/规划/计划同行评审正规检视走读产品测试管理27 第三节: 产品测试流程28产品测试流程产品测试全流程分析产品开发各阶段的测试活动产品测试自动化29产品测试全流程分析定义可测试性需求系统需求分析、功能分析、设计综合定义产品包验证主计划系统需求分析、功能分析、设计综合系统需求分析、功能分析、设计综合系统需求分析、功能分析、设计综合定义产品测试策略系统需求分析、功能分析、设计综合系统需求分析、功能分析、设计综合系统需求分析、功能分析、设计综合系统需求分析、功能分析、设计综合系统需求分析、功能分析、设计综合系统需求分析、功能分析、设计综合系统需求分析、功能

9、分析、设计综合概念阶段计划阶段开发阶段验证阶段30概念阶段的测试活动要点参与市场需求分析及验证负责收集可测试方面的需求初步制定测试策略参与概念决策评审31计划阶段的测试活动要点：负责制定验证测试计划可测试性测试设计经济效益与测试周期的衡量32要点协助开发，并监督单元测试，集成测试的开展。领导系统设计验证（SDV，原型机）系统集成测试（SIT，初始产品）技术评审开发阶段的测试活动33SDV主要活动(对原型机渐增BUILD测试)序号测试活动序号测试活动1测试设计更新9EMC2软件集成测试10安全测试3模块/子系统硬件/软件测试11噪声测试4内部接口验证12热测试5功能测试13环境测试6性能/指标测

10、试14可靠性强化测试7软件协议一致性测试15回归测试8容限/容错测试16需要的特别测试开发阶段的测试活动34开发阶段的测试活动SIT主要活动(初始产品) 当初始产品与原型机没有差别时,SIT就没有必要重复做一次同样的渐增测试.序号测试活动序号测试活动1测试设计更新9EMC2系统功能测试10环境测试3系统性能指标测试11噪声测试4软件协议一致性测试12热测试5容限/容错测试13可靠性鉴定测试6可用性测试14安全测试7组网测试15包装测试8回归测试16需要的特别测试35验证阶段的测试活动要点(验证制造流程)系统验证测试(SVT)BATA测试测试结果评估技术评审主要活动:1、EMC测试2、环境测试3

11、、安全测试4、回归测试5、一致性测试6、需要的特别测试36产品测试自动化不适合自动化测试的领域一次性项目项目周期短的项目业务规则复杂的项目自动化测试误区期望自动化测试完全代替手工测试期望自动化测试发现大量的缺陷遥不可及测试工具开发失败的分析缺少组织保证领导不重视过分追求大而全缺少历史工具的继承缺少推广服务意识37 第四节: 产品测试组织38产品测试组织产品测试在组织中的角色分析 -协助者? -反对者? -破坏者? -建设者? -领导者?思考:我们扮演了什么角色? 我们应该扮演什么角色?39产品测试组织产品测试组织演化产品测试团队结构分析产品测试关键角色分析测试人员职业发展40产品测试组织演化公

12、司的测试组织属于哪个阶段！混淆阶段没有专职的测试人员缺少完善的测试流程测试手段单一严格区分阶段测试部门独立专职测试人员不断完善的测试流程测试工具技术开发专业协作阶段专职测试人员完备的测试流程人人具备测试意识测试工具技术开发运营测试41第一步：重点开展系统测试工作控制测试版本的提交频度和过程，加强基线管理约束系统测试中开发、测试的责任重点开展功能测试、业务测试开始积累测试用例开始系统测试过程管理开始单元测试的操作，规定具体的测试量化指标开始代码静态检查工具的引入实例：公司测试部发展历程42第二步：重点开展专项测试、测试工具引入加强市场问题的收集、汇总，补充到测试用例库加强版本走向市场的控制开展性

13、能、安全性、可靠性等专项测试引入专项测试工具开始系统测试过程度量实例：公司测试部发展历程43第三步：测试小工具开发、需求可测试分析针对系统测试中的具体需要开始专项小测试工具的开发在商业工具的基础上考虑二次开发开始产品开发前端工作，具体参与产品的需求分析、规格确定，确保需求、规格的可测试性产品开发前期就确定后期的测试规划实例：公司测试部发展历程44实例：公司测试部发展历程第四步：测试平台构造、集成测试整合历史测试工具，从而形成更加系统的测试工具开始规划测试公共技术平台测试工具的开发产品化运作开始集成测试工作开始关注测试技术的发展45实例：公司测试部发展历程第五步：构造测试、运营测试、测试标准、可

14、测试性设计“每日构造”测试整网测试、标准测试、规范测试参与测试标准的制定大量申请测试专利制定可测试性设计方面的规范，并在实际产品测试中施行46产品测试团队结构跨部门产品开发团队PDTPDT成员分别来自各个功能/职能部门PDT功能/职能部门代表共同对产品负责研发 市场制造 LPDT核心组项目经理扩展/外围组47测试部门经理角色及义务管理并发展测试部人事/财务等部门基本运作建立优异的测试队伍领导测试技术平台开发项目执行测试部门的预算提供测试技术领导定义测试的策略、指导原则、工具和标准协调跨项目的测试合作制定并维护测试流程方针支持产品开发团队工作确定项目测试的人员和资源参与相关测试项目的评审产品测试

15、关键角色分析48测试项目经理测试经理的素质特征及性格特征素质特征1、有管理经验，是一个精明而讲究实际的管理者2、有个性魅力，使项目组成员快乐而有生气3、有全流程的丰富的工作经验4、具有创造性思维5、具有灵活性，同时具有组织性和纪律性性格特征1、诚实、正直、热情 2、沉着、冷静、果断3、善于沟通 4、敏感、反应敏捷5、多面手 6、精力充沛、坚忍不拔7、自信、有进取心 8、善解人意产品测试关键角色分析49产品测试关键角色分析测试工程师测试人员的素质要求1、沟通能力量对比 2、技术能力3、自信心 4、外交能力5、幽默感 6、很强的记忆能力7、耐心 8、怀疑精神9、自我督促 10、洞察力11、敢于“较

16、真”的精神 12、细心13、责任心 14、板凳要做十年冷的精神15、逆向思维能力50测试人员职业发展1、测式人员的双重晋升机制2、测试人员技术任职资格3、测试人员的工作重点划分51测试人员的双重晋升机制领导者管理者监督者资深专家高级专家专家有经验者初做者52 6级 5级 4级 3级 2级 1级专家经验丰富的骨干业务实施的基层主体每级分为四等:职业等、普通等、基础等、预备等审请、审核考试提供证据评议评审颁证测试人员技术任职资格53测试人员技术任职资格资格等级工作经验一级1年以上测试工作经验；具有系统测试用例执行，单元测试工作经验。二级2年以上测试工作经验；具有较多系统测试执行、测试用例编写，单元

17、测试设计与执行工作经验。三级3年以上测试工作经验；具有测试方案设计经验，有带领团队完成版本测试的经验。有领导实验局开通的工作经验，有单元测试/集成测试设计的经验，以及指导相关测试验员进行测试的经验。四级4年以上测试工作经验；具备产品测试技术领域较全面的知识，具有解决产品开发过程中的重大技术问题，参与测试技术发展的决策工作的经验。测试过产品系统可测试性设计，参与过测试仪工具的设计/开发工作。五级5年以上测试工作经验；具备产品软件技术领域、系统领域全面的知识，有解决产品开发过程中的重大技术难题的经验，有预见企业未来产品的测试技术走向，并组织测试技术研究的经验。具备相关流程规范标准的建设和优化经验，

18、是公司测试领域的技术带头人。六级6年以上测试工作经验；具备产品软件技术领域、系统领域广博精深的知识，有解决产品开发过程中的重大系统类技术难题的经验，有参与决策企业未来产品的测试技术走向的经验，是公司测试技术的权威。参与过公司级别测度平台的规划工作。54 第五节: 产品测试度量55产品测试度量产品测试度量介绍产品测试核心度量产品测试缺陷分析基础产品测试缺陷分析方法产品测试度量与绩效考核56产品测试度量的介绍为什么要度量？刻画（系统/产品的成熟程度）评估（是否达到相应的要求）预测改进57产品测试度量的介绍什么是度量？-测量（直接的） 问题数 测试用例数 测试工作量-度量（间接的，算出来的） 测试效

19、率 缺陷密度 缺陷移除率58产品测试度量的介绍度量的基本原则业务目标驱动不去定义不会收集的度量项/指标不去搜集不会分析的度量数据不分析不会使用的度量量力而行59产品测试的核心度量四个基本度量项-规模-工作量-进度-缺陷-客户满意度产品测试核心度量-测试规模？-测试工作量？-测试进度？-产品缺陷（测试工作质量如何度量？）-测试效率60缺陷分析基础缺陷基本分类需求缺陷：如需求不明确、不合理、不可测、不完整等。设计缺陷：如设计与需求不符，设计错误，设计不全面等。编码缺陷：如内存泄露、指针未初始化、功能错误、逻辑错误、接口错误等。文档缺陷：指交付给最终用户文档中的错误。测试用例缺陷：指测试用例设计中所

20、犯缺陷。其他缺陷：指在支持软件产品开发或维护的软件人工制品中所发现的缺陷，包括测试工具、编译器、配置库、以及其他的计算机辅助软件工程工具。61缺陷分析基础缺陷其他分类-按严重等级致命问题严重问题一般问题建意问题-按程序错误类型注释/消息语法接口数据函数62缺陷分析方法、正交缺陷分类、Rayleigh曲线、Gompertz模型(可靠性分析)、四象限分析、根源分析63缺陷控制和缺陷预防统计过程分析特定问题和共性问题不同阶段的缺陷、问题反馈建议的措施已实施的行动阶段开工会根源分析会议行动措施数据库缺陷预防数据库项目阶段64测试度量指标（一）度量项含义目的/意义测试生产率单位工作量所测试的代码量、功能点数一个团队的测试能力工作量偏差率实际花费工作量相对于估计工作量的偏差百分比制定付费清单；提高估计技能；避免过载分配任务测试进度偏差率项目实际测试进度相对于计划测试进度