《测试管理》资料课件

测试管理TTCP质量管理通道分会2005.5测试管理TTCP质量管理通道分会1自我介绍张辉Hosea无线产品部-〉质量管理组自我介绍张辉2概述测试过程管理成功的测试测试阶段的有效性CMMI定义阶段重点测试资源管理统计分析和决策支持概述3测试管理的目的对产品的整个测试流程进行控制和管理提高公司软件开发尤其是产品测试的管理水平灌输和强化企业的管理理念确保公司开发产品的质量进一步提高公司的市场竞争能力。测试管理的目的对产品的整个测试流程进行控制和管理4测试管理的内容测试流程控制和管理测试资源的管理测试产出，包括所有的过程文档，缺陷等测试资源[人、工具/环境]统计分析和决策支持产品开发和测试的进度产品设计、开发和测试的质量对PMM、DE、TE的工作能力和工作效果进行考核测试管理的内容测试流程控制和管理5概述测试过程管理成功的测试测试阶段的有效性CMMI定义阶段重点测试资源管理统计分析和决策支持概述6软件测试失效分析图测试失效How?单元测试技术性能测试技术功能测试技术回归测试技术问题分析能力缺少工具支持缺陷管理技术复用测试用力少Build后测试介入项目规划不合理when项目组习惯开发测试时间太少缺少测试规范不协调测试与开发测试阶段不清资源紧张公司测试人力What?与用户缺少沟通测试范围不清质量目标不清缺少测试标准测试对象模糊测试需求不明对用户使用环境Where?统一的支持平台开发测试缺乏缺乏了解了解开发环境缺乏按时到位测试资源不能测试开发共用公司资源紧张Who?与开发敌对与开发交流不畅同开发接口不明与QA交流不畅人员变更开发经验不足测试团队协作测试职责不清测试经验不足测试“全才”人员不足软件测试失效分析图测试How?单元测试技术性能测试技术功能测7改善和提高测试成功率参与测试的人员需要什么测试技能？怎样提高测试人员的沟通能力？提升测试的团队协作能力？各类型软件的测试特点质量特性测试技术测试工具问题分析技术合理整合测试的资源/技术/流程/工具等合理规划软件测试、过程的实施指南等怎样改善过程？人技术过程质量目标改善和提高测试成功率参与测试的人员需要什么测试技能？各类型8成功测试的定义成功的测试＝{有效的测试，高效的测试}有效的测试：能够发现大量有效问题，并准确定位高效的测试：一定时间和资源下，发现的有效问题多决定测试成功的因素：『质量目标、测试需求、测试策略、测试技术、测试人员、测试过程、测试环境』成功测试的定义成功的测试＝{有效的测试，高效的测试}9测试成功因素的分析影响测试因素优先级质量目标（测试要达到什么目的）？测试需求（测试些什么？）？测试策略（怎样测？）？测试工具技术（怎样实施？）？测试过程（测试规程与测试过程跟踪）？测试人员？测试环境（测试软硬件环境）？测试成功因素的分析影响测试因素优先级质量目标（测试要达到什么10明确的质量目标质量目标：项目产品要求达到的质量要求测试停止的标准，测试通过的依据PM、DE、TE要有一致的质量目标质量目标要具备：明确性一致性优先级的定义明确的质量目标质量目标：项目产品要求达到的质量要求11明确的质量目标输入SOWSRS“银联”规范1.SOW已得到认证2.相关人员到位1.确定质量指标2.明确质量规范和标准1.质量指标通过有效性检查2.质量指标得到认可1.可度量质量目标信息2.明确质量目标的活动状态的信息质量指标输出质量目标的有效性准则：1.明确性：确定的、可操作的、可跟踪的、无二义性的、能量化的就量化2.一致性：质量目标是得到所有相关人员认可的3.优先级（可选）：在质量目标中给出优先级排序，明确给出重点，这可根据项目实际情况灵活应用。质量目标（银联项目事例）：1.性能：优先级－高。最大每秒处理量大于“XXX”；”YYY”交易量情况下交易相应时间小于“XXX”；并发处理用户数不低于“XXX”；异地交易每秒处理交易量大于“XXX”等等；2.可靠性：优先级－高。具体的质量目标可以是对队列阻塞具有恢复能力；对通讯故障有恢复能力；系统硬件故障有数据安全管理和及数据恢复能力；系统持续正常工作时间大于“XXX”,系统在“YYY”交易量的情况下的持续正常工作时间大于“YYY”等；3.功能：系统具有“XXX”级的系统安全能力；系统具有“XXX”级的数据安全能力；系统功能100％运转等；4.可移植性：新老系统具有数据转换能力。系统的可用性（满足性能和可靠性前提的正常功能）是首要质量目标明确的质量目标输入SOW1.SOW已得到认证1.确定质量指标12有效的测试需求测试需求：明确测试需求，测试内容『体现为软件测试大纲，是一切测试工作的基础，可以包括在测试计划中』项目需求——系统能作什么测试需求——系统能做什么&不能做什么获取不同层次的“测试需求”1.质量要求：功能、性能、可靠性、安全性、操作性和维护2.用户使用场景：验证软件是正确的3.系统使用场景：综合负载的系统表现有效的测试需求测试需求：明确测试需求，测试内容13有效的测试策略测试策略：明确测试阶段，测试类型测试内容对需求的覆盖测试内容的优先等级的划分测试内容重要程度的确定测试类型的确定测试阶段的确定有效的测试策略测试策略：明确测试阶段，测试类型14概述测试过程管理成功的测试测试阶段的有效性CMMI定义阶段重点测试资源管理统计分析和决策支持概述15测试计划测试计划常见的误区：测试工作量太倾向于功能测试不太重视配置测试把压力测试和负载测试总是放在“最后一分钟”通常不进行文档测试通常不测试安装过程过度依赖于Beta测试测试任务串行进行没有有效识别出项目的风险区域测试计划测试计划常见的误区：16测试用例资产管理粒度的把握『实例』设计的难点设计的原则测试用例的有效性：1.无二义性，测试用例的描述要准确，不同测试人员对其无二义性的理解。2.完整的测试步骤；3.完整的数据；4.适当的粒度，根据情况决定测试用例力度的粗细，过粗的测试用例易流于形式，过细的测试用例对于一定场景的测试组合太复杂，而且不易复用。5.可重复性，在后续测试中可复用。测试用例资产管理粒度的把握设计的难点设计的原则测试用例的有效17概述测试过程管理成功的测试测试阶段的有效性CMMI的定义阶段重点测试资源管理统计分析和决策支持概述18CMM中的测试过程约定：项目遵循组织方针实施软件产品工程活动前提条件： 1、为实施软件产品工程活动提供足够的资源和资金 2、软件工程技术人员接受相应的技术培训 3、软件工程技术人员的接受软件工程规范的培训 4、项目经理或其他管理人员接受项目技术内容的宣介验证： 1、高层定期评审产品工程活动 2、PM定期或事件驱动评审软件产品工程活动 3、QA组评审软件产品工程活动、审核软件产品工程产品、 报告质量保证结果度量与分析： 1、应用度量反映产品工程活动的状态CMM中的测试过程约定：项目遵循组织方针实施软件产品工程活动194、（评审测试标准，以及系统达到的各个层次可测试状态，测试计划/规程/测试用例同行评审）3、（评审设计，评审和测试代码单元）2、（评审设计标准，评审需求，评审体系结构，设计同行评审）CMM中的测试过程1、（评审软件需求，评审软件需求问题，需求规格说明进行同行评审。客户/用户评审需求）7、（文档用户评审文档，同行评审，最终文档评审）6、（用户评审验收测试的测试用例）5、（评审测试用例和测试规程）活动：1、需求分析2、系统设计3、编码/构造系统4、测试5、计划和执行集成测试6、计划和执行系统测试和验收测试7、编写相关文档4、（评审测试标准，以及系统达到的各个层次可测试状态，3、（20CMMI中的测试内容确定测试的产品建立测试环境测试环境测试规程和指标测试的产品列表准备测试建立测试规程和指标CMMI中的测试内容确定测试建立测测试环境准备测试建立测21CMMI中的测试内容实施测试分析测试结果测试报告测试结果交叉索引矩阵运行日志操作演示缺陷报告变更请求测试产品和产品部件CMMI中的测试内容实施分析测测试报告缺陷报告测试产品和产品22实用软件的测试过程设计测试测试跟踪与监督明确质量目标计划测试解决问题评价测试执行测试实现测试测试技术内容测试管理内容实用软件的测试过程设计测试测试跟踪与监督明确质量目标计划测试23概述测试过程管理成功的测试测试阶段的有效性CMMI的定义阶段重点测试资源管理统计分析和决策支持概述24计划测试－明确测试过程输入项目计划项目生命周期模型项目状态报告项目质量目标1.项目生命周期模型得到认可2.模型选择理由明确1.根据项目生命周期模型选择测试过程模型1.测试过程通过有效性检查2.质量指标得到认可1.测试过程活动数量（WBS）;2.拟定测试过程的状态；项目测试过程输出质量目标的有效性准则：1.可操作性，在项目资源等约束条件下可操作。2.可跟踪性，实际测试过程中的所有活动都应该可以追溯到测试过程中来3.一致性：测试过程内部的前后一致，各个测试迭代过程的一致：测试过程与其他项目过程的接口一致。不同项目模型下的测试过程：1.瀑布模型下：测试过程具有明显的单向性，需要测试前期准备，往往执行测试和分析测试结果两个过程阶段持续的时间长，在测试过程的管理上更应注重测试后期各种资源的跟踪；2.螺旋模型下：后期测试重点是性能测试，而且是在广泛复用前期测试用例的基础上。3.迭代/增量模型下：增量测试主要体现在功能上，对于性能和可靠性是整体系统的行为，必须是在整体系统或某个相对独立的子系统完成后才能进行计划测试－明确测试过程输入项目计划1.项目生命周期模型得到认25项目计划项目需求项目质量目标项目测试过程测试计划的有效性准则：1.测试类型的完整性，软件测试、环境测试和失效测试满足“可用性”的质量目标。2.测试内容的合理性，给出测试内容的优先级排序；3.测试技术的可行性：关键的测试技术、测试方法和测试工具要有充分的可行性试验数据或历史证据4.测试资源可获取测试大纲：1.测试的内容。测试大纲是测试组通过对项目需求规格说明书的评审，以及业务人员、开发人员和测试人员共同讨论，从业务、技术、集成、测试、切换等多个角度来得到的。测试组一定要参与对需求的评审，不仅从测试的角度评审项目需求的可测试性，而且整理出测试大纲。。。测试计划：1.测试策略/2.资源分配计划测试－－制定测试计划输入1.项目测试过程已定义2.项目需求已认可1.界定测试工作范围2.制定测试策略3.制定测试大纲4.估计/5.风险分析6.确定测试角色和职责7.编写并制定测试计划1.测试计划通过有效性检查2.测试哦计划通过组内和组间的评审1.测试范围估计、工作量估计、资源估计和进度；2.制定测试计划过程的状态测试计划测试大纲输出项目计划测试计划的有效性准则：测试大纲：计划测试－－制定测试26跟踪与监督测试测试计划变更请求测试过程状态的有效性准则：1.及时性，及时反映测试过程中的状态，不要滞后2.测试过程状态的准确性，避免上报的测试状态信息不真，可以结合问题库中的客观内容与测试组员汇报的主观信息综合分析测试跟踪对象：1.所有测试活动的状态和测试产物的状态；2.测试估计和重新估计（规模、工作量、人员、资源、成本、进度－覆盖）；3.测试过程中的问题状态；4.测试风险输入1.测试计划基线化2.变更有记录1.跟踪并记录项目数据2.测试过程信息沟通3.测试问题管理4.测试过程评价与改进6.更新测试计划1.测试状态通过有效性检查1.测试实际工作量、资源和进度的信息2.跟踪测试过程的管理活动状态测试计划测试状态测试变更输出跟踪与监督测试测试计划测试过程状态的有效性准则：测试跟踪对象27设计测试测试计划测试大纲项目设计关键技术：1.覆盖分析法(分析测试用例对测试大纲的覆盖情况)/边界值分析/等价类划分/结构覆盖分析/接口覆盖分析工具支持：1.测试用例设计工具，QARun/Load,WinRunner/LoadRunner2.测试用例管理工具，QADirector/TestDirector测试用例的有效性准则：1.无二义性，测试用例的描述要准确，不同测试人员对其无二义性的理解；2.完整的测试步骤；3.完整的数据；4.适当的粒度，根据情况决定测试用例粒度的粗细，过粗的测试用例易流于形式，过细的测试用例对于一定场景的测试组合太复杂，而且不易复用。5.可重复性，在后续测试中可复用输入1.测试计划基线化2.测试大纲基线化3.设计通过评审1.设计测试用例2.设计测试用例执行规程和步骤3.设定测试完成的覆盖指标1.测试用例通过有效性检查1.测试用例的数量2.跟踪测试用例设计的状态测试用例输出设计测试测试计划关键技术：测试用例的有效性准则：输入1.测试28实现测试（测试开发）测试大纲测试用例工具支持（举例）：QARun/Load,WinRunner/LoadRunner都有二次开发能力，QALoad开发更是有2种方法，一种是基于录制、回放原理进行，通过编辑测试代码，配置数据池的方式完成性能测试；另一种是基于QAload提供的库函数进行开发，测试人员自行编写测试脚本，并配置符合业务实际情况的数据池。前一种方式比较简单，但无法完成对系统的深层测试：后者有大量的开发工作，技术难度高，但是非常灵活，能够对系统进行深层的测试测试部件、脚本的有效性准则：1.支持部件的正确性和覆盖性，部件本身应该正确，无异常错误，并且覆盖被测对象所有的接口状态。2.脚本的高效性，脚本执行效率应该高，而且结果明确。输入1.测试用例相对测试大纲通过冗余检查1.生成测试脚本2.设计测试支持部件3.实现测试支持部件4.测试工具开发设计1.测试部件通过有效性检查2.测试脚本通过有效性检查1.测试部件的数量、状态。测试脚本测试部件输出实现测试（测试开发）测试大纲工具支持（举例）：测试部件、脚本29执行测试确认测试、验收测试、α测试、β测试等回归测试功能域测试接收测试系统测试集成测试执行测试确认测试、验收测试、α测试、β测试等回归测试功能域测30评价测试问题报告结果报告软件问题分析（举例）：1.软件问题密度分布，给出软件问题相对软件问题所在的区域、软件问题产生的过程阶段的分布情况。80/20表现2.软件问题修改率/3.软件问题发现率4.列出延期的软件问题5.列出处于“打开”状态和“待验”状态的软件问题6.严重问题的生命周期分析/7.漏出的软件问题分布分析报告、评价报告有效性准则：可追溯性1.分析结果可回溯，记录分析的前提条件及相关假设，可以重现分析结果；2.评价结果可根据评价的依据重现。输入1.所有问题已入库2.测试结果报告已通过测试负责人的审查1.统计分析软件结果报告和问题报告2.分析系统问题3.评价测试结果4.评价测试过程5.提交评价报告1.分析结果通过有效性检查2.评价结果通过有效性检查1.问题的数量、状态/2.测试投入问题统计问题分析评价报告输出评价测试问题报告软件问题分析（举例）：分析报告、评价报告有效31项目中测试过程的里程碑项目里程碑测试过程里程碑备注项目启动测试负责人角色到位需求里程碑测试计划里程碑完成测试大纲和测试计划设计里程碑测试设计里程碑完成测试用例构造和集成里程碑实现测试进行集成测试或子系统测试测试和交互执行测试：功能冻结执行测试：代码冻结主要进行系统测试和回归测试等项目结束测试评价对系统或产品进行质量评价对测试过程进行评价或改善项目中测试过程的里程碑项目里程碑测试过程里程碑备注项目启动测32概述测试过程管理成功的测试测试阶段的有效性CMMI的定义阶段重点测试资源管理统计分析和决策支持概述33测试人员的工作绩效的评价误区：仅从提交的问题单数量、测试执行用例数量来判断测试人员的好坏对测试人员发现的问题的价值没有进行评估不重视测试文档的质量不重视测试人员的综合能力[必须本着以测试质量为重、对测试负责的角度对测试人员绩效进行客观评价。通过合理的绩效评价，让测试人员以积极的心态投入的测试工作中]测试人员的工作绩效的评价误区：34例子：模块A很不稳定，潜在的问题数可能有100个，由测试人员甲负责测试，他一个月执行300个用例，提交50个问题单，发现30个有效问题，有10个严重问题；

模块B比较稳定，潜在的问题数可能有20个，由测试人员乙负责测试，他一个月执行100个用例，提交20个问题单，发现18个有效问题，有8个严重问题；

分析：甲提交的问题单数量和执行用例数量都要远远高于乙模块B的遗留问题显然少于模块A甲执行测试的充分性显然不如乙甲提交的问题单虽然很多，但近半数是非问题，做了无用功，还影响到开发人员对问题的定位所消耗的时间。

例子：模块A很不稳定，潜在的问题数可能有100个，由测试人员35考核例子类型评定参数类型评定参数问题单提交的无效问题单比率用例执行用例数问题单的描述的规范性用例评审次数问题单中严重问题所占比例新创建的用例数问题的质量新增用例的价值需求设计等评审提出问题数需要评审的用例文档测试报告的质量修改删除的用例数内部测试经验的文档培训培训考核考核例子类型评定参数类型评定参数问题单提交的无效问题单比率用36测试文档管理测试文档包括：测试计划测试大纲/测试用例测试开发的设计文档缺陷列表、测试记录测试报告。。。文档的版本要与开发的版本保持一致对于测试用例要求尽量可复用测试报告中的数据需要进行积累测试文档管理测试文档包括：37缺陷管理－－工具『你们用什么来进行缺陷管理？』缺陷管理－－工具『你们用什么来进行缺陷管理？』38缺陷管理－－工具缺陷管理的可用的方法：Word、Excel专门的缺陷管理工具『ClearQuest/TestDriector/Bugzilla/Mantis/…』Outlook里面的电子流Web页面的管理系统『无论何种工具他们的基础属性都是一致。。。』缺陷管理－－工具缺陷管理的可用的方法：39缺陷管理－－问题属性标识问题记录时间项目名字状态优先级详细描述注入阶段作者质量工程师/发现者测试用例发现日期简单描述功能区域子状态严重程度对应版本或Build发现阶段开发人员环境信息问题历史缺陷管理－－问题属性标识发现日期40缺陷管理－－问题状态OpenFixedTMRejectedReopenClosedWaitTEDEDETMDETETEDENewTETETE缺陷管理－－问题状态OpenFixedTMRejectedR41缺陷管理－－问题类型错误类型类型说明用户界面错误界面显示的普通文