工程化测试过程和方法.ppt

同步科技 author: henry Date: 20 Sep, 2007 工程化测试过程和方法 * 同步科技 课程介绍 目标 熟悉工程化测试的过程和方法 听众 测试管理人员、测试工程师 高级经理、项目经理 应用开发人员 QA人员 必备条件 熟悉开发生命周期 对测试有基本的了解 Date 同步科技 课程内容 开展软件测试的时机 测试生命周期 工程化测试方法 计划测试：测试需求、风险评估、测试策略、资源 设计测试：黑盒白盒的用例设计、构造测试过程 开发测试：脚本录制及注意事项 执行测试：环境准备、缺陷记录、意外处理 评估测试：评估标准、结果分析 缺陷管理：缺陷生命周期、缺陷维护、缺陷分析 Date 同步科技 软件测试管理 下面我们学习 开展软件测试的时机 尽早开展测试工作 同步科技 测试人员 项目持续时间 测试人员 100% 50% 0% 完成比率 代码实现 消除缺陷 质量问题 延迟上市 维护的费用 1x 10x 100x 尽早开展测试的重要性 同步科技 项目持续时间 100% 50% 0% 完成比率 消除缺陷 消除缺陷 保证软件质量 缩短上市时间 尽早开展测试的重要性 同步科技 风险 代码完成 可靠性 功能 应用性能 系统性能 风险 越早开展测试 工作风险越小 传统的测试 是在代码实 现之后进行 尽早开展测试的重要性 同步科技 缺陷的代价 错误被发现和纠正的越早，为修复而付出的代 价却显得越小。 Date 同步科技 软件测试管理 下面我们学习 软件测试生命周期： 计划 设计 实现 执行 评估 缺陷跟踪 同步科技 开发生命周期和测试生命周期 开发生命周期开发生命周期 维护 需求定义应用定义 应用开发 修订 建立 建立 测试生命周期测试生命周期 执行. 执行执行. 测试计划 缺陷跟踪 测试开发 测试设计 评估 同步科技 测试计划 定义测试项目的阶段，以便于对项目进行适当的评 估与控制。 包括测试需求，测试策略，测试资源和测试计划。 测试生命周期-测试计划 . . . . 执行. 执行 测试计划 缺陷跟踪 测试开发 测试设计 评估 建立 建立 . . . . 执行 建立 同步科技 测试设计 设计测试的策略和方法，如：设计驱动、稳定桩 等；还需要确定自动测试的内容和性能测试的内 容。 测试生命周期-测试设计 . . . . 执行. 执行 测试计划 缺陷跟踪 测试开发 测试设计 评估 建立 建立 . . . . 执行 建立 同步科技 测试开发 对已定义的测试设计进行创建或修正，并开发出 详细的测试过程、测试用例和测试脚本等。 测试生命周期-测试开发 . . . . 执行执行. 测试计划 缺陷跟踪 测试开发 测试设计 评估 建立 建立 . . . . 执行 建立 同步科技 测试执行 u按照设计的测试策略和过程，执行测试用例，并 记录测试的结果。 测试生命周期-测试执行 . . . . 执行执行 测试计划 缺陷跟踪 测试开发 测试设计 评估 建立建立 . . . . 执行 建立 同步科技 测试评估 u分析测试结果并判断测试的标准是否被满足（完 毕、通过等等）。 测试生命周期-测试评估 . . . . 执行. 执行. 测试计划 缺陷跟踪 测试开发 测试设计 评估 建立建立 . . . . 执行. 建立 同步科技 缺陷跟踪 u记录测试事件和发现的问题，提出解决它们的方案 并进行跟踪，直到问题得到解决。 测试生命周期-缺陷跟踪 . . . . 执行. 执行. 测试计划 缺陷跟踪 测试开发 测试设计 评估 建立建立 . . . . 执行. 建立 同步科技 工程化测试方法 下面我们学习 计划测试： 测试需求 风险评估 测试进度 测试策略 资源 评审计划 生成生成测试计划测试计划 同步科技 测试需求 详细说明要验证的被测软件的工作情况，列出 测试点,指出测试范围和任务。 业务功能、流程 性能指标 用户界面的表现 nWindows nDialog boxes nControls n. . . 保证测试需求可被验证，有明显可衡量的结果 。 用户期待内容是否完成，用户期待内容是否完成， 极大的影响用户满意程度极大的影响用户满意程度! ! 同步科技 测试需求 测试需求的关键点 正确的表示测试需求 确定测试需求的优先级 确定测试需求的焦点核心 设定测试完整性的尺度 Date 同步科技 测试需求 测试需求来源 项目组 n文档（需求规格说明、用户需求、设计文档、手册） n培训 n项目组会议 客户 n业务规则 n行业参考 潜在用户 n已有系统 n使用习惯 Date 同步科技 风险评估 风险包括的两特性 不确定性 损失 风险类别(根据其影响程度) 灾难性的 严重的 轻微的 可忽略的 Date 同步科技 风险评估 评估角度 人员及经验 时间 技术 工具 支持 Date 同步科技 测试进度 以项目开发计划的进度为基础； 以测试生命周期为裁剪对象； 制定出符合项目实际情况的测试进度； Date 同步科技 测试进度 确定测试阶段 确定里程碑及对应的交付物 将测试工作范围进行细化和分解，形成工作分 解结构（WBS） 以网络图的形式说明WBS 中各项任务的相互 顺序和依赖关系 估计整个测试的工期和成本 Date 同步科技 测试策略 描述起始方法和目标: 测试技术和工具 测试完成的标准 特殊的考虑 n包括资源需求和进度表等 Date 同步科技 测试策略 要考虑的问题: 选择测试尺度 时间、价值和质量的替换 了解风险性 使用的工具 使用的一般和特殊的技术 Date 同步科技 测试策略项测试策略项例子例子 测试的级别测试的级别: :系统系统 测试类型测试类型: :功能功能 技术技术: : 为每个主要功能建立测试过程为每个主要功能建立测试过程. . 所有夜间进行的测试是否被执行，所有夜间进行的测试是否被执行， 数据数据/ /结果是否得到验证结果是否得到验证 完成尺度完成尺度: : 所有的测试过程被执行所有的测试过程被执行 所有易出问题的功能必须被执行所有易出问题的功能必须被执行. . 严重性级别为严重性级别为1 1或或 2 2的缺陷不再出现的缺陷不再出现 其它因素其它因素: : “ “测试必须在下午测试必须在下午7:007:00以后到上午以后到上午 9:009:00之前进行之前进行.“ .“ 测试策略 Date 同步科技 资源 人力资源-测试经理 职责 n全面的管理 -测试计划 n采集资源 n项目报告 - 测试评估 要求 n有测试过程的知识 n熟悉测试工具 n有领导才能 n懂得项目的管理 Date 同步科技 资源 人力资源-测试工程师 (设计者/开发者) 职责 n分解测试需求 n测试设计 n测试开发 要求 n有应用需求方面的知识 n熟悉测试工具 n编程的技巧(附加) Date 同步科技 资源 人力资源-测试工程师 (测试执行) 职责 n执行测试 n产生日志结果 n检查修正的错误 要求 n了解要测试的系统网络服务器等 n熟悉测试工具 n有诊断的技巧 n善于观察，能识别细微的差别 Date 同步科技 资源 人力资源-测试系统管理员 职责 n管理测试的系统 n添加新用户 n处理用户的要求 要求 n系统管理的经验和方法 n熟悉测试管理工具 Date 同步科技 资源 系统资源 测试开发系统 测试管理系统 测试存储库 客户测试系统 设备资源 服务器 客户机 网络 Date 同步科技 资源 数据资源 恢复数据到指定的状态 n备份工具 n数据库实用工具 如果数据不能被恢复，需要设计上的考虑 n记录池 n备份记录等 Date 同步科技 生成计划 目标及范围 注：不被测试特性也要作出说明 测试策略 资源要求 人员/组织 进度安排 测试管理 测试开始/结束准则 测试移交（准则、涉及人员）、交互 风险和应急 其他 （切实可行）（切实可行） 合理的测试计划合理的测试计划 Date 同步科技 评审测试计划 测试计划确定后，一定要和开发组成员一起评 审测试计划； 参与人员有： 项目经理 配置经理 QA人员 测试组所有人员 客户 不能和开发计划有冲突。 Date 同步科技 工程化测试方法 下面我们学习 设计测试： 黑盒白盒的用例设计 构造测试过程 静态评估 Date 同步科技 找出并描述测试用例 分析应用工作流 描述测试活动 找到测试用例 描述测试用例 被测对象或应用说明 期望结果，如输出状态、条件或数据值 确定测试用例数据 作为输入数据的值 测试期待结果值 支持用例的数据，不作为输入、输出 Date 同步科技 测试用例设计方法 白盒测试用例设计 逻辑覆盖法： n语句覆盖 n判定覆盖 n条件覆盖 n判定-条件覆盖 n条件组合覆盖 n路径覆盖 基本路径法 Date 同步科技 测试用例设计方法 黑盒测试用例设计 等价类划分法 边界值分析法 错误推测法 因果图法 功能图分析法 。 Date 同步科技 确定并构造测试过程 检查应用工作流 检查事件流 检查已有过程的描述 遍历系统提供的功能 Date 同步科技 确定并构造测试过程 开发测试模型 确定测试过程关系和顺序 确定测试起始条件(状态) 、终止条件(状态) 指出测试过程的测试用例 考虑的问题 相同测试过程是否满足关联的测试用例 测试行为步骤可能包括不同的测试过程 测试过程也可包含其它测试过程 Date 同步科技 确定并构造测试过程 构造测试过程 建立测试需要的数据 测试过程的起始条件、状态、行为 测试步骤 输入的数据值 期待的结果 结果评估 定义测试过程的结束条件、状态、行为 Date 同步科技 评估测试覆盖 覆盖的度量标准 基于需求的覆盖 基于代码的覆盖 判定标准均采用完成测试项的百分比 生成覆盖报告 测试有关人员 软件开发代表 文档管理代表 Date 同步科技 工程化测试方法 下面我们学习 开发测试： 脚本编写以及注意事项 Date 同步科技 编写测试脚本 创建测试脚本 参考已有的有价值的脚本 建立测试环境 建立脚本 修改脚本(如果必要) Date 同步科技 录制 vs. 编程 产生产生 Window SetContext (揗y app? MenuSelect 揊ileOpen Window SetContext (揥indow 2? ComboBox click 揊ile 1 Push Button click 揙K Window SetContext (揗y app? MenuSelect 揊ormatFonts Programming Programming Power and controlPower and control Rapid creationRapid creation Usable by non-programmersUsable by non-programmers Record/playback Record/playback 录制和编写测试脚本 先录制，如果需要的话再编程先录制，如果需要的话再编程 Date 同步科技 录制和编写测试脚本 创建测试脚本应注意： 尽量使测试脚本可重用 尽可能减少测试脚本的维护量 如果可能，尽量使用已有的测试脚本 使用测试工具创建测试脚本，减少手工作业 Date 同步科技 录制和编写测试脚本 检查/调试测试脚本 建立测试环境 重新初始化环境 执行测试脚本 评估测试结果 n结果与期望值相同：不必其他操作 n不是期望的结果：找出问题发生的原因并解决问题 Date 同步科技 建立外部数据集 创建外部数据集 查阅测试用例、测试过程 使用适当的工具和方法创建数据集 利用数据集对测试脚本调整 调试测试脚本 1010 2020 3030 4040 5050 Data SetsData SetsTest ProcedureTest Procedure Script CommandsScript Commands Date 同步科技 建立外部数据集 使用外部数据集的好处： 使测试脚本中不含数据，易于维护 使数据易于修改，不受脚本影响 方便增添测试用例，较少或避免修改测试脚本 外部数据能够被多个测试脚本共享 外部数据集中可包含用于控制测试脚本的数据值 Date 同步科技 确定测试特需的功能 驱动模块 如果被测试对象需要驱动模块才能测试，就需要开 发驱动模块程序； 桩模块 如果被测试对象需要桩模块才能测试，就需要开发 桩模块程序； Date 同步科技 工程化测试方法 下面我们学习 执行测试： 环境准备 按测试用例执行 缺陷记录和传递 回测 意外处理 Date 同步科技 准备测试环境 测试环境的部署和维护是一项需要详细策划的 工作； 部署合理的测试环境是达到测试目标的前提和 条件。 测试环境将直接影响到软件测试结果的真实性 、可靠性和正确性。 Date 同步科技 准备测试环境 搭建测试环境，包括： 单元测试需要编译执行环境； 数据处理，需要基础数据环境； 网络环境 服务器、客户机环境 中间件、工作流 其它支持软件 备份测试环境，构建可“复用”的测试环境。 Date 同步科技 测试执行 任何工程产品都可以使用以下的两种方法进行 测试： 已知产品的功能设计规格，可以进行测试证明每个 实现了的功能是否符合要求。（黑盒测试）。 已知产品的内部工作过程，可以通过测试证明每种 内部操作是否符合设计规格的要求，所有内部成分 是否已经过检查。（白盒测试） Date 同步科技 测试执行 两种测试方法从不同的角度出发，反映了软件 的不同侧面，也适用于不同的开发环境 黑盒测试测试白盒测试测试系统 Date 同步科技 记录缺陷 记录缺陷 文档记录（日志、报告） 工具记录 传递缺陷 人工传递 状态传递 追踪缺陷 参见后面的缺陷管理 Date 同步科技 缺陷内容 一个缺陷或报告的内容，一般包括： 发现的阶段 发现的模块/子系统 状态 发现人员 修改人员、修改时间 修改的预期版本 严重级别、修改的优先级别 缺陷描述（概述、详述、附加文件） Date 同步科技 回测 目的是为了测试由于修正缺陷而更新的程序， 以确保修正了上一版本的缺陷，且没有引入新 的缺陷； 开发人员修复了提交的缺陷后，测试人员需要 对这些缺陷进行再次测试，并对相关的功能和 应用也进行测试。 Date 同步科技 意外处理 发生不可传递的缺陷时，测试组可以把系统退 回给开发组； 需求做重大调整时，测试工作可能会暂停； 测试发生意外中断时，需要及时恢复。 Date 同步科技 意外处理 不同的测试意外中断： 当测试脚本正在执行的时候，有预想不到的动作、 窗口、事件发生 测试环境没有响应或不是期待的状态（如挂起或失 败） 致命错误系统失败（网络 、硬件等） Date 同步科技 意外处理 如何从失败中恢复： 确定错误发生的真正原因 纠正错误 重新建立测试环境 重新初始化测试环境 重新执行测试 Date 同步科技 工程化测试方法 下面我们学习 评估测试： 评估标准 Date 同步科技 评估测试-测试用例覆盖 覆盖要判定： 对于测试目标有多少测试用例，已执行的测试用例 数 成功执行的测试用例数 确保100%的测试用例全部成功地执行 制定测试覆盖标准，考虑： 风险和严重性 可接受的覆盖百分比 Date 同步科技 评估测试-代码覆盖 覆盖要判定： 测试目标期望的总测试代码，在测试中真正执行的 代码，及其百分比 将此结果记录在测试评估报告中 Date 同步科技 评估测试-分析缺陷 常用的缺陷分析方法： 缺陷级别 缺陷分布 缺陷趋势 缺陷滞留 。 Date 同步科技 评估测试-确定测试是否达到标准 确定标准： 参阅测试计划有关测试覆盖和缺陷评估等策略 检查测试结果、缺陷和缺陷分析 Date 同步科技 评估测试-确定测试是否达到标准 如未达到标准，将： 收集附加信息 n产生不同的报告，如不同的缺陷密度报告 n研究处理过程，判断是否有未知的条件影响到测试标 准，从了解到的实际情况出发，重新制定标准 建议附加测试 n实现新的测试，增加测试用例的深度 n实现新的测试，增加测试覆盖的广度 修改测试标准 n检查和评估更改测试标准的风险 Date 同步科技 工程化测试方法 下面我们学习 缺陷管理 缺陷的生命周期 缺陷维护 缺陷分类 缺陷分析 Date 同步科技 缺陷的生命周期 缺陷的六个生命状态： 初始状态（New） 打开状态（Open） 修复状态（ Fixed ） 关闭状态（Close） 拒绝状态（Rejected） 重现打开状态（Reopen） Date 同步科技 缺陷的生命周期 缺陷生命历程的几种典型过程: