自动化测试技术(面向新员工)

1、,自动化测试技术 测试工具组,2007年9月,Page 2,课程简介,课程简介 本课程分六章，前三章主要介绍自动化测试技术的基本概念、发展历史、开展自动化测试的过程。后三章重点介绍目前业软的自动化测试框架、GUI自动化测试及业软目前的自动化典型应用分析。 适合对象 部门新入职的员工 1，2级软件测试工程师 课程目的 掌握自动化测试的基本理论 了解自动化测试过程 掌握业软自动化测试统一工具平台 了解GUI自动化测试及目前业软自动化应用情况,Page 3,课程内容,自动化测试概念介绍 自动化测试的发展 自动化测试过程 业软自动化测试框架 GUI自动化测试 业软自动化测试典型应用,Page 4,自动

2、化测试概念介绍,自动化测试基本概念 自动化测试的意义 自动化测试的限制 自动化测试普遍问题,Page 5,自动化测试基本概念,通常测试过程分为五个步骤(如左图)： 标识：标识测试需求 设计：测试用例设计 建立：测试环境建立 执行：测试用例执行 检查：测试结果检查 标识测试需求、用例设计是智力活动，测试执行、结果检查是机械活动，在整个测试过程中，智力活动一般只执行一次，而执行和检查通常执行多次。所以像这样执行多次，我们才适合自动化。,1、定义 自动化测试一般是指通过计算机软件来模拟人的测试行为，替代人的测试执行工作。 2、特性 自动化测试执行 自动化测试检查,Page 6,自动化测试的意义,对程

3、序的新版本运行已有的测试（回归测试），能大大降低回归测试的开销 可以运行更多更频繁的测试 可以执行一些手工测试困难或不可能做的测试 更好地利用资源 测试具有一致性和可重复性 测试的复用性 可以更快地将软件推向市场 增加软件信任度,问题,自动化测试能够带来什么好处？,Page 7,自动化测试的意义,-自动化测试在多轮版本测试中的走势（Wipro）,Page 8,自动化测试的意义,-自动化测试的收益（Wipro）,Page 9,自动化测试的限制,问题,自动化测试存在哪些限制？,不能完全取代手工测试 手工测试比自动测试发现的缺陷更多 对测试设计依赖性极大 自动测试可能会制约软件开发 自动测试不能提高

4、测试有效性 工具本身并不具备想象力,Page 10,自动化测试的普遍问题,不现实的期望 缺乏测试实践经验 期望自动化测试发现大量新缺陷 安全性错觉 自动化测试维护性 技术问题 组织问题,问题,自动化测试在应用中存在哪些问题？,Page 11,课程内容,自动化测试概念介绍 自动化测试的发展 自动化测试过程 业软自动化测试框架 GUI自动化测试 业软自动化测试典型应用,Page 12,自动化测试的发展,发展方向：提高效率，解放人力,Page 13,第一代测试自动化系统,特点： one test case - one test script 没有专职的测试脚本开发工程师，自动化测试是一种项目组自发的

5、行为 项目组有空时或被部门推动时会去研究一下，大多不了了之,Page 14,第二代测试自动化系统,特点： one test case - one test script 生成大量的代码，维护困难 每一个测试人员都需要具备编程能力 高成本开发时间、执行时间、维护时间,Page 15,特点： 提高测试的可维护性 加强测试设计 减少功能、系统、回归测试的成本 受被测系统的变化的影响小 角色分工，人尽其才，合适的人做擅长的事,第三代测试自动化系统,Page 16,第四代自动化测试系统,特点： 基于模型开发 尽早得到用户行为模型 尽早发现规格和设计中的含混错误 自动生成用例和脚本 提高效率和质量,Pag

6、e 17,课程内容,自动化测试概念介绍 自动化测试的发展 自动化测试过程 业软自动化测试框架 GUI自动化测试 业软自动化测试典型应用,Page 18,自动化测试过程,4. Test Planning,Design & Development,3. Automated Testing,Introduction Process,6. Test Program,Review & Assessment,1. Decision to,Automate Test,Automated Testing,Lifecycle Methodology,(ATLM),2. Test Tool,Acquisition

7、,5. Execution and,Management of Tests,自动化测试生命周期方法六部分： 1、自动化测试决策 2、测试工具获取 3、自动化测试引入 4、测试计划、设计、开发 5、测试执行与管理 6、测试程序回顾与评估,自动化测试生命周期方法（ATLM）,Page 19,自动化测试过程,IPD3.0中将定义的自动化测试过程,Page 20,自动化测试过程,我司自动化测试活动分工,Page 21,自动化测试过程,测试组TAE提出自动化需求给工具系统分析组。 系统分析组对需求进行分析，组织项目负责人进行和用户评审。 评审完成后，需求下发给项目组进行开发，开发过程中，需要反馈项目例行

8、报告。 需求实现后，给相关的产品进行应用，开发人员提供技术支持。 试用完成后，测试组反馈试用评估报告。,业软自动化测试需求提出流程,Page 22,自动化测试过程,测试组 ActionWord的抽象 ActionWord的实现,工具组 适配器、协议栈的实现 提供自动化框架和工具 提供公共AW 对ActionWord的抽象和实现提供技术支持,说明： 在自动化的开发过程中，测试组和工具组是相互配合关系，自动化实现的主体是测试组。工具组负责 提供适合该产品的自动化测试框架和工具，TAE负责在该框架的基础上完成和被测业务紧密相关的AW 的抽象和实现，工具组提供技术支持。,在自动化项目中，工具组与测试组

9、的配合关系,Page 23,自动化测试过程,实现AW效率 可共享/移植的AW数 实现自动化测试用例效率 可移植的自动化用例数 自动化用例发现的问题数 自动化执行效率 自动化测试覆盖率,自动化评估主要从下面几方面进行评估,Page 24,自动化测试过程,自动化测试指标,测试自动化率自动化执行率自动化覆盖率 (说明:业软把该指标作为各域测试部、测试组的考核指标),自动化执行率 定义：测试组或者域测试部所有本季度结束的测试轮次（包括所有的转测试版本）的测试执行自动化用例数总和占测试执行用例数总和的百分比； 公式： 自动化覆盖率 定义：测试组或者域测试部自动化用例总数和测试用例总数的百分比。 公式：,

10、Page 25,课程内容,自动化测试概念介绍 自动化测试的发展 自动化测试过程 业软自动化测试框架 GUI自动化测试 业软自动化测试典型应用,Page 26,AactionWord介绍,ActionWord概念 ActionWord分类 ActionWord设计 ActionWord实现,业软自动化测试框架,Page 27,ActionWord概念,ActionWord(缩写AW)是一种业务的抽象，比如测试用例里的测试步骤、检查验证、消息序列等等，它的格式通常包含名字定义和参数部分，它的形式非常象我们编程语言中的过程定义。,业软自动化测试框架,ActionWord定义格式 AW名称 必选参数

11、可选参数 名字定义：描述测试步骤的动作或事件 参数部分：动作需要用到的对象,Page 28,ActionWord分类,业软自动化测试框架,低层AW 与被测试系统的功能无关，只与被测试系统的接口相关 。 中/高层AW 与被测试系统的功能相关，高层AW可以由多个中低层 AW构成，中层AW可以由多个低层AW构成 。,Page 29,ActionWord设计,ActionWord的命名可以按照类似匈牙利命名规则，基本上是 动词 + 名词，对于协议类也可以 选择消息名称作为ActionWord的命名，如果采用对象的方法来设计也可以是 对象名 + 动词 + 名词。如 Login、INVITE,基本原则一：

12、针对SUT每个功能特点，考虑测试中的相关执行步骤、检查方式，并且采用自顶向下，逐步求精的方法，直到分解为最小执行单元。,基本原则二：将分析提取后功能相似的ActionWord进行合并，提高每个ActionWord的可重用性。,业软自动化测试框架,设计原则,命名规则,参数选择,参数分为必选与可选参数，类似函数的参数。 参数作用： 数据传入作用：类似函数的传值，数据以参数形式传入AW进行加工处理。 数据传出作用：类似函数的传地址，把AW运行时加工处理的结果输出。 结果比对作用：AW的参数是期望结果值，通过参数方式传进去与实际运行结果进行比对。,Page 30,ActionWord实现,AW实现是指

13、使用某种语言实现一个具体逻辑。它可以是一个C+动态库函数或者TCL扩展包命名，也可以是TTCN实现的一个函数等。,注意：AW的实现可以支持多种语言的实现（C+/JAVA/TTCN3/TCL）,业软自动化测试框架,问题,回答： AW定义指的是自动化工程师根据产品的特点抽象出来的一些动作，而该动作的运行需要AW实现的支 持。从应用场景来看，AW定义用于编写用例，AW实现用于执行用例。,AW实现和AW定义有什么区别？,Page 31,业软自动化测试框架,Page 32,业软自动化测试框架,业软自动化工具平台是基于第三代自动化测试系统开发的适合于业软产品的新一代自动化功能测试平台。,总体介绍,主要特点

14、： 支持ActionWord分层 支持ActionWord共享 支持多种语言来实现ActionWord 提供强大的日志功能，方便定位问题 支持用例执行策略,Page 33,测试管理层（GT3000）,测试管理层主要存储和管理了产品的各个版本的测试用例及测试执行策略,业软自动化测试框架,测试用例管理,主要功能： 测试用例统一存储和管理 执行策略统一存储和管理,Page 34,测试表示层,测试表示层主要给用户提供了AW定义和描述信息编辑和显示，测试用例编辑和显示，执行策略编辑和显示的界面，用户可以方便的编辑和查看。,业软自动化测试框架,测试用例编辑,主要功能: AW定义和描述编辑 用例编辑 执行策

15、略编辑 测试配置 测试日志展现,Page 35,测试执行层,执行层负责解释执行指定的测试策略和测试用例，分发、加载、执行AW。执行层包括控制器、执行器。,业软自动化测试框架,主要功能: 解释执行策略 解析测试用例 负责AW分发 加载AW实现 执行AW实现,Page 36,测试适配层,适配层主要负责与不同SUT的接口适配，它就好像一座桥梁，在自动化测试用例与SUT之间提供了一条通信道路。同时适配层会对上层提供相关的底层接口，低层ActionWord（以下简称AW）大部分均由适配层提供的接口封装而成。,业软自动化测试框架,主要功能： 支持多种协议适配。如SIP，Diameter等协议 提供一些公共

16、操作。如数据库访问、文件操作、Telnet、FTP等操作 继承已有的大部分适配器。如AutotestTM实现的适配器，GTR实现的测试套,Page 37,其它子系统日志系统,日志系统是统一工具平台中独立于其它模块的一个子系统，主要接收和处理统一工具平台在使用中产生的各种日志消息和用例执行结果。日志子系统不仅可以在本工具中使用，核心的模块还可以独立出来作为共享件供其它的工具软件使用以管理其日志信息。,业软自动化测试框架,日志输出窗口,主要功能： 能够通过日志快速地定位到GT3000上对应的用例 能够快速筛选出某个用例对应的所有日志。 能够筛选出某个AW实现对应的所有日志。,Page 38,框架路

17、标规划,07.5,07.11,08.6,09.1,业软自动化测试框架,Page 39,课程内容,自动化测试概念介绍 自动化测试的发展 自动化测试过程 业软自动化测试框架 GUI自动化测试 业软自动化测试典型应用,Page 40,概述,GUI自动化测试的范围；WEB页面及JAVA/C+/DELPHI/.NET等界面的业务功能自动化测试 常用的商用GUI测试工具有：RFT、QTP、winrunner、robot等 GUI自动化测试的基本原理：使用工具捕捉界面上的鼠标、键盘等操作动作，录制为脚本，再进行回放,GUI自动化测试,Page 41,目前业软GUI自动化测试现状,GUI自动化测试,GUI自动

18、化开展成果较好的测试组： CC测试组：约800个用例(使用网络产品线开发iFree-RFT工具测试) BME测试组：约1000个用例(使用IBM提供的基于Robot开源的SAFS工具测试) 客服、CCBS、BI等测试组正在试点开展 当前，业软GUI自动化处于起步阶段,对各种工具和应用模式进行试用和评估，未来 规划统一到一个自动化平台上.,Page 42,目前存在的问题,GUI自动化测试,GUI界面控件变化较为频繁，简单的录制回放功能无法满足自动化开展的要求 1) 录制回放属于第一代自动化技术，录制的脚本重用性较差，维护成本很高； 2) 用例管理、编辑、执行策略等受限于商用工具，工具功能、易用性

19、等方面都有很大局限性，自动化难以持续开展 GUI自动化测试开展成本较手工测试高 业务、平台等领域的测试，使用工具一般能替代设备或者真实环境，简化测试，提高效率。 GUI手工测试成本很低，而自动化反而需要脚本录制、AW抽象等工作，开展成本较高,Page 43,针对问题的解决对策,GUI自动化测试,构建基于AW的GUI自动化框架 工具框架合理分层，将录制的控件及其操作步骤封装为AW，测试用例中只关心AW拼装和业务数据设定，减小界面控件变化对用例的冲击 重视GUI自动化的前期规划 1) 选取适合的业务范围：核心业务功能、界面控件变动较少的业务功能 2) 重视前期的AW规划和设计，降低脚本代码与界面控

20、件的耦合,Page 44,框架RFT与iTip相结合的GUI自动化架构,iTip原有功能,GUI自动化测试,Page 45,框架介绍,重用统一工具平台的测试表达、测试管理等模块的设计 用例解析转换模块：将用例转化为RFT工具能够执行的脚本 RFT脚本执行器：解析RFT脚本，调用RFT工具的接口函数执行脚本 Rational Function Tester：简称RFT，IBM公司推出的商用GUI测试工具，实现自动化框架的控件识别、录制回放功能 本框架还处于规划开发中,GUI自动化测试,Page 46,课程内容,自动化测试概念介绍 自动化测试的发展 自动化测试过程 业软自动化测试框架 GUI自动化测试 业软自动化测试典型应用,Page 47,TTCN应用场景,主要应用于短消息、融合计费等产品的自动化测试 适用GTR-TTCN3用户采用AW方式实现自动化测试 适用于协议类的自动化测试 适用于重用现有的TTCN3协议自动化测试,业软自动化典型应用,Page 48,业软自动化典型应用,TTCN3脚