自动化测试技术概述

自动化测试测试现状及问题1测试筹备备测试实施施系统内部部测试系统连接接测试(LT))系统集成成测试(SIT)用户接受受测试(UAT)测试审核核现象：接口测试试，测试试数据种种类繁多多，具有有大量的的测试案案例现象：大量集成成测试案案例，代代码、界界面不稳稳定，版版本更新新极为频频繁现象：大量业务务测试案案例，代代码、界界面不稳稳定，版版本更新新比较频频繁运营维护护测试问题：关注关键键数据，，执行少量量的、关关键的测测试案例例，测试不足足问题：测试人员员少，无无法承受受重复的繁重工工作量，，执行少少量的、、关键的测测试案例例，测试试不足问题：测试人员员少，无无法承受受重复的繁重工工作量，，执行少少量的、、关键的测测试案例例，测试试不足现象：版本定期期发布，，大量回回归测试试案例，，代码、、界面稳稳定问题：大量回归归测试案案例，无无足够手工工回归测测试人员员，测试试不足自动化测测试的标标准应用用测试阶段的功能测试背景：在高覆盖率要求的前提下，每个功能的测试案例量很大，并且由于测试阶段中不断的代码修改、集成，重复测试的次数很多应用：自动化功能测试，包括接口功能测试、界面安全性测试、业务功能测试，提高测试的覆盖率，降低测试的工作强度限制：由于测试阶段中的代码和界面的频繁变更，自动化的覆盖率应以少量覆盖、关键覆盖为原则测试阶段的业务流测试背景：在集成测试和用户接受测试阶段中，业务流程的测试是主要工作内容。但是，每个业务流程由于操作步骤多，导致执行时间长，重复的执行增加了测试的工作量和加重了工作负担应用：自动化业务流测试，提高测试的覆盖率，降低工作强度限制：同样由于测试阶段中的代码和界面的频繁变更，自动化的覆盖率应以少量覆盖、关键覆盖为原则运营维护阶段的回归测试背景：在运营维护阶段，每次新版本发布前，应进行充分的回归测试，确保部分代码的变更不会影响大部分未变更的代码正确性。但是，通常情况下，这个阶段中不会固定拥有大量的测试人员来实施手工回归测试工作应用：自动化功能测试，自动化业务流测试限制：独立的测试环境引起资源争用或者巨大投入，在资源受限的情况下，应以最小化占用资源的方式进行2解决思路初探自动化接接口功能能测试：：测试数据据自动生生成，依依据报文文规范自自动生成成测试脚脚本，自自动执行行接口功功能测试试，提高高接口测测试的覆覆盖率，，促进开开发质量量核心业务务集自动动化测试试：少量自动动化测试试工程师师，自动动化少量量核心业业务，版版本更新新时快速速执行，，保障核核心模块块的质量量，提高高测试效效率核心业务务集自动动化测试试：少量自动动化测试试工程师师，自动动化少量量核心业业务，版版本更新新时快速速执行，，保障核核心模块块的质量量，提高高测试效效率自动化功功能测试试、自动动化业务务流测试试：自动化测测试小组组，计算算可行自自动化率率，建设设自动化化回归测测试技术术平台，，长期运运行自动动化测试试，保障障系统运运行质量量自动化测测试的实实际应用用测试筹备备测试实施施系统内部部测试系统连接接测试(LT))系统集成成测试(SIT)用户接受受测试(UAT)测试审核核运营维护护测试3实施难度与风险自动化测试机构设计、实现自动化测试技术平台自动化测试可行性分析；确定自动化率目标和自动化测试需求设计、实现可执行的自动化测试业务测试过程和组件设计、实现自动化执行机制；执行自动化测试业务测试机构提供业务测试需求提供业务测试案例，包括操作步骤、业务数据和验证方法测试环境自动化测试环境的基础设施支持项目组自动化测试环境的应用环境支持自动化测试组件开发的技术支持标准实施施角色测试管理机构建设自动化测试体系规划自动化测试技术平台根据软件项目测试需要确定项目级自动化测试策略自动化测试工作的计划、组织和协调自动化测试环境的计划、组织和协调自动化测试缺陷与手工测试缺陷的关联管理自动化测试结果的分析、评估与审定测试管理理自动化测测试管理理手工测试试的传承承自动化测测试实施施自动化测测试支持持自动化测测试支持持自动化测测试自动化测测试角色色不了解解信息应应用系统统的业务务若无详细细的测试试需求，，无法快快速分析析、确定定自动化化测试需需求若无详细细的测试试案例，，无法快快速设计计自动化化测试案案例学习业务务的工作作量较大大业务测试试当前业务务测试规规范度尚尚未完善善业务测试试案例尚尚未达到到符合标标准的程程度为自动化化测试编编制符合合要求的的测试案案例带来来较大的的工作量量测试环境境项目组自动化测测试的组组件开发发需要项项目组提提供软件件界面处处理逻辑辑的详细细文档，，或者由由项目组组的开发发人员提提供技术术支持，，导致工工作量较较大实施难度1自动化测测试设计计自动化测测试的脚脚本开发发与应用用软件的的界面、、代码变变更息息息相关自动化测测试的脚脚本量越越大，维维护工作作量就越越大若实施准准备不足足或风险险预估不不完整，，甚至导导致实现现失败实施难度2自动化测测试业务测试试测试环境境项目组自动化测测试实现现自动化测测试可能能遇到多多项目并并行的情情况给自动化化测试的的管理带带来较大大的难度度要求实施难度3自动化测测试在运运营维护护期的执执行过程程中需要要对测试试环境独独占若测试环环境资源源有限，，会造成成无测试试环境资资源或者者测试环环境资源源严重争争用的情情况自动化测测试业务测试试测试环境境项目组自动化测测试执行行降低业务务测试不不规范带带来的各各种工作作量最低标准测试需求测试案例手工测试自动化测试工作重点=提高测试需求和测试案例的规范度工作重点=自动化测试设计、实现与执行手工测试规范度不足最高标准测试需求测试案例手工测试规范度满足问题：1）不足以设计自动化测试解决：1）依据最低标准，基本设计2）向业务测试角色学习、补充3）提高业务认识，补充设计依据最高标准，直接设计改进发展积累提高自动化测试技术平台测试执行测试执行组织调度子系统测试运行计划设计子系统测试执行子系统测试执行监控子系统测试分析测试分析子系统测试管理项目管理子系统用户管理子系统测试需求管理子系统业务组件管理子系统业务测试过程管理子系统BC、BP开发子系统测试数据管理子系统自动化测测试技术术平台自动化测测试技术术平台的的建设目目标自动化测测试技术平台台平台目标标设计工作作可视化化操作测试数据据集中管管理测试结果果综合分分析测试执行行自动控控制1234问题解决1自动化测试技术平台项目管理子系统用户管理子系统项目自动化测试工作项目自动化测试工作项目自动化测试工作项目自动化测试工作《自动化测试管理办法》《自动化测试管理规程》《自动化测试规范》多项目并并行内容大纲纲一、技技术发发展趋势势二、ROI分析三、流流程、、案例示示例四、组组织管管理五、自自动化化测试体体系六、应应用系系统架构构七、集集成架架构没有测试手工测试时间紧可靠性低人力缺乏无法保证一致性无法重复快速可重复高覆盖率高可靠性重用性强自动测试一、技技术发发展趋势势－11、将乏味且且人工容容易出错错的工作作进行自自动化，实现功功能的回回归测试试，在应应用程序序修改之之后，运运行自动动化测试试脚本，，快速完完成回归归测试2、将重复复的测试试工作自动动化完成成，为其其他方法法的测试试赢得更更多时间间；3、降低测测试成本本，提高高测试复复用度和和测试效效率，占占用少量量的业务务测试人人力资源源一、技技术发发展趋势势－2录制回放脚本技术数据驱动关键字驱动业务驱动可维护性低中中中高可靠性低高高高高效率低中中中高可复用性低中中高高健壮性低高高高高可移植性低低中中中易用性高低中中高内容大纲纲一、技技术发发展趋势势二、ROI分析三、流流程、、案例示示例四、组组织管管理五、自自动化化测试体体系六、应应用系系统架构构七、集集成架架构基于风险险和复杂杂度评估估达到测测试目标标的最佳佳性价比比测试自动动化基本本实践方方法ProcedureforXRisk根据特定定测试风风险等级级来选择择合适的的测试过过程.通过以测测试过程程的最优优组合和和资源、、进度、、风险的的约束来来多次运运行自动动化测试试次数，，来达到到最小化化工作量量的目标标方法过程HighRiskMediumRiskLowRiskHigh复杂度Medium复杂度Low复杂度Assumingtestcasesforallrisksandcomplexitiesarein--scopeforeachtestcycle.AutomationROIMatrix测试范围由风险驱动测试 (例如：高风险的项先被测试)自动化的优先顺序:对于能尽快（最少运行次数）达到投资回报平衡点高风险的测试案例优先低复杂度的测试案例优先优先级策略自动化测测试工作作任务的的优先级级#ofTestCyclesforBeginningofReturnonAutomation复杂度RiskHighMediumLowHigh5.05.95.5Medium6.67.38.1Low5.07.38.11342#-Priority#//Order58697自动化测测试目标标只适用于功能测试阶段，因为一般会：给定预算，进度，资源给定平均或期望的测试运行次数根据业务流程的不同（复杂度和风险）最大化自动化率（只能达到有限值）初级阶段目标可以适用于回归测试：自动化率可以逐步提高增加自动化测试的次数减少测试运行时的缺陷高级阶段目标通过灵活活的合理理的自动动化测试试目标最最大化时时间和资资源的利利用率和和价值二、ROI分分析－1二、ROI分分析－2自动化测测试固定定成本的的例子：：硬件应用软件件的许可可证应用软件件的技术术支持自动化测测试环境境的设计计和搭建建自动化测测试环境境的维护护脚本开发发工具软软件脚本开发发工具的的许可证证测试工具具的培训训测试工具具的引入入和启动动自动化测测试可变变成本的的例子：：自动化测测试用例例的设计计自动化测测试用力力的实现现自动化测测试的维维护自动化测测试用例例的执行行自动化测测试结果果的分析析缺陷的报报告测试结果果的报告告测试执行行数据的的保存自动执行行的测试试手工测试试共同要要素的例例子：被测软件件分析测试规划划基础测试试设计缺陷报告告测试结果果报告内容大纲纲一、技技术发发展趋势势二、ROI分析三、流流程、、案例示示例四、组组织管管理五、自自动化化测试体体系六、应应用系系统架构构七、集集成架架构三、流程、案案例示例例－1三、流程、案案例示例例－2三、流程、案案例示例例－3交易分支支交易分支支案例：：给交易分分支增加加一组数数据，成成为交易易分支案案例——为具体的的测试案案例所使使用交易分支支的视图图：交易分支支输入文文档（设设计）交易分支支脚本（（自动化化测试））交易分支支对应：：交易交易的执执行分支支覆盖三、流程、案案例示例例－6业务测试试案例业务测试试案例具有输入入、输出出参数每个步骤骤都由交交易分支支案例组组成，可可以进行行数据传传递，如如：传递递帐号。。每个交易易分支案案例，都都具有执执行中使使用的柜柜员信息息具有校验验功能由业务案案例设计计人员设设计内容大纲纲一、技技术发发展趋势势二、ROI分析三、流流程、、案例示示例四、组组织管管理五、自自动化化测试体体系六、应应用系系统架构构七、集集成架架构四、组织