自动化测试工具的比较和选择

测试工具的比较和选择（仅供内部使用）版本号：V0.1保密等级：■秘密口机密□绝密编制：审核：

修订记录日期版本号描述作者2010-9-110.1初稿完成目录TOC\o"1-5"\h\z\o"CurrentDocument"白盒测试工具集 2\o"CurrentDocument"黑盒测试工具集 3\o"CurrentDocument"测试管理工具典型产品比较 4\o"CurrentDocument"商业化自动测试工具比较 6\o"CurrentDocument"测试工具的选择 7\o"CurrentDocument"测试工具在实际中运用的瓶颈 8\o"CurrentDocument"总结 9关键词：白盒测试工具集、黑盒测试工具集、测试管理工具集、自动化测试工具集摘要：随着软件测试的地位逐步提高，测试的重要性逐步显现，测试工具的应用已经成为了普遍的趋势。目前用于测试的工具已经比较多了，这些测试工具一般可分为：白盒测试工具、黑盒测试工具、性能测试工具，另外还有用于测试管理（测试流程管理、缺陷跟踪管理、测试用例管理）的工具。总的来说，测试工具的应用可以提高测试的质量、测试的效率。但是在选择和使用测试工具的时候，应该看到，在测试过程中，并不是所有的测试工具都适合我们使用，同时，有了测试工具、会使用测试工具并不等于测试工具真正能在测试中发挥作用。因此，要发挥测试工具的价值必须根据公司的实际情况合理选择测试工具，本文拟从测试工具的选择和使用方面着手，讲述一点个人的心得，供公司参考白盒测试工具集白盒测试工具一般是针对代码进行测试，测试中发现的缺陷可以定位到代码级，根据测试工具原理的不同，又可以分为静态测试工具和动态测试工具。公司目前的测试水平尚不具备使用白盒测试工具进行代码测试的能力，这里只作简单介绍静态测试工具静态测试工具直接对代码进行分析，不需要运行代码，也不需要对代码编译链接，生成可执行文件。静态测试工具一般是对代码进行语法扫描，找出不符合编码规范的地方，根据某种质量模型评价代码的质量，生成系统的调用关系图等。静态测试工具的代表有Telelogic公司的Logiscope软件、PR公司的PRQA软件。动态测试工具动态测试工具与静态测试工具不同，动态测试工具的一般采用”插桩”的方式，向代码生成的可执行文件中插入一些监测代码，用来统计程序运行时的数据。其与静态测试工具最大的不同就是动态测试工具要求被测系统实际运行。动态测试工具的代表有Compuware公司的DevPartner软件、Rational公司的Purify系列等。Parasoft白盒测试工具集工具名支持语言环境简介JtestJava代码分析和动态类.组件测试・ |JcontractJava实时性能监控以及分析忧化~~C++\6stjCjC++代码分析和动态测试CodeWizardCjc++代码静翌■析Insure++实时性能监控以及舂析忧化.test.Net代码乔析和动态测试Compuware白盒测试工具集工具名支持语言环境简介BoundsCheckerc++,DelphiAPI和OLE错误检查、指针和泄露错误检查、内存错误检查TrueTimeC++JJavaJVisualBasid代码运行效率检查七组件性能的分析FailsafeVisual自动错误处理和恢复系统.1checkVisualJ++图形化的纯种和事件分析工具TrueG^yerage.：C+H-Java^isualBasitj函数调晦数.、所占比率统计以及稳定性跟踪SmartCh^ckVisualBasr^:函数调用被数、所占比率统计以及稳定性跟踪.CodeReviewVisualBasic自动源代码分析工具Xunit白盒测试工具集工具名支持语言环境官方站点AunitAdahttp://www.libre.act-europe.frCppUnitC++C（j）mUnitVB；.COMhttp:/7comunit.sourceforge,netDunitDelphihttp:^/dunit.sourceforge,netDotUnit.Nethttp://dotunit,HttpUnitWeb/cgi/wiki^HttpUnitHtmlUnitWebhttp://htmlunit.sourceforge,netJtestJavaJ.sUnit（Hieatt5<,Javascript1.4UA±PhpUnitPhphttp://phpunit.PeriUnitPerlhttp://perlunit/$our^XmlUnitXm!http:5A黑盒测试工具集黑盒测试工具适用于黑盒测试的场合，黑盒测试工具包括功能测试工具和性能测试工具。黑盒测试工具的一般原理是利用脚本的录制(Record)/回放(Playback)，模拟用户的操作，然后将被测系统的输出记录下来同预先给定的标准结果比较。黑盒测试工具可以大大减轻黑盒测试的工作量，在迭代开发的过程中，能够很好地进行回归测试黑盒测试工具的代表有Rational公司的TeamTest、Robot，Compuware公司的QACenter，另夕卜，模板编号：模板版本：V1.0Beta1.0第3页共12页

专用于性能测试的工具包括有Radview公司的WebLoad、Microsoft公司的WebStress等工具。主流黑盒功能测试工具集工具名哲司名官方站点WFnRunnerMercuryhttp:：/,?www.mer'curyinteractiv.e.--cdmAstraQuicktestMercuryhttp://w .RCibotIBMRationalQARunCompuwarehttp://wwW.compuware.:tom^ilkTestS.eguehttp>//www：,segue,come-Te^tEmpirix主流黑盒性能测试工具集.工具名公司名官方站点WAS 1http7/www.miero$oft.^mLoadRunnerMercuryhttp://wW.me「如ryinteractiye.somAstraQuietestMei^curyhttp:Z/www.mercuryinteract!Qafoad.Compuwarehttp://www^mpirix^omTeamTest:SiteLdaIBMRationalhttp://ww^.rational,comW-ebloadRadview/-.http:即'ww.w.radvieSiIkperformerSeguehttp://顾w.e-LoadEmpirUhttp://www；OpenSTAOpenSTAhttp://www：.open^测试管理工具典型产品比较测试管理工具用于对测试进行管理。一般而言，测试管理工具对测试计划、测试用例、测试实施进行管理，并且测试管理工具还包括对缺陷的跟踪管理。测试管理工具的代表有Rational公司的TestManager、Compureware公司的TrackRecord等软件。模板编号：模板版本：V1.0Beta1.0第4页共12页工具名称Te：stdirectorCl^arQuestBMSBugzilla浦程定制YYNY查询功能定制Y iYVY功能域定制YYY笋用户权限分吸管理YYV Emai通知¥¥Y构架模式 :B/SC/S.B/SB/SB/S报表定制功能Y强』集成CrystalReport有标准报表和高缀报表，定制功^不够¥-■支持平台WindowsWindows^UnixWindows：-Linux^Fre'eBS支持数据库Oracle,Access,rSQLServerWOracle,M$Acbess,SQLServerSQLS.erver^MSDMySQL安装配置的复杂度简单有些复杂容易不复杂许可证费用昂贵昂贵适中免费售后服务国内有多家代理公司提供相关服务在国内有宏公司提供技木支持技术支持和服务体•系完备可自行修改源代码与其他工具集成本身又是测试需求、测试案例管理工具，与winRunner,LoadRunner#^,并且具有多种主^CaseT具接口Add-In与rational公司的其它产品无缝集成£；特别ClearCame配合.以可实现口口网的配直管理体■系M$VS§,Project开源配置管理工-RCVS公司背景世界主流测试软件提供商已被IBM合并」世界著名软件当司微软与上海市政府新成立的软件企业世界著名开源晦

商业化自动测试工具比较特性WinKunnerSilkT:e^t:Ete.ster易于安装是 «是是，不支持设菅代理服务等设置豪和脚磋离是a象声明在单独的intiude刘牛中，但是烫se脚本中运有包含两者部在学巳脚本的cage中to(j].baF海Id定制可以.无法定制toolbar,^定制顷JI的能成内容无法定制操作系统Win.cipjy^Unt^Window.^y11哄，Windo^/暨器N^tScapeJENe^capeJENesfecapeJE支持潮.试对象HTML.DHTMLJava^ript^BS:cript^MLjJAVAapplets,Activ.Pd命g.fBuil燹fQefphj；TerminalEmulator^racfej.^AP,PeopleSoft,SiebelHTML,DHTML,Jav：aS^'「ipt,凑ML,Javaappsandapplets.,MFQ&或pra^,PowerBuilder,Delphi；：：&APJavaapp^'andappletsinfeunJWM.'HTMUDHTML,Jav.a^cri'p壕MFCj.VB,S3电,.巳Delpht,TerminalEmulator,Powfe^BuildeQ.Orad^.,Peopfesoft脚本有TSL第四代面向对家的脚本语言4T竺套虫C++提供可编程接口，用户可使用标准语言扩展可视制本;』口#政£++」第日脚本调试功能强尤mCAC+H-Debuggerk/BADebugger^合Visu日1ScriptDebugg'er允讦数据驱动的祯是 j是是自动数.据生成.支持..支持不支持游通过教据库盅证赣据通过。DBC及本地教据库连接§^Database-,testeraajODBC反用程序改正后的脚本维护直接If^GUImap更新inclUde丈件-自动更新无需录制J数据库支持市场流行的教据库市场流行的数据库市场流行的数据库无人看管下的自动执通iST^tdirector允许.允讦分布式测减控制洞Testdir&to.r^持支持支持自动创建测试结果日志是 1是是非预期错误的救复允许 1允许允许与测试管理工具接口Testdin^ctQff.'B^Case管理功能。suite?图形吐没计脚本执行.集合」通过T熊tdirfe'dto濮计不支持通过Artestsuited计培训Onsite^publ^itraining有，提供kickofftrainin有，onsite^,publietraining技术支持曾获遂菖阳STAR荣誉很好客户对其评价iJjCg问笋|灵活的记赛方式，既可以1安使用沃毯计费也可以按协.技算*次使用费提供floatingtiASnod^-l。黎ed两种方式提fftFloating保及时就矛旧tked两种方式侨格昂贵较贵_般Add-in收费部分收费不收费不收鬓总论在全球的市场占有率较高，功能：，全面，艇格昂贵在国内的推广述处于起步桥洛号氐"土•、支持邮嘲被喝在金■ 融、证券、电子商务等领域有阶段 中用□测试工具的选择面对如此多的测试工具，对工具的选择就成了一个比较重要的问题。我们在考虑选用工具的时候，建议从以下几个方面来权衡和选择。功能功能应该是我们最关注的内容，选择一个测试工具首先就是看它提供的功能。当然，这并不是说测试工具提供的功能越多就越好，在实际的选择过程中，适用才是根本。事实上，目前市面上同类的软件测试工具之间的基本功能都是大同小异，各种软件提供的功能也大致相同，只不过有不同的侧重点。除了基本的功能之外，以下的功能需求也可以作为选择测试工具的参考：报表功能；测试工具生成的结果最终要由人进行解释，而且，查看最终报告的人员不一定对测试很熟悉，因此，测试工具能否生成结果报表，能够以什么形势提供报表是需要考虑的因素。测试工具的集成能力；测试工具的引入是一个长期的过程，应该是伴随着测试过程改进而进行的一个持续的过程。因此，测试工具的集成能力也是必须考虑的因素，这里的集成包括两个方面的意思：首先，测试工具能否和开发工具进行良好的集成；其次，测试工具能够和其他测试工具进行良好的集成。操作系统和开发工具的兼容性；测试工具可否跨平台，是否适用于公司目前使用的开发工具，这些问题也是在选择一个测试工具时必须考虑的问题。价格除了功能之外，价格就应该是最重要的因素了。目前测试工具的价格普遍偏高，有的甚至是”天文数字”，在这方面只能建议公司先使用网上盗版或破解的工具，但是测试的准确性得不到可靠得保证测试工具在实际中运用的瓶颈许多引入测试软件的公司并没有能够让测试软件发挥应有的作用，其主要原因我总结为三个方面：没有考虑到公司的实际情况，盲目引入测试工具首先要明确一点，并不是每种测试工具都适合公司目前的实际情况。一些公司怀着美好的愿望花了不小的代价引入测试工具，半年一年以后，测试工具却成了摆设，究其原因，就是没有能够考虑公司的现实情况，不切实际地期望测试工具能够改变公司的测试现状，从而导致了失败。建议：公司可以考虑先引入黑盒测试工具和测试管理工具。没有形成一个良好的使用测试工具的环境换句话说，就是没有能够形成一种机制让测试工具真正能够发挥作用。例如，白盒测试工具的一般使用场合是在单元测试阶段，而单元测试是由开发人员完成，如果没