基础软件平台的正交组合测试方法设计与应用

1、8 62 0 04(4)CompuRiTgrineasirApglic算机工工程与 应用研发、测试基础软件平台的正交组合测试方法设计与应用赵同，兰雨晴，郭树行ZHACTo n !g ANYu 寸 i ,nGgUOShuh-ang北京航空航天大学计算机学院 软件工程研究所，北京100083SchoooC ompuScireanTechn oBleoi gjimigve r AietrjonauirtAcron Be t ji(ng0ChinaE ma：iz lhaotco sneg.ZHAOTonfeAN Yu i nGgUO Shuh-ang.D a n idigmn plemeno aot

2、r i tohnogamlaat;estsimlga toeng punda- tio n olftwpa lraetform.CEmp)Ulmeam idnpgplic ,a2 t0i0 4 14) : 86 8.Abst :r T(htipsaperes enct Etho ghn dr ets imgs nt hw hd i cilbbasedtheheo rfoy rthoghiaal IO-AT S for h ee soffo unda t Ccfmwal iaet ficnrmde ooptimt ihzee estci mlIgbiratmerhT Raeppli ct abh

3、 e optimicat1htcbasceombira(p)ircmelrecaCeheebaseb oeKplowiicmeffect iivemesre an (CorseqlrimtrleJllbfeErarami(a lnreo otfthwhotecturs er. eT hid fttlbehrT)eperimmdt(Shae th m s thcoadn ffectis ttthjncutmb o frth teste ionmgbinat isomno. rth ante thbril snorcapab noether field m iW i wraitmenti onte

4、hdp apehatihoesvearpplied.Keywor： ortho gcmalundat ion wa attormc iormgbin aei tpmnoe ecmbinlacmbnng摘 要：针对基础软件平台测试中的测试组合爆炸问题，利用正交表思想，提出了一种可用于组合优化的正交组合方法。此方法可用于基础软件平台的测试用例组合优化过程中，能够在保持覆盖度不变的情形下缩小测试用例规模，从而降低测试过程的成本与周期。通过测试过程实例表明正交组合方法优于传统的测试方法，方法在类似领域均具有较好应用前景。关键词：正交组合；基础软件平台；测试组合；测试过程；组合爆炸文章编号：10 083

5、200 840 80 文献标识码：A中图分类号：TP3118 62 0 04(4)CompuRiTgrineasirApglic算机工工程与 应用8 62 0 04(4)CompuRiTgrineasirApglic算机工工程与 应用1引言基础软件平台是由操作系统、中间件、数据库、安全产品以及办公套件等通用性软件组建的应用支撑平台。它具有自己的一系列特性，它的整体质量并不是简单地把单个基础软件的质 量相叠加。实践证明，将基础软件整合到一起可能会凸现出一些 质量问题，如兼容性，反映基础软件平台是否完全兼容现有的上 层企业级应用；可维护性，表征基础软件平台能否简单地替换或 者升级其中的部分基础软件

6、；可靠性、效率，体现基础软件整合到一起之后的健壮程度和性能等 。因此基础软件平台中软件之 间的组合测试问题对于保证整体平台的质量尤为重要。然而，随着软件技术的发展，软件呈现出多种可选择的可用版本，对于平台构造而言，需要面对可能出现的组合爆炸问题。但是传统的测试方法主要用来测试单个软件，在测试平台这种新的组合软件形态时，存在很大的局限性。这种局限性尤其体现在测试组合爆 炸，组合数目过多，从而导致测试周期和成本急剧增长。因此需要一种降低测试组合规模的有效方法，弥补现有测试理论的不足。在数理统计领域 ，针对多因素多水平抽样问题，数学家们利用希腊的正交拉丁方提出了正交表的方法这种方法通过定义一组对象的

7、配对方式的组合，来尽力限制组合规模的扩大。它根据正交性从全面搭配中挑选出部分有代表性的 组合。这些组合是均匀分散的，且能基本真实地反映原来总体的特征。传统的单软件测试方法中也有正交表测试方法 (OATS实践证明，它起到了很好的作用。本文针对基础软件平台的松耦合性提出了解决其测试用例爆炸的新型测试方 法一一基础软件平台的正交表测试方法(Founda1SCcfmwatPlatsCrmhoAornr aTlpst Sing a,t e 卩 g Fy SPC-ATS 方法。这种方法通过减少软件构件的组合个数，使得测试用例数目显著地减少。文章第二章首先系统定义了FSCAT方法的基本步骤 ；然后进行一系列

8、测试组合实例进行验证，通过结果分析来验证方法的可操作性和有效性；最后对全文进行总结。2 FSPO-AT 方法基础软件平台的结构图，反映出平台中软件的多态性。目8 62 0 04(4)CompuRiTgrineasirApglic算机工工程与 应用8 62 0 04(4)CompuRiTgrineasirApglic算机工工程与 应用基金项目：国家高技术研究发展计戈 U( 8 6)3 th N ati Hn gT clh eseaar rcD evelcpImlleacnChimrdGraNc.8S3 -0 492006AA01 ；国家8科技公关计划项目 (thKeTechno IR(&DP e

9、og o ChimrdGraNc.2005BA)1。12A02作者简介：赵同(19 8)4,女，硕士研究生，主要研究领域为软件质量评估；兰雨晴(19 6)9,男，副教授，在职博士，主要研究领域为软件测试、软件项目管理；郭树行(19 7)8,男，博士研究生，主要研究领域为需求工程过程o收稿日期：2 0 0 - 3修回日期：2 0 0 7 6 1 *94-201 I China Acadennic Journal Klcctronic lhlishirn I fouse. AH ritfliLs leserved.htlR：wxnki tiel2 0 0434赵 同，兰雨晴，郭树行：基础软件平台的

10、正交组合测试方法设计与应用:操作系“山东中标普华Off”S等 ;安全插件包括,给出符号集2.标是让人直观理解组合爆炸问题 。要对图有一个总体说明 本文根据原有的国产基础软件适配工作汇总提出了三种 情况。其中适配过程涉及的软件构件及各不同品牌有 统有“中标普华 Lin”u“红旗Lin、银河麒麟”等；数据库有 “武汉达梦”、“人大金仓”、“南大通用”等；中间件产品有 中创”、“东方通”、“金蝶”等；办公套件有“ “永中 Off”红旗中文 2 0 0、0金山 WP “吉大正元”和“创原天地”等。为了使实例可以更好地在各种情况下应用 如下操作系统：OSO$,OS，03 数据库：DE=D& DE，DE

11、安全插件：SP=SRSB，sip 中间件：MW=MW”MW2,，MWk 办公套件：0FSOFS0FS，OFS表1国产基础软件平台组成FS1PFS2PFS3PFS4PFS5P FStPFO SOSO SO 1OSOSFD耳DEDEDB2DB DBF3MW1MW2MW3MW3MW2MWkEOFSOF2S OFSOFSOF1S OFS1 相关概念定义1正交表通常用下面的形式表示：L次数(水平数因素数)。Function(1将待测的软件构件种类数映射为因素数(Fac甘0,rsE氏F，F2,，操作系统，数据库，中间件，p(2将各构件的取值映射为水平数(Lev)ei O S=O$，O S，O S =中标普

12、华Lin,红旗Lin,银河麒麟，;(3若Fi的水平数 =F的水平数 二=F的水平数,那么 选择“因素数=n且“水平数=卩的水平数”的正交表，并将因素 和水平映射到表中；否则，选择满足“因素数步骤(1)中的因素数”、“水平数步骤(1中的水平数”且行数最少的正交表，并将因素和水平映射到表中；(4对于1到n个因素，执行：若因素的实际水平数所选正交表的水平数，则就将现有水平数按顺序插入到多余水平 中。例：所选正交表为 4水平，F1是2水平，则在多余水平处按 顺序插入耳、F2;(5将正交表中所描述的组合转化成测试组合；(6按照测试组合进行测试并分析结果；(7若因素数或者水平数发生改变，则运用“追加组合

13、法”来动态、有效地增加正交表的组合若变更内容为水平数的替换，则直接用新水平取代被替换的相应水平；若变更内容为产品增加，则返回执行第(3)步；(8若因素数和水平数均不存在变化，则算法结束END流程图可参见图其中(1)正交表次数(Ru )：需要测试的软件构件组合个数，等于正交表的行数(2正交表因素数数，表示为正交表列数如操作系统、数据库等(Fact：即构成平台 的软件构件类别类别通常是按照软件构件的功能分类，如，牙表示第一个因素(3因素水平数(Lev)e单个因素可取得的不同因素值的 总数。如，1表示第一个水平。如，1(34表示 4因素3水平的正交表 ，表中有 9行。定义 2 测试组合(Te sCt

14、ombin aTtCiF 的 L” F2 的 L, ，Fn的L。一个测试组合包含一系列具体的软件构件水平,这些水平组成一个需要测试的特定的搭配。穷举测试法的测试组合等于各软件构件的水平数相乘定义3两两覆盖率：正交表中任何两列，出现的数对占所 有可能的数对的比率。它能够反映出覆盖正交表中任意两个对 象交互的程度。由于交互所产生的大多数错误要归咎于双向交 互号所以，当两两覆盖率得到保证的时候，能覆盖了大部分的相互方面的缺陷2.2方法定义基于基础软件平台的正交表方法(FSOYR在参考已有正交试验方法的基础上号针对测试对象的独特性，做出了相应的方法改进。常用正交表可以通过查阅数学工具书或者相关网 页得

15、到。但是，这些正交表往往不能满足实际条件的需要，尤其是运用在情况经常发生改变的软件测试当中时。本文提出了适用、简便的方法，利用或创建正交表来确定测试组合。具体算法描述如下：算法 1FSP_OATSnp待测平台包含的软件构件种类1 i ki值个数O199uti-2r-p c口 丄 Cetliiia Academn,各软件构件的取ranic Ihiblisl” fiijd人加平暫 尸建足正生裁各刑4f的水平他相同IHftK和水I數H仲書生童ft九选样闵箱St* ft*平数KH?是正交表Itf I Rq HTSiA 閘闿水平耒空ft3实例验证与结果分析3.1实例验证为了验证 FSOAT的作用，根据国

16、产基础软件平台适配 情况，总结出此方法在三种不同情况下的应用：(1)情况1(S)1:当表1中的n=m=l=kp先为每一个 软件构件设计一系列的功能测试用例，在忽略重复测试用例的情况下，每一个软件构件约包含1 0 0个用例，即每一个测试组合包含 4 0 0个用例。使用显然可靠的穷举测试法，运行每一个可能出现的涵盖了各种组合情况的测试用例时，测试人员需要运行的测试用例数为3 2 4 0。0使用FSOST方法优化组合时，首先根据条件选择合适 的正交表 L9 34 ,将各因子的水平代入，然后运行相应的测试组合。当然，也可以用简捷的方法构造此正交表匚。此表通过 9行覆盖了任何两列的所有可能数对，即此时只

17、需运行9种测试组合，测试用例减少为3 60 0。这时，还可以进一步增加软件构I I ouse All rifhts reserveti. httnki net8 82 0 04(4)CompuRirgineasiTApglicTdi.算机工工程与 应用件互操作性的测试用例，它们涉及2个或2个以上平台构件。即使每个组合增加100个互操作用例，增加后的总测试用例数也仅为4 50 0。0(2情况2(S)2：适配进行到一定阶段时，平台构成发生改变。被测因素数变成5,且各因素的水平数不同：2个2水平因素，2个3水平因素，以及1个4水平因素。这时，在考察了因 子数和水平数之后，决定采用L(45。此正交表是

18、 5因子4水平表，共有1(个测试组合o对于只有3个或者2个水平的因 素，则用已有的水平均匀取代不存在的水平。这样可以在不增加太多测试组合的情况下，更多、更有效地测试平台。简单分析即可知，使用这个方法之后 ，测试组合由原来的 14种变为16 种，大大提高了效率。(3情况3( S 2 ：基础软件的开发是一个动态的过程，所以基础软件平台总处在不断的更新之中，如常见的版本替代或新产品问世。当平台的构件发生改变时，再重新设计并运行测试组合是很麻烦而且很耗时的“追加测试组合法”则很好地解决了此处因子水平发生变化的情况。如，O S存在企业服务器和通用服务器两种版本，在适配中期，表1中的平台测试已完成时，0$

19、发生了版本替换，由企业服 务器版本变成通用服务器版本。现在的方法普遍是将版本替换后的OS重新与其它软件构件进行穷举测试，这种方法需运行9种测试组合，共3 60 0 0个测试用例。而使用 卩50丁的策略是：将通用服务器版本 替代企业服务器版本，重新构造表 1中的测试组合正交表，然后只运行出现了 O 1的组合。这时只需运行 3种组合，共1 2 0个3 测试用例。这样，在节省了大量人力的情况下，很快便可完成测试任务。这说明此方法也适用于后期变更发生时的情况。图2简单比较了两种方法的测试用例数和覆盖率。显然，在保证了10 0的两两覆盖率的情况下，正交表方法通过减少测试组合，从而大大地减少了测试用例的数

20、目。当然，由于正交表方法设计测试并不是穷举测试，所以，也可以根据需要适当地增加一些可疑但表中没有出现的测试组合。了互操作性用例的情况下，效率还是得到了大大的提高。在第一种情况中，测试组合由原来的8种变成了 9种。进一步研究可以发现，它虽然只有全组合的11%但是它覆盖了 10 0白 两两组合，3 3 的三三组合，以及11的四四组合 呻由于交互 所产生的大多数错误要归咎于双向交互匚5所以易知这种方法覆盖了大部分的相互方面的缺陷。“正交表方法”安排的实验方案是有代表性的，能够比较全面地反映各因素各水平对指标影响的大致情况。它的平衡设计思想能够合理减少试验次数。并且，利用“正交表方法”解决多因素、多水

21、平以及多指标这一类的试验问题时，虽然试验次数比较少，但是同样能够明确地回答以下问题4(1因素的主次。即所考察的因素对最后结果影响的大小。(2因素与指标的关系。即每个因素取不同水平时对指标 的影响。(3较好的条件。即获得较满意的结果时，所考察的因素应取的水平。(4进一步试验的方向 。结果分析的实例可参考文献8却基础软件平台的测试结束后，可根据测试的结果，利用质量评估标准给出相应的分数。在分数的基础上，利用正交表的方差分析和极差分析方法评价 出各软件构件对于基础软件平台的影响大小，并且还可以给出得分最高的组合，作为优化基础软件平台的依据。4结论本文针对基础软件平台测试中出现的测试组合太多，测试时间

22、和花费迅速增长的情况，提出了基于基础软件平台的正交表测试组合设计方法(S这种方法高效、快速、经济，确实在保证完全覆盖各软件构件交互作用的前提下，有效合理地减少了测试组合数目。这种方法同样可以在构件软件测试中使用，在其它相关领域也有较好的参考作用。8 82 0 04(4)CompuRirgineasiTApglicTdi.算机工工程与 应用8 82 0 04(4)CompuRirgineasiTApglicTdi.算机工工程与 应用W00CMXinw其血他I no oooa巾卷韵试沐 止餐珊方袪01151S2S3带構试決lE阳腐种占迭的嵩试用構裁柯卓村比3.2结果分析从上面实例可以看出，使用了正交表方法后，即使在增加参考文献:1刘文卿.实验设计M北