K-means聚类算法在回归测试用例选择中的应用

1、基于判别型半监督K-means聚类方法的回归测试用例选择技术程雪梅【摘要】回归测试的目的是保证修改过后的软件没有引入新的错误。但是随着软件的演化，回归测试用例集不断增大，为了控制成本，回归测试用例选择技术应运而生。近年来，聚类分析技术被运用到回归测试用例选择问题中。其基本思想为：根据测试用例的历史执行剖面进行聚类，将具有相似的函数覆盖、能够发现相同故障的测试用例聚为一个簇。然后通过取样策略从每一簇中选出一定比例的测试用例组成新的测试用例集。将半监督学习引入到聚类技术中，提出了判别型半监督K-means 聚类方法(Discriminative Semi-supervised K-means ,简

2、称DSKM),该方法通过从回归测试的历史执行记录中挖掘出隐藏的成对约束信息，同时利 用大量的无标签样本和少量的有标签样本进行学习，从而优化聚类的结果，进一步优化测试用例选择的结果。通过实验，发现相对于普通的K-means算法，DSKM方法在保持较高的召回率和代码覆盖率的前提下，准确率和约简率都有明显的提高。【关键词】回归测试测试用例选择 K-means算法成对约束线性判别分析1引言在软件开发的过程中，软件系统及其环境在不断地进行变化。增强功能、纠正错误、新增或者删除功能，都需要修改代码并触发软件的演化。为了确保演化后的软件能够正确运行并且新的改变没有引入新的错误，必须对软件进行回归测试1。统计

3、数据表明，回归测试开销一般占整个软件测试预算的80%以上，占整个软件维护预算的 50%以上，因此有效的回归测试是非常重要的2。然而，随着软件的不断演化，测试用例集不断增大，由于资源有 限，几乎不可能运行所有的测试用例。为了提高回归测试的运行效率，许多策略被提出，其中最主要的一种技术是回归测试用例选择技术3 (Regression Test Case Selection简称RTS。近年来，数据挖掘中的聚类技术被用于解决回归测试用例选择问题。其基本思想是：根据测试用例的历史执行剖面进行聚类，将具有相似的函数覆盖、能够发现相同故障的测试用例聚为一个簇。同一簇中的测试用例具有相似的行为，而不同簇中的测

4、试用例的行为差异较大。若一个测试用例能检测某一故障，则属于同一簇的其他测试用例通常也能检测到这一故障1。在回归测试时，只需从每一簇中选取一定比例的测试用例组成新的测试用例集，新 测试用例集的精度和覆盖率在很大程度上依赖于聚类结果，而聚类结果依赖于聚类算法的选取。传统的K-means聚类算法是无监督的，对选取的K值和初始的簇中心都非常敏感，可能会产生局部最优的聚类结果，从而导致选择出的测试用例无法满足较高的准确率和覆盖率。 为了优化聚类结果，论文提出一种判别型半监督K-means聚类方法(DiscriminativeSemi-supervised K-means ,简称DSKM),将半监督聚类运

5、用到回归测试用例选择中。在保证测试用例覆盖率的同时，减少测试用例，从而缩减回归测试的成本，提高回归测试的效率。论文第1部分介绍了研究背景， 提出研究的问题。第2部分对目前该领域的相关研究进 行总结。第3部分对论文提出的方法进行了介绍。第4部分通过设计和执行实验，验证提出的方法。第5部分对论文进行总结，提出未来工作。2相关工作针对RTS问题的研究，众多研究人员提出了很多的解决方案4。Rothermel和Harrolad首次对RTS问题进行了总结并提出一种统一评估框架3, 5,随后提出一种基于控制流图的 RT诚术并开发出 DejaVu工具。Beydeda和Gruhn基于Rothermel等人 的研

6、究工作，通过将黑盒测试中的数据流信息添加到类控制流图来对面向对象程序进行测 i6。Harrold和Sofia提出了一种适用于单元测试阶段的增量数据流分析法7。Gupta等人基于数据流分析法，应用程序切片技术识别出与代码修改存在依赖关系的 定义使用对(Definition-Use Pair) 8, 9,该方法在执行时间和存储空间上均具有一定优势。H. K. N. Leung等人则在软件集成的回归测试中引入防火墙”技术11。近年来，随着计算机软硬件性能的不断提高，有不少学者将聚类技术用于RTS问题。Dickinson等人提出基于执行剖面聚类的测试用例选择，挖掘出测试用例之间隐藏的联系 10。Mas

7、ri等人进行了一项实证研究，用来验证聚类过滤技术的有效性11。Zhang等人在Rothermel的基础上，通过对遍历测试修改的执行剖面进行聚类，增强了安全选择技术1。Shin等人提出了基于聚类的测试用例优先级技术，用来减少成对比较的数量12。C. Songyu等人率先将半监督聚类运用到回归测试用例选择的问题上，利用测试用例的函数覆盖信息对测试用例进行聚类，从而减少测试用例13。使用聚类技术解决 RTS问题，可以在保证测试用例的错误检测能力和覆盖率的前提下， 提高测试用例的约简率1,14。但目前已有的方法大部分都是非监督的，利用无标签数据进行训练和组织数据，聚类的结果依赖于目标函数的设定和参数的

8、输入，而这些参数往往是需要人工设置的。由于软件系统的复杂性和多样性，在参数设置方面比较困难，获得的聚类效果也难以得到保证。尹学松等人提出了基于成对约束的判别型半监督聚类分析方法15。论文将这种聚类方法 用于解决回归测试用例选择问题，可以优化回归测试用例选择的结果。3基于DSKM的测试用例选择方法随着数据挖掘技术在软件测试中的应用，基于聚类的测试用例选择技术被证明能够有效地减少测试用例1, 13, 14, 16, 17。聚类的目标是将能够发现相同故障、覆盖到相似函数的测试用例聚到同一簇中。然而，简单的聚类算法结果并不是满意的，论文使用了DSKM方法对聚类结果进行优化。 一方面保证测试用例的错误检

9、测能力和覆盖率，另一方面，提高测试用例选择的准确率和约简率。3.1 整体流程基于DSKM的测试用例选择方法主要包括数据提取、约束推导、数据降维、数据聚类、 用例取样五个部分，如图 3-1所示。DSKM方法首先通过分析测试用例对函数的覆盖情况得 到原始数据集，即测试用例与其覆盖函数的二进制向量组成的二维表。然后将从测试用例执行历史记录中挖掘出的成对约束作为输入，使用SSDR (Semi-Supervised DimensionalityReduction)算法18得到投影矩阵，在投影空间内对原始数据聚类得到聚类标号。接着再将聚类标号作为输入，利用线性判别分析( Linear Discrimina

10、nt Analysis ,简称LDA)选择子空间， 在子空间上对数据集进行投影，得到新的数据集，即降维过后的二维表。最后使用K-means 算法对新的数据集进行聚类，将测试用例聚为 K簇，使用自适应的取样策略从每一簇中选出一定比率的测试用例组成新的测试用例集。该方法结合SSDRT法和LDA方法对聚类结果进行优化。3.2 数据提取本阶段进行原始数据集收集。在测试用例执行过程中， 其执行结果会被记录。 使用代码覆盖率分析工具对每个测试用例的代码覆盖情况进行分析。使用一个二进制向量表示测试用例的函数覆盖，每一位都记录对应函数在测试用例执行过程中是否被覆盖，如果某个函数被覆盖，该位被置为1,否则，置为

11、0。最终得到测试用例与其覆盖的函数组成的二维表，即 原始数据集。得到的原始数据集表示为 X=,其中X【表示测试用例i对应的函数 覆盖的二进制向量，每个 由代表一个数据对象3.3 约束推导在半监督聚得到原始数据集 X以后，使用测试用例执行历史记录推导出成对约束信息。论文使用两种类型的成对约类中，通过数据标签或者数据间的约束的形式使用有限的监督。束(Pairwise Constraints)来表示测试用例之间的约束关系18。1) Must-link :两个测试用例必须在同一簇中。2) Cannot-link :两个测试用例必须在不同的簇中。经过约束推导，得到约束集M和C。M代表Must-link约

12、束集，C代表Cannot-link约束集。3.4数据降维在对测试用例进行聚类以前，结合SSDR方法和LDA方法对提取的数据集进行降维处理。首先，利用SSDR方法求出投影矩阵 W,在投影空间内对数据集聚类得到聚类标号。然后利用LDA方法选择子空间。在子空间上对数据集进行投影，得到新的数据集，即降维过后的 二维表。SSDR(Semi-Supervised Dimensionality Reduction )将原始数据集X、约束集M和C作为输入，利用 SSDRM法18生成变换矩阵W =然后使用 W矩阵将原始数据集 X转换为低维度数据集Y =其中的=WT%i，y可以在保持原始数据集 x的数据结构不变的

13、同时具有更适合的距离空间。新的距离空间的数据对象更适合用于聚类。SSDRB法通过公式1求解W矩阵，所求 W矩阵为使目标函数(2)最大化的 W的值，其中胪修二1公式1公式1中，口表示数据集X中所有数据对象的数量，制1表示属于Cannot-link约束集中 的数据对象的数量，表示属于Must-link约束集中的数据对象的数量。第一项表示所有数据对象的平均平方距离，第二项和第三项表示包含在成对约束集中的所有数据对象的平均平方距离。为了得到的最大值，尽可能使包含在Cannot-link约束集中的数据实例的平均平方距离最大，同时包含在Must-link约束集中的数据实例的平均平方距离最小。通过公式1,将

14、Cannot-link约束集中数据实例间的距离增大，同时将 Must-link约束集中的数据实例间的 距离减小，从而保证属于Must-link约束集中的测试用例被聚到同一簇中，而属于Cannot-link约束集中的测试用例被聚到不同簇中。在上式中，使用了两个参数 a和&用来平衡约束的权重，a与3的比值会影响到聚类的结果。经过SSDR方法求出投影矩阵 W以后，利用 W矩阵将原始数据集 X投影到低维空间， 得到数据集Y,并使用传统的K-means聚类算法对数据集 Y进行聚类，得到每个测试用例的 聚类标号组成的向量 Labels,便于下一步使用 LDA选择子空间。LDA （ Linear D

15、iscriminant Analysis）LDA的目的是最大化类间距离，最小化类内距离。使用SSDR方法后得到的聚类标号向量Labels和数据集Y作为LDA方法的输入，进行有监督的维数约简处理，得到降维过后的 新数据集X',用于下一步K-means聚类算法的输入。LDA是监督维数约减方法， 它寻找一个最优的投影方向，使得在投影空间中的不同类数据对象之间距离远，而相同类数据对象之间距离近。LDA的目标函数如下：VTSbW叫林=aigmaxr公式2公式2中类间散布矩阵 &和类内散布矩阵 %可以分别表示如下： £公式3L$二22（看-呵一呵）丁）j=i（=1公式4公式3和公

16、式4中，L是类数，m是全部样本的均值，步:是第i类样本均值，%是第 :类样本数。3.5 聚类原始数据集X进行降维处理得到新数据集X'后，使用K-means算法对X聚类。得到测试用例的K个聚类。K-means聚类算法的典型步骤如下19:1） 初始化：在多维空间中放置K个初始点，代表每个簇的中心点。初始化中心点的不同直接影响到测试用例选择的结果，所以最好的选择就是两两中心点的距离尽量远。2） 聚类：根据数据对象的均值，将每个数据对象放置到其最相似的簇中。3） 更新：当有新的数据对象加入分组中后，对分组的中心点进行更新。4） 循环：重复聚类和更新的步骤直到每个簇的中心点不再明显改变o3.6

17、用例取样经过k-means算法聚类以后，原测试用例集被聚到 K个簇中。最后从每一簇中选出测试 用例建立新的回归测试用例集。取样策略有很多种，常见的有自适应取样策略10, 20、动态取样策略21、随机取样策略16等。本文选择自适应取样策略，首先按照一定比例，如 10%,从每一簇中随机选取少量测试用例，每一簇中至少选出一个测试用例，如果某个测试 用例覆盖了修改的函数，则直接将其放到新的测试用例集中。如果选出的测试用例为可以发现故障的测试用例，则与其在同一簇中的全部测试用例将被选出来组成新的测试用例集。4实验为了验证所提出的方法，进行了大量的实验探究。并对 DSKM方法和k-means算法进行了 对

18、比，以验证 DSKM方法的有效性。4.1实验对象论文选用Xml-security项目和Junit项目作为实验对象。Xml-security项目和Junit项目者B是Java开源项目。表格4-1中列出了每个项目对应的版本数量、类文件数量、函数数量、指令数量和测试用例的数量。对于每个实验对象，下载的最新版本为正确的基础版本。依次将实验对象的历史版本中的Bug添加到基础版本中，每次添加一个 Bug,形成多个修改版。将测试用例在各个修改版本上运行并记录运行结果。执行此操作是因为不能直接从下载的实验对象中得到测试用例执行结果记录，实际应用中，可以直接使用测试用例的执行结果记录。表格4 -1Program

19、VersionsClassesMethodsInstructionsTest casesXml-security16333243055058117Junit202351450184571594.2实验步骤实验主要分为五个基本步骤。原始数据提取利用eclipse工具在实验对象的各修改版本上执行测试用例集，使用 eclemma工具收集 各测试用例的覆盖信息。需要记录三类信息：1）测试用例集在实验对象的各修改版本上的总的函数覆盖率。2）测试用例集中每个测试用例的函数覆盖信息，形成函数覆盖的二进制向量。3）测试用例集中每个测试用例在实验对象的每个修改版本上的执行结果，如果与基础版本的执行结果相同，则代

20、表通过，如果不同，则为失败。记录失败测试用例的序号和对应的版本号，用于下一步中提取成对约束。约束推导一个失败的测试用例至少可以检测到一个bug,某些失败的测试用例在多个修改版本都能检测到bug。建立测试用例和版本之间的映射关系。丫（0代表测试用例工能够检测到bug的版本集合，用重合度CD表示两个测试用例 x1和x2发现相同bug的比率，CD定义如下13:公式1V&J和不能同时为0,即两个通过的测试用例不计算重合度。根据 CD的值，建 立 Must-link 和 Cannot-link 约束集。1 ） Must-link ：如果 （1, 2） TM 则,和.属于 must-link 约束

21、集。TM 为 must-link 约束的阈值，定义为两个值，TM=100%和TM=50%。2 ） Cannot-link ：如果皿抵） = 0, 则工二和工属于cannot-link约束集。即&和如没有 检测到相同的bug。不难看出不同的约束定义会推导出不同的成对约束，也会影响到聚类的结果，进而影响到测试用例选择的结果。数据降维推导出成对约束以后，使用 SSDR方法得到权值矩阵 W,然后利用权值矩阵 W将原始 数据集X映射为Y, 二产/。在X中每个元素的值为1或者0,代表函数是否被覆盖。 经 过数据转换以后，每个元素的值都是一个浮点数， 向量的大小比以前更小。 使用MATLAB工 具编

22、程实现SSDR方法，得到经过SSDR方法处理过后的数据集 Y。然后，使用K-means算法对经过SSDRB法处理以后得到的数据集Y进行聚类，得到每个测试用例对应的类标号，用 Labels向量表示。将类标号向量Labels和数据集Y作为LDA方法的输入，完成对数据的有监督的维数约简。使用MATLAB工具编程实现LDA方法，得到最终用于聚类的新数据集X'。聚类使用SSDRT法和LDA方法对数据集进行降维以后，使用K-means算法对上面形成的新的数据集X进行聚类，得到聚类的结果。在这一步中，论文使用Rapidminer工具的K-means 算法。根据实验对象的大小设置初始K值，执行聚类过程

23、。取样对测试用例聚类结束以后，使用自适应的取样策略选取测试用例。从每个簇中选取p%的测试用例，p值通过项目的规模大小调整。对选出的新的测试用例集计算覆盖率，如果覆盖率接近或者等于原始测试用例集在历史版本上的覆盖率，则停止，返回新的测试用例集； 否则，返回聚类步骤，调整 K值。3 .3评估度量为了评估论文提出的方法的有效性，采用的评测指标包括召回率、准确率、约简率以及覆盖率比。设T为原测试用例集的测试用例数量，写为原测试用例集中能够发现故障的用例t数量，c解为原测试用例集对应的代码覆盖率。,为选出的测试用例集的测试用例数量，*T为选出的测试用例集中能够发现故障的用例数量，。讥，为选出的测试用例集

24、对应的代F码覆盖率。召回率Recall被认为是测试用例选择的完整性度量，定义为Recal.1=171/117y|o Recall值越大，代表更强的错误检测能力。准确率Precision被认为是测试用例选择的准确性程度，定义为Precision = 7p/TfoPrecision值越大，代表更少的测试资源浪费。约简率Reduction用来衡量测试用例集约简的程度，定义为 Reduction T-r/ToReduction值越大，代表约简程度越大。 覆盖率比Coverage用来衡量测试用例选择出的新的测试用例集的函数覆盖情况，定义为ConeeT'age = |Cot?f|/|Cov|o C

25、overage值越大，代表代码覆盖越完整。4 .4结果分析通过对Junit项目和Xml-security项目进行实验， 实验结果如图4-1、图4-2和图4-3。图 中TM为Must-link约束的阈值，定义为两个值，TM=100%和TM=50%。SSDR-使用SSDR处理以后对数据进行聚类的K值。P为最后取样策略中的比率值，如果某簇中仅含一个测试用例，则直接选出该测试用例。Recall、precision > reduction > coverage分别为最终测试用例junitP-Precision(Junit)选择结果的召回率、准确率、约简率和覆盖率比。Xml-securityP

26、-Precision(X ml-security)nKHbrnxppE-K-meansDSPC-KM0.230.220.21 D0.20.19J- K-meansDSPC-KMJ0.18-O18口O2030P(%)40500.17102030P(%)4050P-Reduction(X ml-security)5 5 40/0OnutcuaeRP-Reduction(Junit)40500.35 - -K K-means DSPC-KM1020300.50.450.40.351020-K-means-DSPC-KM304050P(%)P(%)P-Coverage(X ml-security)ac

27、eR&easr evoc0.92P-Coverage&Recall(Junit)K-meansDSPC-KMea«pevoc6 9 5 8L901-80o o十一+-K-meansb DSPC-KM0.84 十-0.82 -=1020304050P(%)0.750.71020304050P(%)图4-1 P值对选择结果的影响图 4-1 表示了 P 值又precision > reduction > coverage 结果的影响。 Coverage 的值随着 P值增大而增大，precision和reduction的值随着P的增大而减小。从结果中可以看出，相对

28、于K-means方法，DSKM方法在在保持甚至提高覆盖率的前提下，准确率和约简率都有明显的提高。K-Precision(Junit)K-Precision(X ml-security)0.24n or SIC er p0 .4.OD S P C- KIJ20304050600.220.20.180.161020二 K-meansDSPC-KM304050K-Reduction(X ml-security)6 5 5o5oonurcuaeRK-Reduction(Junit)K-means DSPC-KM/3o o nutcuaeK-means一 DSPC-KM30405060KK-Covera

29、ge(Junit)0.11020304050Kea«pevoc8,o7664-K-meansDSPC-KM10.950.90.850.80.750.7K-Coverage(X ml-security)K-meansDSPC-KM30405060K2030405060图4-2 K值对选择结果的影响图4-2表示了 K-means聚类步骤中设置的 K值又precision > reduction > coverage结果的 影响。在保持甚至提高覆盖率的前提下，当K值较小或者较大时，DSKM方法对应的准确率和约简率明显优于 K-means方法。1 0.95 0.9 0.85 0.

30、8 0.75 0.7 0.65 0.6 0.55 0.5 0.45 0.4 0.35 0.3 0.25 0.2 0.15 0.1 0.050tj0.051 0.95 - 0.9 - 0.85 0.8 - 0.75 - 0.7 0.65 0.6 0.55 -0.51 0.45 -0.4 - 0.35 -0.3 0.25 -0.2 0.15 二 0.1 口0.05 -0 - 601 0.95 0.9 0.85 0.8 0.75 0.7 0.650.6 0.550.5 0.450.4 0.350.3 0.250.2 0.150.1 0.050a la500.0120a：_ PrecisionRedu

31、ctionCoverageRecall1001 f- 0.95 4 0.9 - 0.85 - 0.8 -0.75 -0.7 -0.65 -0.60.550.5 -0.45 -0.4 -0.35，0.3 -0.25 -0.2 -0.15 M0.10.05 -00.050.0120a：6560SSDR-K(Junit)PrecisionReduction Coverage Recall日707580SSDR-KTM(Junit) PrecisionReductionCoverageRecall708090100TM ( %)_ PrecisionReductionCoverage Recall10

32、0SSDR-K(X mi-security)E.1 0.95 0.9 0.85 0.8 0.75 0.7 0.65 0.6 0.55 0.5 0.450.4s0.35 -0.3 -0.25 -0.2旧0.15 -0.10.05 -0t601 0.95 0.9 0.85 0.8 0.75 0.7 0.65 0.6 0.55 0.5 0.450.4丫0.35 、0.3 0.25 0.2四5060Precision-ReductionCoverage Recall65707580SSDR-KTM(Xmi-security)'一 PrecisionReductionCoverageRecall

33、708090由100TM ( %)图4-3 a和0的比值、SSDR-KF口 TM的值对选择结果的影响图4-3表示了针对 DSKM方法，”和3的比值、SSDR-魅口 TM的值对Recall、precision >reduction > coverage的值的影响。在一定阈值内，当 a和3的比值越大，SSDR-K值越大时， 准确率、约简率和覆盖率的结果更优。TM的值越大，即对于 Mus-link约束集定义越严格，在保证覆盖率的前提下，准确率、约简率的结果更优。从实验的结果可以得出以下结论： 1）对于普通的K-means算法，DSKM方法在保持较 高的召回率和代码覆盖率的前提下，准确率和

34、约简率都有明显的提高。2）约束的定义会对聚类的结果产生影响， 从而影响测试用例选择的结果。 通常TM定义越严格则聚类的效果越 好。5总结与展望论文将判别型半监督 K-means聚类方法（DSKM）应用到回归测试用例选择中。该方法 首先利用回归测试历史执行信息找出隐藏的成对约束信息。然后利用SSDR方法和LDA方法对原始数据进行降维，优化后的数据在距离度量上更加适合聚类分析，从而提高了k-means算法的精度。通过实验，说明了 DSKM方法在大多数情况下可以优化回归测试用例选择的结 果。实验结果还表明约束定义越严格，回归测试用例选择的结果越优。由于基于半监督聚类技术的回归测试用例选择问题较为新颖

35、，还有过很多后续的工作可以进行扩展。例如如何构造高质量的约束，降低“噪音”对聚类结果的影响。本实验采取欧氏距离对样本之间的距离进行度量，在后续工作中可以采用不同的距离度量方法进行实验对比。这些都是论文的下一步工作。参考文献1 Z. Chen, C. Zhenyu, Z. Zhihong, Y Shali, Z. Jinyu, and X. Baowen, "An Improved Regression Test Selection Technique by Clustering Execution Profiles," Proceedings of the Tenth In

36、ternational Conference on Quality Software (QSIC 2010), pp. 171-9, 2010 2010.2 H. K. N. Leung and L. White, "Insights into regression testing software testing," in Software Maintenance, 1989., Proceedings., Conference on , 1989, pp. 60-69.3 G. Rothermel and M. J. Harrold, "Analyzing r

37、egression test selection techniques," Software Engineering, IEEE Transactions on, vol. 22, pp. 529-551, 1996.4 章晓芳，陈林，徐宝文，and聂长海，"测试用例集约简问题研究及其进展，"计算机科学与探索，pp. 235-247, 2008.5 G. Rothermel and M. J. Harrold, "A framework for evaluating regression test selection techniques,"

38、in Software Engineering, 1994. Proceedings. ICSE-16., 16th International Conference on, 1994, pp. 201-210.6 S. Beydeda and V. Gruhn, "Integrating white- and black-box techniques for class-level regression testing," in Computer Software and Applications Conference, 2001. COMPSAC 2001. 25th

39、Annual International , 2001, pp. 357-362.7 M. J. Harrold and M. L. Souffa, "An incremental approach to unit testing during maintenance," in Software Maintenance, 1988., Proceedings of the Conference on , 1988, pp. 362-367.8 R. Gupta, M. J. Harrold, and M. L. Soffa, "An approach to reg

40、ression testing using slicing," in Software Maintenance, 1992. Proceerdings., Conference on ,1992, pp. 299-308.9 R. Gupta, M. J. Harrold, and M. L. Soffa, "Program slicing-based regression testing techniques," Journal of Software Testing Verification and Reliability, vol. 6, pp. 83-11

41、1, 1996.10 W. Dickinson, D. Leon, and A. Fodgurski, "Finding failures by cluster analysis of execution profiles," in Software Engineering, 2001. ICSE 2001. Proceedings of the 23rd International Conference on, 2001, pp. 339-348.11 W. Masri, A. Podgurski, and D. Leon, "An empirical stud

42、y of test case filtering techniques based on exercising information flows," Software Engineering, IEEE Transactions on, vol. 33, pp. 454-477, 2007.12 S. Yoo, M. Harman, P Tonella, and A. Susi, "Clustering test cases to achieve effective and scalable prioritisation incorporating expert know

43、ledge," in Proceedings of the eighteenth international symposium on Software testing and analysis , 2009, pp. 201-212.13 C. Songyu, C. Zhenyu, Z. Zhihong, X. Baowen, and F. Yang, "Using semi-supervised clustering to improve regression test selection techniques," Proceedings 2011 IEEE Fourth International Conference on Software Testing, Verification and Validation (ICST 2011), pp. 1-10, 2011 2011.14 S. Parsa, A. Khalilian, and Y. Fazlalizadeh, "A new algorithm to T