第06课 黑盒测试5-正交法与比较选择

1、正交试验设计方法正交试验设计方法v正交试验设计方法是从大量的试验数据正交试验设计方法是从大量的试验数据中挑选适量的、有代表性的点，从而合中挑选适量的、有代表性的点，从而合理地安排测试的一种科学的试验设计方理地安排测试的一种科学的试验设计方法法v使用已经造好了的表格使用已经造好了的表格正交表来安正交表来安排试验并进行数据分析。排试验并进行数据分析。v正交实验正交实验目的：有效地、合理地减少需进行的实验数量 相关概念：因子：有可能影响实验指标的条件因子的水平（或状态）：影响实验因子的因素正交表：记为L 次数（水平数因子数）， 例如L 8（4124）表示实验次数为8，1个4水平的因子，4个2水平的因

2、子。正交实验法案例分析案例分析为提高某化工产品的转化率，选择了三个有关因素为提高某化工产品的转化率，选择了三个有关因素进行条件试验，反应温度（进行条件试验，反应温度（A），反应时间），反应时间（B），用碱量（），用碱量（C），并确定了它们的试验范），并确定了它们的试验范围如下：围如下：A：80 90B：90分钟分钟150分钟分钟C：5%7%l试验的目的是搞清楚因子试验的目的是搞清楚因子A、B、C对转化率有对转化率有什么影响，哪些是主要的，哪些是次要的，从什么影响，哪些是主要的，哪些是次要的，从而确定最适生产条件，即温度、时间及用碱量而确定最适生产条件，即温度、时间及用碱量各为多少才能使转化率最

3、高。各为多少才能使转化率最高。在试验范围内都选了三个水平（即各因素的不同状在试验范围内都选了三个水平（即各因素的不同状态），如下所示：态），如下所示：vA：A1=80 ，A2=85 ，A3=90；vB：B1=90分钟，分钟，B2= 120分钟，分钟，B3= 150分钟；分钟；vC：C1=5%，C2=6%，C3=7%。（1）全面试验法：取三因子所有水平取三因子所有水平之间的组合，之间的组合，即即A1B1C1、A1B1C2、A1B1C3、A3B3C3，共，共有有33 27次试次试验。用左图表验。用左图表示立方体的示立方体的27个节点。个节点。A1A2A3B1B2B3C1C2C3v全面试验法对各因子

4、与指标间的关系剖析的比较全面试验法对各因子与指标间的关系剖析的比较清楚。但试验次数太多。特别是当因子数目多，清楚。但试验次数太多。特别是当因子数目多，每个因子的水平数目也很多时，试验量非常大。每个因子的水平数目也很多时，试验量非常大。如选如选6个因子，每个因子取个因子，每个因子取5个水平时，全面试验个水平时，全面试验法需法需56 15625次试验，这实际上是不可能实现次试验，这实际上是不可能实现的。如果应用下面的方法，则只需做的。如果应用下面的方法，则只需做25次试验就次试验就行了。而且在某种意义上讲，这行了。而且在某种意义上讲，这25次试验就代表次试验就代表了了15625次试验。次试验。（2

5、）简单对比法：）简单对比法：即变化一个因素而固定其他因素，如首先固定即变化一个因素而固定其他因素，如首先固定B、C于于B1、C1，使，使A变化。变化。B1C1A1A2A3（好结果）A3C1B1B2 （好结果）B3A3B2C1C2 （好结果）C3v如得出如得出A3结果最好，则结果最好，则固定固定A于于A3，C还是还是C1，使使B变化。变化。v得出结果以得出结果以B2为最好，为最好，则固定则固定B于于B2，A于于A3，使使C变化。变化。v试验结果以试验结果以C2最好。于最好。于是就认为最好的工艺条是就认为最好的工艺条件是件是A3B2C2。v这种方法也有一定的效果，但缺点很多。首先这这种方法也有一定

6、的效果，但缺点很多。首先这种方法的选点代表性很差，如按上述方法进行试种方法的选点代表性很差，如按上述方法进行试验，试验点完全分布在一个角上，而在一个很大验，试验点完全分布在一个角上，而在一个很大的范围内没有选点，因此这种试验法不全面，所的范围内没有选点，因此这种试验法不全面，所选的工艺条件选的工艺条件A3B2C2不一定是不一定是27个组合中最好个组合中最好的。其次，用这种方法比较条件好坏时，是把单的。其次，用这种方法比较条件好坏时，是把单个的试验数据拿来，进行数值上的简单比较，而个的试验数据拿来，进行数值上的简单比较，而试验数据中必然包含着误差成分，所以单个数据试验数据中必然包含着误差成分，所

7、以单个数据的简单比较不能剔除误差，必然造成结论的不稳的简单比较不能剔除误差，必然造成结论的不稳定。定。v简单对比法的最大优点就是试验次数少，例如，简单对比法的最大优点就是试验次数少，例如，6因子因子5水平试验，在不重复时，只用水平试验，在不重复时，只用5（61）（51）25次试验就可以了。次试验就可以了。A1 A2 A3B3B2B1C1C2C3v考虑兼顾以上两种方法的优点，从全面试验的点考虑兼顾以上两种方法的优点，从全面试验的点中选择具有典型性、代表性的点，使试验点在试中选择具有典型性、代表性的点，使试验点在试验范围内分布的很均匀，能反映全面情况。但我验范围内分布的很均匀，能反映全面情况。但我

8、们又希望试验点尽量的少，为此还要具体考虑一们又希望试验点尽量的少，为此还要具体考虑一些问题。如上例，对应于些问题。如上例，对应于A有有A1、A2、A3三个平三个平面，对应于面，对应于B、C也各有三个平面，共也各有三个平面，共9个平面。个平面。则这则这9个平面上的点都应当一样多，即对每个因子个平面上的点都应当一样多，即对每个因子的每个水平都要同等看待。具体来说，每个平面的每个水平都要同等看待。具体来说，每个平面上都有上都有3行、行、3列，要求在每行、每列上的点一样列，要求在每行、每列上的点一样多。多。（3）正交试验法）正交试验法 9个平面中每个个平面中每个平面上恰好有平面上恰好有3个点，而每个个

9、点，而每个平面的每行每平面的每行每列都有且仅有列都有且仅有1个点，总共个点，总共9个个点。这样的试点。这样的试验方案，试验验方案，试验点分布均匀，点分布均匀，试验次数也不试验次数也不多。多。A1A2A3B1B2B3C1C2C3147396825ABC1 12 23 34 4111112122231333421235223162312731328321393321 列号列号行号行号实验号水平组合实验条件温度时间加碱量123456789A1B1C1A1B2C2A1B3C3A2B1C2A2B2C3A2B3C1A3B1C3A3B2C1A3B3C28080808585859090909012015090

10、12015090120150567675756正交试验法正交试验法v当因子数和水平数都不太大时，尚可通过作图的当因子数和水平数都不太大时，尚可通过作图的办法来选择分布很均匀的试验点。但是，因子数办法来选择分布很均匀的试验点。但是，因子数和水平数多了，作图的方法就不行了。和水平数多了，作图的方法就不行了。v按照正交表来安排试验，既能使试验点分布得很按照正交表来安排试验，既能使试验点分布得很均匀，又能减少试验次数，而且计算分析简单，均匀，又能减少试验次数，而且计算分析简单，能够清晰地阐明试验条件与指标之间的关系。能够清晰地阐明试验条件与指标之间的关系。常用的正交表常用的正交表v用用L代表正交表，常

11、用代表正交表，常用 的有的有L8(27)、 L9(34)、 L16(45)、 L8(424)等。等。vL8(27) 7表示正交表的列数，表示正交表的列数，2为因子的水平数，为因子的水平数，8表示正交表的行数。表示正交表的行数。vL16(237),有有7列是列是3水平的，有水平的，有1列是列是2水平的水平的做做16个试验最多可以考察个试验最多可以考察1个个2水平的因子和水平的因子和7个个3水平的因子。水平的因子。v行数行数(即试验次数即试验次数)=(每列水平数每列水平数-1) + 1常用的正交表常用的正交表L4（23 ） 列号123试验号1111212232124221常用的正交表常用的正交表L

12、8(27) 列号列号1234567试验号试验号1111111121112222312211224122221152121212621221217221122182212112常用的正交表常用的正交表L8(2441)0000000112010110110310013101011100211110常用的正交表常用的正交表L18(3661)常用的正交表常用的正交表L12(211) 列号列号1234567891011试验号试验号1111111111112111112222223112221112224121221221125122122121216122212212117212211221218212

13、12221112921122212211102221111221211221212111221222112121221常用的正交表常用的正交表L16（45） 列号列号12345试验号试验号111111212222313333414444521234622143723412824321931342103243111331241234213134142314423141543241正交表性质：1）每一列中各数字出现的次数都一样多；）每一列中各数字出现的次数都一样多；2）任何两列所构成的各有序数对出现的次数都一样）任何两列所构成的各有序数对出现的次数都一样多。多。正交表的选择正交表的选择5个个3水平

14、因子及水平因子及1个个2水平因子，需要哪一水平因子，需要哪一种正交表？种正交表？起码的实验次数为：起码的实验次数为：5*(3-1)+1*(2-1)+1=12次次即在正交表行数不小于即在正交表行数不小于12行，既有行，既有2水平列又有水平列又有3水平列水平列的正交表中选择，的正交表中选择，L18（2*37）适合。适合。选择正交表选择正交表v已经公布了很多正交表，可以从下面的渠道获得正交表因特网数理统计书籍相关软件例如：正交设计助手由正交表导出测试用例由正交表导出测试用例 v示例示例有5个因子A,B,C,D,E,其中A因子的水平数为4，其水平分别为（A1、A2、A3、A4）,另外四个因子的水平数为

15、2，其中B因子的水平为（B1、B2）， C因子的水平为（C1、C2）， D因子的水平为（D1、D2），E因子的水平为（E1、E2），因此选用正交表为：L 8（4124）正交实验法测试思想正交实验法测试思想 v正交表可分为正交表可分为统一水平数正交表：表中各个因子的水平数是一样的混合水平数正交表：表中的各个因子数的水平数不同v测试思想测试思想根据被测软件的规格说明书找出影响其功能实现的操作对象和外部因素，把它们当作因子，而把各个因子的取值当作状态，构造出二元的因素分析表；然后，利用正交表进行各因子的状态组合，构造有效的测试输入数据集正交表的因子对应被测对象的测试因素因子的水平可以看成是各测试因素

16、的取值。正交实验法设计步骤正交实验法设计步骤v 设计步骤设计步骤 依据被测对象说明构造因子状态表 加权筛选，生成因素分析表 选取合适的正交表，生成测试数据集 根据被测对象的特征，补充由正交表无法得到的测试用例选择正交表时可能遇到的两种情况选择正交表时可能遇到的两种情况v根据前面获得的因子数和状态数选择正交表，选择正交表可能遇到下面的情况因子数和水平数与正交表相吻合因子数和水平数与正交表不吻合，可以遵循下面的原则 正交表的列数不能小于因子数； 正交表的水平数不能小于因子的最大状态数。1. 正交表的行数取最小值实例实例1：因子数与水平数刚好符合正交表：因子数与水平数刚好符合正交表 v个人信息查询系

17、统中的一个窗口v要测试的控件有3个，也就是要考虑的因素有三个； 姓名 身份证号码 手机号码v每个因素里的状态有两个：填与不填。 v表中的因素数=3； v表中至少有3个因素数的水平数=2 v行数取最少的一个。 v从正交表公式中开始查找，结果为： L4(23) v测试用例如下：测试用例如下： 1：填写姓名、填写身份证号、填写手机号：填写姓名、填写身份证号、填写手机号 2：填写姓名、不填身份证号、不填手机号：填写姓名、不填身份证号、不填手机号 3：不填姓名、填写身份证号、不填手机号：不填姓名、填写身份证号、不填手机号 4：不填姓名、不填身份证号、填写手机号：不填姓名、不填身份证号、填写手机号v增补测

18、试用例增补测试用例 5：不填姓名、不填身份证号、不填手机号：不填姓名、不填身份证号、不填手机号v测试用例可以看出：如果按每个因素两个水平数测试用例可以看出：如果按每个因素两个水平数来考虑的话，需要来考虑的话，需要8个测试用例，而通过正交实验个测试用例，而通过正交实验法进行的测试用例只有法进行的测试用例只有5个，大大减少了测试用例个，大大减少了测试用例数。用最小的测试用例集合去获取最大的测试覆数。用最小的测试用例集合去获取最大的测试覆盖率。盖率。实例实例2：因子数水平数与正交表不相同的情况：因子数水平数与正交表不相同的情况微软Powerpoint程序的打印测试，也需要考虑4个因素，每个因素也有多个选项v 打印范围分：全部、当前幻灯片、给定范围v 打印内容分：幻灯片、讲义、备注页、大纲视图v 打印颜色/灰度分: 彩色、灰度、黑白v 打印效果分：幻灯片加框和幻灯片不加框。实例实例2：因子数水平数与正交表不相同的情况：因子数水平数与正交表不相同的情况微软Powerpoint打印测试，有4个因子，水平数（从2到4 ）是不相等的。由于水平数不等，采用包含和组合的方法选取合适的正交表公式 v表中的因子数=4v表中至少有4个因子的水平数=2v行数取最少的一个最后选中正交表公式：