回归正交试验设计

1、回归正交试验设计一、概述（1）回归分析与正交试验设计的主要优缺点回归分析的主要优点是可以由试验数据求出经验公式，用于描述自变量 与因变量之间的函数关系。它的主要缺点是毫不关心试验数据如何取得，这 样，不仅盲目地增加了试验次数，而且试验数据还往往不能提供充分的信息。 因此，有些工作者将经典的回归分析方法描述成：“这是撒大网，捉小鱼，有 时还捉不到鱼”。所以说，回归分析只是被动地处理试验数据，并且回归系数 之间存在相关关系，若从回归方程中剔除某个不显著因素时，需重新计算回 归系数，耗费大量的时间。正交试验设计的主要优点是科学地安排试验过程，用最少的试验次数获 得最全面的试验信息，并对试验结果进行科

2、学分析（如方差分析），从而得到 最佳试验条件，但是它的主要缺点是试验结果无法用一个经验公式来表达， 从而不便于考察试验条件改变后，试验指标将作如何变化。（2）回归正交试验设计回归正交试验设计，实际上就是将线性回归分析与正交试验设计两者有机 地结合起来而发展出的一种试验设计方法，它利用正交试验设计法的“正交 性”特点，有计划、有目的、科学合理地在正交表上安排试验，并将试验结 果用一个明确的函数表达式即回归方程来表示，从而达到既减少试验次数、 又能迅速地建立经验公式的目的。根据回归模型的次数，回归正交试验设计又分为一次回归试验设计和二次 回归试验设计。二、一次回归正交试验设计一次回归正交试验设计的

3、概念一次回归设计研究的是一个因素z (或多个因素z1, z2，)与试验指标y之间的线性关系。当只研究一个因素时，其线性回归模型：y=B 0+B 1z + e(1)其回归方程为：式中吟、叫称为回归系数，e是随机误差，是一组相互独立、且服从正 态分布N(O,g)的随机变量。可以证明，吭、吧和y是B、B和y的 无偏估计，即E( pr)=Bo，E( b)=B，E( y )=y一次回归正交试验设计是通过编码公式x = f(z) 即变量变换，将式 (2)变为:且使试验方案具有正交性，即使得编码因素x的各水平之和为零:mZ x(4)ii=1式中m是因素x的水平数。在回归分析中，回归系数的计算公式为:b -

4、y 一 b x 、b -xx式中：（5）式中：-1 /y -一zNi-11 -Zxx-1 /x = 一z xN ii=1(xi - x )2 =i=1i=1i=1ZZ 1-乙(xi - x)(yi - y)=乙xy - HYPERLINK l bookmark25 o Current Document i=1i=1i=1Zx Zyi i(6)1xx1xyX偏差平方和；x偏差与y偏差的乘积之和N试验总数因此，在一次回归正交试验设计中，由于试验方案具有正交性，则有:b - yZxyi ib i=11 txti0（7）（如 -0 = & - 0,.正交表各水平的出现次数相同！） i=1i=1显然，回

5、归正交试验设计大大简化了计算，同时，编码因素x的水平数一般不大于3,使试验方案制定的目的性明确，便于安排试验，可减少试验次 数。（二）回归正交试验设计的一般步骤1、确定因素的变化范围，对因素水平进行编码如前所述，回归正交试验设计的基本点是，利用正交试验设计安排试验， 运用回归分析方法处理数据，从而减少试验次数，迅速得到回归方程。而连 接这两种方法的“桥梁”是对因素的水平进行编码。试验前，每个因素各水 平的取值，必须满足编码的要求，数据处理时才能大大简化计算。因此，编 码是回归正交试验设计的关键环节，也是回归正交试验设计与一般的正交试 验设计的主要区别。所谓因素的水平编码，就是对因素水平的取值作

6、适当的线性变换，构造 因素水平与“编码”的一一对应关系，编码后，使因素各水平变换成最简单 的整数字码，如-1，+1； -1，0，+1；等等。通过编码使计算大大简化。欲研究p个因素气，z2,，与指标y的数量关系，须先要确定它们的 变化范围。对因素zj，用z1j和z2j分别表示其变化的下界值与上界值，即因素 z的变化区间为z，z 。若试验在z和z上进行，则分别称z和z为因 j1j 2j1j2j1j2j素的下水平（用-1表示）和上水平（用+1表示），并称它们的算术平均值： TOC o 1-5 h z Z = 2（ z1 J +，2 J）为因素的基准水平或零水平（用。表示），而称它们差值的一半：A _

7、1,、气=2（句j -%）为因素的变化区间。为使具有正交性，须对因素Zj作线性变换，即令：X =七fj 5（10）j将式（8）和式（9）代入式（10），得：2l . - （z+ z2 j）jz 2, - Z1 _或者2（ L f 2 j）+1 jz 2，-Z,（11）显然，当 z=z时，x=X=-1；当 z=z，时，x=x =0；当 Z=Z2,时，x=x2=+1.于是，因素的水平值Zj与编码xj，建立了一一对应的关系。通常，因素的水平编码多在表格上进行，如表1所示。表1因素水平编码表因素ZZZ12p编码记号xxx12p下水平（-1）ZZz11121P零水平（0）ZZz01020P上水平（+1）

8、ZZz21222P变化间距12P通过编码，y对变量z1, z2,，z的回归问题就转化为y对变量X, x2,x的回归回题。因此，可以在以x, x,，x为坐标轴的编码空间选择试验 p12p点，进行试验设计与回归分析。这时，回归系数的计算变得十分简单见式(7)。2、选择合适的正交表一次回归正交试验设计，一般选Ln(mk)型等水平正交表，如L4 (23)、L8 (27)、 L2(2ii)、L9(34)、LQ)等二水平或三水平正交表。为符合对因素进行编码的需要，对2k型(二水平)正交表，将表中的1、2分别用-1、+1代换；对3k型(三水平)正交表，将表中的1、2、3分别用 -1、0、+1代换；对4k型(

9、四水平)正交表，将表中的1、2、3、4分别用-2、 -1、+1、+2代换；等等。经过变换后，正交表中的-1、+1、-2、+2等既表示因素水平，又表示因素水平变化的数量大小。同时，交互作用列可直接由表 中相应元素列的对应水平相乘得到，故原交互作用列表失去作用。显然，变换前后的两种正交表之间并无本质差别，故仍用原符号L4(23)、 L8 (27)等表示。变换后的二水平正交表L4 (23)，如表2所示。表 2 L4 (23)因素试验号xiX2X1X2111121-1-13-11-14-1-113、回归系数的计算(12)设p个变量x , x，x与y之间存在线性相关关系，y = p + p x + p

10、x + + p x + e01122p p式中随机误差e相互独立，且eN(0, G 2)。若用正交试验法做N次试验，则有2 Xi 2pXp+e(i=1,2,，N)(13)其结构矩阵为:X11X21X12X22X1PX2P(14)XN2XNP对于L (2k)型二水平正交表， n上式中的x均为 +1 或-1(i=1,2,，N;j=1,2,，p)。因为回归正交试验设计满足正交性要求，故矩阵X中除常数列(即第1列)外，任何一列元素之和为零；任两列对应元素的乘积之和为零；任一列 的平方和为N,即:活工= 0,(j = 1,2,., p)亍 k=1(15)么 XX = 0,(i, j = 1,2,., p

11、, i # j) ki kjk=1尤 X2 = N,(j = 1,2,., p)kjk=1信息矩阵（即系数矩阵）为A = XX =相关矩阵为:二2k 1k=1Zx 2k 2 k=1Zx 2kp k=1C = A-11N由上可见，因为回归正交试验设计具有正交性特点N（16）N _（17）所以信息矩阵和相关矩阵都是对角矩阵，这使计算工作量大大减少。常数项矩阵为:Zyk =1*W，k 1 ykk=1Zxk 2 yk = 1Zx. * kp kk = 1IB 一0B 1=B2:Bp(18)于是参数p的最小二乘估计b=A 一i B,即、B 1 孝 -b。二 n r 芸 *=y ,k=1b = ；j =

12、# x y，(j = L2，.,p)j N N kj kk=1 = B +B X +B X +. + B X1222p p=b + b X + b X +. + b X。1 12 2p p用式(10)将式(20)复原成原变量z 1 ,z2,7I2=b + b z + b z +. + b z1 12 2p p =b +bi+.+bp(& j = b )的回归方程:p| Lp Ak p式中:(19)(20)(21)b = b -b b(22)才z。r七2+f % ik 12p )b =,(j = 1,2,., p) j Aj回归系数俄，矿，,俄可列表计算，如表3所示。表中的Q = b B = N

13、bb为 12pj j jj变量x.的偏回归平方和，回归系数b.的绝对值大小反映了 X.作用的大小。一般把bj与零相差不大的因子剔除，归入误差项，而不必重新计算系数与方差 V检验。经正交试验设计后，回归系数之间的相关性消除了。这是因为相关矩 阵C是对角矩阵，从回归方程中剔除某一变量时，其余回归系数不变。表3一次回归正交试验设计计算表4、回归方程和回归系数的显著性检验（1）回归方程的显著性检验总偏差平方和（ST）及其自由度（fT）:ST章（厂亍）2 =%二厂 N ，（23）k=1k=1k=1fT= N_ 1(24)回归平方和（SQ=S回）及其自由度（fQ=f回）SQ=叩.j=1fQ = P剩余平方

14、和（Se=S剩）及其自由度（fe=f剩）:Se= ST SQ(25)(26)fe = Np 1对回归方程（20）的显著性检验，采用F检验，即用统计量F =七 f =S 回 PSefeJ (N - P -1)对给定显著性水平a ,若F F （p, N - p -1）则认为在显著性水平a下回归方程显著。（2）回归系数的显著性检验在一次回归正交试验设计中，由于满足正交条件的要求，故变量Xj的偏 回归平方和为:Q =B = b B ,(j = 1,2,., p) j j j j j由计算表可知变量的偏回归平方和(27)检验回归系数七是否显著，仍利用统计量QjSJ(N - p-1)(j = 1,2,.,

15、 p )(28)检验原理与方法，同回归方程的检验相似。对回归方程及回归系数的检验，可在表上进行，如表4所示。表4 一次回归正交试验设计的方差分析表方差来源偏差平方和自由度平均偏差平方和QiQ1S剩（N - P-1）S剩（N - P-1）回归剩余S剩邳总-S回N-p-1QppQPS 剩（-P-1）卫S剩（N - P-1）N-1总计Q 节.B 2S =2 y 2 - _0-k =1应该指出的是，在要求不太高的工程实际中，方差检验可省略，只要把Qj小的因素剔除即可。5、零水平重复试验经检验回归方程显著，说明一次回归方程在试验点（即上、下界）上与试 验数据拟合得很好，但在区域内部不能保证。为了解F检验

16、结果显著的一次 回归方程，在被研究区域内部的拟合情况，必须在零水平（z01, z02,，）处 （即区域内部中心点）再安排一些重复试验，譬如，再安排M次重复试验， 其结果分别为y01，y02，. 2 y0M。这时为判断零水平处实际试验结果的算术 平均值品，与所得的回归方程中的常数项b尸1尹七是否有显著差异，可作t k=1检验。S 0=3 广空，f = M1,(29)k=1假如在给定的显著性水平。下，有t = lb0 -可以剩+f t( f + f),七(f剩+ f0),则要考虑在回归方程中引入二次或高次项。一次回归正交试验设计的应用实例参见：茆诗松等.回归分析及试验设计，华东师范大学出版社，19

17、81, p157俞忠原.实验设计与数据分析，哈尔滨船舶工程学院出版社，1995, p160栾军.现代试验设计优化方法，上海交通大学出版社，1995, p198林维宣.试验设计方法，大连海事大学出版社，1995三、二次回归正交试验设计、组合设计法的基本原理当一次回归方程经检验在区域内部拟合不好时，就需要改用二次或更高 次回归。目前，在工程上用二次回归方程近似描述较多。当有p个变量时，二次回归方程的一般形式为：(31)y = B +EB sE+EB x2，0 j jij i jjj jj=1j=1共有q个回归系数:q = 1 + C1 + C 2 + C1 = 1 + p + C 2 + p=1

18、+ 2P :心=%2P（32）要获得p个变量的二次回归方程，试验次数N不应小于q,即N q。事 实上，为了求出二次回归方程的系数，每个因素所取的水平数应大于或等于3，因而所要做的试验次数往往是比较多的。如在三水平全面试验设计（即 m=3）中，p个变量要做3 p次试验（若p=3，则N=33 = 27 ；若p=4，则 N=34 = 81，）。因此，当P 4时，试验次数太多。为此，当变量p较多时， 为使试验次数减少，提出了 “组合设计”思想。下面，介绍如何运用组合设 计进行二次回归正交试验设计。所谓组合设计，就是在因素空间选择几类具有不同特点的试验点，将它 们适当地组合起来，形成试验计划。现以p =

19、 2的情况为例说明试验点的选取 方法和原理。在有2个变量x1和x2的场合下，组合设计由9个试验点组成， 如图1和表4所示。（1，（r， f（1，I:*（0，r）（-1，1）1（-r，0）（0，0）*（-1， -1）* （0，-r）图1二个变量组合设计试验点分布（N=9，p=2）所以，p=2时组合设计的试验次数N=9, N大于回归系数的个数q=C； 2= 6。在p=3，即三个变量x1、x2、x3的情况下，编码因素分布在三维空间p=3 时组合设计的试验次数N=15, N大于回归系数的个数q=C2 2=10.依此类推，一般情况下，p个变量的组合设计由下列N个试验点组成：N = mc+2p+m0（33

20、）式中：mc 2水平全因素试验的试验点个数，即2p ; 第一类点2p 分布在p个坐标轴上的星号点； 第二类点m0 中心点上的试验次数。即各变量都取零水平时的中心点的重复试验次数，它可以只做一次，也可以重复多次。第三类点星号点与中心点的距离r称为星号臂，r是待定参数，可以根据不同的要 求（如正交性、旋转性）来确定r值，从而得到各种具有优良性质的试验设 计（如回归正交试验设计、回归旋转试验设计）。组合设计法的优点是，试验点的个数比三水平的全因素试验少得多，且仍 保持有足够的剩余自由度；试验方便简单，若一次回归正交试验设计不显著， 那么只要在一次回归正交试验的基础上，再在星号和中心点补做一些试验，

21、便可求得二次回归方程。为使组合设计成为正交试验设计，需要确定适当的星号臂r。现以p=3 的情况为例进行说明。在三个变量x1、x2、x3的场合，二次回归组合设计的结构矩阵如表5所示。表5三个变量组合设计的结构矩阵试验号X0X1X2X3X1 X2X1 X3X2 X3x 21x 22x 23111111111112111-11-1-1111311-11-11-1111411-1-1-1-1111151-111-1-1111161-11-1-11-111171-1-111-1-111181-1-1-111111191r00000r200101-r00000r2001110r00000r201210-r

22、00000r2013100r00000r214100-r00000r2151000000000从表5可以看出，组合设计实际上是在一次回归正交设计的基础上加入了 星号点的试验计划，而加入星号点后，并不破坏一次变量和交互作用列的正 交性。正交性只是被x0和x2破坏了，使得信息矩阵A= X X不再是对角矩 j阵。这是因为: TOC o 1-5 h z V 1艺 x2 = m + 2r2 主 0, _ HYPERLINK l bookmark222 o Current Document jCi=1(34) HYPERLINK l bookmark188 o Current Document 工 x x

23、2 = m + 2r 2 丰 0, i=1柘 x 2 x 2 = m 丰 0, t 丰 ji=1因此，为使组合设计具有正交性，必须使上述三式全部为零。为满足这个 要求，前人已证明，必须满足以下两个条件:（1）（35）(m + 2p + m )m - mr 2 =2由上可见，臂长r与因素个数p、中心点试验次数m0及二水平试验点个数 mc有关。为使组合设计的结构矩阵具有正交性，必须按上式确定r值（给定p和m0，即可求r2）。一些常见的r2,已被计算列成表格。（2）对平方项心进行中心化处理，即对心进行如下线性变换:1 N（36）x: = x2 一 nz x2,（I = 1,2,., N; j = 1

24、,2,.p）=1当用代替结构矩阵中变量平方的列，就可使系数矩阵中的第一行和第 一列除第一个元素外，其余皆为零。将结构矩阵作上述两点处理后，就可使组合设计具有正交性了。例如，在p=3，mc = 2p = 23 = 8,m0 = 1的情况下，由式（35）求得r2=1.476，r=1.215，由式（36）得：1 NX: = X 2 一 N X 2=1-1 ,=x2 - n(m + 2y 2)=x2 一1(8 + 2 X 1.476) j 15=x2 一 0.730j经上述转化后，将确定的r值代入相应的结构矩阵（表5），并将x2列转化为x /列后，则可得二次回归正交设计的结构矩阵，如表6所示。 j类似

25、地，可以作出四因素的结构矩阵X,此处略。表6二因素二次回归正父设计的结构矩阵X (m0=1)试验号xox1X2X3X1X2x1x3x2x3X1X2X3111111110.2700.2700.2702111-11-1-10.2700.2700.270311-11-11-10.2700.2700.270411-1-1-1-110.2700.2700.27051-111-1-110.2700.2700.27061-11-1-11-10.2700.2700.27071-1-111-1-10.2700.2700.27081-1-1-11110.2700.2700.270911.215000000.746

26、-0.730-0.730101-1.215000000.746-0.730-0.73011101.2150000-0.7300.746-0.7301210-1.2150000-0.7300.746-0.730131001.215000-0.7300.7300.74614100-1.215000-0.7300.7300.746151000000-0.7300.730-0.730组合设计方法步骤与统计分析1、确定因素变化范围，对因素水平进行编码设有p个因素Z，z2，zp，其中第j个因素Zj的上下界分别为z2j和Zj(j=1, 2,p)。根据p和m0的值，确定出星号臂r的值。再令 TOC o 1-5

27、 h z HYPERLINK l bookmark233 o Current Document 乙 =j c 七j ,(j = 1,2，., p)(37)oj2 HYPERLINK l bookmark239 o Current Document =勺_Z.L,(j = 1,2,., p)(38)j r因素水平编码与一次回归正交试验设计类似，对因素的取值作线性变换:x j0-,（j = 1,2,., p）（39）j则变量的变化范围为-r, r,如表7所示。表7因素水平编码表次回归正交设计的回归系数计算类似。信息矩阵A为：SpS12.（40）SP-1, PS11其中，Spp=1,2,., pS

28、j =艺 x2, ji=1S =N (x x )2,k 古 ji=1S = (x)2,(i = 1,2.N, j = 1,2.p) jjiji=1常数项矩阵B为B0B1BpB12(41)BB Tp :11Bpp其中厂Ni=1NBj = xy,j = 1,2,.,pi=1vN1,-B = x x y ,k 丰 j kjik ij ii=1B =艺 x y ,(i = 1,2.N, j = 1,2,., p) jj ij i i=1相关系数矩阵C为1NS -11S-i S -iC=A-i=(42)12 S - / S -111.S -1 pp于是，二次回归方程的回归系数矩阵b=A-iB=CB,即_

29、 丁 y = bl = yN i N ， i=1 Yx.y.lJ 1 ,(i = 1,2.N,j = 1,2. p)X 2 ij i=1bkjBkjSkjbjjBSjj-i=1Y (X X )2i=1_-,(i = 1,2.N, j = 1,2.p)Y (i = 1此时，回归方程为(43)y = b +b x +Zb x x +Zb xj jkj k jjj jj=1k jj=1将式（36）代入上式可得回归方程的另一形式bxj=1(44)+ b xx +b x 2kj k j jj jkjj=1其中x 2ii=1乙bN . 1 jj二次回归正交设计的基本缺点是没有旋转性，这是因为回归系数的方差 不全相等。4、回归方程与回归系数的显著性检验回归方程与回归系数的显著性检验，与一次回归正交试验设计类似。表8 是二次回归试验设计的方差分析表。表8二次回归正交设计方差分析表方差来源一次效应x1偏差平方和