多重回归方程介绍

1、GE Appliances Copyright 1999GE Appliances Copyright 1999 第第 9部分部分: 多重回归多重回归目的目的: 介绍多重回归方程，作为具有多个独立变量工序的可能模型。 目标：目标：理解多重回归方程式的各个部分-常数和系数(参数)采用对中概念，确保回归模型为正交采用残差图评估模型的“ 良好性”通过观察p值、R2和标准残差变差，评估回归模型。根据数据得出等值线图，并确定“ X” 的最优状态 GE Appliances Copyright 1999定义连续“ Y” 变量与多重、连续“ X” 变量之间关系的方法一种基于您提供的数据而建立的工序数学模型它

2、提供了一种采用线性方程式或二次方程式(含有二次项的方程式)模拟工序的能力Yi = b0 + b1 * X1i + . . . + bk * Xki + error注意注意! 对于所构建的任何形式的模型，对从模型中得出的对于所构建的任何形式的模型，对从模型中得出的结论要倍加小心。在对结论要倍加小心。在对基准基准数据进行回归时尤其如此。数据进行回归时尤其如此。如果回归用的是基准数据，您必须运行如果回归用的是基准数据，您必须运行DOE，以确认模以确认模型型 (证明这些证明这些“ X” 确实控制着确实控制着 “ Y” )GE Appliances Copyright 1999多重回归方程式中的“ X”

3、 可以是独立、不等变量，也可以是互相关联，如X12或X1*X2。如果平方项(X12)显著，而线性项(X1)不显著，该怎么办？在这两项相关联时，如何区别二者的影响？(X1无疑与X12相关联！)我们必须 转换 相关联的“ X” 变量，才能将它们各自对“ Y” 的影响区别开来。转换的方法叫做“对中”。如何如何“对中对中”？将每一X值减去该X变量的平均值， 然后， 计算其平方值， 即：2 让我们举一实例让我们举一实例 . . . .原始数据和对中数据基本正交。这可以区别影响。原始数据和对中数据基本正交。这可以区别影响。要使要使p值有效，值有效，数据必须对中数据必须对中。)(xxjGE Applianc

4、es Copyright 1999数集数集: XX2416525636 X和X2一起改变图象显示相关系数 (r) 很大。相关系数表示数据点成直线的程度。对于此组数据，r = .998 (如果完全相关，r = 1.0)我们希望“ X” 变量独立：r=0如果X和X2都影响工序，可通过 对中对它们的影响进行独立独立研究。从每个数据点中减去X的平均值：平均值 = (4+5+6) / 3 = 5GE Appliances Copyright 1999(X - 5)(X - 5)2 -1 1 0 0 1 1从每个X数据点减去平均值5，得到 对中 的数据：转换过的数据的相关系数是：r = 0.0 - 这两个

5、变量现在已经独立！ 线性效应可通过比较“ X”处于低水平时的“ Y” 值和“ X”处于高水平时的Y值来估计。二次方或曲线效应可通过比较“ X” 处于中间水平时的Y值和“ X” 处于高水平及低水平时Y值的平均值来估计。将将“ 对中对中” 数据制成图表：数据制成图表：(StatBasic StatisticsCorrelation.可用于计算 r 值)MINITAB对数据对数据“ 编码编码” 时，其实是时，其实是“ 对中对中” ，如上例所示。，如上例所示。GE Appliances Copyright 199941 1 549 2 569 3 565 4 540 11050 21058 31057

6、 41031 11536 21544 31557 41519 12031 22033 32043 420下例摘自：Richard A. Johnson. Miller and Freunds Probability and Statistics for Engineers: Fifth Edition. Prentice Hall. 1994. 的第358页。目的目的是估计描述以下变量之间关系的方程式：元素A的百分比，元素B的百分比使锻造合金棒断裂所需的扭转次数“ 扭转 (twist)” 指Y(响应)变量，“ A” 和“ B” 是X(独立)变量。在C1中输入“ twists” ，C2中输入“A

7、” ，C3中输入“B”。 C1 C2 C3 Twists A BGE Appliances Copyright 1999采用交互作用图，制成Y与A对应图和Y与B对应图 STATANOVAInteractions Plots在对话框中选择“ Twists” 作为响应变量值，并选择“ A” 和“ B” 作为因素(自变量)。不动“ Base Plots on:” 以及“ Data Means” 。单击“ Display Full Interaction Plot Matrix” 。单击“ OK” 。GE Appliances Copyright 19991 12 23 34 4 5 51010151

8、52020204570204570AB1234 51015201234 5101520Interaction Plot - Data Means for twists解释：解释：右上图（右上图（“ B” 在水平数轴上；不同线条代表不同的在水平数轴上；不同线条代表不同的“ A” 值）值）扭转次数随着“ B” 的增加而减少两者之间的关系是曲线还是直线？左下图（左下图（“ A” 在水平轴上。不同线条代表不同的在水平轴上。不同线条代表不同的“ B” 值值）扭转次数随着“ A” 的减少而减少“ Y” 与“ A” 间的关系是曲线还是直线？采用采用“ 分析反应面设计分析反应面设计”确定平方关系是否具有统确定

9、平方关系是否具有统计显著性。计显著性。GE Appliances Copyright 1999数据表将显示定义DOE的 “ std order”, “ run order”和“ blocks”。要使用“ 分析RS设计”，必须有这些信息。为了用反应面(RS)设计法分析数据，首先要确定RS设计。STATDOEDefine Custom RS Design在对话框中，选择代表因素设置的栏，单击OK。使用“ 高值高值/低值低值”和“ 设计设计”选项，请参见Minitab帮助。我们采用这些选项的缺省设置。GE Appliances Copyright 1999下一步，用下一步，用StatDOEAnaly

10、ze RS Design来分析模型来分析模型选择选择 response,coded units 然后单击然后单击 graphs“编码数据” 选择将指导Minitab采用算法对中数据，该算法可用“ 定义定制RS设计” 和“ 低值/高值” 选项来定义。在本例中，我们使用缺省的低值= -1，高值=1GE Appliances Copyright 1999在图形框中，单击这在图形框中，单击这些图表，并选择变量些图表，并选择变量在主对话框中选择“Terms” 按钮，以确定模型的种类(full quadratic )以及模型中包含的因素(全部Xs ，X的 平方，和交互作用)，然后单击OK，接着单击“ 分析

11、反应面设计” 对话框中的OK。GE Appliances Copyright 1999GE Appliances Copyright 1999StatDOEAnalyze RS Design从下拉列表中选择 linear 。 Available Terms 和 Selected Terms 应自动改变。如前所示，从图形选项中选择残差图(9.12页) 数据显示，仅线性项有显著影响；残差图显示，平方模型可能不是最佳拟合方式。我们重新分析，选择“ Linear” ，而不是“ Quadratic” GE Appliances Copyright 1999会话窗口输出 X变量和线性模型都具有变量和线性模

12、型都具有统计显著性统计显著性 (pDOEAnalyze RS Plots这次单击“ Uncoded Units” 。打开“ Graphs” 对话框，清除先前用过的残差图。单击OK，然后再单击OK生成输出结果。生成的输出结果为模型提供了正确、未编码的系数。GE Appliances Copyright 1999单击“ Contours. ” 以设置图形输出. . .StatDOERS Plots 依次单击依次单击 Contour plot, 和和SetupGE Appliances Copyright 199935 45 55 65 12345101520ABContour Plot of tw

13、ists扭转次数扭转次数 的等值线的等值线单击单击 Use different types ，在等值线图中创建在等值线图中创建短划线短划线Click OK three times!解释：解释：要使扭转的数量最大，参照等值线图右下角(扭转次数 = 65)。读取将提供扭转次数 = 65(高值A，低值B)的潜在“ A” 和“ B” 值。GE Appliances Copyright 1999另一种工具：逐步回归在对影响工序的大量 “ X”进行筛选，以确定潜在的关键少数变量时，回归可以是一种宝贵的工具。这甚至可以采用基准数据进行，但要注意：注意注意!如果不先进行DOE，以确认这些确实是控制工序的“ X

14、” ，永远不要得出这些“ X” 就是关键少数因素的结论。逐步回归 将根据Xs 对响应变量值(“ Y” )的影响而逐步将其添加到模型中。Minitab所用的第一个“ X” 是对Y影响最大的一个变量。我们采用一种由计算机生成的、称作 工厂模拟器 的工厂来进行逐步回归练习。该工厂生产 小器具 ，其CTQ(“ Y” )是器具长度。工厂用8个(标注为A至H)连续“ X” 变量生成连续的“ Y” 对应值。工厂模拟器是一个Excel文件：FACTSIM.xls The Factory Simulator is an Excel file: FACTSIM.xls GE Appliances Copyrigh

15、t 1999工厂模拟器制作 小器具(中下部所示红盒)单击 Start， 启动工厂 单击Yes运行工厂模拟器运行工厂模拟器单击 All 选择所有8个“ X”变量选择子群中的样本数量并选择子群数量遵照下页的程序，逐步使用逐步回归方法筛选潜在的关键“ Xs ”GE Appliances Copyright 1999采用逐步回归方法筛选出采用逐步回归方法筛选出潜在潜在“ 关键少数关键少数” X(续续)基本回归公式为：y=b0+b1x2+b2x2+b3x3+.+bnxn对于工厂模拟器来说，公式为：工厂输出工厂输出=C1A+C2B+C3C+C4D+ C5E + C6F + C7G + C8H+b其中C1,

16、 C2.C8为系数，“ b”为常数(确切地说是直线的Y截距)步骤：1.运行工厂模拟器得出的数据(确保您具有足够大的样本，并具有适当的有理数子群)2.将输出的数据复制到Minitab中，但要先删除空行。3.采用GRAPHMATRIX PLOT给输出数据绘图，这可使您绘制Y对每个X变量(A, B, C, D等)的关系图在此对话框中，选择输出结果(响应值栏)和4个输入变量栏。单击OK。重复此过程，制作输出与其它4个输入变量的对照图表。这些图表将显示出趋势。这些Y与X的关系是否为线性？是否为曲线？4.选择STATREGRESSIONSTEPWISE“ 响应值”：Y(输出栏 - C1)“ 预测变量值”：

17、A至H(栏2至栏9)单击“ Options”按钮，在“ Take _steps between pauses”处输入1。点击两次“ OK”。Minitab将按顺序排列有影响的“ X”变量，并首先对影响最大的X进行回归分析，Minitab将询问您是否希望运行更多步骤，键入“ yes”，然后点击回。车键。持续这样做，直到Minitab不再进行计算。这时，您就得到了所有的潜在“ 关键少数”！注意：注意：在Minitab计算的最后一步，检查R2值。只有您您能够决定拟合模型是否好得足以可以应用。GE Appliances Copyright 1999第第9部分多重回归部分多重回归始终首先将数据绘图！如果

18、数据散点图显示“ Y”与“ X”存在着潜在的曲线关系(或者您不能确定，而需要一个起点进行分析)，就用二次方模型拟合数据 反应面要将“ X2”的影响与“ X”的影响分开，可通过从每个“ X”值中减去相应栏平均值的方法 对中 数据(这保证了正交性)在所有的分析中使用对中的数据，在完成时将其转换回未对中的数据。观察用于模型初始评估的p值、R2和R2adj、以及s；使用残差图检查误差项。使用等值线图找出产生预期“ Y” 所需的“ Xs” 值组合。采用逐步回归方法依次向模型添加“ X” (根据其对“ Y” 的影响)。GE Appliances Copyright 1999GE Appliances Co

19、pyright 1999如何安排数据能提供线索找出影响显著的“ X” 找出扭转次数的最高值找出扭转次数的最高值 - “ A”和和“ B”合金的哪种组合可合金的哪种组合可使扭转最大？使扭转最大？使用使用Cross-Tabulation查看数据的趋势查看数据的趋势(采用本部分初始的采用本部分初始的 “ 扭转次数扭转次数” 数据数据) 从此表来看，似乎高百分比的合金 A 和低百分比的合金 B 使扭转次数最大。用这些信息复查回归分析的结果.StatTablesCross Tabulation 选择 Display CountsGE Appliances Copyright 1999GE Appliances Copyright 1999什么是什么是Excel Solver?Excel中的一项功能，它可以解答特定“ Y” 值的方程式(确定“ X” 值)，或找出最小或最大值(对于二次关系)Excel Solver用于何处用于何处?通过回归分析、DOE等生成模型方程之后。Excel Solver如何工作如何工作?采用偏微分方法解答方程(或方程组)。最好是让Excel帮您