多重回归方程介绍课件

第9部分:多重回归第9部分:第9部分:多重回归目的:

介绍多重回归方程，作为具有多个独立变量工序的可能模型。目标：理解多重回归方程式的各个部分-常数和系数(参数)采用对中概念，确保回归模型为正交采用残差图评估模型的“良好性”通过观察p值、R2和标准残差变差，评估回归模型。根据数据得出等值线图，并确定“X”的最优状态

第9部分:多重回归目的:介绍多重回归方程，作为具有什么是多重回归？定义连续“Y”变量与多重、连续“X”变量之间关系的方法一种基于您提供的数据而建立的工序数学模型为何要使用多重回归？它提供了一种采用线性方程式或二次方程式(含有二次项的方程式)模拟工序的能力方程的一般形式是什么？Yi=b0+b1*X1i+...+bk*Xki+error注意!!对于所构建的任何形式的模型，对从模型中得出的结论要倍加小心。在对基准数据进行回归时尤其如此。如果回归用的是基准数据，您必须运行DOE，以确认模型(证明这些“X”确实控制着“Y”)什么是多重回归？定义连续“Y”变量与多重、连续“X多重回归方程式中的“X”可以是独立、不等变量，也可以是互相关联，如X12或X1*X2。如果平方项(X12)显著，而线性项(X1)不显著，该怎么办？在这两项相关联时，如何区别二者的影响？(X1无疑与X12相关联！)我们必须‘转换’相关联的“X”变量，才能将它们各自对“Y”的影响区别开来。转换的方法叫做“对中”。

如何“对中”？将每一X值减去该X变量的平均值，然后，计算其平方值，即： 2

让我们举一实例....原始数据和对中数据基本正交。这可以区别影响。要使p值有效，数据必须对中。对中’“X”，以确保正交

多重回归方程式中的“X”可以是独立、不等变量，也可以是对中举例:数集:X X24 165 256 36

X和X2一起改变图象显示‘相关系数’(r)很大。相关系数表示数据点成直线的程度。对于此组数据，r=.998(如果完全相关，r=1.0)我们希望“X”变量独立：r=0如果X和X2都影响工序，可通过‘对中’对它们的影响进行独立研究。从每个数据点中减去X的平均值：平均值=(4+5+6)/3=5对中举例:数集:X X2X和X2一起改变如果X和X(X-5) (X-5)2-1 10 01 1从每个X数据点减去平均值5，得到‘对中’的数据：转换过的数据的相关系数是：r=0.0-这两个变量现在已经独立！

线性效应可通过比较“X”处于低水平时的“Y”值和“X”处于高水平时的Y值来估计。二次方或曲线效应可通过比较“X”处于中间水平时的Y值和“X”处于高水平及低水平时Y值的平均值来估计。将“对中”数据制成图表：(Stat>BasicStatistics>Correlation...可用于计算‘r’值)MINITAB对数据“编码”时，其实是“对中”，如上例所示。(X-5) (X-5)2从每个X数据点减去平均值5，4115492569356545401105021058310574103111536215443155741519120312203332043420多重回归-扭转下例摘自：RichardA.Johnson.MillerandFreund‘sProbabilityandStatisticsforEngineers:FifthEdition.PrenticeHall.1994.的第358页。目的是估计描述以下变量之间关系的方程式： 元素A的百分比， 元素B的百分比 使锻造合金棒断裂所需的扭转次数“扭转(twist)”指Y(响应)变量，“A”和“B”是X(独立)变量。在C1中输入“twists”，C2中输入“A”，C3中输入“B”。 C1C2C3 Twists

A

B411549256935654采用交互作用图，制成Y与A对应图和Y与B对应图STAT>ANOVA>InteractionsPlots检查“X”和“Y”之间的关系在对话框中选择“Twists”作为响应变量值，并选择“A”和“B”作为因素(自变量)。不动“BasePlotson:”以及“DataMeans”。单击“DisplayFullInteractionPlotMatrix”。单击“OK”。采用交互作用图，制成Y与A对应图和Y与B对应图检查“X”交互作用图分析解释：右上图（“B”在水平数轴上；不同线条代表不同的“A”值）扭转次数随着“B”的增加而减少两者之间的关系是曲线还是直线？左下图（“A”在水平轴上。不同线条代表不同的“B”值）扭转次数随着“A”的减少而减少“Y”与“A”间的关系是曲线还是直线？采用“分析反应面设计”确定平方关系是否具有统计显著性。交互作用图分析解释：采用“分析反应面设计”确定平方关系是定义设计数据表将显示定义DOE的“stdorder”,“runorder”和“blocks”。要使用“分析RS设计”，必须有这些信息。为了用反应面(RS)设计法分析数据，首先要确定RS设计。STAT>DOE>DefineCustomRSDesign在对话框中，选择代表因素设置的栏，单击OK。使用“高值/低值”和“设计”选项，请参见Minitab帮助。我们采用这些选项的缺省设置。定义设计数据表将显示定义DOE的“stdorder”下一步，用Stat>DOE>AnalyzeRSDesign来分析模型选择response,codedunits然后单击graphs分析反应面模型！“编码数据”选择将指导Minitab采用算法对中数据，该算法可用“定义定制RS设计”和“低值/高值”选项来定义。在本例中，我们使用缺省的低值=-1，高值=1下一步，用Stat>DOE>AnalyzeRSDesig在图形框中，单击这些图表，并选择变量在主对话框中选择“Terms”按钮，以确定模型的种类(‘fullquadratic’)以及模型中包含的因素(全部Xs，X的平方，和交互作用)，然后单击OK，接着单击“分析反应面设计”对话框中的OK。在图形框中，单击这些图表，并选择变量在主对话框中选择“Ter多重回归方程介绍课件Stat>DOE>AnalyzeRSDesign从下拉列表中选择‘linear’。‘AvailableTerms’和‘SelectedTerms’应自动改变。如前所示，从图形选项中选择残差图(9.12页)

重新拟合模型数据显示，仅线性项有显著影响；残差图显示，平方模型可能不是最佳拟合方式。我们重新分析，选择“Linear”，而不是“Quadratic”……Stat>DOE>AnalyzeRSDesign从下拉列会话窗口输出

X变量和线性模型都具有统计显著性(p<0.05)线性和平方模型的R2值相似，表明线性模型仍为较好的拟合方式。下一步：复习残差图

平方 线性R-平方 93.6 91.7R平方调节 90.3 90.4两种模型的误差项的大小相似： 4.242(线性)和4.254(平方)会话窗口输出

X变量和线性模型都具有统计显著性(p<采用残差图帮助评估线性模型看上去，误差随拟合值的增加而增加。残差好象不太呈

正态分布（请记住，我们仅有15个数据〕线性模型解释：不大可能所有的假设都严格满足。然而，此模型提供了所给定数据良好的近似值，所以，在实际工作中可能会有益。如果需要更好的拟合，可能需要对数据进行转换－也许使用“Y”的对数或倒数。下一步：重新运行“未编码”分析以获得模型系数采用残差图帮助评估线性模型看上去，误差随拟合值的增加而增加。“未编码数据”的分析RS图重新运行START>DOE>AnalyzeRSPlots这次单击“UncodedUnits”。打开“Graphs”对话框，清除先前用过的残差图。单击OK，然后再单击OK生成输出结果。生成的输出结果为模型提供了正确、未编码的系数。“未编码数据”的分析RS图重新运行START>DOE>Ana单击“Contours...”以设置图形输出……...Stat>DOE>RSPlots

依次单击‘Contourplot’,和‘Setup’最后，查看等值线图，以找到最佳设置单击“Contours...”以设置图形输出…….扭转次数的等值线单击‘Usedifferenttypes’，

在等值线图中创建短划线Click‘OK’threetimes!解释：要使扭转的数量最大，参照等值线图右下角(扭转次数=65)。读取将提供扭转次数=65(高值A，低值B)的潜在“A”和“B”值。}等值线图扭转次数的等值线单击‘Usedifferentty另一种工具：‘逐步’回归在对影响工序的大量“X”进行筛选，以确定潜在的关键少数变量时，回归可以是一种宝贵的工具。这甚至可以采用基准数据进行，但要注意：注意!!如果不先进行DOE，以确认这些确实是控制工序的“X”，永远不要得出这些“X”就是关键少数因素的结论。‘逐步回归’将根据‘Xs’对响应变量值(“Y”)的影响而逐步将其添加到模型中。Minitab所用的第一个“X”是对‘Y’影响最大的一个变量。我们采用一种由计算机生成的、称作‘工厂模拟器’的工厂来进行逐步回归练习。该工厂生产‘小器具’，其CTQ(“Y”)是器具长度。工厂用8个(标注为A至H)连续“X”变量生成连续的“Y”对应值。工厂模拟器是一个Excel文件：FACTSIM.xls

TheFactorySimulatorisanExcelfile:FACTSIM.xls

另一种工具：‘逐步’回归在对影响工序的大量“X”进行筛工厂模拟器制作‘小器具’(中下部所示红盒)单击‘Start’，启动工厂单击Yes’运行工厂模拟器单击‘All’选择所有8个“X”变量选择子群中的样本数量并选择子群数量遵照下页的程序，逐步使用‘逐步’回归方法筛选潜在的关键“Xs”工厂模拟器制作‘小器具’(中下部所示红盒)单击‘S采用逐步回归方法筛选出潜在“关键少数”X(续)基本回归公式为：

y=b0+b1x2+b2x2+b3x3+...+bnxn对于工厂模拟器来说，公式为：

工厂输出=C1A+C2B+C3C+C4D+C5E+C6F+C7G+C8H+b其中C1,C2...C8为系数，“b”为常数(确切地说是直线的Y截距)步骤：1. 运行工厂模拟器得出的数据(确保您具有足够大的样本，并具

有适当的有理数子群)2. 将输出的数据复制到Minitab中，但要先删除空行。3. 采用GRAPH>MATRIXPLOT给输出数据绘图，这可使您绘制Y 对每个X变量(A,B,C,D等)的关系图在此对话框中，选择输出结果(响应值栏)和4个输入变量栏。单击OK。

重复此过程，制作输出与其它4个输入变量的对照图表。这些图表将显

示出趋势。这些Y与X的关系是否为线性？是否为曲线？4. 选择STAT>REGRESSION>STEPWISE “响应值”：Y(输出栏-C1) “预测变量值”：A至H(栏2至栏9) 单击“Options”按钮，在“Take___stepsbetween pauses”处输入1。 点击两次“OK”。Minitab将按顺序排列有影响的“X”变量，并首先对影响最大的X进行回归分析，Minitab将询问您是否希望运行更多步骤，键入“yes”，然后点击回。车键。持续这样做，直到Minitab不再进行计算。这时，您就得到了所有的潜在“关键少数”！注意：在Minitab计算的最后一步，检查R2值。只有您能够决定拟合模型是否好得足以可以应用。采用逐步回归方法筛选出基本回归公式为：关键概念:第9部分多重回归始终首先将数据绘图！如果数据散点图显示“Y”与“X”存在着潜在的曲线关系(或者您不能确定，而需要一个起点进行分析)，就用二次方模型拟合数据－‘反应面’要将“X2”的影响与“X”的影响分开，可通过从每个“X”值中减去相应栏平均值的方法‘对中’数据(这保证了正交性)

在所有的分析中使用对中的数据，在完成时将其转换回未对中的数据。观察用于模型初始评估的p值、R2和R2adj、以及s；使用残差图检查误差项。使用等值线图找出产生预期“Y”所需的“Xs”值组合。采用逐步回归方法依次向模型添加“X”(根据其对“Y”的影响)。关键概念:第9部分多重回归始终首先将数据绘图！附录附录如何安排数据能提供线索找出影响显著的“X”……找出扭转次数的最高值-“A”和“B”合金的哪种组合可使扭转最大？使用Cross-Tabulation查看数据的趋势(采用本部分初始的“扭转次数”数据)

从此表来看，似乎高百分比的合金‘A’和低百分比的合金‘B’使扭转次数最大。用这些信息复查回归分析的结果...Stat>Tables>CrossTabulation选择‘Display’Counts如何安排数据能提供线索找出影响显著的“X”……找出扭转多重回归方程介绍课件ExcelSolver什么是ExcelSolver?Excel中的一项功能，它可以解答特定“Y”值的方程式(确定“X”值)，或找出最小或最大值(对于二次关系)ExcelSolver用于何处?通过回归分析、DOE等生成模型方程之后。ExcelSolver如何工作?采用偏微分方法解答方程(或方程组)。最好是让Excel帮您解答！Solver的局限性是什么?最大的问题：一定要在您测试的“X”范围内解答方程。换句话说，不要超越范围。ExcelSolver什么是ExcelSolver?Ex采用ExcelSolver解答回归方程步骤1：打开Excel，建立空白表格。在表格B4单元格中输入未对中线性方程，如图所示。完成后按回车键。注：C3和D3是A和B值的‘参考’单元格。在Solver解答方程时，系数值将放于这两个单元格中。步骤2：打开ExcelSolver，Tools>Solver单击B4(包含计算式的单元格)让Solver解答Y=60扭转的方程式。加亮显示答案的单元格：C3-D3续...采用ExcelSolver解答回归方程步骤1：打开Exce采用ExcelSolver解答回归方程(续)第三步：输入“X”的限值(测试范围)记住：您不能超越测试范围！ 输入“A”的范围：1-4输入“B”的范围：5-20单击‘Add’单击Add’单击Add’单击‘Add’,然后单击‘Cancel’采用ExcelSolver解答回归方程(续)第三步：输入“单击‘Solve’生成“A”和“B”的答案ExcelSolver可以产生与特定的“Y”值相对应的特定的“X”值，，或者找出“Y”的最大或最小值(仅用于二次方程)下面是A和B的可能设置：单击‘Solve’生成“A”和“B”的答案Exc第9部分:多重回归第9部分:第9部分:多重回归目的:

介绍多重回归方程，作为具有多个独立变量工序的可能模型。目标：理解多重回归方程式的各个部分-常数和系数(参数)采用对中概念，确保回归模型为正交采用残差图评估模型的“良好性”通过观察p值、R2和标准残差变差，评估回归模型。根据数据得出等值线图，并确定“X”的最优状态

第9部分:多重回归目的:介绍多重回归方程，作为具有什么是多重回归？定义连续“Y”变量与多重、连续“X”变量之间关系的方法一种基于您提供的数据而建立的工序数学模型为何要使用多重回归？它提供了一种采用线性方程式或二次方程式(含有二次项的方程式)模拟工序的能力方程的一般形式是什么？Yi=b0+b1*X1i+...+bk*Xki+error注意!!对于所构建的任何形式的模型，对从模型中得出的结论要倍加小心。在对基准数据进行回归时尤其如此。如果回归用的是基准数据，您必须运行DOE，以确认模型(证明这些“X”确实控制着“Y”)什么是多重回归？定义连续“Y”变量与多重、连续“X多重回归方程式中的“X”可以是独立、不等变量，也可以是互相关联，如X12或X1*X2。如果平方项(X12)显著，而线性项(X1)不显著，该怎么办？在这两项相关联时，如何区别二者的影响？(X1无疑与X12相关联！)我们必须‘转换’相关联的“X”变量，才能将它们各自对“Y”的影响区别开来。转换的方法叫做“对中”。

如何“对中”？将每一X值减去该X变量的平均值，然后，计算其平方值，即： 2

让我们举一实例....原始数据和对中数据基本正交。这可以区别影响。要使p值有效，数据必须对中。对中’“X”，以确保正交

多重回归方程式中的“X”可以是独立、不等变量，也可以是对中举例:数集:X X24 165 256 36

X和X2一起改变图象显示‘相关系数’(r)很大。相关系数表示数据点成直线的程度。对于此组数据，r=.998(如果完全相关，r=1.0)我们希望“X”变量独立：r=0如果X和X2都影响工序，可通过‘对中’对它们的影响进行独立研究。从每个数据点中减去X的平均值：平均值=(4+5+6)/3=5对中举例:数集:X X2X和X2一起改变如果X和X(X-5) (X-5)2-1 10 01 1从每个X数据点减去平均值5，得到‘对中’的数据：转换过的数据的相关系数是：r=0.0-这两个变量现在已经独立！

线性效应可通过比较“X”处于低水平时的“Y”值和“X”处于高水平时的Y值来估计。二次方或曲线效应可通过比较“X”处于中间水平时的Y值和“X”处于高水平及低水平时Y值的平均值来估计。将“对中”数据制成图表：(Stat>BasicStatistics>Correlation...可用于计算‘r’值)MINITAB对数据“编码”时，其实是“对中”，如上例所示。(X-5) (X-5)2从每个X数据点减去平均值5，4115492569356545401105021058310574103111536215443155741519120312203332043420多重回归-扭转下例摘自：RichardA.Johnson.MillerandFreund‘sProbabilityandStatisticsforEngineers:FifthEdition.PrenticeHall.1994.的第358页。目的是估计描述以下变量之间关系的方程式： 元素A的百分比， 元素B的百分比 使锻造合金棒断裂所需的扭转次数“扭转(twist)”指Y(响应)变量，“A”和“B”是X(独立)变量。在C1中输入“twists”，C2中输入“A”，C3中输入“B”。 C1C2C3 Twists

A

B411549256935654采用交互作用图，制成Y与A对应图和Y与B对应图STAT>ANOVA>InteractionsPlots检查“X”和“Y”之间的关系在对话框中选择“Twists”作为响应变量值，并选择“A”和“B”作为因素(自变量)。不动“BasePlotson:”以及“DataMeans”。单击“DisplayFullInteractionPlotMatrix”。单击“OK”。采用交互作用图，制成Y与A对应图和Y与B对应图检查“X”交互作用图分析解释：右上图（“B”在水平数轴上；不同线条代表不同的“A”值）扭转次数随着“B”的增加而减少两者之间的关系是曲线还是直线？左下图（“A”在水平轴上。不同线条代表不同的“B”值）扭转次数随着“A”的减少而减少“Y”与“A”间的关系是曲线还是直线？采用“分析反应面设计”确定平方关系是否具有统计显著性。交互作用图分析解释：采用“分析反应面设计”确定平方关系是定义设计数据表将显示定义DOE的“stdorder”,“runorder”和“blocks”。要使用“分析RS设计”，必须有这些信息。为了用反应面(RS)设计法分析数据，首先要确定RS设计。STAT>DOE>DefineCustomRSDesign在对话框中，选择代表因素设置的栏，单击OK。使用“高值/低值”和“设计”选项，请参见Minitab帮助。我们采用这些选项的缺省设置。定义设计数据表将显示定义DOE的“stdorder”下一步，用Stat>DOE>AnalyzeRSDesign来分析模型选择response,codedunits然后单击graphs分析反应面模型！“编码数据”选择将指导Minitab采用算法对中数据，该算法可用“定义定制RS设计”和“低值/高值”选项来定义。在本例中，我们使用缺省的低值=-1，高值=1下一步，用Stat>DOE>AnalyzeRSDesig在图形框中，单击这些图表，并选择变量在主对话框中选择“Terms”按钮，以确定模型的种类(‘fullquadratic’)以及模型中包含的因素(全部Xs，X的平方，和交互作用)，然后单击OK，接着单击“分析反应面设计”对话框中的OK。在图形框中，单击这些图表，并选择变量在主对话框中选择“Ter多重回归方程介绍课件Stat>DOE>AnalyzeRSDesign从下拉列表中选择‘linear’。‘AvailableTerms’和‘SelectedTerms’应自动改变。如前所示，从图形选项中选择残差图(9.12页)

重新拟合模型数据显示，仅线性项有显著影响；残差图显示，平方模型可能不是最佳拟合方式。我们重新分析，选择“Linear”，而不是“Quadratic”……Stat>DOE>AnalyzeRSDesign从下拉列会话窗口输出

X变量和线性模型都具有统计显著性(p<0.05)线性和平方模型的R2值相似，表明线性模型仍为较好的拟合方式。下一步：复习残差图

平方 线性R-平方 93.6 91.7R平方调节 90.3 90.4两种模型的误差项的大小相似： 4.242(线性)和4.254(平方)会话窗口输出

X变量和线性模型都具有统计显著性(p<采用残差图帮助评估线性模型看上去，误差随拟合值的增加而增加。残差好象不太呈

正态分布（请记住，我们仅有15个数据〕线性模型解释：不大可能所有的假设都严格满足。然而，此模型提供了所给定数据良好的近似值，所以，在实际工作中可能会有益。如果需要更好的拟合，可能需要对数据进行转换－也许使用“Y”的对数或倒数。下一步：重新运行“未编码”分析以获得模型系数采用残差图帮助评估线性模型看上去，误差随拟合值的增加而增加。“未编码数据”的分析RS图重新运行START>DOE>AnalyzeRSPlots这次单击“UncodedUnits”。打开“Graphs”对话框，清除先前用过的残差图。单击OK，然后再单击OK生成输出结果。生成的输出结果为模型提供了正确、未编码的系数。“未编码数据”的分析RS图重新运行START>DOE>Ana单击“Contours...”以设置图形输出……...Stat>DOE>RSPlots

依次单击‘Contourplot’,和‘Setup’最后，查看等值线图，以找到最佳设置单击“Contours...”以设置图形输出…….扭转次数的等值线单击‘Usedifferenttypes’，

在等值线图中创建短划线Click‘OK’threetimes!解释：要使扭转的数量最大，参照等值线图右下角(扭转次数=65)。读取将提供扭转次数=65(高值A，低值B)的潜在“A”和“B”值。}等值线图扭转次数的等值线单击‘Usedifferentty另一种工具：‘逐步’回归在对影响工序的大量“X”进行筛选，以确定潜在的关键少数变量时，回归可以是一种宝贵的工具。这甚至可以采用基准数据进行，但要注意：注意!!如果不先进行DOE，以确认这些确实是控制工序的“X”，永远不要得出这些“X”就是关键少数因素的结论。‘逐步回归’将根据‘Xs’对响应变量值(“Y”)的影响而逐步将其添加到模型中。Minitab所用的第一个“X”是对‘Y’影响最大的一个变量。我们采用一种由计算机生成的、称作‘工厂模拟器’的工厂来进行逐步回归练习。该工厂生产‘小器具’，其CTQ(“Y”)是器具长度。工厂用8个(标注为A至H)连续“X”变量生成连续的“Y”对应值。工厂模拟器是一个Excel文件：FACTSIM.xls

TheFactorySimulatorisanExcelfile:FACTSIM.xls

另一种工具：‘逐步’回归在对影响工序的大量“X”进行筛工厂模拟器制作‘小器具’(中下部所示红盒)单击‘Start’，启动工厂单击Yes’运行工厂模拟器单击‘All’选择所有8个“X”变量选择子群中的样本数量并选择子群数量遵照下页的程序，逐步使用‘逐步’回归方法筛选潜在的关键“Xs”工厂模拟器制作‘小器具’(中下部所示红盒)单击‘S采用逐步回归方法筛选出潜在“关键少数”X(续)基本回归公式为：

y=b0+b1x2+b2x2+b3x3+...+bnxn对于工厂模拟器来说，公式为：

工厂输出=C1A+C2B+C3C+C4D+C5E+C6F+C7G+C8H+b其中C1,C2...C8为系数，“b”为常数(确切地说是直线的Y截距)步骤：1. 运行工厂模拟器得出的数据(确保您具有足够大的样本，并具

有适当的有理数子群)2. 将输出的数据复制到Minitab中，但要先删除空行。3. 采用GRAPH>MATRIXPLOT给输出数据绘图，这可使您绘制Y 对每个X变量(A,B,C,D等)的关系图在此对话框中，选择输出结果(响应值栏)和4个输入变量栏。单击OK。

重复此过程，制作输出与其它4个输入变量的对照图表。这些图表将显

示出趋势。这些Y与X的关系是否为线性？是否为曲线？4. 选择STAT>REGRESSION>STEPWISE “响应值”：Y(输出栏-C1) “预测变量值”：A至H(栏2至栏9) 单击“Options”按钮，在“Take___stepsbetween pauses”处输入1。 点击两次“OK”。Minitab将按顺序排列有影响的“X”变量，并首先对影响最大的X进行回归分析，Minitab将询问您是否希望运行更多步骤，键入“yes”，然后点击回。车键。持续这样做，直到Minitab不再进行计算。这时，您就得到了所有的潜在“关键少数”！注意：在Minitab计算的最后一步，检查R2值。只有您能够决定拟合模型是否好得足以可以应用。采用逐步回归方法筛选出基本回归公式为：关键概念:第9部分多重回归始终首先将数据绘图！如果数据