多元回归分析原理及例子

1、多元回归分析原理回归分析是一种处理变量的统计相关关系的一种数理统计方法。回归分析的基本思想是: 虽然自变量和因变量之间没有严格的、确定性的函数关系, 但可以设法找出最能代表它们之间关系的数学表达形式。回归分析主要解决以下几个方面的问题:(1) 确定几个特定的变量之间是否存在相关关系, 如果存在的话, 找出它们之间合适的数学表达式;(2) 根据一个或几个变量的值, 预测或控制另一个变量的取值, 并且可以知道这种预测或控制能达到什么样的精确度;(3) 进行因素分析。例如在对于共同影响一个变量的许多变量(因素)之间, 找出哪些是重要因素, 哪些是次要因素, 这些因素之间又有什么关系等等。回归分析有很

2、广泛的应用, 例如实验数据的一般处理, 经验公式的求得, 因素分析, 产品质量的控制, 气象及地震预报, 自动控制中数学模型的制定等等。多元回归分析是研究多个变量之间关系的回归分析方法, 按因变量和自变量的数量对应关系可划分为一个因变量对多个自变量的回归分析(简称为“一对多”回归分析)及多个因变量对多个自变量的回归分析(简称为“多对多”回归分析), 按回归模型类型可划分为线性回归分析和非线性回归分析。本“多元回归分析原理”是针对均匀设计3.00软件的使用而编制的, 它不是多元回归分析的全面内容, 欲了解多元回归分析的其他内容请参阅回归分析方面的书籍。本部分内容分七个部分, 14介绍“一对多”线

3、性回归分析, 包括数学模型、回归系数估计、回归方程及回归系数的显著性检验、逐步回归分析方法。“一对多”线性回归分析是多元回归分析的基础, “多对多”回归分析的内容与“一对多”的相应内容类似, 5介绍“多对多”线性回归的数学模型, 6介绍“多对多”回归的双重筛选逐步回归法。7简要介绍非线性回归分析。1 一对多线性回归分析的数学模型2 回归系数的最小二乘估计3 回归方程及回归系数的显著性检验4 逐步回归分析5 多对多线性回归数学模型6 双重筛选逐步回归7 非线性回归模型1 一对多线性回归分析的数学模型设随机变量与个自变量存在线性关系: , (1.1)(1.1)式称为回归方程, 式中为回归系数, 为

4、随机误差。现在解决用估计的均值的问题, 即, 且假定, , 是与无关的待定常数。设有组样本观测数据: 其中表示在第次的观测值, 于是有: , (1.2)其中为个待定参数, 为个相互独立的且服从同一正态分布的随机变量, (1.2)式称为多元(元)线性回归的数学模型。(1.2)式亦可写成矩阵形式, 设, , , , 则(1.2)式变为: , (1.3)(1.3)式称为多元线性回归模型的矩阵形式。2 回归系数的最小二乘估计设分别为的最小二乘估计值, 于是的观测值, , (2.1)其中为误差的估计值, 称为残差或剩余。令为的估计值, 则有, (2.2), , (2.3)(2.3)式表示实际值与估计值的

5、偏离程度。欲使估计值与实际值拟合的最好, 则应使残差平方和达到最小, 为此, 我们可以应用微分求极值原理确定, 即解下列方程组, (2.4)即, (2.5)整理并化简则得以下正规方程组: , (2.6)如果记(2.6)式的系数矩阵为, 右端常数项矩阵记为, 则有, (2.7), (2.8)因此正规方程(2.6)的矩阵形式为, (2.9)或, (2.10)其中为正规方程中待定的未知实数向量, 如果系数矩阵满秩, 则存在, 此时有, (2.11)(2.11)式即为多元线性回归模型(1.2)式中参数的最小二乘估计。正规方程组(2.6)亦可表达为下述另一种形式, 如果记, , , 则由(2.6)式中第

6、一等式可解出, (2.12)再将(2.12)代入到(2.6)其它各式中并经化简整理可得, (2.13)又由, , , , 如果记, , (2.14), , (2.15)则(2.13)式可以表示为, (2.16)(2.16)式称为正规方程组, 解此方程组可得, 再代入到(2.12)式中则得, 于是得回归方程, (2.17)(2.17)式称为回归超平面方程。如果记(2.16)式的系数矩阵为, 右端常数项向量为, 则, , 且记, 则正规方程组(2.16)的矩阵形式为, (2.18)解(2.18)得, (2.19)再代回到(2.12), 则得到。以下是一对多线性回归分析的两个例子。例2.1 某养猪场

7、估算猪的毛重, 测得14头猪的体长(cm)、胸围(cm)与体重(kg)数据如表, 试建立与及的预测方程。表2.1序号体长()胸围()体重()14149282455839351624145271445596243662745076971518727457978796310808466119085701292947613989180141039581经计算: , , , , , , , , , 于是正规方程组为, 解此方程组得, , 又, 因此所求预测回归方程为回归方程中系数与的含义是体长每增加1cm, 则猪体重毛重平均增加0.522kg, 胸围每增加1cm, 则猪体重毛重平均增加0.475kg。

8、例2.2 某地区二化螟的第一代成虫发生量与四个因素有关, 这四个因素分别如下, 已知原始观测数据如表2.2, 试建立二化螟发生总量的回归方程。: 冬季积雪期限(单位为周), : 每年化雪日期(以2月1日为1), : 二月份平均气温(), : 三月份平均气温(), : 二化螟发生总量(头), 经计算: , , 表2.2序号110260.23.6921226-1.44.41731440-0.81.734416320.21.44251951-1.40.940616330.22.12777262.72.7487251.04.027912172.23.713101124-0.83.056111216-0

9、.54.915127162.04.181311151.14.7201543474.741.231211.846226.69230.36153.169224, 于是, 又24 + 0.9974211.8462 + 1.6258126.6923 + 11.192630.3615 + 16.952913.1692 136.98554,因此所求二化螟发生总量的预测回归方程为。3 回归方程及回归系数的显著性检验、回归方程的显著性检验(1) 回归平方和与剩余平方和建立回归方程以后, 回归效果如何呢？因变量与自变量是否确实存在线性关系呢？这是需要进行统计检验才能加以肯定或否定, 为此, 我们要进一步研究因变

10、量取值的变化规律。的每次取值是有波动的, 这种波动常称为变差, 每次观测值的变差大小, 常用该次观侧值与次观测值的平均值的差(称为离差)来表示, 而全部次观测值的总变差可由总的离差平方和, 其中: 称为回归平方和, 是回归值与均值之差的平方和, 它反映了自变量的变化所引起的的波动, 其自由度(为自变量的个数)。称为剩余平方和(或称残差平方和), 是实测值与回归值之差的平方和, 它是由试验误差及其它因素引起的, 其自由度。总的离差平方和的自由度为。如果观测值给定, 则总的离差平方和是确定的, 即是确定的, 因此大则小, 反之, 小则大, 所以与都可用来衡量回归效果, 且回归平方和越大则线性回归效

11、果越显著, 或者说剩余平方和越小回归效果越显著, 如果0, 则回归超平面过所有观测点; 如果大, 则线性回归效果不好。(2) 复相关系数为检验总的回归效果, 人们也常引用无量纲指标, (3.1)或, (3.2)称为复相关系数。因为回归平方和实际上是反映回归方程中全部自变量的“方差贡献”, 因此就是这种贡献在总回归平方和中所占的比例, 因此表示全部自变量与因变量的相关程度。显然。复相关系数越接近, 回归效果就越好, 因此它可以作为检验总的回归效果的一个指标。但应注意, 与回归方程中自变量的个数及观测组数有关, 当相对于并不很大时, 常有较大的值, 因此实际计算中应注意与的适当比例, 一般认为应取

12、至少为的到10倍为宜。(3) 检验要检验与是否存在线性关系, 就是要检验假设, (3.3)当假设成立时, 则与无线性关系, 否则认为线性关系显著。检验假设应用统计量, (3.4)这是两个方差之比, 它服从自由度为及的分布, 即, (3.5)用此统计量可检验回归的总体效果。如果假设成立, 则当给定检验水平下, 统计量应有, (3.6)对于给定的置信度, 由分布表可查得的值, 如果根据统计量算得的值为, 则拒绝假设, 即不能认为全部为O, 即个自变量的总体回归效果是显著的, 否则认为回归效果不显著。利用检验对回归方程进行显著性检验的方法称为方差分析。上面对回归效果的讨论可归结于一个方差分析表中,

13、如表3.1。表3.1 方差分析表来 源平方和自由度方 差方差比回 归剩 余总 计根据与的定义, 可以导出与的以下关系: , 。利用这两个关系式可以解决值多大时回归效果才算是显著的问题。因为对给定的检验水平, 由分布表可查出的临界值, 然后由即可求出的临界值: , (3.7)当时, 则认为回归效果显著。例3.1 利用方差分析对例2.1的回归方程进行显著性检验。方差分析结果见表3.2。表3.2 来 源平方和自由度方 差方差比回 归剩 余总 计取检验水平0.05, 查分布表得, 而, 所以例2.1的回归方程回归效果是显著的。、回归系数的显著性检验前面讨论了回归方程中全部自变量的总体回归效果, 但总体

14、回归效果显著并不说明每个自变量对因变量都是重要的, 即可能有某个自变量对并不起作用或者能被其它的的作用所代替, 因此对这种自变量我们希望从回归方程中剔除, 这样可以建立更简单的回归方程。显然某个自变量如果对作用不显著, 则它的系数就应取值为0, 因此检验每个自变量是否显著, 就要检验假设: , , (3.8)(1) 检验: 在假设下, 可应用检验: , , (3.9)其中为矩阵的对角线上第个元素。对给定的检验水平, 从分布表中可查出与对应的临界值, 如果有, 则拒绝假设, 即认为与0有显著差异, 这说明对有重要作用不应剔除; 如果有则接受假设, 即认为成立, 这说明对不起作用, 应予剔除。(2

15、) 检验: 检验假设, 亦可用服从自由度分别为1与的分布的统计量, (3.10)其中为矩阵的主对角线上第个元素。对于给定的检验水平, 从分布表中可查得临界, 如果有, 则拒绝假设, 认为对有重要作用。如果, 则接受假设, 即认为自变量对不起重要作用, 可以剔除。一般一次检验只剔除一个自变量, 且这个自变量是所有不显著自变量中值最小者, 然后再建立回归方程, 并继续进行检验, 直到建立的回归方程及各个自变量均显著为止。最后指出, 上述对各自变量进行显著性检验采用的两种统计量与实际上是等价的, 因为由(3.9)式及(3.10)式知, 有 (3.11)例3.2 对例2.1的回归方程各系数进行显著性检

16、验。经计算: , 于是, 其中0.002223, 0.004577。由(3.7)式知, , 查分布表得, , 因为, , 所以两个自变量及都是显著的。又由, 说明体长比胸围对体重的影响更大。如果应用检验, 查分布表有, 又由, , 因为, , 因此及都是显著的, 均为重要变量, 应保留在回归方程中。(3) 偏回归平方和检验某一自变量是否显著, 还可应用偏回归平方和进行检验。个自变量的回归平方和为, 如果自个自变量中去掉, 则剩下的个自变量的回归平方和设为, 并设, 则就表示变量在回归平方和中的贡献, 称为的偏回归平方和或贡献。可以证明, (3.12)偏回归平方和越大, 说明在回归方程中越重要,

17、 对的作用和影响越大, 或者说对回归方程的贡献越大。因此偏回归平方和也是用来衡量每个自变量在回归方程中作用大小(贡献大小)的一个指标。例如在例2.1中, 和的偏回归平方和分别为, , , 说明在回归方程中的作用比大。又如在例2.2中及的偏回归平方和分别为: , , , , 的值最小, 即在回归方程中所起的作用最小, 最大, 说明在回归方程中所起的作用最大。4 逐步回归分析、逐步回归分析的主要思路在实际问题中, 人们总是希望从对因变量有影响的诸多变量中选择一些变量作为自变量, 应用多元回归分析的方法建立“最优”回归方程以便对因变量进行预报或控制。所谓“最优”回归方程, 主要是指希望在回归方程中包

18、含所有对因变量影响显著的自变量而不包含对影响不显著的自变量的回归方程。逐步回归分析正是根据这种原则提出来的一种回归分析方法。它的主要思路是在考虑的全部自变量中按其对的作用大小, 显著程度大小或者说贡献大小, 由大到小地逐个引入回归方程, 而对那些对作用不显著的变量可能始终不被引人回归方程。另外, 己被引人回归方程的变量在引入新变量后也可能失去重要性, 而需要从回归方程中剔除出去。引人一个变量或者从回归方程中剔除一个变量都称为逐步回归的一步, 每一步都要进行检验, 以保证在引人新变量前回归方程中只含有对影响显著的变量, 而不显著的变量已被剔除。逐步回归分析的实施过程是每一步都要对已引入回归方程的

19、变量计算其偏回归平方和(即贡献), 然后选一个偏回归平方和最小的变量, 在预先给定的水平下进行显著性检验, 如果显著则该变量不必从回归方程中剔除, 这时方程中其它的几个变量也都不需要剔除(因为其它的几个变量的偏回归平方和都大于最小的一个更不需要剔除)。相反, 如果不显著, 则该变量要剔除, 然后按偏回归平方和由小到大地依次对方程中其它变量进行检验。将对影响不显著的变量全部剔除, 保留的都是显著的。接着再对未引人回归方程中的变量分别计算其偏回归平方和, 并选其中偏回归平方和最大的一个变量, 同样在给定水平下作显著性检验, 如果显著则将该变量引入回归方程, 这一过程一直继续下去, 直到在回归方程中

20、的变量都不能剔除而又无新变量可以引入时为止, 这时逐步回归过程结束。、逐步回归分析的主要计算步骤(1) 确定检验值在进行逐步回归计算前要确定检验每个变量是否显若的检验水平, 以作为引人或剔除变量的标准。检验水平要根据具体问题的实际情况来定。一般地, 为使最终的回归方程中包含较多的变量, 水平不宜取得过高, 即显著水平不宜太小。水平还与自由度有关, 因为在逐步回归过程中, 回归方程中所含的变量的个数不断在变化, 因此方差分析中的剩余自由度也总在变化, 为方便起见常按计算自由度。为原始数据观测组数, 为估计可能选人回归方程的变量个数。例如, 估计可能有23个变量选入回归方程, 因此取自由度为15-

21、3-111, 查分布表, 当0.1, 自由度, 时, 临界值, 并且在引入变量时, 自由度取, , 检验的临界值记, 在剔除变量时自由度取, , 检验的临界值记, 并要求, 实际应用中常取。(2) 逐步计算如果已计算步(包含0), 且回归方程中已引入个变量, 则第步的计算为: ()计算全部自变量的贡献(偏回归平方和)。()在已引入的自变量中, 检查是否有需要剔除的不显著变量。这就要在已引入的变量中选取具有最小值的一个并计算其值, 如果, 表示该变量不显著, 应将其从回归方程中剔除, 计算转至()。如则不需要剔除变量, 这时则考虑从未引入的变量中选出具有最大值的一个并计算值, 如果, 则表示该变

22、量显著, 应将其引人回归方程, 计算转至()。如果, 表示已无变量可选入方程, 则逐步计算阶段结束, 计算转人(3)。()剔除或引人一个变量后, 相关系数矩阵进行消去变换, 第步计算结束。其后重复()()再进行下步计算。由上所述, 逐步计算的每一步总是先考虑剔除变量, 仅当无剔除时才考虑引入变量。实际计算时, 开头几步可能都是引人变量, 其后的某几步也可能相继地剔除几个变量。当方程中已无变量可剔除, 且又无变量可引入方程时, 第二阶段逐步计算即告结束, 这时转入第三阶段。(3) 其他计算, 主要是计算回归方程入选变量的系数、复相关系数及残差等统计量。逐步回归选取变量是逐渐增加的。选取第个变量时

23、仅要求与前面己选的-1个变量配合起来有最小的残差平方和, 因此最终选出的个重要变量有时可能不是使残差平方和最小的个, 但大量实际问题计算结果表明, 这个变量常常就是所有个变量的组合中具有最小残差平方和的那一个组合, 特别当不太大时更是如此, 这表明逐步回归是比较有效的方法。引人回归方程的变量的个数与各变量贡献的显著性检验中所规定的检验的临界值与的取值大小有关。如果希望多选一些变量进人回归方程, 则应适当增大检验水平值, 即减小的值, 特别地, 当时, 则全部变量都将被选入, 这时逐步回归就变为一般的多元线性回归。相反, 如果取得比较小, 即与取得比较大时, 则入选的变量个数就要减少。此外, 还

24、要注意, 在实际问题中, 当观测数据样本容量较小时, 入选变量个数不宜选得过大, 否则被确定的系数的精度将较差。逐步回归分析的例子请参见多元回归分析经典例子的计算中的逐步回归法计算的例子和结果。多元回归分析经典例子的计算均匀设计的数据处理多采用回归分析方法, 以下是均匀设计版本3.00的“数据建模分析”模块对部分回归分析经典例子的计算结果, 这些计算采用与经典例子相同的回归分析方法, 所得结果与经典例子中给出的结果是相同的。 均匀设计版本3.00提供的四种回归分析方法和计算的例子如下: 回归分析方法例子和计算结果全回归法例(RegSample1.udc)、例(RegSample2.udc)后退

25、法例(RegSample3.udc)逐步回归法例(RegSample4.udc)双重筛选逐步回归法例(RegSample5.udc)全回归法计算的例子和结果例 高磷钢的效率()与高磷钢的出钢量()及高磷钢中的含量()有关, 所测数据如表, 请用线性回归模型拟合上述数据。表试验序号出钢量()含量()效率()187.913.282.02101.413.584.03109.820.080.0493.014.288.6588.016.481.56115.314.283.5756.914.973.08103.413.088.09101.014.991.41080.312.981.01196.514.67

26、8.012110.615.386.513102.918.283.4注: 本例子引自 秦建候 邓勃 王小芹 编著,分析测试数据统计处理中计算机的应用, 化学工业出版社, 1989年本软件给出的回归分析有关的结果如下(与回归分析无关的内容未列出):指标名称: 效率单位: ?因素名称: 出钢量单位: ?因素名称: FeO含量 单位: ?- 多 元 回 归 分 析 -回归分析采用全回归法, 显著性水平0.10拟建立回归方程: = b(0) + b(1)*(1) + b(2)*(2)回归系数 b(i):b(0) 74.6b(1) 0.213b(2)-0.790标准回归系数 B(i):B(1) 0.678

27、B(2)-0.340复相关系数 0.6770决定系数 20.4583修正的决定系数 2a0.4090回归方程显著性检验: 变 量 分 析 表变异来源平 方 和自 由 度均 方均 方 比回 归1292/64.54.230剩 余15310/()15.3总 和28212样本容量13, 显著性水平0.10, 检验值t4.230, 临界值(0.10,2,10)2.924, t(0.10,2,10), 回归方程显著。剩余标准差 3.91回归系数检验值:检验值(df10):(1) 2.818(2)-1.412检验值(df11, df210):(1) 7.940(2) 1.993偏回归平方和 U(i):U(1

28、)121U(2)30.4偏相关系数 (i):1,2 0.66532,1-0.4077各方程项对回归的贡献(按偏回归平方和降序排列):U(1)121, U(1)/U93.9%U(2)30.4, U(2)/U23.6%第方程项(2)对回归的贡献最小, 对其进行显著性检验:检验值(2)1.993, 临界值(0.10,1,10)3.285,(2)(0.10,1,10), 此因素(方程项)不显著。残差分析: 残 差 分 析 表观 测 值回 归 值观测值回归值(回归值观测值)/观测值100(%)82.082.9-0.9001.1084.085.5-1.501.7980.082.2-2.202.7588.6

29、82.85.80-6.5581.580.41.10-1.3583.588.0-4.505.3973.075.0-2.002.7488.086.41.60-1.8291.484.47.00-7.661081.081.5-0.5000.6171178.083.6-5.607.181286.586.10.400-0.4621383.482.21.20-1.44- 回 归 分 析 结 束 -全回归法建立的回归方程为 , 在显著性水平0.10上是显著的, 第二因素()在显著性水平0.10上不显著。例 某种产品的得率()与反应温度()、反应时间()及某反应物的浓度()有关, 现得如表所示的试验结果, 设与

30、、和之间成线性关系, 试建立与、和之间的三元线性回归方程, 并判断三因素的主次。表试验号反应温度()反应时间()反应物浓度()得率()1701017.627010310.33703018.947030311.25901018.469010311.17903019.889030312.6注: 本例子引自 李云雁 胡传荣 编著,试验设计与数据处理, 化学工业出版社, 2005年本软件给出的回归分析有关的结果如下(与回归分析无关的内容未列出):指标名称: 得率单位: %因素名称: 反应温度单位: 因素名称: 反应时间单位: h因素名称: 反应物浓度单位: %- 多 元 回 归 分 析 -回归分析采用

31、全回归法, 显著性水平0.01拟建立回归方程: = b(0) + b(1)*(1) + b(2)*(2) + b(3)*(3)回归系数 b(i):b(0) 2.19b(1) 4.88e-2b(2) 6.38e-2b(3) 1.31标准回归系数 B(i):B(1) 0.316B(2) 0.413B(3) 0.850复相关系数 0.9965决定系数 20.9929修正的决定系数 2a0.9901回归方程显著性检验: 变 量 分 析 表变异来源平 方 和自 由 度均 方均 方 比回 归18.93/6.31187.0剩 余0.1354/()3.38e-2总 和19.17样本容量, 显著性水平0.01,

32、 检验值t187.0, 临界值(0.01,3,4)16.69, t(0.01,3,4), 回归方程显著。剩余标准差 0.184回归系数检验值:检验值(df4):(1) 7.506(2) 9.815(3) 20.21检验值(df11, df24):(1) 56.33(2) 96.33(3) 408.3偏回归平方和 U(i):U(1)1.90U(2)3.25U(3)13.8偏相关系数 (i):1,23 0.96632,13 0.97993,12 0.9951各方程项对回归的贡献(按偏回归平方和降序排列):U(3)13.8, U(3)/U72.8%U(2)3.25, U(2)/U17.2%U(1)1

33、.90, U(1)/U10.0%第方程项(1)对回归的贡献最小, 对其进行显著性检验:检验值(1)56.33, 临界值(0.01,1,4)21.20,(1)(0.01,1,4), 此方程项显著。残差分析: 残 差 分 析 表观 测 值回 归 值观测值回归值(回归值观测值)/观测值100(%)7.607.555.00e-2-0.65810.310.20.100-0.9718.908.837.00e-2-0.78711.211.5-0.3002.688.408.53-0.1301.5511.111.2-0.1000.9019.809.800.000.0012.612.40.200-1.59- 回

34、归 分 析 结 束 -得率()与反应温度()、反应时间()及某反应物的浓度()之间具有非常显著的线性相关关系(在显著性水平0.01上显著)。由偏回归平方和的大小得知三因素的主次顺序为。后退法计算的例子和结果例 研究同一地区土壤中所含植物可给态磷的情况, 得到表所示的18组数据。其中为土壤中所含无机磷浓度, 为土壤中溶于溶液并被溴化物水解的有机磷, 为土壤中溶于但不溶于溴化物的有机磷, 为栽在20土壤中的玉米内的可给态磷, 请建立它们的相关关系。表 采样号10.4531586420.4231636033.119377140.6341576154.724595461.7651237779.4444

35、681810629173931012.658112511110.937111761223.146114961323.150134771421.64473931523936143541726.8582021681829.95112499注: 本例子引自 秦建候 邓勃 王小芹 编著,分析测试数据统计处理中计算机的应用, 化学工业出版社, 1989年本软件给出的回归分析有关的结果如下(与回归分析无关的内容未列出):指标名称: 可给态磷单位: ppm因素名称: 无机磷浓度单位: ppm因素名称: K2CO3+Br单位: ppm因素名称: K2CO3-

36、Br单位: ppm- 多 元 回 归 分 析 -回归分析采用后退法, 显著性水平0.05拟建立回归方程: = b(0) + b(1)*(1) + b(2)*(2) + b(3)*(3)回归系数 b(i):b(0) 43.7b(1) 1.78b(2)-8.34e-2b(3) 0.161标准回归系数 B(i):B(1) 0.671B(2)-4.21e-2B(3) 0.273复相关系数 0.7412决定系数 20.5493修正的决定系数 2a0.4893回归方程显著性检验: 变 量 分 析 表变异来源平 方 和自 由 度均 方均 方 比回 归6.81e+33/2.27e+35.689剩 余5.58e

37、+314/()399总 和1.24e+417样本容量18, 显著性水平0.05, 检验值t5.689, 临界值(0.05,3,14)3.344, t(0.05,3,14), 回归方程显著。剩余标准差 20.0回归系数检验值:检验值(df14):(1) 3.319(2)-0.1997(3) 1.443检验值(df11, df214):(1) 11.02(2) 3.986e-2(3) 2.082偏回归平方和 U(i):U(1)4.39e+3U(2)15.9U(3)830偏相关系数 (i):1,23 0.66362,13-5.328e-23,12 0.3598各方程项对回归的贡献(按偏回归平方和降序

38、排列):U(1)4.39e+3, U(1)/U64.6%U(3)830, U(3)/U12.2%U(2)15.9, U(2)/U0.234%第方程项(2)对回归的贡献最小, 对其进行显著性检验:检验值(2)3.986e-2, 临界值(0.05,1,14)4.600,(2)(0.05,1,14), 此方程项不显著, 需要剔除。第次剔除不显著方程项, 新建回归方程继续计算:回归方程: = b(0) + b(1)*(1) + b(2)*(3)回归系数 b(i):b(0) 41.5b(1) 1.74b(2) 0.155标准回归系数 B(i):B(1) 0.654B(2) 0.262复相关系数 0.74

39、03决定系数 20.5481修正的决定系数 2a0.5198回归方程显著性检验: 变 量 分 析 表变异来源平 方 和自 由 度均 方均 方 比回 归6.79e+32/3.40e+39.095剩 余5.60e+315/()373总 和1.24e+417样本容量18, 显著性水平0.05, 检验值t9.095, 临界值(0.05,2,15)3.682, t(0.05,2,15), 回归方程显著。剩余标准差 19.3回归系数检验值:检验值(df15):(1) 3.721(2) 1.494检验值(df11, df215):(1) 13.85(2) 2.232偏回归平方和 U(i):U(1)5.17e

40、+3U(2)833偏相关系数 (i):1,2 0.69282,1 0.3599各方程项对回归的贡献(按偏回归平方和降序排列):U(1)5.17e+3, U(1)/U76.1%U(2)833, U(2)/U12.3%第方程项(3)对回归的贡献最小, 对其进行显著性检验:检验值(2)2.232, 临界值(0.05,1,15)4.543,(2)(0.05,1,15), 此方程项不显著, 需要剔除。第次剔除不显著方程项, 新建回归方程继续计算:回归方程: = b(0) + b(1)*(1)回归系数 b(i):b(0) 59.3b(1) 1.84标准回归系数 B(i):B(1) 0.693复相关系数 0

41、.6934决定系数 20.4808修正的决定系数 2a0.4808回归方程显著性检验: 变 量 分 析 表变异来源平 方 和自 由 度均 方均 方 比回 归5.96e+31/5.96e+314.82剩 余6.43e+316/()402总 和1.24e+417样本容量18, 显著性水平0.05, 检验值t14.82, 临界值(0.05,1,16)4.494, t(0.05,1,16), 回归方程显著。剩余标准差 20.1回归系数检验值:检验值(df16):(1) 3.849检验值(df11, df216):(1) 14.82偏回归平方和 U(i):U(1)5.96e+3偏相关系数 (i):1,

42、0.6934各方程项对回归的贡献(按偏回归平方和降序排列):U(1)5.96e+3, U(1)/U100%对第方程项(1)进行显著性检验:检验值(1)14.82, 临界值(0.05,1,16)4.494,(1)(0.05,1,16), 此方程项显著。残差分析: 残 差 分 析 表观 测 值回 归 值观测值回归值(回归值观测值)/观测值100(%)64.060.04.00-6.2560.060.00.000.0071.065.06.00-8.4561.060.40.600-0.98454.067.9-13.925.777.062.414.6-19.081.076.64.40-5.4393.077

43、.915.1-16.293.080.612.4-13.31051.082.5-31.561.81176.079.4-3.404.471296.0102-6.006.251377.0102-25.032.51493.099.1-6.106.561595.0102-7.007.371654.062.8-8.8016.31716810959.0-35.11899.0114-15.015.2- 回 归 分 析 结 束 -后退归法所建立的回归方程为 , 在显著性水平0.05上是显著的, 然后经过逐次剔除不显著的因素, 最后得到的只包含显著因素的优化的回归方程为 。逐步回归法计算的例子和结果例 某种水泥在

44、凝固时放出的热量(卡/克)与水泥中下列四种化学成分有关: 的成分(%),: 的成分(%),: 的成分(%),: 的成分(%)。所测定数据如表所示, 试建立与、及的线性回归模型。 表试验序号172666078.52129155274.331156820104.34113184787.6575263395.961155922109.27371176102.78131224472.59254182293.1102147426115.911140233483.8121166912113.3131068812109.4注: 本例子引自 中国科学院数学研究室数理统计组编,回归分析方法, 科学出版社, 1974年本软件给出的回归分析有关的结果如下(与回归分析无关的内容未列出):指标名称: 热量单位: 卡/克因素名称: 3CaO.Al2O3含量单位: %因素名称: 3CaO.SiO2含量 单位: %因素名称含量单位: %因素名称: 2CaO.SiO2含量 单位: %- 多 元 回 归 分 析 -回归分析采用逐步回归法, 显著性水平