多元回归6372

1、§5.2 多元线性回归在多元回归分析中，多元线性回归为最简单、应用最广的一种方法一 多元线性回归模型：随机变量与自变量满足即：称为多元线性回归模型为了讨论多元线性回归方程的求法，先看：二 二元线性回归方程的求法：在（）中，取，有：与满足即有二元线性回归模型若有样本可通过构造，并令由（1）得代入(2)(3) 得： 有正规方程组 即：所以 由 ， 得 回归方程 注：在实际计算中，通常使用如下的标准形式：；推导过程与前面的的推导过程类似一般地：用的标准表达式的推广，可解决多元回归的系数求解问题三多元线性回归：元线性回归模型为：对于个样本构造令 有：由例：（P.341）在平炉炼钢中，由于矿石

2、与炉气的氧化作用，铁水的总含碳量在不断降低，一炉钢在冶炼初期总的去碳量与所加的两种矿石的量及熔化时间有关经实测某号平炉的49组数据如下表所列：由经验知与,之间有线性相关关系，试由给出的数据求出的最小二乘估计，并写出回归方程解：正规方程组为：而；将以上结果代入正规方程组，可解得：；且所以求得的回归方程为：方程的含义很明确如：表示第一种矿石每增，铁水的平均去碳量就增0.1604四 多元线性回归效果的显著性检验：基本思想与一元线性回归的检验类似，即：在求回归方程之前，首先应解决与是否存在线性相关关系亦即：是否满足检验问题是：，当拒绝时，则认为与存在线性相关关系理论过程仍然是通过分解即：由一元情况的推

3、广，在元线性回归模型中，有以下结论：为真时，且相互独立；，则定义，有：（无偏） ，且与相互独立所以当为真时，（由、）有：则对于，用，有检验法：当时，拒绝五 各自变量的显著性检验，剔除变量计算：为了预测和控制的需要，应该说回归方程中的自变量的个数越少越好这意味着只对整个方程作显著性检验（显著拒绝，即不全为零）是不够的最好能找出各中哪个次要、对的影响不显著然后把该变量剔除即：对，检验若接受，则剔除；若拒绝，则保留可以证明：在为真时,有：其中为正规方程组的系数矩阵的逆阵的对角线上第个元素所以对，取若，则拒绝认为对的影响显著故将的值排为，若，则无剔除的自变量；若，则把对应的自变量剔除，再将原回归方程的

4、系数, 得 新的方程 ，然后对新的回归方程再重复上述过程，直至把 对影响不显著的全部剔除，最后所得回归方程中的每一个对的影响都是显著的六 多元回归的预测与控制：预测： 点预测：设分别取，则对应的有取的预测值为：有，即：为的无偏估计 区间预测：可以证明：其中，为的元素所以对于 ，可得的预测区间为：，其中但在通常情况下，习惯在很大，且下讨论，这时即有：的预测区间近似地为：控制：它是预测的反问题即：为使，有：，即：所以的控制域为：当较大，且控制区域的点在点附近时，则近似地有的控制域：七 最优回归方程的选择：在预测和控制中，总是希望使用最优的回归方程即：使用 含所有对有影响的自变量； 含自变量的个数尽

5、量少（不显著的先剔除）的回归方程，然后还应考虑 使的估计值最小基于这种思路，下面介绍三种选择方法的基本思想（实际应用时，有现成的应用软件）“全部比较”法：（基于最小）先找出对有影响的所有，考虑：含一个自变量的方程，共个；含二个自变量，共个；含个自变量的所有组合形式的回归方程的个数为：个共有个不同的线性回归方程对每个方程都算出 ，其中 为该方程自变量的个数；为样本容量然后选出所对应的回归方程 作为最优回归方程（繁 对，已经可在计算机上实现）“只出不进”法：（基于自变量个数最少）找出全部的，建立含全部的一个回归方程；对该方程作显著性检验若显著，再对每个自变量进行检验，进而逐个剔除对影响不显著的（过程是：剔除一个，作出新方程后经过检验再剔除另一个），直至得到每个对都有显著影响的最优回归方程为止逐步回归法：（基于相关系数，即：各对的影响程度）由检验法知：越接近，则对的影响就越显著所以先选定所有自变量，对每个与都求出相关系数，有：若对应的对的影响显著，则再考察对应的对的显著性这样下去，直至到某对应的对的影响不显著为止，最后剔除