多重共线性处理方法（课堂PPT）

1、1多重共线性的处理o 为了避免共线性的影响,目前多采用回归系数有偏估计的方法,即为了减小偏回归系数估计的方差而放弃对估计的无偏性要求。换言之,允许估计有不大的偏度,以换取估计方差可显著减小的结果,并在使其总均方差为最小的原则下估计回归系数。2解决多重共线性问题的方法o1、岭回归岭回归o2、主成分回归主成分回归o3、偏最小二乘回归偏最小二乘回归o4、其它：神经网络、通径分析其它：神经网络、通径分析31、岭回归：o 1962年,A.E.Hoerl针对多重共线性的问题,提出了一种叫岭回归的回归估计方法。对线性模型 定义偏回归系数的岭估计为 其中k称为岭参数。 mmXXXY22110 YXXXT1Tk

2、Ik4o 岭回归的核心思想是当出现多重共线性时, , 的特征根 至少有一个非常接近于0，从而使参数的最小二乘估计 很不稳定。给 加上一个正常数矩阵kI(k0),则 等于零的可能性就比 的可能性要小得多， 的特征根 接近于0 的程度就会得到改善。 XXTjYXXXT1T0|XXTXXT|XX|TkIXXTkj|kI|XXT5o 且从理论上可以证明,存在k0,使得的 均方误差比 的均方误差小。因此，用岭回归来估计偏回归系数比用普通最小二乘法估计要稳定得多。这样就消除了多重共线性对参数估计的危害。 k6o 在实际应用中,通常确定k值的方法有以下几种:n 岭迹图法岭迹图法n 方差膨胀因子法方差膨胀因子

3、法n 控制残差平方和法控制残差平方和法72、主成分回归o 1965年,W.F.Massy提出了主成分回归(PrincipalComponent Regression,简称PCR)方法，首先提取自变量的主成分, 由于各主成分之间相互正交，相关系数为0，此时即可用最小二乘法估计偏回归系数，建立因变量与相互独立的前几个主成分的回归模型,然后再还原为原自变量的回归方程式。 8o 可见，主成分回归分析解决多重共线性问题是通过降维的处理而克服多重共线性的影响，正确表征变量间的关系。o 然而,由于PCR提取X的主成分是独立于因变量Y而进行的,没有考虑到X对Y的解释作用,这就增加了所建模型的不可靠性。93、偏

4、最小二乘回归o 针对多重共线性干扰问题,S.Wold和C.Alban在1983年提出了偏最小二乘回归(Partia Least Squares Regression,简称PLSR)方法。PLSR方法吸取了主成分回归分析从自变量中提取信息的思想,同时还考虑了自变量对因变量的解释问题。 10基本思路o 首先在自变量集中提取第一潜因子t1(t1是x1,x2,xm的线性组合,且尽可能多地提取原自变量集中的变异信息);同时在因变量集中也提取第一潜因子u1,并要求t1与u1相关程度达最大。o 然后建立因变量Y与t1的回归,如果回归方程已达到满意的精度,则算法终止。否则继续第二轮潜在因子的提取,直到能达到满意的精度为止。o 若最终对自变量集提取m个潜因子t1,t2,tm,偏最小二乘回归将建立Y与t1,t2,tm的回归式,然后再表示为Y与原自变量的回归方程式。11小结o 以上介绍了三种解决多重共线性问题的方法,它们各自都有其特点及适用范围:偏最小二乘法在解决多因变量与自变量方面及预测方面有着比其它两种方法更优越的地方,但在t的实际意义解释方面与主成分一样比较欠缺。 12o 岭回归由于在其K值的确定上有很大的人为因素,使之缺乏一定的科学性,但也正因为如此，使它能够很好地把定性分析与定量分析两者有机地结合起来。由于这三种方