多重共线性的发现和检验课件

第八章多重共线性1第八章多重共线性1第一节多重共线性及其影响第二节多重共线性的发现和检验第三节多重共线性的克服和处理本章结构2第一节多重共线性及其影响本章结构2第一节多重共线形及其影响一、多重共线形及其分类二、严格多重共线形及其危害三、近似多重共线形的原因及其影响3第一节多重共线形及其影响一、多重共线形及其分类3一、多重共线性及其分类多元线性回归模型要求解释变量之间不存在线性关系，包括严格的线性关系和高度的近似线性关系。但事实上由于模型设定和数据等各方面的问题，模型的解释变量之间很可能存在某种程度的线性关系。这时候称多元线性回归模型存在多重共线性问题。4一、多重共线性及其分类多元线性回归模型要求解释变量之间不存在多重共线性可以分为两类。如果多元线性回归模型中，存在两个或多个解释变量之间存在严格的线性关系，则称为“完全多重共线性”，也称为“严格的多重共线性”。而解释变量之间存在近似的而不是严格的线性关系，这种情况被称为“近似多重共线性”。5多重共线性可以分为两类。5二、严格多重共线形及其危害完全多重共线性不可能由于数据问题引起，通常是由于模型设定问题，把有严格联系的变量引进同一个模型，或者虚拟变量设置不当引起的。设两个解释变量的线性回归模型为：回归方程为：6二、严格多重共线形及其危害完全多重共线性不可能由于数据问题引求参数最小二乘估计量的正规方程组为：其中、和分别是、和的离差。设和两个变量之间有严格的线性关系，这个模型当然就存在完全的多重共线性。

7求参数最小二乘估计量的正规方程组为：7此时也成立。把该关系式代入上述正规方程组中的第二式可得：得到：很显然，这个方程与上述正规方程组的第一个方程是完全相同的。8此时也成立。把该关系式代入上述正规方程这意味着我们得到了包含两个未知参数估计量的两个相同的方程，这时该方程组有无穷组解而不是有唯一一组解。这实际上意味着被解释变量究竟受哪些变量的影响变得很不清楚，变量关系是无法识别的。有完全多重共线性的多元线性回归模型都无法顺利进行参数估计，会使多元线性回归模型参数估计失败，回归分析无法进行。9这意味着我们得到了包含两个未知参数估计量的两个相同的方程，这完全多重共线性虽然破坏性很大，却不是最需要担心的问题。因为完全多重共线性是由于模型设定问题，把有严格联系的变量引进同一个模型，或者虚拟变量设置不当引起的，因此只要在建模时适当注意就可以避免。即使由于模型设定的疏忽使得模型存在完全多重共线性问题，也比较容易发现。因为参数估计失效马上会提示我们这方面的问题。10完全多重共线性虽然破坏性很大，却不是最需要担心的问题。10完全多重共线性问题的处理也比较简单，只需要针对性地修改模型，放弃、调整相互之间形成线性关系，导致完全多重共线性的部分解释变量。注意一般不需要也不应该放弃存在线性关系的全部变量，否则容易使模型失去意义。11完全多重共线性问题的处理也比较简单，只需要针对性地修改模型，三、近似多重共线形的原因及其影响近似多重共线性既与变量选择有关，也与数据有关。虽然解释变量的选择不当，把内在相关性较强的变量引进同一个模型，是导致近似多重共线性的重要原因，但近似多重共线性更经常的原因是经济数据的共同趋势。12三、近似多重共线形的原因及其影响近似多重共线性既与变量选择有近似多重共线性不会导致参数估计失效，最小二乘参数估计能够得到唯一解。在模型存在近似多重共线性的情况下，参数的最小二乘估计不仅仍然是唯一存在的，而且仍然是最小方差线性无偏估计。但问题是当存在比较严重的近似多重共线性问题时，参数估计方差的绝对水平可能并不小，而且会随着多重共线性程度的提高急剧上升。13近似多重共线性不会导致参数估计失效，最小二乘参数估计能够得到如果用记变量的离差平方和，记变量对其余个解释变量的回归平方和，表示原模型第k个解释变量对其余个解释变量回归的决定系数，那么的方差可以写成：14如果用记变量的离差平方和，记变量如果第k个解释变量与其余个解释变量完全没有相关性，那么，。

当第k个解释变量与其他解释变量之间有相关性时，。当第k个解释变量与其他解释变量之间有很强的相关性，也就是模型存在很强的近似多重共线性时，接近1，此时的方差会变得非常大。

15如果第k个解释变量与其余个解释变量完全没有相关参数估计量方差的增大，必然导致参数估计的不稳定性提高，容易出现参数符号和数值大小的异常情况，从而使最小二乘估计的有效性受到很大影响。多重共线性正是通过这样的机制，对多元线性回归模型的最小二乘估计产生不利影响，其后果常表现为参数估计不稳定，数据的很小变化会引起参数估计值的较大变化，而且参数估计的异常值增多，包括显著性水平不符合实际，或反映解释变量作用方向的符号相反等。16参数估计量方差的增大，必然导致参数估计的不稳定性提高，容易出近似多重共线性表现形式和原因的多样性，数据问题导致多重共线性的隐蔽性，使得近似多重共线性的发现、判断和处理也比较困难。正是因为这些原因，近似多重共线性是我们重点关心的问题，在多数情况下多重共线性指的就是近似多重共线性。17近似多重共线性表现形式和原因的多样性，数据问题导致多重共线性第二节多重共线性的发现和检验多重共线性的根源是解释变量之间的相关性，因此分析解释变量之间的相关性，进行单相关或多元相关性的分析检验，是发现和判断多重共线性问题的基本方法。当然，解释变量之间总是有不同程度相关性的，因此要认定模型确实存在较严重、必须处理的共线性问题，必须结合参数估计的符号、大小和显著性等是否异常，或者参数估计是否表现出很大不稳定性（可通过改变少量数据检验）等进行判断。18第二节多重共线性的发现和检验多重共线性的根源是解释变量之间因为多重共线性是通过对参数估计方差的放大作用对多元线性回归产生不利影响的，而解释变量的共线性程度与参数估计量方差的大小有一致性，因此可以根据参数估计方差被“放大”的程度，判断模型是否存在多重共线性问题，以及是由哪些变量引起的共线性问题。以参数估计为例。的方差为：

19因为多重共线性是通过对参数估计方差的放大作用对多元线性回归产而中的因子，正是第k个解释变量与其他解释变量之间的相关性导致方差扩大的倍数。我们把这个因子称为“方差扩大因子”，记为：

这个方差扩大因子正是反映各个解释变量与其他变量之间的相关性，对参数估计方差和模型有效性影响程度的关键指标，可以用来检验多重共线性的存在以及根源。20而中的因子，正这种检验方法称为“方差扩大因子检验”，是检验多重共线性的常用方法。通常以方差扩大因子是否大于10，即是否大于0.9，或第k个解释变量是否90%以上由其他解释变量反映，作为判断k个解释变量是否存在必须加以处理的多重共线性的标准。事实上，当解释变量之间存在严重的共线性问题时，相关变量的方差扩大因子常常会达到几十、上百甚至更大。例8－1。详见Eviews演示。21这种检验方法称为“方差扩大因子检验”，是检验多重共线性的常用第三节多重共线性的克服和处理一、增加样本容量二、差分模型三、模型修正四、分布估计参数22第三节多重共线性的克服和处理一、增加样本容量22一、增加样本容量由于近似多重共线性意味着对任意i都必须成立，因此若样本容量较小，近似多重共线性的可能性就较大，若样本容量大，多重共线性的可能性就越小，因此增加样本容量常能降低解释变量之间的多重共线性。增加样本容量是理论上降低多重共线性最简便的方法之一。23一、增加样本容量由于近似多重共线性意味着增加样本容量方法的缺陷首先是增加样本容量并不必然降低多重共线性。事实上如果所增加的数据与原来的数据有基本相同的性质，即也有类似的共线性，那么就完全起不到作用。其次在许多实际的计量经济分析中，数据数量会受到很大限制，增加样本容量事实上无法实现。因此增加样本容量的方法在解决多重共线性方面的作用是很有限的。24增加样本容量方法的缺陷首先是增加样本容量并不必然降低多重共线二、差分模型因为多重共线性往往是经济变量的共同变化趋势引起的，差分变换常常能使数据中趋势性部分的比重降低，波动和变化部分的比重加强，从而降低多重共线性问题。例如线性回归模型为：且已知和之间存在多重共线性问题。25二、差分模型因为多重共线性往往是经济变量的共同变化趋势引起的如果我们对数据作如下的一阶差分变换：那么和之间的共线性通常会比和之间的共线性程度低。26如果我们对数据作如下的一阶差分变换：26因此若改用差分模型：进行回归，受多重共线性的影响通常会比较小。采用增长率模型也能起到同样的作用。需要注意的一个问题是，用差分模型解决多重共线性问题可能会导致误差项出现序列相关。27因此若改用差分模型：27因为差分模型的误差项为，，所以相邻两个误差项之间会有一定的相关性。当然，如果原模型既有多重共线性问题，又有较强的一阶正自相关性，那么差分方法也可能会同时解决这两种问题。运用差分模型往往还会使参数估计的方差扩大，样本信息也会有一些损失。28因为差分模型的误差项为，2三、模型修正由于近似多重共线性既是数据的问题，也是变量选择和模型设定问题，因此修改模型设定，也是克服多重共线性问题的基本方法。修改模型的方法也有多种。29三、模型修正由于近似多重共线性既是数据的问题，也是变量选择和1、删减解释变量引起多重共线性的直接原因之一，是在模型中引进过多相似有内在联系的解释变量，因此在根据方差扩大因子等判断导致共线性的变量中，如果删减掉一些与其他解释变量意义相近的变量，常可起到有效降低多重共线性的作用。例如资产和流动资产两个指标之间，就常有较强的相关性，而且它们的意义也近似，因此同时引进这两个变量的线性回归模型常会因它们而有共线性问题，放弃其中一个指标往往能使共线性大大降低。301、删减解释变量引起多重共线性的直接原因之一，是在模型中引进2、整合解释变量以某种方式将经济意义相近、相关性较强的解释变量整合成一个新变量，也是降低共线性的有效方法。当然整合解释变量要注意经济理论和实证的根据，如加权的权重要符合经济理论、经验结论，或者原模型回归分析的试算结果等。312、整合解释变量以某种方式将经济意义相近、相关性较强的解释变3、先验信息参数约束如果有关于模型或者其中参数的某些“先验信息”，也可以利用来克服模型的多重共线性问题。例如已知生产函数为，经过对数变换建立了线性回归模型：因为劳动力和资本的增长往往有同步性，因此上述模型往往有多重共线性问题。323、先验信息参数约束如果有关于模型或者其中参数的某些“先验信不过，有时候根据对经济的实证研究，能够预先知道所研究的经济有规模报酬不变的性质，也就是上述模型中的参数和满足。这种先验信息就可以用来克服多重共线性问题。把代入模型，有：33不过，有时候根据对经济的实证研究，能够预先知道所研究的经济有整理可得：最后这个函数相当于两变量线性回归模型，当然不会有多重共线性问题。34整理可得：34四、分布估计参数利用先验信息修正模型克服多重共线性的方法很有启发性。如果先用某种方法估计出模型中的部分参数，就可以把它们作为先验信息简化模型，从而克服原模型的多重共线性问题。分步估计参数方法的典型应用，是在时间序列数据模型中结合截面数据分析。35四、分布估计参数利用先验信息修正模型克服多重共线性的方法很有例如通常会考虑用模型：作为研究需求规律的模型。其中Q为消费需求，可以是针对特定商品的，也可以指总的消费需求，Y为可支配收入或收入，P为价格或价格指数。由于价格只有时间序列数据，因此这种模型通常是分析时间序列数据规律的。但问题是Y和P两个变量之间常常有共同的时间趋势，因此很容易存在共线性问题，从而影响回归分析的可靠性。36例如通常会考虑用模型：36可以先利用截面数据得到模型中参数的估计值。例如通过调查得到不同收入组别居民在同一时点的平均需求，形成Q和Y的截面数据样本，利用这些数据对两变量模型进行回归分析，得到参数估计值。37可以先利用截面数据得到模型中参数的估计值。37虽然这个模型与前一个时间序列数据回归模型不同，但这个模型的参数反映的在不同居民之间随收入上升需求相应上升的弹性，与前一个模型的参数反映的随着人们收入增长需求相应增长的弹性，是有一致性的。因此可以把的估计b作为前一个模型中的估计。38虽然这个模型与前一个时间序列数据回归模型不同，但这个模型的参这样前一个模型变为：再整理这个方程，可得这是一个两变量线性回归模型，当然不会有多重共线性问题。39这样前一个模型变为：39通过这个模型估计出和的估计值和，再结合用截面数据模型估的就得到了原模型克服了多重共线性困难的回归直线：例8－2。详见Eviews演示。40通过这个模型估计出和的估计值和，再第八章多重共线性41第八章多重共线性1第一节多重共线性及其影响第二节多重共线性的发现和检验第三节多重共线性的克服和处理本章结构42第一节多重共线性及其影响本章结构2第一节多重共线形及其影响一、多重共线形及其分类二、严格多重共线形及其危害三、近似多重共线形的原因及其影响43第一节多重共线形及其影响一、多重共线形及其分类3一、多重共线性及其分类多元线性回归模型要求解释变量之间不存在线性关系，包括严格的线性关系和高度的近似线性关系。但事实上由于模型设定和数据等各方面的问题，模型的解释变量之间很可能存在某种程度的线性关系。这时候称多元线性回归模型存在多重共线性问题。44一、多重共线性及其分类多元线性回归模型要求解释变量之间不存在多重共线性可以分为两类。如果多元线性回归模型中，存在两个或多个解释变量之间存在严格的线性关系，则称为“完全多重共线性”，也称为“严格的多重共线性”。而解释变量之间存在近似的而不是严格的线性关系，这种情况被称为“近似多重共线性”。45多重共线性可以分为两类。5二、严格多重共线形及其危害完全多重共线性不可能由于数据问题引起，通常是由于模型设定问题，把有严格联系的变量引进同一个模型，或者虚拟变量设置不当引起的。设两个解释变量的线性回归模型为：回归方程为：46二、严格多重共线形及其危害完全多重共线性不可能由于数据问题引求参数最小二乘估计量的正规方程组为：其中、和分别是、和的离差。设和两个变量之间有严格的线性关系，这个模型当然就存在完全的多重共线性。

47求参数最小二乘估计量的正规方程组为：7此时也成立。把该关系式代入上述正规方程组中的第二式可得：得到：很显然，这个方程与上述正规方程组的第一个方程是完全相同的。48此时也成立。把该关系式代入上述正规方程这意味着我们得到了包含两个未知参数估计量的两个相同的方程，这时该方程组有无穷组解而不是有唯一一组解。这实际上意味着被解释变量究竟受哪些变量的影响变得很不清楚，变量关系是无法识别的。有完全多重共线性的多元线性回归模型都无法顺利进行参数估计，会使多元线性回归模型参数估计失败，回归分析无法进行。49这意味着我们得到了包含两个未知参数估计量的两个相同的方程，这完全多重共线性虽然破坏性很大，却不是最需要担心的问题。因为完全多重共线性是由于模型设定问题，把有严格联系的变量引进同一个模型，或者虚拟变量设置不当引起的，因此只要在建模时适当注意就可以避免。即使由于模型设定的疏忽使得模型存在完全多重共线性问题，也比较容易发现。因为参数估计失效马上会提示我们这方面的问题。50完全多重共线性虽然破坏性很大，却不是最需要担心的问题。10完全多重共线性问题的处理也比较简单，只需要针对性地修改模型，放弃、调整相互之间形成线性关系，导致完全多重共线性的部分解释变量。注意一般不需要也不应该放弃存在线性关系的全部变量，否则容易使模型失去意义。51完全多重共线性问题的处理也比较简单，只需要针对性地修改模型，三、近似多重共线形的原因及其影响近似多重共线性既与变量选择有关，也与数据有关。虽然解释变量的选择不当，把内在相关性较强的变量引进同一个模型，是导致近似多重共线性的重要原因，但近似多重共线性更经常的原因是经济数据的共同趋势。52三、近似多重共线形的原因及其影响近似多重共线性既与变量选择有近似多重共线性不会导致参数估计失效，最小二乘参数估计能够得到唯一解。在模型存在近似多重共线性的情况下，参数的最小二乘估计不仅仍然是唯一存在的，而且仍然是最小方差线性无偏估计。但问题是当存在比较严重的近似多重共线性问题时，参数估计方差的绝对水平可能并不小，而且会随着多重共线性程度的提高急剧上升。53近似多重共线性不会导致参数估计失效，最小二乘参数估计能够得到如果用记变量的离差平方和，记变量对其余个解释变量的回归平方和，表示原模型第k个解释变量对其余个解释变量回归的决定系数，那么的方差可以写成：54如果用记变量的离差平方和，记变量如果第k个解释变量与其余个解释变量完全没有相关性，那么，。

当第k个解释变量与其他解释变量之间有相关性时，。当第k个解释变量与其他解释变量之间有很强的相关性，也就是模型存在很强的近似多重共线性时，接近1，此时的方差会变得非常大。

55如果第k个解释变量与其余个解释变量完全没有相关参数估计量方差的增大，必然导致参数估计的不稳定性提高，容易出现参数符号和数值大小的异常情况，从而使最小二乘估计的有效性受到很大影响。多重共线性正是通过这样的机制，对多元线性回归模型的最小二乘估计产生不利影响，其后果常表现为参数估计不稳定，数据的很小变化会引起参数估计值的较大变化，而且参数估计的异常值增多，包括显著性水平不符合实际，或反映解释变量作用方向的符号相反等。56参数估计量方差的增大，必然导致参数估计的不稳定性提高，容易出近似多重共线性表现形式和原因的多样性，数据问题导致多重共线性的隐蔽性，使得近似多重共线性的发现、判断和处理也比较困难。正是因为这些原因，近似多重共线性是我们重点关心的问题，在多数情况下多重共线性指的就是近似多重共线性。57近似多重共线性表现形式和原因的多样性，数据问题导致多重共线性第二节多重共线性的发现和检验多重共线性的根源是解释变量之间的相关性，因此分析解释变量之间的相关性，进行单相关或多元相关性的分析检验，是发现和判断多重共线性问题的基本方法。当然，解释变量之间总是有不同程度相关性的，因此要认定模型确实存在较严重、必须处理的共线性问题，必须结合参数估计的符号、大小和显著性等是否异常，或者参数估计是否表现出很大不稳定性（可通过改变少量数据检验）等进行判断。58第二节多重共线性的发现和检验多重共线性的根源是解释变量之间因为多重共线性是通过对参数估计方差的放大作用对多元线性回归产生不利影响的，而解释变量的共线性程度与参数估计量方差的大小有一致性，因此可以根据参数估计方差被“放大”的程度，判断模型是否存在多重共线性问题，以及是由哪些变量引起的共线性问题。以参数估计为例。的方差为：

59因为多重共线性是通过对参数估计方差的放大作用对多元线性回归产而中的因子，正是第k个解释变量与其他解释变量之间的相关性导致方差扩大的倍数。我们把这个因子称为“方差扩大因子”，记为：

这个方差扩大因子正是反映各个解释变量与其他变量之间的相关性，对参数估计方差和模型有效性影响程度的关键指标，可以用来检验多重共线性的存在以及根源。60而中的因子，正这种检验方法称为“方差扩大因子检验”，是检验多重共线性的常用方法。通常以方差扩大因子是否大于10，即是否大于0.9，或第k个解释变量是否90%以上由其他解释变量反映，作为判断k个解释变量是否存在必须加以处理的多重共线性的标准。事实上，当解释变量之间存在严重的共线性问题时，相关变量的方差扩大因子常常会达到几十、上百甚至更大。例8－1。详见Eviews演示。61这种检验方法称为“方差扩大因子检验”，是检验多重共线性的常用第三节多重共线性的克服和处理一、增加样本容量二、差分模型三、模型修正四、分布估计参数62第三节多重共线性的克服和处理一、增加样本容量22一、增加样本容量由于近似多重共线性意味着对任意i都必须成立，因此若样本容量较小，近似多重共线性的可能性就较大，若样本容量大，多重共线性的可能性就越小，因此增加样本容量常能降低解释变量之间的多重共线性。增加样本容量是理论上降低多重共线性最简便的方法之一。63一、增加样本容量由于近似多重共线性意味着增加样本容量方法的缺陷首先是增加样本容量并不必然降低多重共线性。事实上如果所增加的数据与原来的数据有基本相同的性质，即也有类似的共线性，那么就完全起不到作用。其次在许多实际的计量经济分析中，数据数量会受到很大限制，增加样本容量事实上无法实现。因此增加样本容量的方法在解决多重共线性方面的作用是很有限的。64增加样本容量方法的缺陷首先是增加样本容量并不必然降低多重共线二、差分模型因为多重共线性往往是经济变量的共同变化趋势引起的，差分变换常常能使数据中趋势性部分的比重降低，波动和变化部分的比重加强，从而降低多重共线性问题。例如线性回归模型为：且已知和之间存在多重共线性问题。65二、差分模型因为多重共线性往往是经济变量的共同变化趋势引起的如果我们对数据作如下的一阶差分变换：那么和之间的共线性通常会比和之间的共线性程度低。66如果我们对数据作如下的一阶差分变换：26因此若改用差分模型：进行回归，受多重共线性的影响通常会比较小。采用增长率模型也能起到同样的作用。需要注意的一个问题是，用差分模型解决多重共线性问题可能会导致误差项出现序列相关。67因此若改用差分模型：27因为差分模型的误差项为，，所以相邻两个误差项之间会有一定的相关性。当然，如果原模型既有多重共线性问题，又有较强的一阶正自相关性，那么差分方法也可能会同时解决这两种问题。运用差分模型往往还会使参数估计的方差扩大，样本信息也会有一些损失。68因为差分模型的误差项为，2三、模型修正由于近似多重共线性既是数据的问题，也是变量选择和模型设定问题，因此修改模型设定，也是克服多重共线性问题的基本方法。修改模型的方法也有多种。69三、模型修正由于近似多重共线性既是数据的问题，也是变量选择和1、删减解释变量引起多重共线性的直接原因之一，是在模型中引进过多相似有内在联系的解释变量，因此在根据方差扩大因子等判断导致共线性的变量中，如果删减掉一些与其他解释变量意义相近的变量，常可起到有效降低多重共线性的作用。例如资产和流动资产两个指标之间，就常有较强的相关性，而且它们的意义也近似，因此同时引进这两个变量的线性回归模型常会因它们而有共线性问题，放弃其中一个指标往往能使共线性大大降低。701、删减解释变量引起多重共线性的直接原因之一，是在模型中引进2、整合解释变量以某种方式将经济意义相近、相关性较强的解释变量整合成一个新变量，也是降低共线性的有效方法。当然整合解释变量要注意经济理论和实证的根据，如加权的权重要符合经济理论、经验结论，或者原模型回归分析的试算结果等。712、整合解释变量以某种方式将经济意义相近、相关性较强的解释变3、先验信息参数约束如果有关于模型或