复回归分析估计问题

复回归分析估计问题第1页，课件共49页，创作于2023年2月

复回归分析，也就是多元线性回归分析，讨论应变量或回归子Y，依赖于两个或更多个解释变量或回归元的模型。 本章主要讨论有两个解释变量的情形。

§7.1三变量模型：符号与假定三变量的PRF为：（7.1.1）其中是截距项，表示所有未包含到模型中来的变量对Y的平均影响。和被称为偏回归系数（partialregressioncoefficients）。贵州财经大学经济研究所白万平教授第2页，课件共49页，创作于2023年2月

在经典线性回归模型（CLRM）的框架下，我们对（7.1.1）作如下假定：

ui的均值为零，即：对每一个i（7.1.2）无序列相关：（7.1.3）同方差性：（7.1.4）ui与每一个X变量之间都有零协方差：（7.1.5）贵州财经大学经济研究所白万平教授第3页，课件共49页，创作于2023年2月

其实，只要X2和X3是非随机的，并且有（7.1.2）成立，则这个假定就自动得到满足。无设定偏误，或：模型被正确地设定（7.1.6）

X诸变量间无精确的共线性，或

X2与X3之间无精确的线性关系（7.1.7）（NoexactlinearrelationshipbetweenX2andX3）另外，还假定：多元回归模型对参数而言是线性的；回归元的值在重复抽样中是被固定的，以及回归元的取值有足够的变异性（variability）。贵州财经大学经济研究所白万平教授第4页，课件共49页，创作于2023年2月

（7.1.7）式要求X2和X3之间无精确的线性关系，用专业术语讲就是无共线性（nocollinearity）或无多重共线性（nomulticollinearity）。简单地说，就是没有一个解释变量可以写成其余解释变量的线性组合。从数学上看，无共线性的含义是，不存在一组不全为零的和，使得：（7.1.8）如果这一关系式存在，则说明X2和X3是共线的（collinear）或线性相关的（linearlydependent）。如果（7.1.8）式仅当时成立，则说X2和X3是线性独立的。贵州财经大学经济研究所白万平教授第5页，课件共49页，创作于2023年2月

如果，这会不会破坏无共线性的假定呢？不会，因为这里的两个变量的关系是非线性的，并不违背回归元之间没有精确线性关系的要求。在极端情形下，如果X2和X3存在精确的线性关系，比如，则独立的解释变量实际上只有一个，而不是两个了：

贵州财经大学经济研究所白万平教授第6页，课件共49页，创作于2023年2月§7.2对复回归方程的解释把（7.1.1）的两边对Y求条件期望得：（7.2.1）可见，复回归分析是以多个解释变量的固定值为条件的回归分析。我们所获得的，是各个自变量X值固定时，Y的平均值或Y的平均响应（meanresponse）。

§7.3偏回归系数的含义偏回归系数的含义：度量着在保持X3不变的情况下，X2每变化1个单位时，Y的均值的变化。换一句话说，给出X2的单位变化对Y均值的“直接”或“净”影响（净在不染有X3的影响）。则给出了X3的单位变化对Y均值的“直接”或“净”影响，净在不沾有X2的影响。贵州财经大学经济研究所白万平教授第7页，课件共49页，创作于2023年2月

如何分离出X2对Y的“真实”或净影响呢？（双残差方法）第一步：Y仅对X3回归：（7.3.1）其中是样本残差项，b13的下标1指变量Y只对X3回归。第二步：X2对X3回归：（7.3.2）其中也是残差项。于是：

（7.3.3）贵州财经大学经济研究所白万平教授第8页，课件共49页，创作于2023年2月

（7.3.4）其中和是分别从回归（7.3.1）和（7.3.2）得来的估计值。残差和的含义：表示去掉X3对Y的（线性）影响后的Yi值；表示除去X3对X2的（线性）影响后的X2i的值。这样一来，和就代表是“净化了的（purified）”Yi和X2i。即除去了X3的影响（沾染）的Yi和X2i。具体例子见P194关于儿童死亡率与人均收入、妇女识字率的关系。贵州财经大学经济研究所白万平教授第9页，课件共49页，创作于2023年2月

第三步：做对的回归：（7.3.5）其中，是样本残差项。那么，就是X2对Y的“真实”或净影响的一个估计，或者说，是Y对X2的真实斜率的一个估计。

§7.4偏回归系数的OLS估计一、OLS估计量（7.1.1）式的PRF相对应的样本回归函数（SRF）为：（7.4.1）其中是残差项，是总体随机扰动项ui的相应部分。贵州财经大学经济研究所白万平教授第10页，课件共49页，创作于2023年2月OLS方法的实质就是，通过残差平方和（RSS）的一阶条件求未知参数的估计值：（7.4.2）贵州财经大学经济研究所白万平教授第11页，课件共49页，创作于2023年2月

于是，得正规方程：从而，的OLS估计量为：（7.4.6）

（7.4.7）贵州财经大学经济研究所白万平教授第12页，课件共49页，创作于2023年2月

（7.4.8）

如果Ｘ2和Ｘ3无关，会怎样？OLS估计量的特点：①可以从方程（7.4.7）和（7.4.8）中的一个通过x2和x3的对调而得到另一个，所以，它们本质上是对称的。②两个方程的分母完全相同。③三变量情形是双变量情形的自然而然的推广。二、OLS估计量的方差和标准误我们计算出标准误主要有两个作用：①建立置信区间②检验统计假设。公式如下，证明见第九章。贵州财经大学经济研究所白万平教授第13页，课件共49页，创作于2023年2月

（7.4.9）

（7.4.10）

（7.4.11）或者：（7.4.12）其中，r23是X2和X3的样本相关系数：贵州财经大学经济研究所白万平教授第14页，课件共49页，创作于2023年2月

（7.4.13）

（7.4.14）或者：（7.4.15）（7.4.16）（7.4.17）在上述公式中是总体干扰项ui的方差，的无偏估计量是：贵州财经大学经济研究所白万平教授第15页，课件共49页，创作于2023年2月

（7.4.18）

注：自由度为（n-3），这是因为在估计之前，必须先估计和。从而损失了3个自由度。四变量中自由度为（n-4）等。而（7.4.19）课堂作业：证明上式贵州财经大学经济研究所白万平教授第16页，课件共49页，创作于2023年2月贵州财经大学经济研究所白万平教授第17页，课件共49页，创作于2023年2月

三、OLS估计量的性质1．三变量回归面通过均值，和。因为，（7.4.3）告诉我们：这个性质可以推广到一般情形，如在K变量回归中有：2．估计的（即）的均值等于真实的均值。由和得：贵州财经大学经济研究所白万平教授第18页，课件共49页，创作于2023年2月

（7.4.22）将上式两边对所有样本值求和，再除以样本容量n得：（）从而有：（由于（7.4.22））（7.4.23）其中贵州财经大学经济研究所白万平教授第19页，课件共49页，创作于2023年2月因此，SRF：的离差形式表达为：（7.4.24）3．在求解OLS估计量的过程中，曾经有：这就是4．残差与和都不相关，就是贵州财经大学经济研究所白万平教授第20页，课件共49页，创作于2023年2月

这也是求解OLS估计量的副产品：

即是所求。5．残差与不相关，即贵州财经大学经济研究所白万平教授第21页，课件共49页，创作于2023年2月∵（7.4.23）

∴贵州财经大学经济研究所白万平教授第22页，课件共49页，创作于2023年2月6．由（7.4.12）和（7.4.15）可见，越大（越接近1），和越大。，它们将很难估计和的真值。7．由（7.4.12）和（7.4.15），与成反比，即X2的样本值变化越大，的方差越小，对的估计的精度越高。对的方差也如此。8．偏回归系数的OLS估计量是BLUE（最佳线性无偏估计）。证明略（用矩阵证明更简单，见第9章）。贵州财经大学经济研究所白万平教授第23页，课件共49页，创作于2023年2月ML估计在总体扰动项服从的假定下，ML与OLS所得的回归系数估计相同。但是，的估计有区别，前者所得估计是无偏的，后者是渐近无偏的。ML估计的方差贵州财经大学经济研究所白万平教授第24页，课件共49页，创作于2023年2月§7.5复判定系数与复相关系数R

（TheMultiplecoefficientofDeterminationandtheMultiplecoefficientofCorrelationR）复判定系数：在三变量（或者更多变量）的模型中，衡量Y的变异由变量、等联合解释的比重，记作。在概念上，近似于。的推导：（7.5.1）

是从所拟合的回归线（SRF）估计的值，它是真实的一个估计量。（7.5.1）可以变换为：（7.5.2）贵州财经大学经济研究所白万平教授第25页，课件共49页，创作于2023年2月

上式两边平方，再对i求和，得：

（7.5.3）（7.5.3）表明：总平方和＝解释平方和＋残差平方和即：TSS＝ESS＋RSS

（7.4.19）表明：

贵州财经大学经济研究所白万平教授第26页，课件共49页，创作于2023年2月

代入（7.5.3）有：

整理得：（7.5.4）于是，由定义有：

（7.5.5），越接近于1，我们说模型“拟合”优度越高。贵州财经大学经济研究所白万平教授第27页，课件共49页，创作于2023年2月

复相关系数R：度量Y和所有解释变量在一起的关联程度。在一元回归中，r可正可负；但是，在多元回归中，R永远取正值。实际上，R没有太大的意义，用途不大。§7.6例子说明标准化后的优势§7.7从复回归的角度看简单回归：设定偏误初探

（7.6.1）模型试图用人均收入和妇女识字率去解释儿童死亡率的变化：

（7.6.1）如果采用双变量模型去拟合的话，则为：

（7.7.1）

贵州财经大学经济研究所白万平教授第28页，课件共49页，创作于2023年2月

既然（7.6.1）是“正确”的模型，那么，（7.7.1）就必然是一个有偏误的模型，其偏误在于丢失了一个不应该省略的变量。如果（7.6.1）的是真实的一个无偏估计，即，那么，在一元回归中的简单回归系数将不会是的无偏估计量。事实上，有以下关系式：（7.7.2）其中，是对回归中的斜率系数，即或者，有：贵州财经大学经济研究所白万平教授第29页，课件共49页，创作于2023年2月证明：离差形式的三变量总体回归模型可以表述为：（1）先乘以

，再乘以，得到通常的正规方程：

（2）

（3）用除（2）的两边得：

（4）贵州财经大学经济研究所白万平教授第30页，课件共49页，创作于2023年2月

而

（∴是固定量）方程（4）便可以写为：（5）（5）式两边取期望值，得：

（6）（与，不相关，，是常数）其实，不仅有偏误，的方差也很可能有偏误。

贵州财经大学经济研究所白万平教授第31页，课件共49页，创作于2023年2月这是因为：（7）把（5）式和（6）式代入（7）式并化简得：

（8）贵州财经大学经济研究所白万平教授第32页，课件共49页，创作于2023年2月

由（7.4.12）式我们知道：

（7.4.12）

可见，（8）式和（7.4.12）不同，是一个有偏估计量。。结论：简单回归系数不仅度量了对Y的“直接”或“净”影响，而且也度量了通过它对所忽略变量的影响而影响Y的间接或诱发（induced）影响。简单地说，度量着对Y的总影响（直接影响加间接影响），而仅度量了对Y的直接或净影响。贵州财经大学经济研究所白万平教授第33页，课件共49页，创作于2023年2月结论：如果需要一个三变量回归，就不要尝试简单或双变量回归。或者说得更一般，如果你认定某个特殊的回归模型是“正确”模型，就不要从中略去一个或多个变量，而把它加以修改。如果你忽视这条原则，你就会得到有偏误的参数估计。不仅如此，你还可能低估了真实的方差并因而低估了回归系数的估计标准误。贵州财经大学经济研究所白万平教授第34页，课件共49页，创作于2023年2月§7.8与调整（校正）（andtheAdjusted）我们知道：其中，，与模型中X变量的个数无关。但是，则与模型中的回归元个数相关。随着X变量个数的增加，很可能减小，至少不会增大，从而将会增大。因此，在比较具有相同的因变量但有着不同个数的X变量的两个回归模型时，选择有最高值的模型就必须小心。这时，较高的可能来自解释变量个数的增加，并不能说明模型更好。贵州财经大学经济研究所白万平教授第35页，课件共49页，创作于2023年2月

考虑有关的自由度数，采用方差而不用变异，对的表达式进行修正，可以导出校正（校正判定系数，校正可决系数）：

（7.8.2）其中，k代表模型中包括截距项在内的参数个数。显然，在三变量回归（二元回归）中k＝3。 为校正（adjusted）。“校正”指的是，利用相应的自由度对（7.8.1）式中的平方和进行校正。有个自由度，而有个自由度。贵州财经大学经济研究所白万平教授第36页，课件共49页，创作于2023年2月贵州财经大学经济研究所白万平教授第37页，课件共49页，创作于2023年2月

需要指出的是，回归分析的目的并不是要追求较高的之值，而是要取得总体回归系数的可信任的估计量，以便作出统计推断。因此，研究人员应当更多地从理论上探讨解释变量与因变量之间的关系，而不能单凭最高的之值来选择模型。换言之，某个解释变量是否应列入模型，在很大程度上取决于事前的理论分析。PKPK此外，还有AIC,APC等评价模型的标准贵州财经大学经济研究所白万平教授第38页，课件共49页，创作于2023年2月贵州财经大学经济研究所白万平教授第39页，课件共49页，创作于2023年2月贵州财经大学经济研究所白万平教授第40页，课件共49页，创作于2023年2月贵州财经大学经济研究所白万平教授第41页，课件共49页，创作于