多元线性回归模型2

2024年1月19日

山东财经大学统计学院计量经济教研室第1页

上一章讨论的一元线性回归模型主要讨论一个被解释变量和一个解释变量之间的线性关系，但是，由于实际经济问题的复杂性，一个经济变量可能会同多个变量相联系。

例如，消费者对某种商品的需求量不仅受该种商品价格的影响，而且还可能受消费者的收入水平、其他代用商品的价格等因素的影响；又如，影响一个国家货币需求量的不仅有经济总量GDP，而且还有利率、物价水平、外汇储藏等多种因素。因此，本章将把上一章讨论的结论推广到包含多个解释变量的多元线性回归模型。第三章多元线性回归模型

2024年1月19日

山东财经大学统计学院计量经济教研室第2页第一节多元线性回归模型及其参数估计第四节多元线性回归模型评价*第二节OLSE的统计性质及其假定第五节模型应用：预测与分析本章内容有：第三节多元回归模型参数的统计推断2024年1月19日

山东财经大学统计学院计量经济教研室第3页5、能够借助回归模型对现象进行预测和分析。学习本章后,您应该做到：1、了解多元线性总体回归模型的一般形式，熟练掌握多元线性回归模型的OLS估计；2、理解多元线性回归模型OLSE的统计性质及其假定；3、掌握多元线性回归模型参数的区间估计与假设检验；4、了解多元线性回归模型的评价标准；重点与难点：

掌握多元线性总体回归模型的矩阵形式；理解多元线性回归模与一元线性回归模型经典假定的异同；掌握多元线性回归模型参数的区间估计与假设检验。2024年1月19日

山东财经大学统计学院计量经济教研室第4页第一节多元线性回归模型及其参数估计一、多元线性回归模型的一般形式

如果被解释变量y与k个解释变量之间有线性相关关系，那么它们之间的多元线性总体回归模型可以表示为(3.1)由于多个解释变量会同时对被解释变量y的变动发挥作用，因此，如果要考察其中某个解释变量对y的影响，就必须使其它解释变量保持不变。在多元线性回归模型〔3.1〕中，2024年1月19日

山东财经大学统计学院计量经济教研室第5页

回归系数表示：在其它解释变量不变的条件下，第j个解释变量的单位变动对被解释变量平均值的影响，故多元线性回归模型的回归系数又被称为偏回归系数。u是随机误差项。

如果我们将n组实际观测数据代入（3.1）式中,可得到下列形式(3.2)即2024年1月19日

山东财经大学统计学院计量经济教研室第6页写成矩阵形式为即（3.3）其中一般称Y，X为因变量和自变量观测矩阵；为系数向量,

为随机误差向量。2024年1月19日

山东财经大学统计学院计量经济教研室第7页(3.5)(3.5)式称为样本回归模型，它由两局部组成：称为系统分量，是可以被自变量解释的局部；ei是不能被自变量解释的局部称为残差(residuals)，可看成是随机项ui的代表值。利用样本点对样本回归方程〔3.5〕系统分量局部的系数进行估计，便可得到样本回归函数〔SRF〕或样本

在总体线性回归函数中，各个回归系数是未知的，只能利用样本观测值对其进行估计。对于任意抽取的观测（样本）点有：2024年1月19日

山东财经大学统计学院计量经济教研室第8页其中，是y的系统分量，即由决定的理论值是对y的条件均值的估计，分别是回归系数的样本估计量。对于给定的样本，样本回归方程的矩阵形式为（3.7）其中（3.6）回归方程：2024年1月19日

山东财经大学统计学院计量经济教研室第9页二、回归模型参数的OLS估计多元线性回归方程的未知参数的估计与一元线性回归方程的参数估计原理一样，仍然可以采用普通最小平方法〔OLS〕进行参数估计，估计准那么是令残差平方和Q到达最小。其中根据微分极值原理知，应满足下列方程组2024年1月19日

山东财经大学统计学院计量经济教研室第10页整理后得到正规方程组：〔3.8〕解方程组（3.8），得到回归系数的最小二乘估计量（OLSE）为了表达简单，可以用矩阵运算推导参数的最小二乘估计量。2024年1月19日

山东财经大学统计学院计量经济教研室第11页正规方程组(3.8)的矩阵形式=即:由于Rank(X)=k+1,故有：

可逆于是2024年1月19日

山东财经大学统计学院计量经济教研室第12页上述问题也可以用以下矩阵方法来推导：

因为都是标量，所以二者相等，故：化简得：

（3.10）

〔3.9〕由于Rank(X)=k+1,故

满秩，故有

2024年1月19日

山东财经大学统计学院计量经济教研室第13页〔例3—1〕在研究某行业员工的教育回报问题时，经分析确定了以下变量：工资水平〔y，万元/年〕、受教育年限〔x1，年〕、在劳动力市场上的工作经历〔x2，年〕及任现职年限〔x3，年〕。现随机抽取了该行业24位员工，观察数据如表3-1所示。试建立员工工资水平关于受教育年限、工作经历和任现职年限的多元回归方程。表3-1某行业员工工资水平及影响因素样本数据2024年1月19日

山东财经大学统计学院计量经济教研室第14页序号yx1x2x3序号yx1x2x313.101520138.771615023.2416222145.501618333.0015201522.216311546.001236281617.332014055.301672177.501610068.7520981810.63171610711.2522157193.601613085.001653204.501612693.601664216.8816114101848162913116.252082236.332099128.131730246.00153782024年1月19日

山东财经大学统计学院计量经济教研室第15页将上述资料代入OLS正规方程：得到2024年1月19日

山东财经大学统计学院计量经济教研室第16页所以样本回归方程为：该例也可以利用式〔3.10〕计算，结果完全一样，请同学们自己验证。由于多元回归的计算量一般都很大，实际计算可利用EViews软件进行。方法是建立数据文件后，在主菜单项选择Quick\EstimateEquations，进入输入估计方程对话框,输入待估计方程，选择估计方法－LS〔最小二乘法〕，或在直接命令窗口键入“lsycx1x2x3〞，点击OK进行估计。本例的EViews输出结果如下：2024年1月19日

山东财经大学统计学院计量经济教研室第17页DependentVariable:YVariableCoefficientStd.Errort-StatisticProb.

C-15.508066.637424-2.3364570.0300X11.1793880.3641483.2387580.0041X20.1873640.1168241.6038180.1244X30.1167560.1603820.7279850.4751R-squared0.462817

Meandependentvar7.896667AdjustedR-squared0.382239

S.D.dependentvar4.984674S.E.ofregression3.917842

Akaikeinfocriterion5.719971Sumsquaredresid306.9898

Schwarzcriterion5.916313Loglikelihood-64.63965

Hannan-Quinncriter.5.772061F-statistic5.743747

Durbin-Watsonstat1.445114Prob(F-statistic)0.005291表3-2EViews输出结果2024年1月19日

山东财经大学统计学院计量经济教研室第18页样本原始数据的标准化处理公式为：三、标准化回归系数

在多元线性回归中，如果自变量的量纲不同，不同回归系数的大小比较没有意义。为了比较不同自变量对因变量的影响强弱，就需要对样本原始数据进行标准化处理，然后用最小二乘法去估计未知参数，这样得到的回归系数叫做标准化回归系数（StandardizedCoefficients)或者系数（BetaCoefficients）。

2024年1月19日

山东财经大学统计学院计量经济教研室第19页

、分别为的样本标准差。

对标准化的样本数据用最小二乘法可以得到以下经验回归方程：其中，为因变量对自变量的回归系数，即为因变量对自变量的标准化回归系数。2024年1月19日

山东财经大学统计学院计量经济教研室第20页可以证明，标准化回归系数与普通最小二乘回归系数之间的关系为：普通最小二乘回归系数表示在其他变量不变的情况下，自变量每变化一个绝对单位引起的因变量的平均变化量；标准化回归系数表示在其他变量不变的情况下，自变量每变化1%（相对于其标准差）引起的因变量的平均变化的百分数（相对于其标准差）。尽管标准化回归系数消除了量纲的影响，较之在比较自变量普通最小二乘回归系数2024年1月19日

山东财经大学统计学院计量经济教研室第21页对因变量y的影响大小时更具可比性；但与原模型的回归系数相比，其经济含义已经改变，在使用过程中，需要特别注意。四、多元线性回归的拟合优度R2

与一元回归一样，多元回归总离差平方和，可以分解为可解释（回归）平方和与残差平方和。即〔3.11〕具体计算公式为：2024年1月19日

山东财经大学统计学院计量经济教研室第22页

与一元回归类似，我们把回归解释平方和在总离差平方和中所占的比重定义为多重（复）样本决定系数，或多重（复）可决系数），记为：〔3.12〕2024年1月19日

山东财经大学统计学院计量经济教研室第23页很显然，越大说明回归方程与样本值拟合得越好，反之越差。例3.2以例3.1资料为例，计算样本决定系数。

在EViews中，用R-squared表示（见表3.2）。

在实际的经济分析中，往往希望所建立模型的拟合优度越高越好。但是，由ESS与RSS的计算公式可知，在回归模型中多增加一个自变量，ESS一般会变大，RSS一般会变小，导致R2通常会增加，使得R2不适宜作为判断一个解释变量是否引入模型的工具。2024年1月19日

山东财经大学统计学院计量经济教研室第24页拟合优度无法反映模型中每个解释变量对被解释变量的影响。在回归分析中，不仅要模型的拟合程度高，而且还要得到总体回归系数的可靠估计量。因此，在选择模型时，不能单纯地凭样本决定系数上下断定模型的优劣，有时为了通盘考虑模型回归系数的显著性及其经济意义，可以适当降低对拟合优度指标的要求。2024年1月19日

山东财经大学统计学院计量经济教研室第25页第二节OLSE的统计性质及其假定

本节主要研究最小二乘估计量的有限样本性质与渐进性质，及其相关联的经典假定。这些内容可以理解为是一元线性回归模型统计性质在多元线性回归模型的推广。2024年1月19日

山东财经大学统计学院计量经济教研室第26页一、OLSE的有限样本性质及其假定〔一〕OLSE的无偏性及其假定

首先给出多元线性回归模型中OLSE的无偏性涉及的相关假定。假定MLR.1：线性回归模型假定总体回归模型可表述为其中，是我们所关心的未知参数，而u是无法观测的随机误差项。回归模型对参数而言是线性的，但它对变量而言不一定是线性的，因变量y和自变量可以是我们所关心的变量的任意函数。2024年1月19日

山东财经大学统计学院计量经济教研室第27页该假定定义了多元线性回归模型的形式。假定MLR.2:随机抽样假定〔独立同分布假定〕

有一个包含n次观测的样本,它随机取自满足假定MLR.1中的总体模型。随机性假定意味着各样本点独立同分布的。与一元线性回归模型类似，也可以使用固定回归元或随机回归元假定。可以用随机样本的形式将回归模型写成

是第次观测的误差或干扰项。2024年1月19日

山东财经大学统计学院计量经济教研室第28页假定MLR.3:解释变量之间无完全共线性假定

在假定MLR.1的回归模型中，没有一个自变量是常数，任意两个或几个自变量间不存在严格的线性关系，也就是说解释变量的样本矩阵X是满列秩，即如果一个自变量刚好是其他自变量的一个线性组合，也即模型遇到完全共线性〔PerfectCollinearity〕问题，该模型的参数也就无法估计了。值得注意的是，假定MLR.3允许自变量之间存在一定的相关关系，但不能完全相关。2024年1月19日

山东财经大学统计学院计量经济教研室第29页假定MLR.4：随机项零条件均值假定〔解释变量外生性假定〕即在给定解释变量的条件下，随机扰动项的条件均值为零。即(3.13)此时对于多元回归模型就有

该假定意味着：①经验分析所用的模型中不存在设定偏误〔SpecificationBias〕或设定误差〔SpecificationError〕，也就是说，回归模型设定是正确的；②解释变量具有外生性。2024年1月19日

山东财经大学统计学院计量经济教研室第30页

因为以自变量的样本值为条件，是一个常数矩阵，由（3.10）式知是Y的线性组合，为线性估计量。由（3.3）式和（3.10）式知

当回归模型满足假定MLR.1～假定MLR.4时,回归参数的OLS估计量是线性的和无偏的。证明如下：

说明最小二乘估计量不仅是Ｙ的线性组合，也是随机项u的线性组合。对(3.10)式两边取期望值，利用假定1，E(u|X)=0，可得2024年1月19日

山东财经大学统计学院计量经济教研室第31页也就是说，OLSE在假定MLR.1～假定MLR.4下，是总体参数的线性无偏估计量。〔二〕OLSE的有效性及其假定假定MLR.5：条件同方差性假定对于任意的解释变量观测值，随机扰动项的条件方差相同。用公式表示为：这说明，对于每个解释变量的组合，ui的方差都等于某个固定的正的常数。如果该假定不成立，就说模型具有异方差性(Heteroscedasticity)，表示ui的方差随解释变量的变化而变化。在假定MLR.1～假定MLR.5下，可以得到OLS估计量2024年1月19日

山东财经大学统计学院计量经济教研室第32页的抽样方差：(3.14)其中，常被简记为是将对其余自变量进行回归所得到的判别系数R2。而且可以证明，的所有线性无偏估计量中最小的估计量，即具有最优性（证明见本章附录）。

在多元线性回归模型中，假定MLR.1～假定MLR.5称为高斯-马尔科夫假定。

在高斯-马尔科夫假定下，的OLS估计量具有线性、无2024年1月19日

山东财经大学统计学院计量经济教研室第33页偏性、有效性的有限样本性质，即OLSE是最优线性无偏估计量〔BLUE〕。这就是著名的“高斯－马尔科夫定理〞。式(3.14)给出了回归参数最小二乘估计量的方差表达式，然是未知数，还需予以估计。而其中总体随机项的方差可以证明是的无偏估计量。其中k为自变量个数。它的算术方根称为估计标准误差（S.E.ofregression）。〔3.15〕2024年1月19日

山东财经大学统计学院计量经济教研室第34页由(3.14)、（3.15）知,系数的估计标准误差为〔3.16〕

在EViews的输出结果中，各回归系数的估计标准误差写为Std.Error

〔三〕OLSE的正态性假定为了进一步进行统计推断，多元线性回归模型同样需要正态性假定。假定MLR.6：随机误差项的正态性假定总体误差项独立于解释变量而且独立同分布2024年1月19日

山东财经大学统计学院计量经济教研室第35页于均值为零方差为的正态分布：

假定MLR.6是一个比前面任何一个假定都更强的假定。实际上，由于在假定MLR.6下独立于解释变量所以因此，如果做出假定MLR.6，就必然假定了MLR.4和MLR.5。就横截面回归中的应用而言，从假定MLR.1～假定MLR.6这六个假定被称为经典多元线性模型〔CLM〕假定〔古典假定〕。总结古典假定的一种简洁方法是（3.17）其中，

x是的简记，也就是说，以x为条件的独立地同分布于正态分布，分布的均值是的线性函数，分布方差为一常数。2024年1月19日

山东财经大学统计学院计量经济教研室第36页二、OLSE的渐进性质前面我们讨论了OLSE的有限样本性质。比方，OLSE在前四个高斯-马尔科夫假定下具有无偏性，OLSE在全部高斯-马尔科夫假定下具有最优线性无偏性的特性，这都是OLSE的有限样本〔或小样本〕性质，因为它对任何样本容量n〔只要n大于等于模型中参数的个数k+1〕都成立。与一元回归模型一样，了解多元线性回归模型估计量的渐进性质也很重要。在高斯-马尔科夫假定〔假定MLR.1～假定MLR.5〕下，多元线性回归模型的OLSE具有令人满意的大样本性质，即具有一致性和渐进有效性。而且即使没有正态性假定〔假定MLR.6〕，OLSE在大样本下也近似服从正态分布，即具有渐近正态性。2024年1月19日

山东财经大学统计学院计量经济教研室第37页

更为重要的是，要获得OLS估计量的一致性，在MLR.1～假定MLR.3下，MLR.4关于随机项均值独立于解释变量假定可以用更弱的线性无关假定代替.对于多元线性回归模型，这一假定的表述如下：假定MLR.4′：零期望和零相关性假定，都有

随机误差项的期望值为零，随机误差项与解释变量的协方差为零，即对于所有的OLSE的渐进性质及其条件告诉我们，在大样本条件下，我们可以在更为宽松的条件下借助于最小二乘法进行多元线性回归分析，从而可以大大拓宽OLS的应用范围。2024年1月19日

山东财经大学统计学院计量经济教研室第38页第三节多元回归模型参数的区间估计与假设检验一、回归参数的置信区间根据假定MLR.6，服从正态分布，这决定了yi也是服从正态分布的随机变量。由于最小二乘估计量的线性性质，是yi的线性函数，这决定了也是服从正态分布的随机变量。又由于所以，由于是未知的，故也未知。但可用的无偏估计量代替2024年1月19日

山东财经大学统计学院计量经济教研室第39页对作标准化变换，

可以证明所构造的枢轴变量服从自由度为n-k-1的t分布，即由的置信区间为：

可得的置信度为2024年1月19日

山东财经大学统计学院计量经济教研室第40页〔例3—3〕运用表3-1样本的数据,试在95％的置信水平下，构造的置信区间。由表3-2可知，由于给定的置信水平为95％，则查t分布表得临界值：将有关数据代入（3.19）式，即可得到的置信度为95%的置信区间：2024年1月19日

山东财经大学统计学院计量经济教研室第41页二、回归参数的假设检验〔一〕单个回归参数的检验：t检验

多元回归分析中对各个回归参数的假设检验，目的在于分别检验当其它解释变量不变时，该回归参数对应的解释变量是否对被解释变量有显著的解释能力。回归系数显著性检验一般采用t检验，检验原理与一元线性回归的检验基本相同，检验法则取决于我们建立的零假设和备择假设。常用的假设形式为：(双侧备择假设)(右单侧备择假设)(左单侧备择假设)2024年1月19日

山东财经大学统计学院计量经济教研室第42页第一步：提出假设第二步：构造t统计量

在多数应用中，研究者主要关注的是回归系数是否显著不为零，也即参数的显著性检验。的显著性检验（双边检验）为例，t检验的基本步骤为：（3.20）其中，的估计标准误差（Std.Error）。2024年1月19日

山东财经大学统计学院计量经济教研室第43页第三步，做出统计决策。若则拒绝原假设H0

，说明自变量对因变量的线性相关关系显著；

若则接受原假设H0，说明自变量对因变量的线性相关关系不显著；例3—4〕仍以例3—1资料为例，检验回归参数的显著性。由第二节表3-2可知给定显著性水平

，查表可得到临界值2024年1月19日

山东财经大学统计学院计量经济教研室第44页

由查t分布临界值表得：

因为所以我们拒绝原假设，即自变量对因变量的线性相关关系显著；

因为所以我们不能拒绝原假设，因为所以我们不能拒绝原假设，即自变量对因变量的线性相关关系不显著；

2024年1月19日

山东财经大学统计学院计量经济教研室第45页即自变量对因变量的线性相关关系不显著；

在EViews软件中，采用t统计量对应的值进行检验，时，等价于，此时拒绝原假设。当判断标准是：时，等价于，此时接受原假设。当〔二〕多个参数的线性约束性检验：F检验

多元线性回归模型包含多个解释变量，有时需要检验一组解释变量对应参数的某种线性约束条件是否成立，例如，需求函数应满足的0阶齐次性条件，即各自变量前的系数之和为0。2024年1月19日

山东财经大学统计学院计量经济教研室第46页而在规模效应不变假定下，生产函数应满足一阶齐次性条件，即资本弹性系数和劳动力弹性系数之和为1，等等。对线性约束常用的检验方法有F检验和似然比检验。当样本比较小时,用F检验要比用似然比检验更可靠。下面介绍线性约束条件的F检验方法。1.排除性约束的F检验

排除性约束检验的原假设是，在控制了一些变量后，剩余的变量的系数均为0，也即这些变量对y没有显著影响。用于检验一组自变量是否对因变量都没有影响。现在我们从一般情形入手推导检验统计量。具有k个自变量的多元线性总体回归模型(3.21)2024年1月19日

山东财经大学统计学院计量经济教研室第47页

参数有k+1个。假设有q个排除性约束要检验：即原假设表示为式（3.21）中有q个变量的系数为0。为方便表述，假定这q个变量是自变量中的最后q个：于是有在原假设下，式〔3.21〕可表述为(3.22)式〔3.22〕是施加了H0约束的回归模型，称为受约束样本回归模型〔RestrictedRegression〕。式〔3.21〕是没有施加任何约束的模型，也称为无约束样本回归模型〔UnrestrictedRegression〕。记受约束样本回归模型残差平方和为RSSR，无约束样本回归模型的残差平方和为RSSU,。通常情况下，对模型施加约束条件会降低模型的解释能力。但是，如果约束条件为真，那么受约束回归模型与无约束回归模型具有近乎相同的解释能力，从而使得2024年1月19日

山东财经大学统计学院计量经济教研室第48页RSSU,与RSSR的差异变小。于是我们可以构造如下F统计量〔3.23〕可以证明，在原假设H0下，有于是，可用计算的F统计量的值与所给定的显著性水平下的F分布临界值作比较，来对约束条件的真实性进行检验。[例3—5]在例3—4中，t检验说明，自变量工作经历〔x2〕及任现职年限〔x3〕对因变量y的线性相关系都不系显著。试检验工作经历〔x2〕及任现职年限〔x3〕是否对于工资水平〔y〕都没有影响。2024年1月19日

山东财经大学统计学院计量经济教研室第49页不同时为0。对于给定的，查F分布临界值表得所以拒绝工作经历〔x2〕和任现职年限〔x3〕对工资水平〔y〕联合无影响的假设。由上例可见，两个〔或多〕个各自具有不显著t统计量的变量，联合起来可能是显著的。通常，当一个变量十分显著时，将它与其他某组变量联合检验，结果是联合显著的。2024年1月19日

山东财经大学统计学院计量经济教研室第50页

我们也可以使用受约束模型和无受约束模型的R2来计算F统计量，公式为〔3.24〕该形式称为R2型F统计量。2.回归方程整体显著性的检验

由于多元线性回归模型包含多个解释变量，它们同被解释变量之间是否均存在显著的线性关系呢？还需要进行检验。对模型中被解释变量与所有解释变量之间的线性关系在总体上是否显著成立作出推断，称为回归方程整体显著性检验。原假设是所有的斜率系数都为0。即：2024年1月19日

山东财经大学统计学院计量经济教研室第51页原假设H0：〔所有斜率系数同时为零〕备择假设H1：不同时为零因此，受约束回归模型为由式〔3.23〕，检验的F统计量为2024年1月19日

山东财经大学统计学院计量经济教研室第52页这里，运用了受约束回归模型的回归平方和对于k个自变量的多元线性总体回归模型，于是有〔3.25〕利用方差分解表计算F统计量的过程：变差来源SS平方和df自由度MS均方和F统计值回归ESSkESS/k残差RSSn-k-1RSS/(n-k-1)总变差TSSn-1TSS/n-12024年1月19日

山东财经大学统计学院计量经济教研室第53页〔例3—6〕对例3—1建立的回归模型进行显著性检验H0：

H1：

不同时为零通过对表3-1数据的计算，得方差分解表和F检验值。方差来源dfSSMSF回归3264.490888.16365.7437残差20306.989815.3495总计23571.48052024年1月19日

山东财经大学统计学院计量经济教研室第54页由于，查F分布得临界值：因为所以,拒绝原假设，即认为在显著性水平下，被解释变量（因变量）与解释变量（自变量）之间的线性相关关系显著，即回归方程显著，F检验通过。在EViews软件中，采用F统计量对应的值进行检验，检验准则是：时，等价于，此时拒当绝原假设。时，等价于，此时不当拒绝原假设。〔见表3-2〕。这种方法与前种方法结论是一致的。2024年1月19日

山东财经大学统计学院计量经济教研室第55页我们进一步可以证明：〔3.26〕可以看出，伴随着样本决定系数的增加，F统计量的值将不断增加，说明两者之间具有一致性。的检验，实际等价的检验。也就是说，对方程联合显著性检验的F检验，的显著性检验。但样本决定系数只能提供对拟合优度的度量，它们的值究竟要到达多大才算模型通过了检验呢？并没有给出确定的界限。而F检验那么不同，它可以在给定显著性水平下，给出统计意义上严格的结论。所以F检验中对于对实际上也是对2024年1月19日

山东财经大学统计学院计量经济教研室第56页3.一般线性约束的检验一般地，估计线性模型时可对模型参数施加假设干个线性约束条件。如对模型〔3.27〕施加约束：于是，对〔3.27〕的回归可转化为对施加上述条件后如下模型的回归：(3.28)即〔3.29〕其中，2024年1月19日

山东财经大学统计学院计量经济教研室第57页式〔3.27〕为无约束样本回归模型，式〔3.29〕为受约束样本回归模型，可进一步得到如下的F统计量

这类检验可以方便地在EViews中进行。在无约束回归模型估计输出结果窗口进行菜单操作，选择View/CoefficientTests/Wald-CoefficientRestrictions，输入约束条件即可实现。2024年1月19日

山东财经大学统计学院计量经济教研室第58页

第四节多元线性回归模型评价*一、预测模型的选择标准与一元线性回归模型不同，在多元线性回归的实际应用中，所有影响因变量的因素都可能作为模型的自变量。在众多的自变量xi中，有的对因变量y有显著影响，有的影响很小甚至根本无影响。选择预测方程要综合考虑回归方程对数据的拟合优度和自变量的个数。

由于是根据样本内(In–sample)数据得到的结果，它与模型中的解释变量个数有关，即如果观测值y不变，

分别是模型中解释变量个数的不增函数和不减函数，也就是说，随着模型中解释变量的增加，RSS一般会增加，的值一般会变大。

2024年1月19日

山东财经大学统计学院计量经济教研室第59页这种现象被称为样本内过度拟合〔In-sampleOverfitting〕或数据挖掘〔DataMining〕，它们表达的意思是，在回归方程中增加更多的变量，只不过会使模型更好地“拟合〞历史数据，不一定会提高样本外的预测效果，因为这种并非必然的数据联系在未来可能不复存在。所以，当被解释变量相同而解释变量个数不同时，不能简单地直接地通过的大小衡量预测方程的优劣。显然，引入自由度的某个函数对

等指标进行调整，

可以在一定程度上解决这一问题。被引入的自由度函数一般称为“自由度惩罚因子(freedompenaltyfactor)〞。根据“自由度惩罚因子〞的不同，学术界设计了不同的选择预测模型的标准，对应的统计量称为准那么统计量。主要有：1.均方误差均方误差〔RMS〕定义为残差平方和RSS乘与其自由度的比值：2024年1月19日

山东财经大学统计学院计量经济教研室第60页〔3.24〕其中，n是样本观测值的个数，k是解释变量的个数。自由度惩罚因子是自由度的倒数（）。均方误差（RMS）越小，预测效能越高。2.调整的样本决定系数

将TSS和RSS的自由度引入多重样本决定系数的计算公式(3.23)，就得到调整的样本决定系数(AdjustedCoeffi--cientofDetermination)。计算公式为：(3.25)2024年1月19日

山东财经大学统计学院计量经济教研室第61页可见，总是小于；甚至可能为负数〔假设出现负数，视同等于0〕。实际上，可以看作相对化的均方误差〔RMS〕，但比RMS的应用更为普遍。在EViews中，用AdjustedR-squared表示，会在回归方程输出结果中给出〔见表3.2〕。显然，越大〔等价于RMS越小〕，方程的预测效能越高。在例3.2中，修正的决定系数计算如下：3.赤池信息标准

在线性模型中，赤池信息标准(Akaikeinformationcrite-rion，AIC)定义为：〔3.26〕2024年1月19日

山东财经大学统计学院计量经济教研室第62页4.施瓦茨信息标准

在线性模型中，施瓦茨信息标准(Schwarzinformationcrite-rion，SC)定义为：(3.27)可见，AIC和SC大致相同。相对来说，SC标准对自由度的处分比AIC标准更重。这两准那么均要求仅当所增加的解释变量能够减少AIC值或SC值时才在原模型中增加该解释变量。实际中，无论是用AIC标准还是SC标准，从预测的角度来看，度量值越低，模型的预测会越好。一般情况下，根据二者选择的最优模型是相同的。EViews软件可以得到各个模型的AIC值和SC值的对数值〔尽管还是称为AIC和SC〕。以表3.2为例：2024年1月19日

山东财经大学统计学院计量经济教研室第63页5.Cp标准由Mallows〔1964〕提出。定义如下：〔3.28〕其中，是包含q个自变量的子集回归的残差平方和（q≤k），是包含所有k个自变量时的均方误差（即是自由度惩罚因子。Cp小，说明模型的预测效能越高。2024年1月19日

山东财经大学统计学院计量经济教研室第64页从本质上讲，以上所有这些指标是相同的，不同之处在于各指标公式中的自由度处分因子有所差异而已。二、最优子集回归

为了选择最优的预测模型，一个自然而然的思路就是对自变量各种不同的组合所建立的回归方程进行比较，进而从全部组合中挑出一个“最优”回归方程。基于这种“全局比较”思路对回归方程进行选择的方法称为“最优子集回归”。其基本思路是，建立所可能的自变量组合回归方程，然后按某种标准（如、AIC、SC最小原则）从中选择最优的回归方程。例3.5这是一个著名的案例，称为“Hald水泥问题〞，来源于A.Hald〔1952〕的一篇论文。问题是考察水泥中的四种成分3CaO·Al2O3〔记为x1〕、3CaO·SiO2〔记为x2〕、4CaO·Al2O3·Fe2O3〔记为x3〕和2CaO·SiO2〔记为x4〕的含量〔％〕与每一克水泥释放的热量〔记为y〕之间的关系。数据如下表所示：2024年1月19日

山东财经大学统计学院计量经济教研室第65页样品序号x1x2x3x4y172666078.52129155274.331156820104.34113184787.6575263395.961155922109.27371176102.78131224472.59254182293.1102147426115.911140233483.8121166912113.3131068812109.4表3.5Hald水泥样本数据2024年1月19日

山东财经大学统计学院计量经济教研室第66页所有子集回归及有关指标如下：模型中的自变量RMSCpx1x1

，x2x2x2

，x3x1，x2

，x3x1

，x3x3x3，x4x1，x3，x4x1，x2，

x3，x4x2，

x3，x4x2，x4x1，

x4x481.4852.5857.4272.0848.1972.35110.20131.28111.6862.41203.6494.1671.65103.10117.571.8691.4681.6962.3121.0521.5511.4521.4400.6620.7890.7310.6570.510-0.9320.3110.416-1.0080.2500.494-1.256-1.200-0.4100.102-1.448-0.724-0.643-0.144-1.557-1.457-0.237-0.614-0.738115.025.7982.3941.545.35122.71176.3017.578.205.985.6586.895.33*7.4880.85202.552.68*142.4962.443.04198.10315.1622.373.505.007.34138.233.025.50138.732024年1月19日

山东财经大学统计学院计量经济教研室第67页可见，按照RMS最小准那么，应选择的预测模型应该是包含x1，x2，x4的回归模型，即〔3.29〕而按照Cp最小准那么，应选择的预测模型应该是包含x1，x2的回归模型，即〔3.30〕可见，不同的选择标准对应的最优子集回归往往不一致。这时还需要结合其他方面的情况进行选择。本例中，模型〔3.30〕具有最小的Cp值2.68和次小的RMS值5.79，而模型〔3.29〕具有最小的RMS值5.33和次小Cp的值3.02，说明模型在自变量x1，x2的根底上，再参加x4后，对准那么统计量的影响不大，按照简约原那么，可能模型〔3.30〕更为优良，即最优子集回归模型为〔3.30〕。2024年1月19日

山东财经大学统计学院计量经济教研室第68页第五节模型应用：预测与分析

当最优预测模型建立起来以后，就可以给定解释变量某一组特定值对因变量进行估计。多元线性回归预测分为点预测和区间一、点预测预测。当给定解释变量某一组特定值，用向量表示为对因变量y的均值或个别值进行点估计，公式均为〔3.31〕2024年1月19日

山东财经大学统计学院计量经济教研室第69页〔二〕区间预测1.平均值的区间预测可以证明，在给定了显著水平,有由于未知，用代替，于是有概率保证下的区间预测为：所以，因变量平均值2024年1月19日

山东财经大学统计学院计量经济教研室第70页〔3.38〕对于多元线性回归模型，根据公式〔3.38〕确定预测区间计算量很大。这里，我们给出一种多数计量经济软件都能直接计算的方法。将给定的解释变量的某一组特定值，代入PRF，有：，有将其带入总体回归函数〔PRF〕：〔3.40〕2024年1月19日

山东财经大学统计学院计量经济教研室第71页整理得：〔3.41〕对〔3.41〕进行估计，得SRF：的样本估计量，即因变量均值的点预测；的标准误就是因变量均值预测值的标准误差。服从正态分布。所以有由于在经典线性模型假定下，2024年1月19日

山东财经大学统计学院计量经济教研室第72页给定显著水平,查t分布表可得自由度为的t分布临界值即预测样本平均值的置信度为的预测区间为：〔例3—8〕对于例3—1，当某位员工的受教育年限x1=16年、在劳动力市场上的工作经历x2=20年、任现职年限x3=10年时，在95％的置信水平下，对该员工的工资水平出作区间预测。

由例3—4的回归系数的显著性检验可知，x2、x3的系数均显著为0，因此表3-2所示的包含三个解释变量的回归方程显然不是最优方程。由于，我们去掉x3，建立y关于变量x1、x2的回归方程，EViews输出结果见表3-7。2024年1月19日

山东财经大学统计学院计量经济教研室第73页DependentVariable:YVariableCoefficientStd.Errort-StatisticProb.

C-16.414146.446305-2.5462860.0188X11.2224590.3552663.4409700.0025X20.2475600.0815973.0339170.0063R-squared0.448582

Meandependentvar7.896667AdjustedR-squared0.396066

S.D.dependentvar4.984674S.E.ofregression3.873748

Akaikeinfocriterion5.662791Sumsquaredresid315.1244

Schwarzcriterion5.810048Loglikelihood-64.95349

Hannan-Quinncriter.5.701858F-statistic8.541829

Durbin-Watsonstat1.620221Prob(F-statistic)0.0019302024年1月