多元线性回归课件

高等学校经济学类核心课程计量经济学Econometrics第三章多元线性回归模型§3.1多元线性回归模型§3.2多元线性回归模型的参数估计§3.3多元线性回归模型的统计检验§3.4多元线性回归模型的预测§3.5可线性化的多元非线性回归模型§3.6受约束回归§3.1多元线性回归模型一、模型形式二、基本假定总体回归函数（PRF）样本回归函数（SRF）样本回归模型（SRM）其中：ei称为残差(residuals)，可看成是随机误差项i的近似替代。2、于是，总体回归模型可以表示为：总体回归模型的矩阵表示1、总体回归模型表示了n个随机方程，引入如下矩阵记号：2、于是，样本回归模型和函数可以表示为：样本回归模型和函数的矩阵表示1、同理，采用如下矩阵记号：基本假设的矩阵表示假设1:n(k+1)矩阵X是非随机的，且X的秩=k+1，即X列满秩。假设2:假设4:向量

有一多维正态分布，即暗含假设假设5：样本容量趋于无穷时，各解释变量的方差趋于有界常数，即n∞时，假设6：回归模型是正确设定的或其中：Q为一非奇异固定矩阵，矩阵x是由各解释变量的离差为元素组成的nk阶矩阵§3.2多元线性回归模型的参数估计一、普通最小二乘估计二、参数估计量的性质三、样本容量问题一、普通最小二乘估计基本思想：残差平方和最小基于取得最小值的条件获得系数估计）残差平方和：取得最小值的条件：正规方程组：

解此（k＋1）个方程组成的正规方程组，即可求得（k+1)个未知参数βj

的估计。

＃OLSE的矩阵估计过程矩阵有关定理残差平方和的矩阵表示为：#参数估计的实例例3.2.1：在例2.1.1的家庭收入-消费支出例中，误差方差2的估计1、基于OLS下，随机误差项的方差的无偏估计量为注意：分母的形式：n-k-1=n-(k+1)。

k：解释变量X的个数；k+1：回归系数的个数2、称为估计标准误或者回归标准误（S.Eofregression）*矩估计*

（MomentMethod，MM）1、OLS估计是通过得到一个关于参数估计值的正规方程组并对它进行求解而完成的。2、该正规方程组可以从另外一种思路来导出:两侧求期望:矩条件*矩条件和矩估计量*3、由此得到正规方程组：

解此正规方程组即得参数的MM估计量。1、称为原总体回归方程的一组矩条件，表明了原总体回归方程所具有的内在特征。2、如果随机抽出原总体的一个样本，估计出的样本回归方程：能够近似代表总体回归方程的话，则应成立：MM估计量与OLS、ML估计量等价。*关于矩估计*矩方法是工具变量方法(InstrumentalVariables,IV)和广义矩估计方法(GeneralizedMomentMethod,GMM)的基础在矩方法中关键是利用了：E(X’)=0如果某个解释变量与随机项相关，只要能找到1个工具变量，仍然可以构成一组矩条件。这就是IV。如果存在＞k+1个变量与随机项不相关，可以构成一组包含＞k+1方程的矩条件。这就是GMM。OLS只是GMM的一个特例1、线性：其中,C=(X’X)-1X’为一仅与固定的X有关的行向量2、无偏性:这里利用了假设:E(X’)=03、有效性:其中利用了:1、最小样本容量所谓“最小样本容量”，即从最小二乘原理和最大或然原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。样本最小容量必须不少于模型中解释变量的数目（包括常数项）,即：n

k+1因为，无多重共线性要求：秩(X)=k+12、基本样本容量从统计检验的角度：

n30

时，Z检验才能应用；

n-k

8时,t分布较为稳定一般经验认为:

当n30或者至少n3(k+1)时，才能说满足模型估计的基本要求。模型的良好性质只有在大样本下才能得到理论上的证明§3.3多元线性回归模型的统计检验一、拟合优度检验二、方程显著性检验三、变量显著性检验一、拟合优度检验目的：测定样本回归函数对样本观测值的拟合紧密程度指标：R2、Adj(R2)可决系数R2

(coefficientofdetermination)0<R2<1，该统计量越接近于1，模型的拟合优度越高。1、定义：2、问题：在模型中增加一个解释变量，R2往往增大但是：增加解释变量个数往往得不偿失，不重要的变量不应引入。增加解释变量使得估计参数增加，从而自由度减小。如果引入的变量对减少残差平方和的作用很小，这将导致误差方差σ2的增大，引起模型精度的降低。因此：R2需调整。调整的可决系数Adj(R2)

（adjustedcoefficientofdetermination）

1、调整思路:将残差平方和与总离差平方和分别除以各自的自由度，以剔除变量个数对拟合优度的影响。2、自由度：统计量可自由变化的样本观测值的个数，记为dfTSS：df＝n－1ESS：df＝kRSS：df＝n－k－1注意：df（TSS)=df(ESS)+df(RSS)3、定义：#Adj(R2)的作用1、消除拟合优度评价中解释变量的多少对拟合优度的影响2、对于因变量Y相同，而自变量X个数不同的模型，不能用R2直接比较拟合优度，而应使用Adj（R2）

。3、可以通过Adj（R2）的增加变化，决定是否引入一个新的解释变量。Adj（R2）<=R2，即：调整可决系数不大于未经调整的可决系数。随着解释变量的增加，二者的差异越来越大。#Adj(R2)与R2的关系*赤池信息准则和施瓦茨准则*

(AIC&SC)用于比较因变量相同，解释变量个数不同的多元回归模型的拟合优度※赤池信息准则（Akaikeinformationcriterion,AIC）※施瓦茨准则（Schwarzcriterion，SC）这两准则均要求仅当所增加的解释变量能够减少AIC值或AC值时才在原模型中增加该解释变量。二、方程的显著性检验（F检验）目的：检验Y与所有X的线性关系在总体上是否成立方法：F检验1、原假设和备择假设检验模型中的参数j是否至少有一个显著不为0。

Yi=0+1X1i+2X2i++kXki+ii=1,2,,n原假设与备择假设：

H0：0=1=2==k=0H1：j不全为02、检验统计量可以证明，在原假设H0成立的条件下：F～F(k,n-k-1)其中：k为模型中解释变量个数3、检验步骤（1）提出原假设和备择假设：H0：0=1=2==k=0H1：j不全为0（2）在H0成立的条件下，计算检验统计量的值：（3）给定显著性水平，可得到临界值：F(k,n-k-1)

右侧检验（4）如果FF(k,n-k-1)，拒绝原假设，总体线性关系成立

如果FF(k,n-k-1)，接受原假设，总体线性关系不成立＃拟合优度和方程显著性检验在中国居民人均收入-消费一元模型中，在中国居民人均收入-消费二元模型中，可见：一个显著的模型并不意味着拟合优度一定很高注意到F检验是一个严格的统计检验，因此实际中要多参考这一检验的结果。示例：三、变量的显著性检验（t检验）目的：检验Y与某个Xj的线性关系在总体上是否成立或者说Xj对Y是否存在显著影响方法：

t检验1、原假设和备择假设检验模型中Xj对应的系数j是否显著不为0。

Yi=0+1X1i+2X2i++jXji

＋+kXki+i原假设与备择假设：

H0：j=0H1：j≠02、检验统计量2为随机误差项的方差，在实际计算时，用它的估计量代替:可构造t统计量:参数估计量的概率分布：（1）建立原假设和备择假设：H0：βj＝0H1：βj≠0（3）给定显著性水平，可得到临界值t/2(n-k-1)3、检验步骤：（2）在原假设成立的条件下计算t统计量的值（4）如果|t|t/2(n-k-1)，拒绝原假设，Xj对Y存在显著影响如果|t|t/2(n-k-1)，接受原假设，Xj对Y不存在显著影响双侧检验对t检验的说明1、在一元线性回归模型中，变量的显著性t检验与方程的F检验是一致的

一方面，二者检验的假设一致：β1＝0

另一方面，从检验统计量来看：F＝t22、在多元线性回归模型中，二者的作用不同，并不等价3、在多元回归模型中，对各个变量的进行t检验时，显著性水平应该一致4、t检验未通过，说明在给定的显著性水平下，变量对Y没有显著性影响，但不要简单的剔除变量，关键仍然是考察变量在经济关系上是否对因变量有影响以及变量在模型及应用中的作用，显著性检验起到验证的作用三、参数的置信区间j(j=0,1,2,……,k）的置信区间在变量的显著性检验中已经知道：给定置信度（1-），对于临界值t/2(n-2)，t值处在(-t/2,t/2)的概率是1-。表示为：于是得到:(1-)的置信度下,j

的置信区间是§3.4多元线性回归分析的预测一、均值E(Y0)的置信区间二、个值Y0的置信区间预测的理解1、预测类型：实际个值Y0的点预测条件均值E(Y0)的点预测实际个值Y0的区间预测条件均值E(Y0)的区间预测点预测区间预测3、它可以是总体均值E(Y0)或个值Y0的点预测。4、为了进行科学预测，还需求出预测值的置信区间，包括E(Y0)和Y0的置信区间。2、对于模型，给定样本以外的解释变量的观测值：X0=(1,X10,X20,…,Xk0)，可以得到被解释变量的预测值：1、总体均值E(Y0|X=X0)的置信区间容易证明于是，得到(1-)的置信水平下E(Y0)的置信区间：其中，t/2为(1-)的置信水平下的临界值。2、总体个值Y0的置信区间如果已经知道X=X0处的实际个值Y0，那么预测误差为：容易证明e0服从正态分布，即:构造t统计量:

可得给定(1-)的置信水平下Y0的置信区间：置信区间宽度：个值>均值x0yxx预测上限置信上限预测下限置信下限＃回归分析的预测实例：中国居民人均收入-消费支出二元模型例中：2001年人均GDP：4033.1元于是人均居民消费的预测值为Ŷ2001=120.7+0.2213×4033.1+0.4515×1690.8=1776.8（元）

实测值（90年价）=1782.2元，相对误差：-0.31%预测的置信区间：E(Ŷ2001）的95%的置信区间为:（1741.8，1811.7）Ŷ2001的95%的置信区间为:（1711.1,1842.4）§3.5可线性化的多元非线性回归模型

线性模型的本质含义解释变量的非线性——变量代换法回归参数的非线性——函数变换法实际中的非线性模型1、恩格尔曲线(Englecurves)：消费者的收入与某类商品需求量之间的函数关系。——幂函数2、菲利普斯曲线（Pillipscuves）：通货膨胀率（货币工资率）与失业率之间的关系。——双曲线函数线性模型的本