计量经济学（第三版）课件：一元线性回归分析基础

计量经济学（第三版）一元线性回归分析基础计量经济学

一元线性回归分析基础13十二月2024重点问题参数的最小二乘估计最小二乘估计的性质参数估计的检验预测一元线性回归分析基础13十二月2024主要内容第一节模型的假定

第二节参数的最小二乘估计

第三节最小二乘估计量的性质第四节系数的显著性检验第五节预测和预测区间一元线性回归分析基础13十二月2024第一节模型的假定一、一元线性回归模型

各种经济变量之间的关系，可以划分为两种类型。一类是变量之间有惟一确定的关系，即函数关系，可表示为：

F(X1，X2，…，Xn，Y)=0(1—1)或Y=f(X1，X2，…，Xn)(1—2)

其中，最简单的形式为一元线性函数关系

Y=PX(1—3)

另一类关系为不完全确定的相关关系,表示为：

F(X1，X2，…，Xn，Y，u)=0(1—4)一元线性回归分析基础13十二月2024第一节模型的假定

或

Y=f(X1，X2，…，Xn，u)

(1—5)

其中最简单的形式为一元线性回归模型Y=β1+β2X+u(1—6)

计量经济学只讨论变量之间不完全确定的关系，如式(1—4)或式(1—5)所表示的关系。

如式(1—6)所表示的关系式，称为一元线性回归模型。

“一元”是指只有一个自变量X，这个自变量X可以解释引起因变量Y变化的部分原因。因此，X称为解释变量，Y称为被解释变量，β1和β2为参数。一元线性回归分析基础13十二月2024第一节模型的假定

“线性”一词在这里有两重含义。它一方面指被解释变量Y与解释变量X之间为线性关系，另一方面也指Y与参数β1、β2之间为线性关系。在数理统计学中，“回归”通常指散布点分布在一条直线(或曲线)附近，并且越靠近该直线(或曲线)，点的分布越密集的情况。“模型”一词通常指满足某些假设条件的方程或方程组。一元线性回归分析基础13十二月2024第一节模型的假定二、误差项的性质

与精密数学中的函数关系相比，回归模型式(1—4),式(1—5),式(1—6)中的显著特点是多了误差项u。产生误差项的原因主要有以下几方面：

1.忽略掉的影响因素造成的误差2.模型关系不准确造成的误差3.变量观察值的计量误差4.随机误差误差项的存在是计量经济学模型的特点，是计量经济学模型与精密数学中完全确定的函数关系的主要区别。一元线性回归分析基础13十二月2024第一节模型的假定三、经典假设条件

经典的一元线性回归模型

Yt=β1+β2Xt+ut(t=1,2,…，n)(1—7)

通常要满足五个假设条件：假设1误差项ut的数学期望(均值)为零，即

E(ut)=0(t=1,2,…，n)(1—8)

假设2误差项ut的方差与t无关，为一个常数，即

var(ut)=E((ut-E(ut))2)=E(ut2)

=σu2(t=1,2,…，n)

(1—9)

假设3不同的误差项ut和us之间互相独立，即

cov(ut,us)=E((ut-E(ut))(us-E(us)))=0(1—10)一元线性回归分析基础13十二月2024第一节模型的假定

(t≠s;t=1,2,…,n;s=1,2,…,n)或

E(utus)=0

(1—11)

假设4解释变量Xt与误差项ut不相关，即

cov(Xt,ut)=E((Xt-E(Xt))(ut-E(ut)))

=E((Xt-E(Xt))ut)=0(t=1,2,…，n)(1—12)

假设5

ut为服从正态分布的随机变量，即

ut～N(0,σu2)

以上五个假设条件称为经典假设条件。综上所述，一元线性回归模型可以归结为

Yt=β1+β2Xt+ut(t=1,2,…，n)

(1—13)一元线性回归分析基础13十二月2024第一节模型的假定

E(ut)=0cov(ut,us)=0(t≠s；t,s=1,2,…,n)var(ut)=σu2

(常数)cov(Xt,ut)=0ut～N(0,σu2)

一元线性回归分析基础13十二月2024第二节参数的最小二乘估计一、拟合准则与最小二乘估计

拟合准则：1使达到最小值

2使达到最小值

3使

达到最小值

4使达到最小值

第4种准则，由于逐项平方，不存在正负抵消的问题。它不仅考虑了所有点的影响，而且具有无偏性，是一个很好的准则。这个准则称为最小二乘准则。用最小二乘准则寻找拟合直线的方法称为最小二乘法。一元线性回归分析基础13十二月2024第二节参数的最小二乘估计为简化表达式，从本节起，在不会发生误解的情况下，略去求和指标t求和的上下限。只要求和符号没有上下限，就表示为从t=1到t=n求和。即用求和符号∑代替符号假设估计直线：Y=а*

+β*Xа*，β*为参数估计当X=XtYt=а*

+β*Xt(Xt,Yt)→(Xt,а*

+β*Xt)残差：et=Yt-(а*

+β*Xt)误差：ut=Yt-(а+βXt)残差平方和：Q=∑et2=∑[Yt-(а*

+β*Xt)]2一元线性回归分析基础13十二月2024第二节参数的最小二乘估计一元线性回归分析基础13十二月2024第二节参数的最小二乘估计一元线性回归分析基础13十二月2024第二节参数的最小二乘估计一元线性回归分析基础13十二月2024第二节参数的最小二乘估计二、总体与样本

在数理统计中，通常把研究对象的全体称为总体。把总体中的每个元素称为个体。从总体中随机抽取的一组个体称为样本。抽取的个体数，称为样本容量。从总体中抽取样本的过程称为随机抽样。总体有限总体无限总体任何样本都是有限的

一元线性回归分析基础13十二月2024第三节最小二乘估计量的性质一、线性特性

是指参数估计值β*1和β*2分别为观察值Yt或扰动项ut的线性组合。

证：

β*2=∑Xtyt/∑Xt2

=∑Xt(Yt-)/∑X2t=∑（Xt/∑Xt2）Yt

令bt=（Xt/∑Xt2）得

β*2=∑btYt

即β*2

是Yt的线性组合一元线性回归分析基础13十二月2024第三节最小二乘估计量的性质

β*2=∑btYt=∑bt(β1+β2Xt+ut)=β1∑bt+β2∑btXt+∑btut

其中：∑bt=∑(Xt/∑Xt2)=∑Xt/∑Xt2=0∑btXt=∑(Xt/∑Xt2)Xt=∑(Xt(Xt+)/∑Xt2)=1

所以

β*2=β2+∑btut即β*2也是ut的线性组合

一元线性回归分析基础13十二月2024第三节最小二乘估计量的性质

β*1=-β1=(1/n)∑Yt-∑btYt=∑[(1/n)-bt]Yt令

at=[(1/n)-bt]由于和bt均为非随机变量，所以at也是非随机变量。因此

β*1=∑atYt即β*1是Yt的线性组合。

一元线性回归分析基础13十二月2024第二节参数的最小二乘估计

β*1=∑at(β1+β2Xt+ut)=β1∑at+β2∑atXt+∑atut其中：∑at=∑[(1/n)-bt]=1-∑bt=1∑atXt=∑[1/n-bt]Xt=(1/n)∑Xt-∑btXt=0所以β*1=β1+∑atut即β*1也是ut的线性组合一元线性回归分析基础13十二月2024第三节最小二乘估计量的性质二、无偏性

指β*1和β*2的期望值分别等于总体参数β1和β2。即E(β*1)=β1E(β*2

)=β2

E(β*2

)=E(β2+∑btut)=β2+∑btE(ut)=β2

E(β*1)=E(β1+∑atut)=β1

一元线性回归分析基础13十二月2024第三节最小二乘估计量的性质三、最优性

指最小二乘估计β*1和β*2在各种线性无偏估计中，具有最小方差。1.先求β*1和β*2的方差

var(β*2)=var(∑btYt)=∑bt2var(β1+β2Xt+ut)=∑bt2var(ut)=∑(Xt/∑Xt2)2σ2=σ2/Xt2var(β*1)=var(∑atYt)=∑at2var(β1+β2Xt+ut)=∑at2var(ut)=∑[(1/n)-bt]2σ2

=σ2(1/n+2/∑Xt2)一元线性回归分析基础13十二月2024第三节最小二乘估计量的性质2.证明最小方差性

假设β**2是其他方法得到的关于β2的线性无偏估计

β**2=∑ctYt

其中，ct=bt+dt，dt为不全为零的常数则容易证明var(β**2)≥var(β*2)

同理可证明β1的最小二乘估计量β*1具有最小方差。

高斯—马尔可夫定理(Gauss-Markovtheorem)：

满足性质1、2、3的最小二乘估计量是最优线性无偏估计量（bestlinearunbiasedestimator：BLUE）一元线性回归分析基础13十二月2024第四节系数的显著性检验一、误差项方差估计对比总体回归模型和样本回归模型，可以看出，残差et可以看做误差项ut的估计值。计算如下：一元线性回归分析基础13十二月2024第四节系数的显著性检验一元线性回归分析基础13十二月2024第四节系数的显著性检验二、参数估计的显著性检验在上一节中，已经证明，由于最小二乘估计β*1和β*2具有线性特性，所以β*1和β*2均为Yt的线性组合。因为Yt服从正态分布，所以作为Yt的线性组合的β*1和β*2也服从正态分布。由无偏性，证明了β*1和β*2的期望分别为总体参数β1和β2。在证明最优性的过程中又得到β*1和β*2的方差。一元线性回归分析基础13十二月2024第四节系数的显著性检验因此，可以得到β*1和β*2的抽样分布为

由于真实的σ2不知，用它的无偏估计量S2=∑et2/(n-2)替代时，可构造如下统计量：一元线性回归分析基础13十二月2024

检验步骤：（1）对总体参数提出假设

H0：

2=0，H1：20（2）以原假设H0构造t统计量，并由样本计算其值一元线性回归分析基础13十二月2024第四节系数的显著性检验（3）给定显著性水平

，查t分布表，得临界值

t/2(n-2)(4)比较，判断若|t|>t/2(n-2)，则拒绝H0

，接受H1

；若|t|

t/2(n-2)，则拒绝H1

，接受H0

；

对于一元线性回归方程中的

1，可构造如下t统计量进行显著性检验：

一元线性回归分析基础13十二月2024第四节系数的显著性检验三、总体参数的置信区间总体参数β1和β2的置信区间分别为一元线性回归分析基础13十二月2024第四节系数的显著性检验四、决定系数

由样本回归模型和样本回归方程，可以得到

这个恒等式把被解释变量的总偏差分解成相应的可解释偏差(回归偏差)和残差(随机偏差两部分之和，如下图：一元线性回归分析基础13十二月2024第四节系数的显著性检验

图1—5被解释变量偏差的分解

XtOXy·Yt一元线性回归分析基础13十二月2024第四节系数的显著性检验记总体平方和（TotalSumofSquares）回归平方和（ExplainedSumofSquares）残差平方和（ResidualSumofSquares

）TSS=ESS+RSS可以证明一元线性回归分析基础13十二月2024第四节系数的显著性检验由正规方程组一元线性回归分析基础13十二月2024第四节系数的显著性检验所以即TSS=ESS+RSS

Y的观测值围绕其均值的总离差(totalvariation)可分解为两部分：一部分来自回归线(ESS)，另一部分则来自随机势力(RSS)。在给定样本中，TSS不变，如果实际观测点离样本回归线越近，则ESS在TSS中占的比重越大。一元线性回归分析基础13十二月2024第四节系数的显著性检验因此定义：表示拟合的程度，因此称为决定系数(coefficientofdetermination)或拟合优度。在相关分析中R2

也称为复相关系数。

0≤R2≤1一元线性回归分析基础13十二月2024第四节系数的显著性检验五、相关分析

通常把相关分析作为回归分析的补充分析方法。相关分析分为线性相关与非线性相关，如果样本点集中分布在一条直线附近，则两变量的关系称为线性相关。当直线的斜率为正值，两变量的关系称为正线性相关。当直线的斜率为负值，两变量的关系称为负线性相关。如果样本点集中分布在一条曲线附近，则两变量的关系称为非线性相关。一元线性回归分析基础13十二月2024第四节系数的显著性检验线性相关：通常用相关系数表示X和Y的相关程度rXY为X与Y的简单相关系数(只有两个变量相关的相关系数)，同时也是样本相关系数

一元线性回归分析基础13十二月2024第四节系数的显著性检验总体相关系数-1≤ρ

≤1ρ=0，表示总体X与Y不相关；ρ≠0，表示总体X与Y在一定程度上相关；ρ=±1，表示总体X与Y完全正相关或完全负相关。

一元线性回归分析基础13十二月2024第四节系数的显著性检验X与Y总体是否相关的检验提出假设：

H0∶ρ=0H1∶ρ≠0构造统计量一元线性回归