第二章 一元线性回归模型

第二章一元线性回归模型

学习目标：熟悉回归分析和一元回归分析的相关概念。理解总体回归方程与样本回归方程的相关概念。掌握一元线性回归模型的设定和普通最小二乘法的原理及其估计量的性质。掌握一元线性回归模型的极大似然估计法的基本原理和方法。能够运用EViews软件解决线性回归模型的实际问题。第一节一元线性回归模型第二节一元线性回归的基本概念第三节一元线性回归模型的参数估计第四节一元线性回归模型的统计检验第五节一元线性回归模型的预测第六节案例分析第一节一元线性回归模型计量经济学的主要问题之一就是要探寻各种经济变量之间的相互联系程度、联系方式及其运动规律。而经典计量经济学方法的核心是采用回归分析的方法解释变量之间的具体的依存关系。回归分析是建立计量经济学模型中一个十分重要的概念。在了解回归分析的概念之前，首先需要对相关关系与因果关系作简要的说明。相关关系：是指两个以上的变量的样本观测值序列之间表现出来的随机数学关系，用相关系数来衡量。因果关系：是指两个或两个以上变量在行为机制上的依赖性，作为结果的变量是由作为原因的变量所决定的，原因变量的变化引起结果变量的变化。因果关系有单向因果关系和互为因果关系之分。相关分析：是判断变量之间是否具有相关关系的数学方法。回归分析：是研究一个变量关于另一个变量的依赖关系的计算方法和理论。其目的在于通过后者的已知或设定值，去估计和预测前者的均值。前一个变量称为被解释变量或因变量，后一个变量被称为解释变量或自变量。回归分析的主要内容包括：

（1）根据样本观测值对参数进行估计，求得回归方程； （2）对回归方程参数估计进行显著性检验；（3）利用回归方程进行分析、评价及预测。第二节一元线性回归的基本概念一、散点图线性关系的确定常常可以通过两类方法：一类是根据实际问题所对应的理论分析；另一种直观的方法是分别以被解释变量y和解释变量x在二维平面上绘制的散点图来初步确认（如图2-1）。散点图表示因变量随自变量而变化的大致趋势，据此可以选择合适的函数对数据点进行拟合。

图2-1:散点图示意图二、总体回归函数在全部解释变量已知的条件下得到的全部被解释变量的一个期望称为总体回归曲线，可用下面的函数来表示

这样一个函数，我们称之为总体回归函数。至于总体回归函数的具体函数形式，在实际应用过程中，是由总体特征来决定的。

只有一个解释变量的线性回归模型为一元线性回归函数。其具体形式可写为

在回归分析中，我们的主要目的，是通过所取得的样本观测值去估计回归系数的值，以达到预测经济现象的目的。

三、随机干扰项一般由数据绘制的散点图上的点并不在一条直线上，而是在直线的周围。即与总体期望值是有一些差别的，称这个差别为离差，用函数表示为

其中表示第i个被解释变量的具体观测值，是用于表示离差的一个随机变量，在计量经济学中，我们称之为随机干扰项。总体回归模型：（1）称为系统性部分或

确定性部分；（2）随机干扰项则称为随机性部分或非系统性部分。

随机误差项主要包括下列因素的影响：（1）包含了被遗漏的影响因素。由于考察总体认识上不可能达到绝对的精确，有部分未知的因素是不可避免的无法归入模型。（2）包含了无法取得数据的影响因素。有一些影响因素也许对被解释变量有相当的影响力，但这些因素的数据很难获取,甚至无法获取。所以在建立模型时我们不得不将这一影响因素省略掉，归入随机干扰项中。（3）包含了模型设定上的误差。建立回归模型的时候，为了便于检验和预测，一般都力图让模型尽可能的简单明了，因此会刻意的在模型中减少一些影响因素。（4）包含数据测量误差。由于某些主客观原因，数据在测量或观测时出现了误差，使其偏于实际值，这种误差只能归入中。（5）包含变量内在的随机性。模型变量本身具有其内在的随机性，会对被解释变量产生随机性的影响。

四、样本回归函数

在现实问题的计量经济学研究中，总体的信息往往无法全部获得。这种情况下，总体回归函数是无法估计的。在实际应用中，往往是

通过抽样，得到总体的样本，再通样本数据做

回归分析来估计总体回归函数。

假设表2-1中的数据是从一个总体中随机抽取的一个样本，根据表2-1的数据做散点图，如图2-2所示。我们的任务就是：能否从所抽取的样本去预测整个总体呢？表2-1总体中抽取一个随机样本

图2-2总体中随机抽取的一个样本的散点图根据图2-2，该样本的散点图可通过一条直线尽可能的拟合。由于此样本是取自于总体。所以这条直线可以近似地代表总体回归线。这样一条直线，我们称之为样本回归线。

样本回归线，它的函数形式可以用

表示。这个函数称作样本回归函数。

样本回归函数也可以表示为如下的随机形式：由于残差的引入，样本回归函数从一个确定性的数学模型成为一个具有随机性的计量经济学模型，我们称之为样本回归模型。

样本回归模型具有的性质:

（1）参数估计由样本信息所形成；（2）这二个估计称为点估计,即给定一组样本,可得到相应的参数估计值,它们是对于总体参数的一个点估计,不同的样本,

得到的估计可能不完全相同。但不同的样本所得到的估计均是对总体的一个点估计。回归分析的主要目的：根据样本回归函数SRF，估计总体回归函数PRF。图2-3样本和总体回归线的关系示意图第三节一元线性回归模型的参数估计一、最小二乘估计法的经典假定二、普通最小二法（OLS）三、最小二乘估计量的性质四、极大似然法(ML)一、最小二乘估计法的经典假定假定1：解释变量是非随机的，即在重复抽样中，解释变量取固定值。假定2：随机干扰项与解释变量之间不相关，即假定3：随机干扰项服从零均值，同方差，零协方差，即假定4：随机干扰项服从零均值，同方差的正态分布，即假定5：正确设定了回归模型。正确设定有三个方面的要求:1.选择了正确的变量进入模型；2.

对模型的形式进行正确的设定；3.对模型的解释变量、被解释变量以及随机干扰项做了正确的假定。二、最小二乘法（OLS）

给定一组样本观测值（Xi,Yi）（i=1,2,…n）要求样本回归函数尽可能好地拟合这组值。普通最小二乘法（OLS）给出的判断标准是：二者之差的平方和最小。即在给定样本观测值之下，选择出能使与之差的平方和最小。求Q对的偏导数并令其等于零，得整理可得n是样本容量，该方程组被称作正规方程组。

解得通过上面的方法得到的、的估计结果是从最小二乘原理得到的，因此称作普通最小二乘估计量。三、最小二乘估计量的性质利用普通最小二乘法计算出的是样本观测值的函数，所以同一总体的不同样本就会计算出不同的。用样本回归直线去代表总体回归直线，其实用性和准确性是依靠这两个参数的。所以，必须了解估计量的性质。（一）线性性是指一个变量是否是另一个变量的线性函数。

OLS估计量均为随机观测值和离差的线性函数。

证明：（二）无偏性是指估计量的均值或期望等于总体真实值。

OLS估计量的均值等于总体参数值，即证明：（三）有效性也称最小方差性，指估计量在所有线性无偏估计量中有最小方差。

OLS估计量具有最小方差。它们的方差分别为：其中，代表随机干扰项的方差，即

OLS估计量的这三个性质也称作估计量的小样本性质。而拥有这类性质的估计量，我们称作最佳线性无偏估量。在实际样本估计应用中，当参数估计量不满足小样本性质时，要考虑扩大样本容量，考察参数估计量的大样本性质。

当不满足小样本性质时，需进一步考察估计量的

大样本或渐近性质：

(4)一致性：指样本容量趋于无穷大时，参数估计量依概率收敛于总体真值。

(5)渐进无偏性：指样本容量趋于无穷大时，参数估计量的均值趋向于总体真值。

(6)渐进有效性：指样本容量趋于无穷大时，参数的一致估计量具有最小的渐进方差。这三个性质，我们称作估计量的大样本性质。四、极大似然法是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的其它估计方法的基础。基本原理：对于最大或然法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。极大似然估计法一般可分为四个步骤：（1）写出似然函数；（2）对似然函数取对数并整理；（3）关于参数求偏导数；（4）求解似然方程。

以正态分布的总体为例：假设一元线性回归模型满足经典假定，且是服从均值为，方差为的正态分布，所以因为是独立的，所以样本观测值的联合概率函数，即似然函数为为求得模型参数的极大似然估计量，将上式极大化。又因为似然函数的极大化与似然函数的对数极大化是等价的，所以取对数似然函数如下。

解：解得模型参数估计量如下：由上式可知，在满足经典假定下，使用最大似然估计法得出的模型参数估计量等于使用普通最小二乘估计法得出的模型参数估计量。第四节一元线性回归模型的统计检验一、对模型的经济意义的检验二、拟合优度检验

三、回归系数估计量的假设检验一、对模型的经济意义的检验对模型的经济意义检验主要检验模型参数估计量在经济意义上的合理性。主要方法是将模型参数的估计量与预先拟定的理论期望值进行比较，包括参数估计量的符号、大小、相互之间的关系以判断其合理性。如果估计值的这两个方面明显与常识经验或经济学理论等相背离，就说明它不能很好的解释客观事实。

对模型参数估计量的经济意义检验是回归检验的第一步，也是非常重要的一步。如果估计值出现不合理的情况，可能是样本容量过小，没有足够的代表性，也可能是模型的设定出现了错误等。

二、拟合优度检验拟合优度检验：对样本回归直线与样本观测值之间拟合程度的检验。判断样本回归模型拟合程度优劣，常用的指标是可决系数用表示。

图2-5样本回归线对样本点的拟合比较

总离差平方和的分解：两边平方求和得是指实测的值围绕其均值的总体离差，称为总离差平方和。是指估计的值围绕其均值的离差，称为回归平方和。是指未被解释的因素导致回归线的变异，称为残差平方和。总体离差平方和可分解为两部分，一部分来自回归线，另一部分来自残差所代表的随机因素。可以用来自回归的回归平方和与总离差平方和的比例来判断观测点是否都很好被样本回归线拟合。定义判断样本回归模型拟合程度优劣的可决系数为：测度了总体离差中由回归模型解释那部分所占的比例。这部分比例越大，来自残差那部分占总体离差的比例就越小。那么样本点就越靠近回归线，回归线对样本点就拟合的越好。所以越大，模型的拟合优度就越高。三、回归系数估计量的假设检验考察了拟合程度之后，还需要对回归模型中解释变量与被解释变量之间的线性关系是否显著成立做检验，即检验所选择解释变量与截距项是否对被解释变量有显著的线性影响。在假设检验的基础上，有两个互为补充的方法，分别是变量的显著性检验和置信区间。下面我们着重介绍这两种方法。（一）显著性检验法（t检验）显著性检验指的是利用样本结果，来证实一个原假设真伪的一种检验程序。回归方程的参数估计量服从正态分布因为真实的未知，所以用的估计量替代;综上，构造如下统计量检验步骤：（１）对总体参数给出假设

H0：

1=0，H1：

10（２）以原假设H0构造t统计量，并由样本计算其值（３）给定显著性水平，查t分布表，得临界值（４）比较，判断若＜，则接受原假设；若＞，则拒绝原假设；（二）回归系数、的置信区间用OLS得到的回归方程参数估计值只是一个点估计，虽然根据OLS的无偏性可知，在重复抽样中参数估计值的期望会等于参数的真实值，但不能说明这个参数估计是一个可靠的估计。

方差只是说明了估计值和其均值的离散程度，并不能说明参数真实值的分布范围。所以须确定一个区间，使得在左右的这个区间范围内可能包含了，并且确定这样的范围包含参数真实值的概率是多少，这就是参数的区间估计。进行区间估计，首先选定一个概率（0＜＜1),并确定一个正数，使得随机区间包含参数的概率为，用公式表示为：≤≤,区间称之为置信区间，称为置信度，称为显著性水平。置信区间的端点称为置信限。在临界值中，较小的端点被称为置信下限，较