第三讲基本假设和参数的估计

（优选）第三讲基本假设和参数的估计当前1页，总共21页。样本回归函数样本回归模型利用样本回归模型，观察值可以表示为利用总体回归模型，观察值可以表示为总体回归模型总体回归函数当前2页，总共21页。样本回归函数（模型）与总体回归函数（模型）的区别总体回归函数是未知的，但它是确定的；样本回归函数是随抽样波动而变化的，可以有许多条总体回归函数的参数和是确定的常数；而样本回归函数的参数和是随抽样而变化的随机变量总体回归模型中的是不可直接观测的；样本回归模型的是只要估计出样本回归的参数就可以计算的数值。当前3页，总共21页。§2.2一元线性回归模型的基本假设

§2.3一元线性回归模型的参数估计（1）一、参数的普通最小二乘估计（OLS）二、一元线性回归模型的基本假设三、最小二乘估计量的性质当前4页，总共21页。

一元线性回归模型：只有一个解释变量

i=1,2,…,nY为被解释变量，X为解释变量，0与1为待估参数，为随机干扰项.

若有n个样本观测点也可写为当前5页，总共21页。

一、参数的普通最小二乘估计（OLS）

给定一组样本观测值（Xi,Yi）（i=1,2,…n）普通最小二乘法归功于德国数学家高斯当前6页，总共21页。普通最小二乘法（Ordinaryleastsquares,OLS）的基本思路：在来自于总体的n个观测点中，试图找到一条直线，使得这些点到这条直线的垂直距离的平方和最小

令求关于和的偏导数，并令其为0，得：（1）当前7页，总共21页。方程组（1）或（2）称为正规方程组（normalequations）。

整理得（2）当前8页，总共21页。记上述参数估计量可以写成：

称为OLS估计量的离差形式（deviationform）。由于参数的估计结果是通过最小二乘法得到的，故称为普通最小二乘估计量（ordinaryleastsquaresestimators）。

当前9页，总共21页。顺便指出，记则有

可得

（**）式也称为样本回归函数的离差形式。（**）注意：

在计量经济学中，往往以小写字母表示对均值的离差。

?当前10页，总共21页。这样一旦从样本数据得到OLS估计值，便容易画出样本回归线，它具有如下性质（课本60页第9题）1、样本回归直线经过样本的均值点，2、残差的均值为0，即有：即有3、不相关与区分估计量和估计值当前11页，总共21页。

回归分析的主要目的是要通过样本回归函数（模型）SRF尽可能准确地估计总体回归函数（模型）PRF。

二、线性回归模型的基本假设不仅仅是得到和，而且要对真实的做出推断。

和或者说，我们想知道与其期望值有多接近

具体地说下面我们要介绍的就是经典假设，满足该假设的线性回归模型称为经典线性回归模型。问题：通过OLS法，得到了OLS估计量，够用了吗？必须知道Y的产生方式依赖于X与u当前12页，总共21页。假设1回归模型是正确设定的；变量正确（没遗没漏）；函数形式正确否则模型设定偏误假设2

解释变量X是确定性变量，不是随机变量，在重复抽样中取固定值。假设3解释变量X在所抽取的样本中具有变异性，而且随着样本容量的无限增加，解释变量X的样本方差趋于一个非零的有限常数。即当前13页，总共21页。假设4随机误差项具有给定条件下的零均值、同方差和不序列相关性：前4个假定也专门称为高斯-马尔科夫假设。这些假设能够保证下面介绍的估计方法具有良好的效果。

当前14页，总共21页。假设5、随机误差项与解释变量X之间不相关：

Cov(Xi,i)=0i=1,2,…,n假设6、随机误差项服从零均值、同方差的正态分布，即

若不知其概率分布，那我们将无法将它们与其真实值相联系。由于是随机变量，所以我们需要清楚他们的概率分布，而他们将取决于对的概率分布所做的假定。当前15页，总共21页。为什么是正态假定呢？随机干扰项代表回归模型中未明显引进的许多自变量（对因变量）的总影响，我们希望这些被忽略的变量所起的影响是微小的。于是利用统计学中著名的中心极限定理就能证明，如果存在大量独立且相同分布的随机变量，随着这些变量个数的无限增大，他们的总和将趋向正态分布。正是这个中心极限定理为随机干扰项正态性假定提供了理论基础2、正态分布的一个性质是，正态分布变量的任何线性函数都是正态分布。3、正态分布是一个比较简单、仅涉及两个参数（均值和方差）的分布；他为人们所熟知，他的理论性质在数理统计学中受到广泛的研究。4、如果我们在处理小样本或有限容量时，比如说数据小于100次观测，那么正态假定就起到关键作用。她不仅有助于我们推导出OLS估计量精确的概率分布，而且是我们能用t、F和卡方分布来对回归模型进行统计检验。当前16页，总共21页。重要提示几乎没有那个实际问题能够同时满足所有基本假设。通过模型理论的发展，就可以克服违背基本假设所带来的问题违背基本假设的处理构成了以下内容：异方差问题（违背同方差假设）序列相关问题（违背序列不相关假设）共线性问题（违背解释变量不相关假设）随机解释变量问题（解释变量不确定，与随机误差项相关）注意：所有的假定都是关于PRF，而不是SRF当前17页，总共21页。

三、最小二乘估计量的性质在给定经典线性回归模型的假定条件（前四个）下，最小二乘估计具有一些理想的或最优的性质。这些性质包含在著名的高斯—马尔科夫定理之中

为说明这个定理，我们再回顾下一个估计量的最优线性无偏性质（bestlinearunbiasednessproperty，BLUE）

（1）线性性，即它是否是另一随机变量的线性函数；

（2）无偏性，即它的均值或期望值是否等于总体的真实值；

（3）有效性，即它是否在所有线性无偏估计量中具有最小方差。以上三条称为估计量的有限样本性质或小样本性质。

当前18页，总共21页。渐进无偏性：即样本容量趋于无穷大时，他的均值序列是否趋于总体均值。一致性：即样本容量趋于无穷大时，他是否依概率收敛于总体的真值。渐进有效性：即样本容量趋于无穷大时，他在所有的一致估计量中是否具有最小的渐进方差。这三个准则称为估计量的大样本渐进性质当前19页，总共21页。高斯—马尔可夫定理(Gauss-Markovtheorem)

在给定经典线性回归的假定下，