第三讲基本假设和参数估计

第三讲基本假设和参数估计第一页，共35页。①不线性相关一定不相关；②有相关关系并不意味着一定有因果关系；③？分析对称地对待任何（两个）变量，两个变量都被看作是随机的。④？分析对变量的处理方法存在不对称性，即区分应变量（被解释变量）和自变量（解释变量）：前者是随机变量，后者不是。判断、填空第二页，共35页。样本回归函数样本回归模型利用样本回归模型，观察值可以表示为利用总体回归模型，观察值可以表示为总体回归模型总体回归函数第三页，共35页。样本回归函数（模型）与总体回归函数（模型）的区别总体回归函数是未知的，但它是确定的；样本回归函数是随抽样波动而变化的，可以有许多条总体回归函数的参数和是确定的常数；而样本回归函数的参数和是随抽样而变化的随机变量总体回归模型中的是不可直接观测的；样本回归模型的是只要估计出样本回归的参数就可以计算的数值。第四页，共35页。●作为总体运行的客观规律，总体回归函数是客观存在的，但在实际的经济研究中总体回归函数通常是未知的，只能根据经济理论和实践经验去设定。计量经济学研究中“计量”的根本目的就是要寻求总体回归函数。●我们所设定的计量模型实际就是在设定总体回归函数的具体形式。●总体回归函数中Y与X的关系可以是线性的，也可以是非线性的。5如何理解总体回归函数第五页，共35页。§2.2一元线性回归模型的基本假设

§2.3一元线性回归模型的参数估计（1）一、参数的普通最小二乘估计（OLS）二、一元线性回归模型的基本假设三、最小二乘估计量的性质第六页，共35页。

一元线性回归模型：只有一个解释变量

i=1,2,…,nY为被解释变量，X为解释变量，0与1为待估参数，为随机干扰项.

若有n个样本观测点也可写为第七页，共35页。

一、参数的普通最小二乘估计（OLS）

给定一组样本观测值（Xi,Yi）（i=1,2,…n）普通最小二乘法归功于德国数学家高斯第八页，共35页。普通最小二乘法（Ordinaryleastsquares,OLS）的基本思路：在来自于总体的n个观测点中，试图找到一条直线，使得这些点到这条直线的垂直距离的平方和最小

令求关于和的偏导数，并令其为0，得：（1）第九页，共35页。方程组（1）或（2）称为正规方程组（normalequations）。

整理得（2）第十页，共35页。记上述参数估计量可以写成：

称为OLS估计量的离差形式（deviationform）。由于参数的估计结果是通过最小二乘法得到的，故称为普通最小二乘估计量（ordinaryleastsquaresestimators）。

第十一页，共35页。顺便指出，记则有

可得

（**）式也称为样本回归函数的离差形式。（**）注意：

在计量经济学中，往往以小写字母表示对均值的离差。

?第十二页，共35页。这样一旦从样本数据得到OLS估计值，便容易画出样本回归线，它具有如下性质（课本60页第9题）1、样本回归直线经过样本的均值点，2、残差的均值为0，即有：即有3、不相关与第十三页，共35页。

回归分析的主要目的是要通过样本回归函数（模型）SRF尽可能准确地估计总体回归函数（模型）PRF。

二、线性回归模型的基本假设不仅仅是得到和，而且要对真实的做出推断。

和或者说，我们想知道与其期望值有多接近

具体地说下面我们要介绍的就是经典假设，满足该假设的线性回归模型称为经典线性回归模型。问题：通过OLS法，得到了OLS估计量，够用了吗？必须知道Y的产生方式依赖于X与u第十四页，共35页。假设1回归模型是正确设定的；变量正确（没遗没漏）；函数形式正确否则模型设定偏误假设2

解释变量X是确定性变量，不是随机变量，在重复抽样中取固定值。假设3解释变量X在所抽取的样本中具有变异性，而且随着样本容量的无限增加，解释变量X的样本方差趋于一个非零的有限常数。即注意:解释变量非随机在自然科学的实验研究中相对容易满足，经济领域中变量的观测是被动不可控的，X非随机的假定并不一定都满足。第十五页，共35页。假设4随机误差项具有给定条件下的零均值、同方差和不序列相关性：前4个假定也专门称为高斯-马尔科夫假设。这些假设能够保证前面介绍的估计方法具有良好的效果。

X

Y第十六页，共35页。假设5、随机误差项与解释变量X之间不相关：

Cov(Xi,i)=0i=1,2,…,n假设6、随机误差项服从零均值、同方差的正态分布，即

若不知其概率分布，那我们将无法将它们与其真实值相联系。由于是随机变量，所以我们需要清楚他们的概率分布，而他们将取决于对的概率分布所做的假定。第十七页，共35页。为什么是正态假定呢？随机干扰项代表回归模型中未明显引进的许多自变量（对因变量）的总影响，我们希望这些被忽略的变量所起的影响是微小的。于是利用统计学中著名的中心极限定理就能证明，如果存在大量独立且相同分布的随机变量，随着这些变量个数的无限增大，他们的总和将趋向正态分布。正是这个中心极限定理为随机干扰项正态性假定提供了理论基础2、正态分布的一个性质是，正态分布变量的任何线性函数都是正态分布。3、正态分布是一个比较简单、仅涉及两个参数（均值和方差）的分布；他为人们所熟知，他的理论性质在数理统计学中受到广泛的研究。4、如果我们在处理小样本或有限容量时，比如说数据小于100次观测，那么正态假定就起到关键作用。她不仅有助于我们推导出OLS估计量精确的概率分布，而且是我们能用t、F和卡方分布来对回归模型进行统计检验。第十八页，共35页。由于其中的和是非随机的，是随机变量，因此Y是随机变量，

的分布性质决定了的分布性质。

对的一些假定可以等价地表示为对的假定：

假定1：零均值假定

假定2：同方差假定假定3：无自相关假定

假定5：正态性假定

19在对的基本假定下Y的分布性质第十九页，共35页。重要提示几乎没有那个实际问题能够同时满足所有基本假设。通过模型理论的发展，就可以克服违背基本假设所带来的问题违背基本假设的处理构成了以下内容：异方差问题（违背同方差假设）序列相关问题（违背序列不相关假设）共线性问题（违背解释变量不相关假设）随机解释变量问题（解释变量不确定，与随机误差项相关）注意：所有的假定都是关于PRF，而不是SRF第二十页，共35页。21

面临的问题:

参数估计值参数真实值对参数估计式的优劣需要有评价的标准

为什么呢?

●参数无法直接观测，只能通过样本去估计。样本的获得存

在抽样波动，不同样本的估计结果不一致。●估计参数的方法有多种，不同方法的估计结果可能不相同，

通过样本估计参数时，估计方法及所确定的估计量不一定

完备，不一定能得到理想的总体参数估计值。对各种估计方法优劣的比较与选择需要有评价标准。估计准则的基本要求：参数估计值应"尽可能地接近"总体参数真实值”。

什么是“尽可能地接近”原则呢？

用统计语言表述就是:无偏性、有效性、一致性等

三、最小二乘估计量的性质第二十一页，共35页。22

(1)无偏性

前提：重复抽样中估计方法固定、样本数不变、由重复抽样得到的观测值,可得一系列参数估计值,的分布称为的抽样分布，其密度函数记为概念:如果，则称是参数

的无偏估计量，如果，则称是有偏的估计，其偏倚为（见下页图）第二十二页，共35页。23

概率密度

估计值偏倚第二十三页，共35页。24(2)有效性

前提：样本相同、用不同的方法估计参数，可以找到若干个不同的无偏估计式

目标:

努力寻求其抽样分布具有最小方差的估计量（见下页图）既是无偏的同时又具有最小方差特性的估计量，称为最佳（有效）估计量。第二十四页，共35页。25

概率密度

估计值第二十五页，共35页。思想:当样本容量较小时，有时很难找到方差最小的无偏估计，需要考虑样本扩大后的性质（估计方法不变，样本数逐步增大）一致性：

当样本容量n趋于无穷大时，如果估计式依概率收敛于总体参数的真实值，就称这个估计式是

的一致估计式。即或

（渐近无偏估计式是当样本容量变得足够大时其偏倚趋于零的估计式）

(见下页图)渐近有效性：当样本容量n趋于无穷大时，在所有的一致估计式中，具有最小的渐近方差。263、渐近性质（大样本性质）第二十六页，共35页。估计值概率密度第二十七页，共35页。先明