第三讲基本假设和参数的估计

第三讲基本假设和参数的估计第1页，课件共23页，创作于2023年2月①不线性相关一定不相关；②有相关关系并不意味着一定有因果关系；③？分析对称地对待任何（两个）变量，两个变量都被看作是随机的。④？分析对变量的处理方法存在不对称性，即区分应变量（被解释变量）和自变量（解释变量）：前者是随机变量，后者不是。判断、填空第2页，课件共23页，创作于2023年2月样本回归函数样本回归模型利用样本回归模型，观察值可以表示为利用总体回归模型，观察值可以表示为总体回归模型总体回归函数第3页，课件共23页，创作于2023年2月样本回归函数（模型）与总体回归函数（模型）的区别总体回归函数是未知的，但它是确定的；样本回归函数是随抽样波动而变化的，可以有许多条总体回归函数的参数和是确定的常数；而样本回归函数的参数和是随抽样而变化的随机变量总体回归模型中的是不可直接观测的；样本回归模型的是只要估计出样本回归的参数就可以计算的数值。第4页，课件共23页，创作于2023年2月§2.2一元线性回归模型的基本假设

§2.3一元线性回归模型的参数估计（1）一、参数的普通最小二乘估计（OLS）二、一元线性回归模型的基本假设三、最小二乘估计量的性质第5页，课件共23页，创作于2023年2月

一元线性回归模型：只有一个解释变量

i=1,2,…,nY为被解释变量，X为解释变量，0与1为待估参数，为随机干扰项.

若有n个样本观测点也可写为第6页，课件共23页，创作于2023年2月

一、参数的普通最小二乘估计（OLS）

给定一组样本观测值（Xi,Yi）（i=1,2,…n）普通最小二乘法归功于德国数学家高斯第7页，课件共23页，创作于2023年2月普通最小二乘法（Ordinaryleastsquares,OLS）的基本思路：在来自于总体的n个观测点中，试图找到一条直线，使得这些点到这条直线的垂直距离的平方和最小

令求关于和的偏导数，并令其为0，得：（1）第8页，课件共23页，创作于2023年2月方程组（1）或（2）称为正规方程组（normalequations）。

整理得（2）第9页，课件共23页，创作于2023年2月记上述参数估计量可以写成：

称为OLS估计量的离差形式（deviationform）。由于参数的估计结果是通过最小二乘法得到的，故称为普通最小二乘估计量（ordinaryleastsquaresestimators）。

第10页，课件共23页，创作于2023年2月顺便指出，记则有

可得

（**）式也称为样本回归函数的离差形式。（**）注意：

在计量经济学中，往往以小写字母表示对均值的离差。

?第11页，课件共23页，创作于2023年2月这样一旦从样本数据得到OLS估计值，便容易画出样本回归线，它具有如下性质（课本60页第9题）1、样本回归直线经过样本的均值点，2、残差的均值为0，即有：即有3、不相关与区分估计量和估计值第12页，课件共23页，创作于2023年2月

回归分析的主要目的是要通过样本回归函数（模型）SRF尽可能准确地估计总体回归函数（模型）PRF。

二、线性回归模型的基本假设不仅仅是得到和，而且要对真实的做出推断。

和或者说，我们想知道与其期望值有多接近

具体地说下面我们要介绍的就是经典假设，满足该假设的线性回归模型称为经典线性回归模型。问题：通过OLS法，得到了OLS估计量，够用了吗？必须知道Y的产生方式依赖于X与u第13页，课件共23页，创作于2023年2月假设1回归模型是正确设定的；变量正确（没遗没漏）；函数形式正确否则模型设定偏误假设2

解释变量X是确定性变量，不是随机变量，在重复抽样中取固定值。假设3解释变量X在所抽取的样本中具有变异性，而且随着样本容量的无限增加，解释变量X的样本方差趋于一个非零的有限常数。即第14页，课件共23页，创作于2023年2月假设4随机误差项具有给定条件下的零均值、同方差和不序列相关性：前4个假定也专门称为高斯-马尔科夫假设。这些假设能够保证下面介绍的估计方法具有良好的效果。

第15页，课件共23页，创作于2023年2月假设5、随机误差项与解释变量X之间不相关：

Cov(Xi,i)=0i=1,2,…,n假设6、随机误差项服从零均值、同方差的正态分布，即

若不知其概率分布，那我们将无法将它们与其真实值相联系。由于是随机变量，所以我们需要清楚他们的概率分布，而他们将取决于对的概率分布所做的假定。第16页，课件共23页，创作于2023年2月为什么是正态假定呢？随机干扰项代表回归模型中未明显引进的许多自变量（对因变量）的总影响，我们希望这些被忽略的变量所起的影响是微小的。于是利用统计学中著名的中心极限定理就能证明，如果存在大量独立且相同分布的随机变量，随着这些变量个数的无限增大，他们的总和将趋向正态分布。正是这个中心极限定理为随机干扰项正态性假定提供了理论基础2、正态分布的一个性质是，正态分布变量的任何线性函数都是正态分布。3、正态分布是一个比较简单、仅涉及两个参数（均值和方差）的分布；他为人们所熟知，他的理论性质在数理统计学中受到广泛的研究。4、如果我们在处理小样本或有限容量时，比如说数据小于100次观测，那么正态假定就起到关键作用。她不仅有助于我们推导出OLS估计量精确的概率分布，而且是我们能用t、F和卡方分布来对回归模型进行统计检验。第17页，课件共23页，创作于2023年2月重要提示几乎没有那个实际问题能够同时满足所有基本假设。通过模型理论的发展，就可以克服违背基本假设所带来的问题违背基本假设的处理构成了以下内容：异方差问题（违背同方差假设）序列相关问题（违背序列不相关假设）共线性问题（违背解释变量不相关假设）随机解释变量问题（解释变量不确定，与随机误差项相关）注意：所有的假定都是关于PRF，而不是SRF第18页，课件共23页，创作于2023年2月

三、最小二乘估计量的性质在给定经典线性回归模型的假定条件（前四个）下，最小二乘估计具有一些理想的或最优的性质。这些性质包含在著名的高斯—马尔科夫定理之中

为说明这个定理，我们再回顾下一个估计量的最优线性无偏性质（bestlinearunbiasednessproperty，BLUE）

（1）线性性，即它是否是另一随机变量的线性函数；

（2）无偏性，即它的均值或期望值是否等于总体的真实值；

（3）有效性，即它是否在所有线性无偏估计量中具有最小方差。以上三条称为估计量的有限样本性质或小样本性质。

第19页，课件共23页，创作于2023年2月渐进无偏性：即样本容量趋于无穷大时，他的均值序列是否趋于总体均值。一致性：即样本容量趋于无穷大时，他是否依概率收敛于总体的真值。渐进有效性：即样本容量趋于无穷大时，他在所有的一致估计量中是否具有最小的渐进方差。这三个准则称为估计量的大样本渐进性质第20页，课件共23页，创作于2023年2月高斯—马尔可夫定理(Gauss-Markovtheorem)

在给定经典线性回归的假定下，最小二乘估计量在无偏线性估计量一类中，有最小方差，就是说他们是BLUE

第