回归模型的参数估计

1、1第二节 回归模型的参数估计2一、最小二乘估计（OLS）选择最佳拟合曲线的标准 从几何意义上说，样本回归曲线应尽可能靠近样本数据点。 选择最佳拟合曲线的标准可以确定为：使总的拟合误差（即总残差）达到最小。 用最小二乘法描述就是：所选择的回归模型应该使所有观察值的残差平方和达到最小。3OLS的基本思路n不同的估计方法可得到不同的样本回归参数 和 ，所估计的 也不同。 n理想的估计方法应使 和 的差即残差 越小越好。n因为 可正可负，所以可以取 最小， （选择平方的原因：介绍）即： ie21iYieiYiY2iemin22122iiiiiXYYYeQ4估计过程 在离差平方和的表达式中，被解释变量

2、的观测值和解释变量 都是已知的，因此可以将看作是未知参数 的函数。计算此函数对的一阶偏导数，可得： iYiX0202212211iiiiiXXYQXYQ21,5n得到：此方程组为正规方程组，解此方程组得：其中，22121iiiiiiXXYXXnYXXXYiiiSSXnXYXnYXXY22221iiXnXYnY1,12,XXSYYXXSiXXiiXY6案例2.1&2.2n课本p24、p27nEViews软件操作7二、最小二乘估计的性质参数估计式的评价标准无偏性前提：重复抽样中估计方法固定、样本数不变、经重复抽样的观测值，可得一系列参数估计值。参数估计值 的分布称为 的抽样分布，其密度函数

3、记为f( ) 如果 E( )=称 是参数 的无偏估计式， 是另一种方式产生的模型参数的估计量，抽样分布为 ，若 的期望不是等于 的真实值，则称 是 有偏的，偏倚为 E( )- ，见下图f8的估计值 ff概率密度E偏倚图2.69最小方差性（有效性）前提：样本相同、用不同的方法估计参数，可以找到若干个不同的估计式。目标：努力寻求其抽样分布具有最小方差的估计式最小方差准则，或称最佳性准则。见下图 有效性衡量了参数估计值与参数真值平均离散程度的大小。 既是无偏的同时又具有最小方差的估计式，称为最佳无偏估计式。10的估计值 ff概率密度图2.711一致性思想：当样本容量较小时，有时很难找到最佳无偏估计，

4、需要考虑扩大样本容量（估计方法不变，样本数逐步扩大，分析性质是否改善）一致性：当样本容量n趋于无穷大时，如果估计式 按概率收敛于总体参数的真实值，就称这个估计式 是 的一致估计式。 limP( - )1渐进无偏估计式是当样本容量变得足够大时，其偏倚趋于零的估计式。见下图12的估计值 100f概率密度 80f 60f 40f13高斯马尔可夫定理n由OLS估计式可以看出， 可以用观测样本 和 唯一表示。n因为存在样本抽样波动，OLS估计的 是随机变量。nOLS估计式是点估计式。n在古典回归模型的若干假定成立的情况下，最小二乘估计是所有线性无偏估计量中的有效估计量。称OLS估计为“最佳线性无偏估计量

5、”。XY14线性特征;无偏性;最小方差性一致性证明过程参见p3032,也可从精品课程网站下载。结论：OLS估计式是BLUE。 全部估计量 线性无偏估计量 BLUE估计量15系数的估计误差与置信区间2221、和和1的概率分布的概率分布其次其次，和1分别是iY的线性组合，因此、1的概率分布取决于 Y。在是正态分布的假设下，Y 是正态分布，因此和1也服从正态分布，其分布特征（密度函数）由其均值和方差唯一决定。 首先，首先，由于解释变量iX是确定性变量，随机误差项i是随机性变量，因此被解释变量iY是随机变量，且其分布 （特征）与i相同。2161ii因此：因此： ),(222S2XXNs， ),(222

6、11siSXXnXN1和2的标准差标准差 分别为： 222/)(iSXXSs 2221)(iiSXXnXSs 17可以证明可以证明：总体方差2s的无偏估计量无偏估计量 为 222neis 2 、随机误差项、随机误差项的方差的方差2s的估计的估计 在估计的参数2和1的方差和标准差的表达式中，都含有随机扰动项方差2s=)var(i。2s又称为总体方差总体方差 。 由于2s实际上是未知的，因此2和1的方差与标准差实际上无法计算。由于随机项i不可观测，只能从i的估计残差ie出发，对总体方差2s进行估计。18在总体方差2s的无偏估计量2s求出后， 估计的参数估计的参数2和和1的方差和标准差的估计量的方差

7、和标准差的估计量 分别是：的样本方差： 22)(VarsS2XX 的样本标准差： 2)(Ss 的样本方差： 221)(inXVars的样本标准差： 21)(inXS 1122S2XX S2XX sS2XX 19系数的置信区间n见p3420四、多元线性回归模型的参数估计n方法相同，只是通过矩阵表示，参见p353721五、极大似然法MLn极大似然法极大似然法（ Maximum Likelihood, ML） ，也称，也称最大最大似然法似然法，是不同于最小二乘法的另一种参数估计方法，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的其它估计方法的基是从最大或然原理出发发展起来的其

8、它估计方法的基础。础。 基本原理基本原理：对于对于最小二乘法最小二乘法，当从模型总体随机抽取，当从模型总体随机抽取n组样本观测组样本观测值后，最合理的参数估计量应该使得模型能最好地拟值后，最合理的参数估计量应该使得模型能最好地拟合样本数据。合样本数据。 对于对于极大似然法极大似然法，当从模型总体随机抽取，当从模型总体随机抽取n组样本观组样本观测值后，最合理的参数估计量应该使得从模型中抽取测值后，最合理的参数估计量应该使得从模型中抽取该该n组样本观测值的概率最大。组样本观测值的概率最大。22对于一元线性回归模型： iiiXYm21 i=1,2,n随机抽取 n 组样本观测值iiXY ,（i=1,2

9、,n），假如模型的参数估计量已经求得到，为$1和$2，那么iY服从如下的正态分布： iY),(221siXN于是，iY的概率函数为 2212)(2121)(iiXYieYPsps i=1,2,n23 将该或然函数极大化，即可求得到模型参数的极大或然估计量。因为iY是相互独立的，所以Y的所有样本观测值的联合概率，也即似然函数似然函数(likelihood function) 为： ),(),(21221nYYYPLms 22122)(21)2(1iinXYnesmspS24251 理论模型的设计理论模型的设计 我们首先通过散点图来观察一下，住宅房地产需求量与居民收入之间是否存在关系。图1人均可支

10、配收入与人均消费性支出的关系010002000300040005000600070000200040006000800010000人均可支配收入（元）人均消费性支出（元）系列12627 在本例中，影响在本例中，影响人均消费性支出人均消费性支出的因素，除了的因素，除了居民人均可支配收入居民人均可支配收入之外，还可能有消费品的价格之外，还可能有消费品的价格水平、水平、银行存款利率、银行存款利率、消费者的偏好，政府的政策，消费者的偏好，政府的政策，需求者对未来的预期等等多种因素。我们这里仅分需求者对未来的预期等等多种因素。我们这里仅分析析居民人均可支配收入居民人均可支配收入对对人均消费性支出人均消费性支出的影响，的影响，其他各因素的影响，就被包含在随机误差项中。其他各因素的影响，就被包含在随机误差项中。28293031 离差形式的中间计算也可不用计算表，而采用如下离差形式的中间计算也可不用计算表，而采用如下的简捷式计算：的简捷式计算：222XnXx