一元线性回归模型参数估计

1、一元线性回归模型参数估计第1页，共39页，2022年，5月20日，23点25分，星期六一、 线性回归模型的特征 一个例子凯恩斯绝对收入假设消费理论：消费C是由收入Y唯一决定的，是收入的线性函数：但实际上上述等式不能准确实现。 原因(1)消费除了受收入影响外还受其他因素因影响。(2)线性关系是一个近似，收入变量的观察值是近似的，数据本身并不绝对准确地反映收入水平。第2页，共39页，2022年，5月20日，23点25分，星期六因此，一个更符合实际的数学描述是：线性回归模型的特征： 是通过引入随机误差项将变量之间的关系用线性随机方程来描述，并用随机数学的方法来估计方程中的参数。 在线性回归模型中，被

2、解释变量的特征由解释变量和随机误差项共同决定。第3页，共39页，2022年，5月20日，23点25分，星期六计量经济学中“线性”回归模型的含义对参数为线性、对变量非线性的函数：对参数非线性、对变量线性的函数：对参数非线性、对变量非线性的函数：对参数不可化为线性的函数对参数可化为线性的函数(1)(2)(3)(4)(5)第4页，共39页，2022年，5月20日，23点25分，星期六 对可化为线性的非线性模型的处理方法(1)变量置换例如，描述税收与税率之间关系的拉弗曲线： s = a+br+cr2 (c 0) s：税收，r：税率设，X1= r, X2= r2，则原方程变为s = a+bX1+cX2

3、(2)对数变换 例如，Cobb-Dauglas生产函数：幂函数 Q:产出量，K：投入的资本，L：投入的劳动方程两边取对数：第5页，共39页，2022年，5月20日，23点25分，星期六三个版本的C-D生产函数模型：注意模型线性化后 的前提假设第6页，共39页，2022年，5月20日，23点25分，星期六线性模型与非线性模型(1)(2)(3)(4)(5)(7)(6)第7页，共39页，2022年，5月20日，23点25分，星期六结论：实际经济活动中的许多问题，变量之间的非线性关系都可以最终化为线性关系。所以，线性回归模型具有普遍意义。即使对于无法采取任何变换方法使之变成线性的非线性模型，目前适用较

4、多的参数估计方法非线性最小二乘法，其原理仍然是以线性估计方法为基础。线性模型理论方法在计量经济学理论方法中占据重要地位。第8页，共39页，2022年，5月20日，23点25分，星期六其他条件不变的概念(ceteris paribus)包括经济学在内的许多社会科学中的假设都具有“其他条件不变”的特点：在研究两个变量之间关系时，所有其他相关因素都必须固定不变。 例如，经济学中在分析消费需求时，想知道之中商品价格的变化对其需求量的影响，而让所有其他因素收入、其他商品的价格和个人偏好等都保持不变。计量经济分析中的其他条件不变意味着“其他(相关)因素保持不变，这一概念在因果分析中有重要作用。 第9页，共

5、39页，2022年，5月20日，23点25分，星期六二、线性回归模型的基本假设技术路线：由于回归分析的主要目的是要通过样本回归函数（模型）SRF尽可能准确地估计总体回归函数（模型）PRF。即通过：采用最小二乘或最大似然方法。第10页，共39页，2022年，5月20日，23点25分，星期六 一元线性回归模型：只有一个解释变量 i=1,2,nY 为被解释变量，X为 解释变量，0 与1为待估参数， 为随机干扰项。 估计方法有多种，其中最广泛使用的是普通最小二乘法（ordinary least squares, OLS）。 为保证参数估计量具有良好的性质，通常对模型提出若干基本假设。 注：这些假设与所

6、采用的估计方法紧密相关。 第11页，共39页，2022年，5月20日，23点25分，星期六一元线性回归模型的基本假设 假设1：解释变量X是确定性变量，不是随机变量； 假设2：随机误差项具有零均值、同方差和不序列相关性： E(i| Xi)= E(i) = 0 i=1,2, ,n Var (i | Xi) = 2 i=1,2, ,n Cov(i, j)=0 ij i, j= 1,2, ,n 假设3：随机误差项与解释变量X之间不相关： Cov(Xi, i)=0 i=1,2, ,n 假设4：服从零均值、同方差、零协方差的正态分布 i N(0, 2 ) i=1,2, ,n第12页，共39页，2022年，

7、5月20日，23点25分，星期六如果假设1和2满足，则假设3也满足；如果假设4 满足，则假设2 也满足。注意： 假设1-4假设也称为线性回归模型的经典假设或高斯(Gauss)假设，满足该假设的线性回归模型称为经典线性回归模型(Classical Linear Regression Model, CLRM) 。 假设5：随着样本容量的无限增加，解释变量X的样本方差趋于一个有限常数，即： 假设6：回归模型是正确设定的。第13页，共39页，2022年，5月20日，23点25分，星期六假设4： i N(0, 2 ) i =1,2, ,n例：测度教育的回报问题问题提出：如果从总体中选择一个人，并让他或她

8、多受一年教育，那么，他或她的工资会提高多少？ 工资水平与可测教育水平及其他非观测因素的关系： 工资：小时工资(元)，教育：受教育的年数。其他非观测因素：工作经验、天生素质、职业道德等。 E(i|Xi) = 0假设是天生能力，这个假定就是要求，不论受教育的年数是多少，平均能力水平都一样。例如，E(abil|8) = E(abil|6)； 第14页，共39页，2022年，5月20日，23点25分，星期六 Var(i |Xi ) =2，Var(Yi | Xi ) =2Var(wage|educ)=2，虽然平均工资E(wage|educ)可随着教育水平的提高而增长，但工资相对于它的均值的变异却被假定为

9、对所有的教育水平都不变。 i N(0, 2) 的理由：由于是影响wage而又观测不到的许多因素之和，所以我们可以借助中心极限定理来断定具有近似正态分布。 第15页，共39页，2022年，5月20日，23点25分，星期六三、参数的普通最小二乘估计（OLS） 给定一组样本观测值（Xi, Yi）（i=1,2,n）要求样本回归函数尽可能好地拟合这组值。 普通最小二乘法(Ordinary least squares, OLS)给出的判断标准是：二者之差的平方和最小。第16页，共39页，2022年，5月20日，23点25分，星期六方程组（*）称为正规方程组（normal equations）。 由于参数的

10、估计结果是通过最小二乘法得到的，故称为普通最小二乘估计量（ordinary least squares estimators）。 第17页，共39页，2022年，5月20日，23点25分，星期六四、参数估计的最大似然法(ML) 最大或然法(Maximum Likelihood,简称ML)，也称最大似然法，是不同于最小二乘法的另一种参数估计方法，是从最大似然原理出发发展起来的其它估计方法的基础。 基本原理： 对于最大似然法，当从模型总体随机抽取n 组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n 组样本观测值的联合概率最大。第18页，共39页，2022年，5月20日，23点25分，星期

11、六在满足基本假设条件下，对一元线性回归模型： 随机抽取n组样本观测值（Xi, Yi）（i =1,2,n）。 那么Yi 服从如下的正态分布：于是，Y 的概率密度函数为:（i=1,2,n） 假如模型的参数估计量已经求得，为第19页，共39页，2022年，5月20日，23点25分，星期六因为Yi 是相互独立的，所以的所有样本观测值的联合概率，也即似然函数(likelihood function)为： 将该似然函数极大化，即可求得到模型参数的极大似然估计量。第20页，共39页，2022年，5月20日，23点25分，星期六 由于似然函数的极大化与似然函数的对数的极大化是等价的，所以，取对数似然函数如下：

12、第21页，共39页，2022年，5月20日，23点25分，星期六解得模型的参数估计量为： 在满足一系列基本假设的情况下，模型结构参数的最大似然估计量与普通最小二乘估计量是相同的。第22页，共39页，2022年，5月20日，23点25分，星期六但是，随机误差项的方差的估计量是不同的。即可得到 的最大似然估计量为：解似然方程：第23页，共39页，2022年，5月20日，23点25分，星期六记上述参数估计量可以写成： 称为OLS估计量的离差形式（deviation form）。 关于参数估计量的离差形式(deviation form)： 第24页，共39页，2022年，5月20日，23点25分，星期

13、六记则有 可得 （*）式也称为样本回归函数的离差形式。（*）注意： 在计量经济学中，往往以小写字母表示对均值的离差。 第25页，共39页，2022年，5月20日，23点25分，星期六样本回归线的数学性质(numerical properties)样本回归线通过Y 和X 的样本均值；Y 估计值的均值等于观测值的均值；残差的均值为零：第26页，共39页，2022年，5月20日，23点25分，星期六五、最小二乘估计量的统计性质 （1）线性性(linear)，即它是否是另一随机变量的线性函数； （2）无偏性(unbiased)，即它的均值或期望值是否等于总体的真实值； （3）有效性，即它是否在所有线性

14、无偏估计量中具有最小方差。第27页，共39页，2022年，5月20日，23点25分，星期六高斯马尔可夫定理(Gauss-Markov theorem) 在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量。第28页，共39页，2022年，5月20日，23点25分，星期六证：易知故同样地，容易得出 第29页，共39页，2022年，5月20日，23点25分，星期六第30页，共39页，2022年，5月20日，23点25分，星期六（2）证明最小方差性其中，ci=ki+di，di为不全为零的常数则容易证明第31页，共39页，2022年，5月20日，23点25分，星期六 显然这些优良的

15、性质依赖于对模型的基本假设。结论： 普通最小二乘估计量（ordinary least Squares Estimators）具有线性、无偏性、最小方差性等优良性质。 具有这些优良性质的估计量又称为最佳线性无偏估计量（best linear unbiased estimator, BLUE） 全部估计量线性无偏估计量最小方差估计量第32页，共39页，2022年，5月20日，23点25分，星期六六、参数估计量的概率分布及随机干扰项方差的估计 第33页，共39页，2022年，5月20日，23点25分，星期六第34页，共39页，2022年，5月20日，23点25分，星期六2、随机误差项 的方差2的估计 由于随机项i 不可观测，只能从i的估计残差ei出发，对总体方差进行估计。 2又称为总体方差。 可以证明，2 的无偏估计量为它是关于2的无偏估计量。 第35页，共39页，2022年，5月20日，23点25分，星期六第36页，共39页，2022年，5月20日