一元线性回归模型的参数估计.ppt

1、2.3线性回归模型的参数估计，1，参数估计的一般最小二乘法(OLS) 2，参数估计的最大似然方法(ML)(略)3，参数估计的力矩方法(MM)(略)4，最小二乘法估计的统计特性5 Yi(略)也就是说，样例回归线的点和实际观测点Yi的“总误差”应尽可能小，或者已求解变量的估计和观测值应在整体上最接近。(熟练参数的一般最小二乘估计的柔道过程。)一般最小二乘法(Ordinary least squares，OLS)牙齿提供的判断标准是两个差异的平方和，最小值。(2.3.1)，为什么使用平方和？由于样例回归线的点与实际观测点Yi的差值可以为正，因此简单总和可以抵消误差，并且只有平方和可以反映总体上的接近

2、程度。这就是最小二乘法原理。4个0:(与以下公式2.3.2结合)，即偏差和0；因此，残差和0，一阶条件的结论一阶条件的结论，方程(2.3.2)或(2.3.3)称为正则方程。(2.3.2)，(2.3.3)，(2.3.4)，利用，记忆，其中，(；(写OLS估计量的偏差形式。)参数的估计结果通过最小二乘法获得，因此称为“一般最小二乘法估计”(ordinary least squares estimators)。通过推断(2.3.4-1)和(2.3.4-2)赋值表达式(2.3.4)、公式(2.3.4)，(；(使用手动运算(不是电脑软件)对样例数据进行一元回归模型建模的参数估计。)表2.3.1参数估算计

3、算表(不同于教材数据)，)模型参数估算后，必须考虑参数估算的准确度，即是否可以表示整体参数true值。通常，由于样本波动的存在和所选择的估计方法的差异，预计参数和整个参数的实际值之间存在差异。因此，调查参数估算量的统计性质成为衡量其估算量“好坏”的主要标准。主要从以下6个茄子方面进行调查：线性，即是否是其他随机变量的线性函数；没有倾向性。也就是说，平均值或期望值是否等于总实际值。有效性，也就是说，在所有线性无偏估计中，最小方差是否越来越近，也就是说，如果样本容量为无穷大，则估计量的平均序列倾向于整个true。一致性，即样本容量无限大时，估计值根据概率收敛到总实值。渐近有效性，即样本容量无限增长

4、时，估计值在所有一致估计值中具有最小的渐近方差。上述前三个茄子特性(路线、偏转和有效性)也称为估计量的有限样例特性或小样例特性。因为一旦某个估计具有这种特性，它就不会随着样品的大小而变化。具有线性、偏转和有效性特性的估计值称为最佳线性偏转估计值(blue，best liner unbiased estimator)。在有限的样本情况下，可能很难找到BLUE估计值，在样本容量无限增加的情况下，可能需要调查估计值的渐进性质。上述以下三个茄子标准(渐进偏转、一致性和渐进有效性)称为估计量的无限采样特性或大采样增量特性。在上述6个茄子特性中，偏向性和有效性是小样本特性中最重要的两个茄子特性，不需要线性

5、。由于大样本的特性，问题比较复杂，人们更加关注一致性。，(1)定线(定线)，即预估量和范例的定线组合。如(2.3.5)表达式所示，可以得到其中可用的等式结论。如果参数估计量具有线性特性，则可以简化经济现象，轻松建立模型，更清楚地表示经济意义。(分母相同，分子合计)，(2)无偏或无偏，是指参数估计量的平均值(估计)与整体回归参数的实际值的比较。下图：无偏估计(左)和无偏估计(右)。无偏(Unbiased)，即估计量，平均值(performance)等于整个回归参数的实际值。线性度(分母相同，分子和相等)，同样，(3)有效性(Efficient)，即所有线性偏转估计中的最小平方估计，最小方差。(省

6、略证明过程)，高斯马尔可夫定理：在给定经典线性回归的假设下，最小二乘估计具有线性、偏振、有效性等优良特性。显然，这种优秀的性质取决于对模型的基本假设。附件：小样品、大样品和样品容量问题。数理统计有大样本理论或大样本性质的提法。讨论了当特定统计数据的准确分布未知(或因复杂而不易获得)时样本杨怡无穷大时的极端行为。如果存在极限分布且样本杨怡足够，则牙齿极限分布可以用作近似分布。小样本是指与大样本相比，所有样本量(不仅限于小样本)的统计遵从性的准确分布。例如，自由度倾向的极限分布是标准正态分布。正态总体标准偏差S的分布是自由度为n1的T分布，因此在故意估计时，可以对所有N使用T分布。n牙齿较大时，正

7、态分布也可以用作近似。如果自由度大于30，则与正态分布非常接近，因此在牙齿情况下，如果大于示例杨怡30，则可以利用较大的示例特性。但是，在所有情况下，不能推断大于N牙齿30的样例特性(如果存在极限分布)可用。因此，大于样品杨怡30的不能称为大样品，小于30的不能称为小样品。5，参数估计的概率分布和随机干扰项分布的估计1。为了测量参数估计的概率分布(平均值和方差)参数估计的精度，需要进一步确定参数估计的概率分布。满足假设条件的一般最小二乘估计服从正态分布。从估计量的线性和有效性中，可以得到两个茄子估计量的概率分布。，可证明的最小平方估计是公式(2.3.15)(省略证明过程)。那是对关岛的无偏估计量。(2.3.15)，RSS:残差平方和；N-2=n-k-c=m(其中n是样品数，k是收购数，c是常数项目数)。m是自由度。牙齿章节：m=n-1-1=n-2，(为估计和随机碰撞项目写入分布表达式)，107216/(10-2)=115.7672，补充测试问题1.2.n:最小平方原则3。使用正则方程表达式和OLS估计量的偏差形式。4.使用手动运算(不是电脑软件)估计表2.3.1中样例数据的