华中科技大学《计量经济学》第三章：双变量回归模型

1、 第三章第三章双变量回归模型：估计问题双变量回归模型：估计问题简单的线性回归模型对于给定的 xi的水平, 预期的食物支出将是: E(Yi|X i) = 1 +2 X iYi = 每周家庭支出Yi = 1 + 2 X i + uiX i = 每周家庭收入简单线性回归模型的性质6 对每个观测值对每个观测值xi不固定不固定i12iiii12i2iiijij22ii12i1 Y = + X + u2 E uE(Y) = +X 3 var uvar(Y) 4 cov(u ,u ) = cov(Y,Y ) = 05 u N(0,) Y N(+x ,) 参数 1和 2是未知常数. 当当 b1 和和 b2 用

2、来表示公式而不用来表示公式而不是设定值，它们就是是设定值，它们就是 1 和和 2的的估计，它们是随机变量因为对每估计，它们是随机变量因为对每一样本它们都不一样一样本它们都不一样产生样本估计量 b1 (或 1)和 b2(或 2) 的公式就是 1 和 2的估计。 如果最小二乘估计量 b1 和 b2是随机变量, 那么它们的均值，方差，协方差以及概率分布是什么？ 比较其他方式估计量和最小二乘估计量的性质. 估计量是随机变量 b1 和和b2的预期值的预期值 b1 = Y - b2X这里 Y = Yi / n 和 X = Xi / n 简单线性回归下的估计量的公式:b2 =nXiYi -XiYin Xi

3、-( Xi)22= xiyi xi2将 Yi = 1 + 2xi + u i替代到 b2 公式中并得:b2 = 2 +nxi ui - xi uinxi -(xi)22b2 的均值是:E(b2) = 2 +nxiE(ui)- xi E(ui)nxi -(xi)22因为 E(ui) = 0, then E(b2) = 2 .=0既然b2 分布在 2周围,我们认为b2 2是的无偏估计量.E(b2) = 2 意味着b2 分布在 2周围. 无偏估计量 先前的无偏结果假定使用了正确的设定形式 错误的模型设定 如果模型是错误形式或遗漏重要变量,则 E(ui)= 0, 那么 E(b2) = 2 如:Y =

4、1 + 2X2 + (3X3 +v)u = 3X3 +vE(ui) 0 截距的无偏估计 类似的, 截距的估计量 b1或常数项可以表示为 1 的无偏估计量，当模型是正确设定时.E(b1) = 1b2的表达式:b2 =nxiyi xi yinxi (xi)22分子分母用 n相乘:b2 =(xi x )yi y )xi x )2=xiyixi2 2Var(bi)b2的方差的方差 b2 是 Yi 值的一个函数 但var(b2) 并不直接涉及到 Yi.假定 Yi 和ui 都有方差 2,估计量 b2 的方差是:xi x 22var(b2) = xi 22Se(b2)= (8.50)2/92.55 = 0.

5、7809 = 0.8836Se(b2)= (8.50)2/92.55 = 0.7809 = 0.8836b1的方差的方差 给定 b1 = y b2x估计量 b1 的方差是:var(b1) = 2n x i x2x i2nxi2x i2 2Se(b1)= (8.50)2(2235/20(92.55) = 87.238 = 9.34b1 和和 b2的协方差的协方差如果x = 0,斜率变化而不影响方差.cov(b1,b2) = 2 xi2 x x t x2 x = 2 估计误差项的方差估计误差项的方差, 2ui = yi b1 b2 xi 是 2 的无偏估计量uii =1T2n 2 = 哪些因素决定

6、方差和协方差哪些因素决定方差和协方差 ?1. 2: Yt 值的不确定 b1, b2 以及它们关系的不确定.2. Xt 变异越大, b1, b2,等可信度越高.3.样本容量, N, 越大, N, 方差和协方差越小.4. b1 的方差大， 当平方的 Xt 值远异于零.5. 斜率, b2, 对截距, b1,没有影响，当 样本均值为零时. 如果样本均值为正, b1 和b2 的协方差将为负, 反之亦然.最小二乘残差的性质最小二乘残差的性质1. ui = 0 或 = ei = 02. uiXi = 0 或 = eiXi = 0 3. (Yi-Yi)(Yi-Y)=0 或= ei yi =0 4. 线性回归的

7、直线必须通过 和 的样本均值.XY平方和分解平方和分解(Yi - Y) = (Yi - Y)为度量变异: (Yi - Y)2 = (Yi - Yi) + (Yi - Y)2 (Yi - Y)2 = (Yi - Yi)2 + (Yi - Y)2TSS总平方和总平方和 ESS解释平方和解释平方和 - Yi) + (Yi uRSS残差平方和残差平方和(u2)R2 度量度量 “拟合优度拟合优度”定义 R2 = ESSTSS= 1 -RSSTSS= 1 - ui2 (Yi - Y)2R2 = (Yi - Y)2 (Yi - Y)21 R2 0可决系数 R2的表达式R2 = (Yi - Y)2 (Yi -

8、 Y)2ESSTSS=yi2yi2=2xi )2yi2= xi2yi2= xi2yi2= Sx2 Sy2=xi2yi2xiyixi22xiyi)2xi2yi2=YX当 R2 = 1SRFSRF 通过所有点SRFYX当R2 = 0哪个是SRF ?高斯马尔可夫定理高斯马尔可夫定理在经典的线性回归模型条件下, 最小二乘 (OLS) 估计量 b1 and b2 是1和 2 的最优最优线性无偏估计量线性无偏估计量 (BLUE). 这意味着 b1和 b2 在1 和2所有线性无偏估计量中拥有 最小方差.注: 高斯马尔可夫定理不适用于非线性估计量 :估计量 bk e的期望值等于 k的实际值无偏的无偏的Prob

9、.(b2) 2的实际值无偏的E(b2)= 2E(b2) 2E(b2) 2过高估计E(b2)E(b2) 2过低估计E(b2)最小二乘估计量的概率分布最小二乘估计量的概率分布 b2 N 2 ,x i2 2b1 N 1 , nx i2 2 x i2 中心极限定理条件下的正态分布中心极限定理条件下的正态分布如果高斯马尔可夫（ Gauss-Markov） 假设成立, 且样本容量, N, 足够大,则最小二乘估计量, b1和 b2,有渐近的正态分布 ，样本容量, N越大估计越准确有效性:bk 将是一个有效无偏估计量， 如果对定样本容量, N, bk 的方差是最小的.一致性:bk 是 k 的一个一致估计量，如果 bk 的概率1. 它意味着， 当样本容量增大 bk 将更精确最小二乘预测子最小二乘预测子, Yi 应用 OLS 的估计结果，给定一个解释变量, Xi, 我们将可以预测应变量, Yi,.最小二乘预测子是:Yi = b1 + b2 x i标准误或标准偏离Se(bk) =