第二章回归分析与模型设定(高级计量经济学)

1、精选ppt1第二章第二章 回归分析与模型设定回归分析与模型设定General Regression Analysis and Model Specification精选ppt2 回归分析（回归分析（Regression Analysis）:一种最常用的一种最常用的统计分析工具，用来分析一个变量关于其他变量的统计分析工具，用来分析一个变量关于其他变量的依赖关系。依赖关系。 X 与与 Y间的回归关系可用来研究间的回归关系可用来研究X对对Y的影响，或用的影响，或用X来预测来预测Y。一、一、 总体均值与样本均值总体均值与样本均值 How to find the relationship between

2、 X and Y? 理论上应寻找总体回归函数总体回归函数( PRF),即在给定X时，Y的条件均值条件均值的函数 : Y|x=E(Y|X)=F(X) 2.1 回归分析回归分析:问题的引入问题的引入egression Analysis: Introduction精选ppt3 但我们往往只能得到样本数据。因此自然想到用样本均值样本均值来估计总体均值，总体均值， 并寻找样本回归函数样本回归函数 (SRF): mY|x=f(X) PRFSRFXYWe hope the SRF is a good estimate of the PRF.精选ppt4XY0.51.52.53.54.55.56.78.812

3、.517.50.500.0010.0110.0070.0060.0050.0050.0080.0090.0140.0040.400.0010.0020.0060.0070.0100.0070.0080.0090.0080.0070.250.0020.0060.0040.0070.0100.0110.0200.0190.0130.0060.150.0020.0090.0090.0120.0160.0200.0420.0540.0240.0200.050.0100.0230.0330.0310.0410.0290.0470.0390.0420.0070.000.0130.0130.0000.002

4、0.0010.0000.0000.0000.0000.000-0.050.0010.0120.0110.0050.0120.0160.0170.0140.0040.003-0.180.0020.0080.0130.0060.0090.0080.0080.0080.0060.002-0.250.0090.0090.0100.0060.0090.0070.0050.0030.0020.003p(x)0.0410.0930.0930.0820.1130.1030.1550.1550.1130.052Table 2.1 Joint frequency distribution of X=income

5、and Y=saving rateA simple illustration: how to find the sample mean 表 2.1 是1960年美国1027个家庭关于收入与储蓄率的联合频率分布. p(xi,yj) =the proportion of the 1027 families who reported the combination (X=xi and Y=yj).精选ppt5The conditional mean of Y given X=xi is jijijjijjxYxpyxpyxypymi)(),()|(|mY|XConditional mean func

6、tion of Y on X-0.050.000.050.100.150.200.51.52.53.54.55.56.78.812.517.5Income(thousands of dollars)Savings RateFig 2.1精选ppt6 同样地,如果可获得总体数据，我们就可得到给出X值时Y的总体条件均值总体条件均值 (population conditional means ) (xi,yi) =joint frequencies of the population (xi)=j (xi,yi) =marginal frequencies of X (yj|xi)=(xi,yi)/

7、(xi) =conditional frequencies of Y given X X= i xi(xi) =population mean of X Y|X= j yi(yj|xi) =population conditional mean of Y given XY|x=E(Y|X)=F(X)mY|x=f(X)精选ppt7Question: how to get f(x)?如果经济理论表明如果经济理论表明: Y|x=+X 但表2.1显示 mY|X 并非一条直线 - 我们是保持 mY|X 的原样呢? 还是对样本的 mY|X通过一条直线来平滑: m*Y|X=a+bX -如果用平滑线, 如何寻

8、找该直线? -用平滑线估计总体均值，要比样本均值估计效果更好吗? 如果经济理论表明如果经济理论表明: Y|X=X - 如何寻找该曲线(curve)? 平滑的样本曲线 m*Y|X 仍能告知有关 Y|X的相关信息吗？ 精选ppt8二、条件分布二、条件分布 假设(X,Y)的联合概率密度函数联合概率密度函数( joint probability density function , pdf) 为 f(x,y) ，则 X的边际密度函数边际密度函数(marginal pdf ): fX(x) =f(x,y)dy Y在 X=x 的条件密度函数条件密度函数( conditional pdf ): fY|X(y

9、|x)=f(x,y)/fX(x) 条件 pdf fY|X(y|x) 完全描述了Y 对 X的依赖关系。精选ppt9已知条件 pdf, 可计算: 条件期望条件期望(The conditional mean)dyxyyfxXYExYEXY)|()|()|(| 条件方差条件方差(The conditional variance)22|2)|()|()|()|()|()|(xYExYEdyxyfxYEyxXYVarxYVarXY 条件偏度条件偏度 (The conditional skewness) 条件峰度条件峰度 (The conditional kurtosis)2/33)|(|)|()|(xYV

10、arxxYEYExYS2/44)|(|)|()|(xYVarxxYEYExYK精选ppt102.2 回归分析回归分析Regression Analysis What statistical properties does E(Y|X) process?一、回归函数及其性质一、回归函数及其性质 定义定义 Regression Function: 称条件期望 E(Y|X)为Y关于 X 的回归函数(regression function )。Lemma Law of iterated expectation: EE(Y|X)=E(Y)例例: 设 Y=工资, X=1 (女性) and X=0 (男性)

11、，则 E(Y|X=1) = 女性员工平均工资 E(Y|X=0) = 男性员工平均工资精选ppt11 EE(Y|X) =P(X=1)E(Y|X=1)+P(X=0)E(Y|X=0) = 全体平均工资 =E(Y)Question: Why is E(Y|X) important from a statistical Perspective? 假设我们希望使用X的函数g(X)来预测Y，且使用均方误均方误( Mean Square Error ,MSE) 准则来评估 g(X)逼近Y的程度. 则均方误准则均方误准则（ MSE criterion ）下的最优预测就是条件期望E(Y|X).。精选ppt12 定

12、义定义 MSE: The mean square error of function g(X) used to pridict Y is defined as MSE(g)=EY-g(X)2精选ppt13 记 g0(X)=E(Y|X) 则 MSE(g)=EY-g(X)2 =EY-g0(X) + g0(X)-g(X)2 =EY-g0(X)2 + Eg0(X)-g(X)2 +2EY-g0(X)g0(X)-g(X) = EY-g0(X)2 + Eg0(X)-g(X)2 = 方差 + 偏误2 方差方差测度了测度了Y对其期望对其期望真实误差真实误差( true error)。 偏误20，且 g(X)=g

13、0(X)时等号成立. 因此，选择 g(X)=E(Y|X) 可使 MSE(g)达到极小。 证明证明: 使用方差与偏误平方分解技术精选ppt14 Theorem Regression Identity: 给定 E(Y|X), 总有如下等价式： Y = E(Y|X)+ = Y-E(Y|X)这里 称为回归扰动项回归扰动项(regression disturbance)且满足 E(|X)=0 证明: 定义 = Y-E(Y|X)，则 E(|X)=EY-E(Y|X)|X =E(Y|X) E(Y|X)=0 二、回归函数的等价形式二、回归函数的等价形式 精选ppt15 注意注意: (a) 回归函数 E(Y|X)

14、可用来通过X的信息预测Y的均值; (b) E(|X)=0 意味着回归误差 不包含X的任何可用来预测Y的信息。 换言之, 所有可用来预测Y期望值的信息都完全包含在 E(Y|X)之中。 条件 E(|X)=0 对模型参数经济含义的解释至关重至关重要要(crucial )。精选ppt16 (c) E(|X)=0 意味着 E()=EE(|X)=0 且 E(X)=EE(X|X)=EXE(|X)=EX0=0 (d) 可能存在 E(|X)=0 但 Var(|X) 是X的函数。 如果 Var(|X)=20, 称 是条件同方差条件同方差的(conditional homoskedasticity). 否则, 如果

15、 Var(|X)=2(X), 称存在条件异方差条件异方差(conditional heteroskedastisity) 注意：注意：计量经济方法往往视是否存在条件异方差而有所不同。精选ppt17 Example: 设 Y=0+(1+2)X+其中 X 与 相互独立, 且 E()=0, Var()=2。求 E(Y|X) 及 Var(Y|X). E(Y|X)= 0+E(1+2)X|X+E(|X) = 0+1X+2XE(|X)+E(|X) = 0+1X+2X0+0 = 0+1X Var(Y|X)= EY-E(Y|X)2|X = E0+(1+2)X+-(0+1X)2|X = E(2X+)2|X = E

16、(2X+1)22|X = (1+2X)2E(2|X)= (1+2X)22精选ppt18注意: 该例解释了为什么的条件方差可能依赖 X。 事实上,上述过程可写为 Y=0+1X+其中 =(1+2X) 易知 E(Y|X) = 0+1X +(1+2X)E(|X)= 0+1X Var(Y|X) = (1+2X)2Var(|X)= (1+2X)22 精选ppt192.3 线性回归模型线性回归模型Linear Regression Modeling 但总起来看, 回归函数 E(Y|X) 的函数形式未知。 Question: How to model E(Y|X)?精选ppt20一、一、 建立条件期望建立条件

17、期望 E(Y|X)的模型的模型 总地说来, 有种最基本的方法： (a) 非参数法非参数法(Nonparametric approach) (b) 参数法参数法(Parametric approach) 在经典计量经济学中在经典计量经济学中, 我们只关注我们只关注参数方法：参数方法： By restricting the class of functions F, we solve the MSE-minimization problem 特别地, 我们通常只用一簇线性函数线性函数(linear functions)来近似 g0(X). 当然，可以用类似的方法来建立 g0(X) 的非线性非线性回

18、归模型回归模型(Nonlinear regression models)精选ppt21 对该簇函数,函数形式已知为线性;未知的是 (k+1)1 向量 .精选ppt22 注意注意: (1) 这里函数簇A的主要特征是 g(X)=X 关于是线性的。关于X可以是非线性的，如 g(X)= 0+ 1X+ 2X2 或 g(X)= 0+ 1lnX (2) 关于参数的取值没有约束。精选ppt23 证明：证明： 求解最小化问题22min)(min1XYEXgYEkgRA精选ppt24根据一阶偏导为零的条件02XYE0)(2)()(2)()(2)(2XYXEXXYEXXYEXYE设*满足上述一阶条件，则EX(Y-X

19、*)=0E(XY)-E(XX*)=0E(XY)=E(XX)*=E(XX)-1E(XY)精选ppt25注意： (a) 条件E(Y2)保征E(Y|X)存在； (b) 非奇异矩阵)()()()()()()()()() (2212221212121kkkkkXEXXEXXEXXEXEXXEXXEXXEXEXXE保证解*存在。(c) 一般地，最佳线性最小二乘预测值(the best linear LS predictor) g*(X)=X*E(Y|X).精选ppt26Question: What is the interpretation for *? 在一元线性回归一元线性回归 g(X)=X中， =(

20、0, 1), X=(1, X1)。 )(),(11*1XVarXYCov Slope:Intercept:)()(1*1*0XEYEWhy?1)()()()()(1)()()(11)()()()()()(11)(112121212111112112111121111XEXEXEXEXEXEXEXEXEXEXEXEXEXEXXXEXXE验证验证精选ppt27)()()(11YXEYEYXYEXYE)()()()()()()()()(1)()(1)()()()()(1)()(11112121211112121211*YXEYEXEYXEXEYEXEXEXEYXEYEXEXEXEXEXEXYEXXE

21、)()()(),()()()(11121211YEXEYXEYXCovXEXEXVar于是：由于则：)(),(11*1XVarYXCov精选ppt28而),()()()()()()()()()()()()()()()()()()()()()()(1111112121212111211121YXCovXEYEXVarYEXEYXEXEYEXEXEYEXEYEXEYXEXEYEXEYXEXEYEXE)()(),()()()()(11*11111*0XEYEYXCovXEYEXVarXVar于是可通过求解minE(Y-(0+1X1)2的方法解出*0，*1精选ppt29Definition Linea

22、r Regression Model: The specification Y=X+u, Rk+1is called a linear regression model, where u is the model regression disturbance or regression error. 注意： 线性回归模型线性回归模型（linear regression model) 是人为定义的。因此，该模型可能没有包括真正的回归函回归函数数（regression function）: g0(X)=E(Y|X)二、二、 线性回归模型线性回归模型精选ppt30Theorem: 对线性回归模型 Y

23、=X+u以*代表最佳线性最小二乘解(best linear least square approximation coefficient)，则 =*当且仅当如下正交条件成立： E(Xu)=0 Proof: 记 u=Y-X 如果 =*，则 E(Xu)=E(XY)-E(XX)* =E(XY)-E(XX)E(XX)-1E(XY)=0 如果 E(Xu)=0, 则 E(Xu)=E(XY)-E(XX)=0 于是： =E(XX)-1E(XY)= * 精选ppt31注意：注意： (1)无论E(Y|X) 是否线性，我们总可以写出线性回归模型Y=X+u，并设定E(Xu)=0，以使= * ； (2) 当X中包含有截

24、距项时（如X1=1）， E(Xu)=0 就意味着E(u)=0。(Why?) (3) E(Xu)=0与E(u|X)=0不能等同。有E(u|X)=0就有E(Xu)=0, 但反之不成立。 例如例如：设u=1+，X与为相互独立且服从标准正态分布N(0,1)的两随机变量，则 E(u|X)= 1 E(Xu)=E(X1)+E(X)=E(X)+E(X)E()=0 (4) 当E(u)=0时， E(Xu)=Cov(X, u) (Why?)精选ppt322.4 模型的正确设定模型的正确设定Correct Model Specification 对于被解释变量Y，最好的代表就是其条件期望E(Y|X)，因此，线性模型中

25、模型的正确设定就是关于条件期望的正确设定。 What is the characterization for correct model specification in mean?Definition Correct Model Specification in Mean: 线性回归模型 Y=X+u, Rk+1称为是关于E(Y|X)正确设定的，如果存在0Rk+1 使得 E(Y|X)=X0精选ppt33注意： (1)如果对所有的Rk+1，都有E(Y|X)X，则认为该线性模型没有关于E(Y|X)正确设定(misspecified)； (2)如果一个线性模型是正确设定的，则参数0称为是“真实参数”

26、（true parameter)； (3)经济理论不能保证E(Y|X)的函数形式关于X是线性的。因此当解释参数的经济含义时应慎重。精选ppt34Theorem: 如果线性模型 Y=X+u关于E(Y|X)正确设定，则 (a) 存在0使 Y=X0+， 其中E(|X)=0 (b) E(X)=0 (c) *=0注意：注意： （1）结论(a)意味着E(Y|X)=X0 （2）结论（c）意味着，在正交性条件下，最佳线性最小二乘近似解(beat linear LS approximation coefficient)*等于参数的真实值0。精选ppt35 (b) 由(a)知E(|X)=0，从而易推出E(X)=0； (c) 由(b)知对模型Y=X0+ 成立正交性条件，因此 0=*Proo