给定xy的条件期望是x的线性函数

简单回归模型简单回归模型的定义普通最小二乘法的推导OLS的操作技巧度量单位和函数形式OLS估计量的期望值和方差过原点回归第一页1Economics20-Prof.Anderson第二页，共69页。简单回归模型第二页2Economics20-Prof.Anderson第三页，共69页。简单回归模型的定义

在简单线性回归模型y=b0+b1x+u中,我们一般称y为：DependentVariable（因变量）Left-HandSideVariableExplainedVariable（被解释变量）Regressand（回归子）第三页3Economics20-Prof.Anderson第四页，共69页。在简单线性回归模型y=b0+b1x+u中,我们一般称x为IndependentVariable（自变量）Right-HandSideVariableExplanatoryVariable（解释变量）Regressor（回归元）Covariate（协变量）ControlVariables（控制变量）第四页4Economics20-Prof.Anderson第五页，共69页。简单回归的术语yx因变量自变量被解释变量解释变量响应变量控制变量被预测变量预测变量回归子回归元第五页5Economics20-Prof.Anderson第六页，共69页。ASimpleAssumption（一个简单假设）变量u称为

errorterm（误差项）

或者disturbance（扰动项）

代表除了x之外影响y的其它因素。计量研究关注的是x而非u对y的影响，但u与x的关系至关重要。如果u中的其他因素保持不变，则u的变动为零，x对y存在线性效应，可得2.2，其中b1为斜率参数。总体中u的均值为零，意味着：

E(u)=0既然我们可以用b0

将E(u)标准化为零，E(u)=0并非一个限制性条件。第六页6Economics20-Prof.Anderson第七页，共69页。零条件均值假定u和x的相关性假定至关重要。

相关关系只度量了u和x之间的线性关系，u和x不相关，但却可能与x的函数比如x2相关。一种更好的方法是，对给定x时u的期望做出假定：u的平均值与x值无关，即

E(u|x)=E(u)=0E(y|x)=b0+b1x——populationregressionfunction（总体回归函数）第七页7Economics20-Prof.Anderson第八页，共69页。E(y|x)是x的一个线性函数，对任何给定的x值，y的分布都以

E(y|x)为中心。第八页8Economics20-Prof.Anderson第九页，共69页。2.2普通最小二乘法的推导回归的基本思想是利用样本估计总体参数令

{(xi,yi):i=1,…,n}表示从总体中抽取的一个容量为n的随机样本。对于样本中的每一个观测，我们都可以写作

yi=b0+b1xi+ui第九页9Economics20-Prof.Anderson第十页，共69页。....y4y1y2y3x1x2x3x4}}{{u1u2u3u4xy总体回归线、样本数据点集和相关的误差项E(y|x)=b0+b1x第十页10Economics20-Prof.Anderson第十一页，共69页。OLS估计值的推导E(u|x)=E(u)=0意味着x和u之间的协方差也为零，即Cov(x,u)=E(xu)=0因为：Cov(X,Y)=E(XY)–E(X)E(Y)第十一页11Economics20-Prof.Anderson第十二页，共69页。OLS推导续

既然u=y–b0–b1x我们可以将上述两个限制条件改写为由

x,y,b0andb1

表达的式子E(y–b0–b1x)=0

E[x(y–b0–b1x)]=0这被称为矩条件。第十二页12Economics20-Prof.Anderson第十三页，共69页。运用矩法推导OLS运用矩法进行估计意味着将总体的矩条件应用于样本矩条件.第十三页13Economics20-Prof.Anderson第十四页，共69页。OLS推导续给定样本均值的定义和求和的性质，条件一可改写为：第十四页14Economics20-Prof.Anderson第十五页，共69页。第十五页15Economics20-Prof.Anderson第十六页，共69页。第十六页16Economics20-Prof.Anderson第十七页，共69页。OLS估计的斜率参数x和y之间的样本协方差x的样本方差第十七页17Economics20-Prof.Anderson第十八页，共69页。OLS斜率估计值的相关总结斜率估计值等于x和y之间的样本协方差除以x的样本方差。

斜率估计值的符号取决于x和y的正负相关性：x和y正相关，斜率估计值为正；x和y负相关，斜率估计值为负。得到斜率估计值的必要条件是，x在样本中是有变异的。第十八页18Economics20-Prof.Anderson第十九页，共69页。第十九页19Economics20-Prof.Anderson第二十页，共69页。OLS通过样本点来拟合曲线，使得残差平方和尽可能小，故称为“最小二乘”法。

残差û是误差项u的估计值,等于实际观察值与拟合值（样本回归函数）之差。第二十页20Economics20-Prof.Anderson第二十一页，共69页。拟合值和残差....y4y1y2y3x1x2x3x4}}{{û1û2û3û4xy第二十一页21Economics20-Prof.Anderson第二十二页，共69页。推导的另一思路根据拟合曲线的直观思想，我们可以通过建立最小化问题，即我们选择可使残差平方和最小化的参数：第二十二页22Economics20-Prof.Anderson第二十三页，共69页。推导的另一思路（续）利用微积分优化，我们可得到OLS估计值的一阶条件：第二十三页23Economics20-Prof.Anderson第二十四页，共69页。例子2.3CEO薪酬和股本回报率第二十四页24Economics20-Prof.Anderson第二十五页，共69页。第二十五页25Economics20-Prof.Anderson第二十六页，共69页。2.3OLS的操作技巧拟合值和残差第二十六页26Economics20-Prof.Anderson第二十七页，共69页。第二十七页27Economics20-Prof.Anderson第二十八页，共69页。OLS的代数性质

OLS残差之和等于零。

OLS残差的样本均值为零。

x与û的样本协方差为零。OLS回归线总是通过样本均值：点总在OLS回归线上第二十八页28Economics20-Prof.Anderson第二十九页，共69页。第二十九页29Economics20-Prof.Anderson第三十页，共69页。相关术语第三十页30Economics20-Prof.Anderson第三十一页，共69页。证明:SST=SSE+SSR第三十一页31Economics20-Prof.Anderson第三十二页，共69页。拟合优度计算总平方和被模型解释的比例，有助于了解样本回归线对样本数据的拟合是否良好?

R2=SSE/SST=1–SSR/SST

第三十二页32Economics20-Prof.Anderson第三十三页，共69页。第三十三页33Economics20-Prof.Anderson第三十四页，共69页。UnitsofMeasurementandFunctionalForm第三十四页34Economics20-Prof.Anderson第三十五页，共69页。UnitsofMeasurementandFunctionalForm(cont)Thegoodness-of-fitofthemodelshouldnotdependontheunitsofmeasurementofourvariables.第三十五页35Economics20-Prof.Anderson第三十六页，共69页。IncorporatingNonlinearitiesinSampleRegression第三十六页36Economics20-Prof.Anderson第三十七页，共69页。Example2.11CEOSalaryandFirmSales第三十七页37Economics20-Prof.Anderson第三十八页，共69页。第三十八页38Economics20-Prof.Anderson第三十九页，共69页。UnitsofMeasurementandFunctionalForm(cont)第三十九页39Economics20-Prof.Anderson第四十页，共69页。OLS估计的期望值和方差OLS的无偏性OLS估计的方差估计误差项的方差第四十页40Economics20-Prof.Anderson第四十一页，共69页。UnbiasednessofOLS:fourassumptions

AssumptionSLR.1:thepopulationmodelislinearinparametersasy=b0+b1x+uAssumptionSLR.2:wecanusearandomsampleofsizen,{(xi,yi):i=1,2,…,n},fromthepopulationmodel.Thuswecanwritethesamplemodelyi=b0+b1xi+uiAssumptionSLR.3:E(u|x)=0AssumptionSLR.4:thereisvariationinthexi第四十一页41Economics20-Prof.Anderson第四十二页，共69页。UnbiasednessofOLS:FourAssumptions第四十二页42Economics20-Prof.Anderson第四十三页，共69页。第四十三页43Economics20-Prof.Anderson第四十四页，共69页。第四十四页44Economics20-Prof.Anderson第四十五页，共69页。第四十五页45Economics20-Prof.Anderson第四十六页，共69页。OLS无偏性考虑无偏性，需要用总体参数重写参数估计值：第四十六页46Economics20-Prof.Anderson第四十七页，共69页。OLS无偏性（续）第四十七页47Economics20-Prof.Anderson第四十八页，共69页。OLS无偏性（续）第四十八页48Economics20-Prof.Anderson第四十九页，共69页。OLS无偏性：证明第四十九页49Economics20-Prof.Anderson第五十页，共69页。第五十页50Economics20-Prof.Anderson第五十一页，共69页。关于无偏性的一个总结OLSestimatesofb1

和

b0

的OLS估计是无偏的，如果无偏性的证明依赖于前述4个假设，若任何一个假设满足，OLS并非一定是无偏的。无偏性是对参数估计值的无偏性：给定一个样本，参数估计值与真实的总体参数或远或近。当u包含了影响y同时又与x相关的因素，简单回归将导致虚假相关（spuriouscorrelation）.第五十一页51Economics20-Prof.Anderson第五十二页，共69页。例子2.12学生数学成绩和学校免费午餐计划math10：10分制考试中及格学生的比例lnchprg:符合资格享受免费午餐计划的学生的比例第五十二页52Economics20-Prof.Anderson第五十三页，共69页。OLS估计值的方差参数估计值的样本分布是以真实总体参数为中心的。了解这个分布的分散程度是很重要的。增加一个假设条件，更容易了解这个方差的性质：

AssumptionSLR.5:Var(u|x)=s2

（同方差假设）第五十三页53Economics20-Prof.Anderson第五十四页，共69页。OLS方差（续）Var(u|x)=E(u2|x)-[E(u|x)]2E(u|x)=0,sos2

=E(u2|x)=E(u2)=Var(u)s2

是无条件方差，称为误差方差。s称为误差标准差。E(y|x)=b0+b1x

：给定x,y的条件期望是x的线性函数；Var(y|x)=s2

意味着：给定x，y的方差是一个常数。第五十四页54Economics20-Prof.Anderson第五十五页，共69页。第五十五页55Economics20-Prof.Anderson第五十六页，共69页。如Var(u|x)依赖于x,误差项显示出异质性。

既然Var(u|x)=Var(y|x),当Var(y|x)是x的一个函数，误差项存在异质性。例子：工资方程中异方差性

工资依赖于教育水平。但教育水平越高，工资的变异性越大，反之亦然。第五十六页56Economics20-Prof.Anderson第五十七页，共69页。第五十七页57Economics20-Prof.Anderson第五十八页，共69页。OLS方差（续）第五十八页58Economics20-Prof.Anderson第五十九页，共69页。证明:第五十九页59Economics