第2讲简单回归模型ppt课件

1、第二讲第二讲 简单回归模型简单回归模型Simple Regression Model一、根本概念一、根本概念二、普通最小二乘法二、普通最小二乘法OLS三、几个问题三、几个问题四、四、OLS估计量的性质估计量的性质n 回归的涵义回归的涵义n 一个根本假定一个根本假定n 总体回归函数总体回归函数一、根本概念一、根本概念回归的涵义回归的涵义o 最初的涵义：回归最初的涵义：回归regress一词最早由英国生理学家高一词最早由英国生理学家高尔顿尔顿Galton提出，用以指给定父母的身高后，儿女的提出，用以指给定父母的身高后，儿女的身高有回复到人口总体平均身高的趋势，即身高有回复到人口总体平均身高的趋势，

2、即“回归到中等回归到中等regression to mediocrityo 回归分析：在其他条件不变的情况下，调查一个变量对另回归分析：在其他条件不变的情况下，调查一个变量对另一个变量的影响。一个变量的影响。回归的涵义回归的涵义X自变量自变量Independent variable解释变量解释变量Explanatory variable控制变量控制变量Control variable预测元预测元Predictor回归元回归元RegressorY因变量因变量Dependent variable被解释变量被解释变量Explained variable响应变量响应变量Response variabl

3、e预测子预测子Predictand回归子回归子RegressandXYu 10 ，那那么么若若o 回归分析中的变量和参数回归分析中的变量和参数扰动项扰动项：误差项：误差项系数（斜率）系数（斜率）：斜率参数：斜率参数系数（常数项）系数（常数项）：截距参数：截距参数/uuXY/1010 回归的涵义回归的涵义o 例子例子o 简单回归分析即只需一个解释变量难以做到控制其他简单回归分析即只需一个解释变量难以做到控制其他条件不变，但可以为我们学习多元回归分析即两个及两条件不变，但可以为我们学习多元回归分析即两个及两个以上解释变量奠定根底个以上解释变量奠定根底X价格价格教育教育教育教育Y需求量需求量收入收入

4、总产出总产出其他其他条件条件收入收入其他商品价格其他商品价格个人偏好个人偏好工作经验工作经验个人能力个人能力家庭背景家庭背景物质资本投入物质资本投入劳动力投入劳动力投入技术技术一个根本假定一个根本假定零条件均值假定零条件均值假定zero conditional mean assumption如何保证其他条件不变？简单地，假设如何保证其他条件不变？简单地，假设X和和u是独立的，即是独立的，即X的变化不会对的变化不会对u呵斥影响，那么呵斥影响，那么b1就可以度量其他条件不变就可以度量其他条件不变的情况下的情况下X对对Y的影响。在计量分析中，采用一个更弱一些的影响。在计量分析中，采用一个更弱一些的技

5、术性假定的技术性假定零条件均值假定零条件均值假定零条件均值假定的关键是假定零条件均值假定的关键是假定u的均值独立性，假设均值独立的均值独立性，假设均值独立性成立，那么性成立，那么u的条件均值必然等于零的条件均值必然等于零0)|(30)(2)()|(110 XuEuEuEXuEXuuXY、综综合合上上述述两两条条，有有：、可可以以通通过过标标准准化化令令即即，的的均均值值独独立立于于，假假定定、对对于于 一个根本假定一个根本假定三个假定三个假定u与与X独立独立u的均值独立于的均值独立于X均值独立性均值独立性u与与X不相关不相关1是比是比2和和3更强的假定，而更强的假定，而2是比是比3更强的假定。

6、对于回归分析更强的假定。对于回归分析，假定，假定2是必需的，但假定是必需的，但假定1和和3更易于了解更易于了解不不相相关关与与，即即或或意意味味着着事事实实上上，uXuXCorruXCovuEXuE0),(0),()()|( 总体回归函数总体回归函数o 总体回归函数总体回归函数population regression function, PRF的的条条件件均均值值的的影影响响改改变变一一个个单单位位对对衡衡量量了了因因此此，改改变变一一个个单单位位时时，当当称称为为非非系系统统性性成成分分。与与其其条条件件均均值值的的偏偏差差，表表示示分分；的的均均值值，称称为为系系统统性性成成取取某某一一

7、确确定定值值时时表表示示总总体体回回归归函函数数为为：在在零零条条件件均均值值假假定定下下，YXXXXYEXYuYXXXXuXEXYE111010101010)()1()|(| )()|( .x1x2总体回归函数总体回归函数E(y|x) = b0 + b1xyf(y)x.y4y1y2y3x1x2x3x4u1u2u3u4xyE(y|x) = b0 + b1x总体回归函数总体回归函数n OLS的推导的推导n OLS的推导：另一种方法的推导：另一种方法n OLS的计算步骤的计算步骤n 拟合优度拟合优度二、普通最小二乘法二、普通最小二乘法OLSOLSOLS的推导的推导n 为了估计出总体回归函数中的参数

8、，需求从总体中抽取一为了估计出总体回归函数中的参数，需求从总体中抽取一个样本。用个样本。用(Xi ,Yi): i=1, ,n 表示从总体中得到的一个样表示从总体中得到的一个样本容量为本容量为n的随机样本。有：的随机样本。有：n Yi=b0+b1Xi+uiOLS的推导的推导根据零条件均值假定，根据零条件均值假定，Cov(X,u) = E(Xu) E(X)E(u)=E(Xu)=0所以：所以：E(Y b0 b1X) = 0 EX(Y b0 b1X) = 0 00(1101110110101010 niiiiniiiXYXnXYnX)YXXY 的的样样本本均均值值分分别别为为：和和则则随随机机变变量量

9、的的估估计计量量，和和分分别别为为总总体体参参数数和和令令OLS的推导的推导n 即：即： niiiniiniiiniiiniiiiniiiiXXYYXXXXXYYXXXYYXXYXnXYXY1211111111110110100)(0 有：有：代入：代入：或或OLS的推导的推导n 普通最小二乘普通最小二乘ordinary least square, OLS 估计量估计量 的的普普通通最最小小二二乘乘估估计计量量和和称称为为和和通通过过上上述述方方法法得得到到的的且且有有：，那那么么：如如果果1010101211120 XY XXYYXXXXniiiniinii OLS的推导的推导000000)

10、( )(11)(11111211122 ，则，则负相关，即负相关，即和和如果如果，则，则不相关，即不相关，即和和如果如果，则，则正相关，即正相关，即和和可见，如果可见，如果所以：所以：的样本协方差：的样本协方差：和和的样本方差：的样本方差：XYXYXYXXYiniiXYniiXSYXSYXSYXSSYYXXnSYXXXnSX进一步的分析进一步的分析OLS的推导的推导n 拟合值拟合值fitted value、残差、残差residual和样本回归函和样本回归函数数sample regression function, SRF的值的值时时表示表示的变化量的变化量变化一个单位时变化一个单位时，表示，表

11、示的样本回归函数的样本回归函数为总体回归函数为总体回归函数定义定义时的残差时的残差为为定义定义的拟合值的拟合值时时为为定义定义YXYXXYXX|YEXYXXXYYYuYXXXYiiiiiiiii0)(0110101010 .y4y1y2y3x1x2x3x41234xyxy10SRFOLS的推导的推导.y4y1y2y3x1x2x3x4xyxy 10 SRF1OLS的推导的推导SRF2xy10 n 不同的样本得到不同的样本回归函数不同的样本得到不同的样本回归函数OLS的推导：另一种方法的推导：另一种方法o 根本思想：找到参数的适宜估计值使得根本思想：找到参数的适宜估计值使得Y的拟合值与实践值的拟合

12、值与实践值总体而言尽能够地接近，也就是总体而言令残差最小总体而言尽能够地接近，也就是总体而言令残差最小6362)()(0/0/)()(min1021101210121210 pXYXXYYXXQQXYYYuQiiiniiiniiinii证证明明过过程程见见课课本本一一阶阶条条件件：最最小小，即即：，使使得得残残差差的的平平方方之之和和和和找找到到 OLS的计算步骤的计算步骤OLS的计算步骤的计算步骤XYXXYYXXXXYYXXYYXXYXiiiiiiii 10212)()()()()()( 第第五五步步：第第四四步步：和和第第三三步步：计计算算和和第第二二步步：计计算算和和第第一一步步：计计算

13、算OLS的计算步骤的计算步骤例题例题2_1课本课本p31：例：例2.3salary: CEO的薪水的薪水roe：公司的股本报答率：公司的股本报答率OLS估计：估计：方法一：用方法一：用excel方法二：用方法二：用stata先请看先请看“课程相关资料中课程相关资料中“stata根本操作根本操作结果：结果：roe.salary50118191963 拟合优度拟合优度o 为了衡量根据为了衡量根据OLS估计得出的样本回归函数对真实数据的估计得出的样本回归函数对真实数据的拟合程度，引入拟合优度拟合程度，引入拟合优度goodness of fitness的概念的概念 niiniiniiniiuYYYYp

14、YYYY12121212)()(37)(）：可可以以证证明明（课课本本的的样样本本总总变变异异。即即在在样样本本中中的的离离散散程程度度，衡衡量量用用拟合优度拟合优度o图解图解XiSRFYiABC iYYABuBCYYACYYiii 残残差差部部分分：被被解解释释部部分分：总总体体变变异异：拟合优度拟合优度v 总平方和总平方和total sum of squares, SST：衡量：衡量Y的样本总变异的样本总变异v 解释平方和解释平方和explained sum of squares, SSE：Y的样本总变的样本总变异可以被解释变量解释的部分异可以被解释变量解释的部分v 残差平方和残差平方和r

15、esidual sum of squares, SSR：Y的样本总变的样本总变异不能被解释变量解释的部分，也称为剩余平方和异不能被解释变量解释的部分，也称为剩余平方和SSRSSESSTuSSRYYSSEYYSSTniiniinii 有有：121212)()(拟合优度拟合优度断定系数断定系数coefficient of determination留意：断定系数并不是判别模型好坏的主要规范！留意：断定系数并不是判别模型好坏的主要规范！为为样样本本相相关关系系数数因因此此也也称称，此此外外，可可以以证证明明优优度度越越好好。越越大大，说说明明模模型型的的拟拟合合，易易知知，异异被被模模型型解解释释的

16、的比比例例，表表示示因因变变量量的的样样本本总总变变为为模模型型的的判判定定系系数数，定定义义：RSSSRR:RRRSSTSSRSSTSSERYXXYXY 22222011拟合优度拟合优度断定系数的计算断定系数的计算SSTSSRSSTSSERYYSSTuSSRYYSSEYYuXY2iiiiiiii 1)(,)(,2221001或或第第五五步步：第第四四步步：计计算算第第三三步步：计计算算第第二二步步：计计算算和和第第一一步步：估估算算 拟合优度拟合优度例题例题2_2课本课本p38，例，例2.8salary: 薪水薪水roe：股本报答率：股本报答率R2=0.0132意味着股本报答率可以解释意味着

17、股本报答率可以解释CEO薪水变异的薪水变异的1.3%01320209501.18191.963.Rnroesalary2 ，n 丈量单位丈量单位n 函数方式函数方式n 过原点回归过原点回归三、几个问题三、几个问题丈量单位丈量单位解释变量或解释变量或/和被解释变量的丈量单位变化会改动回归结果和被解释变量的丈量单位变化会改动回归结果例题例题2_3roesalarysalaryroesalarysalaryroesalarysalary1 .1850191.96318501963191%501.18191.963% 本本回回报报率率（绝绝对对值值）：薪薪水水（千千美美元元），股股）回回报报率率（：薪

18、薪水水（美美元元），股股本本）本本回回报报率率（：薪薪水水（千千美美元元），股股函数方式函数方式o 线性模型线性模型Linear model：所谓线性，是指对参数是线：所谓线性，是指对参数是线性的，并非指对变量是线性的。性的，并非指对变量是线性的。XYXLnYXYXYeXLnYLnXYLnXLnY:deYcXYbXYXYaX2101010101010100210101)()1(.;.;.101 ；非非线线性性模模型型：倒倒数数模模型型：对对数数模模型型指指数数模模型型：幂幂函函数数模模型型：多多项项式式模模型型：线线性性模模型型：函数方式函数方式o 假设对解释变量或被解释变量进展某种方式的函数

19、变换，假设对解释变量或被解释变量进展某种方式的函数变换，不会改动模型的参数线性性，但会使得模型的经济意义更不会改动模型的参数线性性，但会使得模型的经济意义更为合理。我们讨论三种常用的函数方式：为合理。我们讨论三种常用的函数方式：o 对数对数-程度模型程度模型log-levelo 对数对数-对数模型对数模型log-logo 程度程度-对数模型对数模型level-log函数方式函数方式对数对数-程度模型不变增长率模型程度模型不变增长率模型。将将增增加加增增加加一一个个单单位位，那那么么即即如如果果的的相相对对变变化化量量，增增加加一一个个单单位位引引起起的的表表示示可可见见，右右边边左左边边求求偏

20、偏导导：对对样样本本回回归归函函数数：模模型型%100/111111010 YXYXXYYXYYXYLnXXYLnuXLnY:函数方式函数方式o 对数对数-程度模型：工资模型程度模型：工资模型WSSeW10 LnWSSLnW10 函数方式函数方式例题例题2_4：对数：对数-程度模型课本程度模型课本p42, 例例2.10%.Rneduc.wage)Lneducwage23811860,52608305840(年年，平平均均而而言言工工资资增增加加表表明明受受教教育育年年限限每每增增加加：受受教教育育年年限限：工工资资 函数方式函数方式o 对数对数-对数模型常弹性模型对数模型常弹性模型。将将增增加

21、加，那那么么增增加加如如果果的的弹弹性性系系数数，与与为为可可见见，右右边边左左边边求求偏偏导导：对对于于样样本本回回归归函函数数：模模型型%1/11111111010 Y%XXYXXYYXXLnXXYYXYLnXLnXYLnuLnXLnY:函数方式函数方式o 对数对数-对数模型：需求价钱弹性对数模型：需求价钱弹性QdP10 PeQd LnQdLnPLnPLnQd10 函数方式函数方式例题例题2_5：对数：对数-对数模型课本对数模型课本p42, 例例2.11%257012110209)(25708224)(.CEO%.R,nsalesLn.salaryLnsalessalary2的的薪薪水水增

22、增加加，平平均均而而言言表表明明公公司司销销售售额额每每增增加加：销销售售额额：薪薪水水 函数方式函数方式o 程度程度-对数模型对数模型个单位。个单位。将增加将增加那么平均而言那么平均而言，增加增加表示：如果表示：如果可见，可见，右边右边左边左边求偏导：求偏导：对于对于样本回归函数：样本回归函数：模型模型100/1/11111111010 Y%XXXYXXLnXXYXLnXYuLnXY:函数方式函数方式例题例题2_6：程度：程度-对数模型对数模型亿亿美美元元平平均均而而言言约约增增加加则则，增增加加年年间间美美国国的的货货币币供供给给每每表表明明：与与货货币币供供给给的的数数据据得得到到年年美

23、美国国根根据据85251198719738258401632919871973.GNP%LnM.GNPGNP 过原点回归过原点回归o 在分析经济问题时有时要求被解释变量为在分析经济问题时有时要求被解释变量为0时解释变量也为时解释变量也为0，此时需求用到过原点回归，此时需求用到过原点回归regression through the origino 实例：实例：o 可变本钱正比于产量可变本钱正比于产量o 永久性消费正比于永久性收入永久性消费正比于永久性收入o 通货膨胀率正比于货币供应量通货膨胀率正比于货币供应量o 此时此时1 的的OLS估计量同样由前面给出的公式计算估计量同样由前面给出的公式计算u

24、XY 1 即即：n 简单回归模型的高斯简单回归模型的高斯-马尔科夫假定马尔科夫假定n OLS估计量的无偏性估计量的无偏性n OLS估计量的方差估计量的方差n OLS估计量的有效性估计量的有效性四、四、OLSOLS估计量的性质估计量的性质简单回归模型的高斯简单回归模型的高斯- -马尔科夫假定马尔科夫假定o 以上引见了回归系数的以上引见了回归系数的OLS点估计，但为了判别点估计的点估计，但为了判别点估计的无偏性、有效性等性质以及进展假设检验，还需对回归模无偏性、有效性等性质以及进展假设检验，还需对回归模型做出一些假定型做出一些假定o 简单回归模型的高斯简单回归模型的高斯-马尔科夫假定马尔科夫假定2

25、XuVarSLRXuESLRXSLRSLRSLRuXY )|(5 .0)|(04 .3 .2 .1 .10件件方方差差为为常常数数，即即同同方方差差性性：误误差差项项的的条条，即即条条件件均均值值为为零零条条件件均均值值：误误差差项项的的的的样样本本具具有有一一定定的的变变异异：解解释释变变量量样样本本的的变变异异性性的的从从总总体体中中随随机机抽抽样样得得到到样样本本的的随随机机性性：样样本本是是的的型型对对于于参参数数而而言言是是线线性性参参数数的的线线性性性性：回回归归模模对对于于总总体体回回归归函函数数简单回归模型的高斯简单回归模型的高斯- -马尔科夫假定马尔科夫假定o 同方差性同方差

26、性homoscedasticity：误差项的条件方差一样：误差项的条件方差一样o 异方差性异方差性heteroscedasticity：误差项的条件方差不一样：误差项的条件方差不一样2102102210)|()|()|()|()|()|()|()|(iiiiiiiiiiiiiiiiiiiiXuVarXuXVarXYVarXuVarXuXVarXYVarXuVarXuVaruXY 异异方方差差性性：同同方方差差性性：也也即即：异异方方差差性性：同同方方差差性性：对对于于简单回归模型的高斯简单回归模型的高斯- -马尔科夫假定马尔科夫假定同方差性同方差性XY概概率率密密度度X：受教育年限：受教育年限

27、Y：工资：工资简单回归模型的高斯简单回归模型的高斯- -马尔科夫假定马尔科夫假定异方差性异方差性XY概概率率密密度度X：受教育年限：受教育年限Y：工资：工资简单回归模型的高斯简单回归模型的高斯- -马尔科夫假定马尔科夫假定异方差性异方差性XY概概率率密密度度X：时间：时间Y：打字正确率：打字正确率OLS估计量的无偏性估计量的无偏性OLS估计量的无偏性估计量的无偏性证明见课本证明见课本p47-48在保证在保证OLS估计量无偏性的四个假定中，零条件均值假定估计量无偏性的四个假定中，零条件均值假定SLR.4能够是最难被满足的，在今后的学习中我们将反复能够是最难被满足的，在今后的学习中我们将反复讨论这个问题。参看课本讨论这个问题。参看课本p48，例，例2.12无偏性无法保证无偏性无法保证OLS估计量的离散程度，因此还需求讨论估估计量的离散程度，因此还需求讨论估计量的有效性计量的有效性11001010)(,)(41 EEOLSSLR.的无偏估计量。即：的无偏估计量。即：、分别是分别是、估计量估计量下，下，在假定在假定OLS估计量的方差估计量的方差回归规范误回归规范误standard error of the regression证明见课本证明见课本p54为为回回归归标标准准误误称称，无无偏偏估估计计量量为为：的的差差项项方方差差的的假假设设下下，可可以以证证明明误误在