第八讲非线性回归

1、非线性回归函数非线性回归函数线性回归的最大特点是：总体回归函数线性回归的最大特点是：总体回归函数的斜率为常数。故的斜率为常数。故X变化一个单位对变化一个单位对Y的的效应不依赖于效应不依赖于X本身的取值。本身的取值。我们今天研究的非线性回归中，总体回我们今天研究的非线性回归中，总体回归函数的斜率不再是常数，归函数的斜率不再是常数，X的变化对的变化对Y的效应依赖于一个或多个自变量的取值。的效应依赖于一个或多个自变量的取值。非线性回归函数的一般建模方法非线性回归函数的一般建模方法我们考虑测试成绩和地区收入的关系我们考虑测试成绩和地区收入的关系二次回归模型二次回归模型在在stata中需要用中需要用ge

2、n命令产生一个新的变命令产生一个新的变量表示：量表示：Income2。gen income2=income2reg TestScore income income2,r通过通过t检验我们发现，检验我们发现， Income2显著，所以，可显著，所以，可以得出结论，二次模型优于线性模型。以得出结论，二次模型优于线性模型。如何决定是用线性还是非线性？如何决定是用线性还是非线性？最简单的办法是利用最简单的办法是利用t检验考察二次方的显检验考察二次方的显著性：著性：对于方程对于方程我们需要检验我们需要检验income2前的系数前的系数2是否显是否显著。著。非线性设定形式中非线性设定形式中X变化对变化对Y

3、的效应的效应想知道在固定其他自变量想知道在固定其他自变量X2、X3Xk的情形下，当自变量的情形下，当自变量X1变化变化X时，预期时，预期因变量因变量Y如何变化。当总体回归函数为线如何变化。当总体回归函数为线性时，很容易计算这个效应，性时，很容易计算这个效应， Y=11X1但当回归函数为非线性时，由于但当回归函数为非线性时，由于Y的预期的预期变化依赖于自变量的取值，因此其计算变化依赖于自变量的取值，因此其计算较复杂。较复杂。我们假定非线性总体回归的一般公式为我们假定非线性总体回归的一般公式为书中的两个例子书中的两个例子1。地区收入从。地区收入从10-11（单位是千美（单位是千美元）元）2。地区收

4、入从。地区收入从40-4122(607.33.85 11 0.0423 11 )(607.33.85 100.0423 10 )2.96Y22(607.33.85 41 0.0423 41 )(607.33.85 400.0423 40 )0.42Y可以看出，可以看出，income对对testscore的弹性的弹性逐渐变小。逐渐变小。效应估计的标准误差效应估计的标准误差在上例中在上例中利用多元回归建立非线性模型的利用多元回归建立非线性模型的一般方法一般方法 (1)确定一种可能的非线性关系。最佳做法确定一种可能的非线性关系。最佳做法是利用经济理论和你对实际应用的了解提出是利用经济理论和你对实际应

5、用的了解提出一种可能的非线性关系。在看数据之前，问一种可能的非线性关系。在看数据之前，问自己联系自己联系Y和和X的回归函数斜率是否依赖于的回归函数斜率是否依赖于X或其他自变量的取值。或其他自变量的取值。 (2)确定一个非线性函数并用确定一个非线性函数并用OLS估计其参估计其参数。后续章节将会学习多种非线性函数形式。数。后续章节将会学习多种非线性函数形式。 (3)确定非线性模型是否改进了线性模型。大确定非线性模型是否改进了线性模型。大多数情况下可以利用多数情况下可以利用t统计量和统计量和F统计量来检验统计量来检验总体回归函数是线性的原假设和非线性的备择总体回归函数是线性的原假设和非线性的备择假设

6、。假设。 (4)画出非线性回归函数估计图。（线性拟合画出非线性回归函数估计图。（线性拟合图）。图）。 (5)利用前面讲的公式估计利用前面讲的公式估计X变化对变化对Y的效应。的效应。非线性函数的形式非线性函数的形式一。多项式函数一。多项式函数常用的多项式函数：常用的多项式函数：r=2 二次回归模型二次回归模型r=3 立方回归模型立方回归模型2012iiiYXXu230123iiiiYXXXu是否需要多项式函数是否需要多项式函数然后利用然后利用F统计量进行检验统计量进行检验1。最直观的办法是画散点图。最直观的办法是画散点图。2。很多涉及经济数据的应用中，非线性。很多涉及经济数据的应用中，非线性函数

7、都是光滑的，也就是不存在急剧的函数都是光滑的，也就是不存在急剧的跳跃或跳跃或“尖峰尖峰”。则选择较小的多项式。则选择较小的多项式最高阶数，如最高阶数，如2， 3或或4较合适。较合适。02004006008001000 x102000004000006000008000001000000y202004006008001000 x102.00e+084.00e+086.00e+088.00e+081.00e+09y302004006008001000 x102.00e+114.00e+116.00e+118.00e+111.00e+12y4二次方、三次方二次方、三次方和四次方曲线和四次方曲线230

8、123riiiriiYXXXXu选取好最高阶数后，按照下列步骤进行：选取好最高阶数后，按照下列步骤进行：(1)选定最大的选定最大的r值并估计值并估计r阶多项式回归。阶多项式回归。(2)利用利用t统计量检验统计量检验Xr的系数的系数r为零的假设。为零的假设。如果拒绝原假设，则如果拒绝原假设，则Xr应包含在回归中，应包含在回归中，故使用故使用r阶多项式。阶多项式。 (3)如果在步骤如果在步骤(2)中不能拒绝中不能拒绝rr =0，则从，则从回归中剔除回归中剔除Xr并估计并估计r-1阶多项式回归。接着阶多项式回归。接着检验检验Xr-1的系数是否为零。如果拒绝则使用的系数是否为零。如果拒绝则使用r-1阶

9、多项式。阶多项式。 (4)如果在步骤如果在步骤(3)中不能拒绝中不能拒绝r-1r-1 =0 ，重复这一步直到回归中最高次方的系数统计显重复这一步直到回归中最高次方的系数统计显著为止。著为止。例一例一例二例二在工资方程中，建立在工资方程中，建立ln(wage)与与exper的多项式关系。的多项式关系。对数形式对数形式对数形式经常用于表示变量的百分率变对数形式经常用于表示变量的百分率变化。例如：化。例如：在消费者需求的经济分析中，通常假定在消费者需求的经济分析中，通常假定价格上涨价格上涨1%导致需求量下降一定的导致需求量下降一定的 百百分率。称价格上涨分率。称价格上涨1%引起的需求下降引起的需求下

10、降百分率为价格弹性百分率为价格弹性(elasticity)。对数形式是经济学中最常用的形式，广泛地应用在对数形式是经济学中最常用的形式，广泛地应用在各个领域中：各个领域中：例如：在宏观经济学中，我们如果想研究例如：在宏观经济学中，我们如果想研究投资投资的的增增长率长率，通常用，通常用 表示，其中表示，其中一般可以表达为：一般可以表达为：( )( )I tI t( )( ) /I tdI tdt( )1ln( )( )( )( )I tdI tI tI tI tdt拉格朗日中值定理拉格朗日中值定理三种对数回归模型三种对数回归模型关键问题是理解关键问题是理解1的含义的含义因为该模型中因为该模型中Y

11、不是对数形式而不是对数形式而X是是，所以有时称它为所以有时称它为线性对数模型线性对数模型。在线性对数模型中，在线性对数模型中， 1 表示表示X变变化化1%引起引起Y的变化为的变化为0.01 1 。推导：我们考察自变量推导：我们考察自变量X变化变化X的过程。的过程。此时：此时：010111()()ln() ln()ln()ln()()f XXf XXXXXXXXX即即X变化变化1%时，时， 为为0.01。XX例子例子收入每增加收入每增加1%时，成绩会增加时，成绩会增加0.01*36.42=0.3642分。分。结论：线形对数形式一般用来表示结论：线形对数形式一般用来表示当自变量变化当自变量变化1%

12、时，因变量变化的时，因变量变化的具体数值。具体数值。书中的两个例子书中的两个例子1。地区收入从。地区收入从10-11（单位是千美（单位是千美元）元）2。地区收入从。地区收入从40-41例一：例一：Y=557.8+36.42ln(11) - 557.8+36.42ln(10) =36.42*ln(11)-ln(10)=3.47Y=557.8+36.42ln(41) - 557.8+36.42ln(40) =36.42*ln(14)-ln(40)=0.90线性对数回归函数线性对数回归函数如何理解如何理解1的含义的含义因为该模型中因为该模型中Y是对数形式而是对数形式而X不是不是，所以有时称它为所以有

13、时称它为对数线性模型对数线性模型。在线性对数模型中，在线性对数模型中， 1 表示表示X变化变化1个个单位引起单位引起Y的变化为的变化为(100*1)%。推导：我们考察自变量推导：我们考察自变量X变化变化X的过程。的过程。此时：此时：01011()()ln()ln( )()() ()f XXf XYYYYYXXXX1YXY 我们考虑一个大学毕业生年龄和收入关系的例子。我们考虑一个大学毕业生年龄和收入关系的例子。很多雇佣合同都指出职工多工作一年，则他或她很多雇佣合同都指出职工多工作一年，则他或她的收入就增加一定的百分率。的收入就增加一定的百分率。由该回归知年龄每增加由该回归知年龄每增加1岁，预计收

14、入增加岁，预计收入增加(100*0.0086)*=0.86%再考虑工资方程中，教育年限每增加再考虑工资方程中，教育年限每增加1年工资年工资增加的百分率。增加的百分率。注意：因为自变量不包含任何对数形式，注意：因为自变量不包含任何对数形式，所以所以对数线性模型对数线性模型的拟合图是的拟合图是一条直线。一条直线。6.46.456.56.556.60204060incomelntestscrFitted values如何理解如何理解1的含义的含义因为该模型中因为该模型中Y是对数形式是对数形式X也是也是，所，所以有时称它为以有时称它为双对数模型双对数模型。在线性对数模型中，在线性对数模型中， 1 表示

15、表示X变化变化1%个单位引起个单位引起Y的变化为的变化为1%。双对数函数最典型的例子是生产函数双对数函数最典型的例子是生产函数production。012012=lnA = = YAK LlnYlnAlnKlnLlnYlnKlnL原则原则1：在解释变量均显著的前提下，当被：在解释变量均显著的前提下，当被解释变量解释变量Y的函数形式相同时，可以通过的函数形式相同时，可以通过adj R2比较模型的优劣。比较模型的优劣。但如果被解释变量但如果被解释变量Y的函数形式不同，例如的函数形式不同，例如一个是一个是ln(Y)，而另一个是，而另一个是Y，则通过，则通过adj R2比较模型的优劣没有意义。比较模型

16、的优劣没有意义。 原则二：根据经济理论和对问题的实践认知原则二：根据经济理论和对问题的实践认知确定用确定用Y的对数形式是否有意义。的对数形式是否有意义。经常使用对数形式表示增长率的经济指标：经常使用对数形式表示增长率的经济指标：GDP 投资投资 消费消费 工资工资 成绩成绩 等等。等等。测试成绩和地区收入的多项式和测试成绩和地区收入的多项式和对数模型对数模型挑选一种最好的函数形式：挑选一种最好的函数形式：到底选择多项式还是对数？到底选择多项式还是对数？在多项式和对数中哪种形式最好？在多项式和对数中哪种形式最好？多项式和对数的组合效果如何？多项式和对数的组合效果如何？1。多项式形式。多项式形式结

17、论，立方形式改进了方程，并且结论，立方形式改进了方程，并且income3前的系数显著，因此采用立方形式。前的系数显著，因此采用立方形式。我们尝试使用对数的高次方形式我们尝试使用对数的高次方形式立方和线性对数形式的比较立方和线性对数形式的比较因为是线性对数，所以可以比较因为是线性对数，所以可以比较adj R2。由于本题线性对数较高，所以采用线性由于本题线性对数较高，所以采用线性对数形式。对数形式。自变量的交互作用（交乘项）自变量的交互作用（交乘项）解释变量之间往往不是相互独立的，当解释变量之间往往不是相互独立的，当两个解释变量之间相互影响，对被解释两个解释变量之间相互影响，对被解释变量具有交互作

18、用时，往往引入交乘项。变量具有交互作用时，往往引入交乘项。即即某个自变量变化对某个自变量变化对Y的效应依赖于另一的效应依赖于另一个自变量取值。个自变量取值。我们将分三种情况考虑：我们将分三种情况考虑：1。两个自变量都是。两个自变量都是虚拟变量虚拟变量；2。一个自变量是。一个自变量是虚拟变量虚拟变量而另一个是而另一个是连连续变量续变量；3。两个变量都是。两个变量都是连续变量连续变量。两个虚拟变量的交互作用两个虚拟变量的交互作用其中其中Y是工资的对数，是工资的对数，D1表示性别（表示性别（1为女性），为女性），D2表示是否拥有大学学位（表示是否拥有大学学位（1为有）。为有）。按照上式，固定性别时，

19、无论男性女性，拥有按照上式，固定性别时，无论男性女性，拥有大学学位的效应是一样的。但现实情况是，在大学学位的效应是一样的。但现实情况是，在劳动市场中文凭的价值对男性和女性而言是不劳动市场中文凭的价值对男性和女性而言是不同的。同的。 显然，上述形式没有考虑到性别和获得大学显然，上述形式没有考虑到性别和获得大学学位的交互作用，因此我们引入一个交乘项学位的交互作用，因此我们引入一个交乘项D1*D2进行修正。进行修正。分析：分析：1。给定给定D1的取值的取值d1，D2=0 和和D2=1的数学期望为：的数学期望为：E(Y|D1=d1,D2=0)=0+1d1E(Y|D1=d1,D2=1)=0+1d1+ 2

20、+3d1第二项减去第一项，得第二项减去第一项，得2+3d1这是大学毕业生和非大学毕业生对这是大学毕业生和非大学毕业生对Y的影响效的影响效应之差。但我们发现，这种效应依赖于应之差。但我们发现，这种效应依赖于d1。当当d1=0(男性男性) 对对Y的效应为的效应为2当当d1=1(女性女性) 对对Y的效应为的效应为2+33即是女性和男性获得大学学位的效即是女性和男性获得大学学位的效应之差。应之差。可见，是否大学毕业可见，是否大学毕业(D2)对工资对数的对工资对数的影响效果不仅取决于它本身，而且取决影响效果不仅取决于它本身，而且取决于性别于性别(D1)。在固定英语学习者百分率在固定英语学习者百分率HiE

21、L时的情况下，从低学生时的情况下，从低学生/教师比学区变到高学生教师比学区变到高学生/教师比学区的效应预测值为教师比学区的效应预测值为2+3*d1，在本题中为，在本题中为-1.9-3.5HiEL。在本题中我们还可以求以下数据：在本题中我们还可以求以下数据：1。低学生。低学生/教师比和低英语学习者百分率学教师比和低英语学习者百分率学区的样本平均侧试成绩。区的样本平均侧试成绩。2。低学生。低学生/教师比和高英语学习者百分率学教师比和高英语学习者百分率学区的样本平均侧试成绩。区的样本平均侧试成绩。3。高学生。高学生/教师比和低英语学习者百分率学教师比和低英语学习者百分率学区的样本平均侧试成绩。区的样

22、本平均侧试成绩。4。高学生。高学生/教师比和高英语学习者百分率学教师比和高英语学习者百分率学区的样本平均侧试成绩。区的样本平均侧试成绩。连续变量和二元变量的交互作用连续变量和二元变量的交互作用 其中其中Yi为工资的对数，为工资的对数，Xi是连续变量，表是连续变量，表示工作经验；示工作经验；Di为虚拟变量，表示是否拥为虚拟变量，表示是否拥有大学学位。有大学学位。1。仅截距不同。仅截距不同2。仅斜率不同。仅斜率不同3。截距、斜率均不同。截距、斜率均不同除了画图法，还可以通过除了画图法，还可以通过F检验和检验和t检验确定构造检验确定构造交乘项的必要性。交乘项的必要性。教育收益和性别差异教育收益和性别

23、差异 教育除了能让你感受到获取知识的愉悦外，教育除了能让你感受到获取知识的愉悦外，还能带给你经济上的回报。学历较高的职工还能带给你经济上的回报。学历较高的职工往往比学历较低的同等职工赚得更多。但至往往比学历较低的同等职工赚得更多。但至少有三个原因表明当时的分析并不完全。少有三个原因表明当时的分析并不完全。其其一一，它没有控制其他可能与教育成就相关的，它没有控制其他可能与教育成就相关的决定收入的因素，因此教育系数的决定收入的因素，因此教育系数的OLS估计估计量可能存在着遗漏变重偏差；量可能存在着遗漏变重偏差；其二其二，教育与，教育与收入的关系一定是线性的吗？收入的关系一定是线性的吗？其三其三，忽

24、略了，忽略了收入的性别差距。收入的性别差距。解决方法：解决方法：1。加入表示性别差异的变量。加入表示性别差异的变量Female2。加入性别与教育年限的交乘项。加入性别与教育年限的交乘项。3。加入遗漏变量潜在经验及其平方项。加入遗漏变量潜在经验及其平方项。4。加入地区虚拟变量。加入地区虚拟变量。结果分析（一）结果分析（一） 第一，在第一，在回归回归(1)中省略性别并没有造成相当大的遗漏变中省略性别并没有造成相当大的遗漏变量偏差，即使量偏差，即使回归回归(2)中性别的变量系数值较大并且是显著中性别的变量系数值较大并且是显著的，但是性别和受教育年数不相关，也就是说男性和女性平的，但是性别和受教育年数

25、不相关，也就是说男性和女性平均受教育水平差不多。均受教育水平差不多。 第二，对男性和女性而言，教育的收益在经济上和统计第二，对男性和女性而言，教育的收益在经济上和统计上都显著不同：即上都显著不同：即回归回归(3)中检验它们相同的中检验它们相同的t统计量为统计量为11. 25。 第三，第三，回归回归(4)控制了个人居住的地区，从而解决了由地控制了个人居住的地区，从而解决了由地区受教育年数的系统差异引起的潜在遗漏变量偏差，相对于区受教育年数的系统差异引起的潜在遗漏变量偏差，相对于回归回归(3)中的结果，控制地区之后教育项的系数佑计值变化中的结果，控制地区之后教育项的系数佑计值变化不大。不大。 第四，回归第四，回归(4)中控制了毕业后用年数衡量的潜在工作经中控制了毕业后用年数衡量的潜在工作经验估计得到的