多元回归分析估计

1、多元回归分析多元回归分析估计估计模型模型与简单回归的相似点与简单回归的相似点多元回归的意义多元回归的意义多元回归的最小二乘法多元回归的最小二乘法多元回归的代数性质多元回归的代数性质多元回归的统计性质多元回归的统计性质遗漏变量遗漏变量拟合度拟合度多重共线性多重共线性引子引子使用简单的回归分析，可以把因变量使用简单的回归分析，可以把因变量y解释成一解释成一个自变量个自变量x的函数。然而在实际的经验研究中使的函数。然而在实际的经验研究中使用简单回归分析的主要缺陷是，它很难得到用简单回归分析的主要缺陷是，它很难得到x在在其他条件不变情况下对其他条件不变情况下对y的影响：因为关键假定的影响：因为关键假定

2、SLR.3（所有其他影响（所有其他影响y的因素都与的因素都与x不相关）通不相关）通常都不现实。常都不现实。 很自然，如果我们在模型中多增加一些有助于很自然，如果我们在模型中多增加一些有助于解释解释y的因素，那么，的因素，那么，y的变动就能更多地得到的变动就能更多地得到解释。因此，多元回归分析可用于建立更好的解释。因此，多元回归分析可用于建立更好的因变量预测模型。因变量预测模型。 多元回归分析多元回归分析(multiple regression analysis)允许我允许我们明确地控制许多其他也同时影响因变量的因素，们明确地控制许多其他也同时影响因变量的因素，所以它更适合于其他条件不变情况下的

3、分析。在所以它更适合于其他条件不变情况下的分析。在使用非实验数据的情况下，这对检验经济理论和使用非实验数据的情况下，这对检验经济理论和评价经济政策都很重要。多元回归模型能够容纳评价经济政策都很重要。多元回归模型能够容纳许多可能相关的解释变量，在简单回归分析可能许多可能相关的解释变量，在简单回归分析可能误导的情况下，可以寄希望于多元回归模型来推误导的情况下，可以寄希望于多元回归模型来推断因果关系。断因果关系。 多元回归分析的另外一个优点是，它可以用以添多元回归分析的另外一个优点是，它可以用以添加相当一般化的函数关系。在简单的回归模型中，加相当一般化的函数关系。在简单的回归模型中，方程中只能出现单

4、一个解释变量的一个函数。如方程中只能出现单一个解释变量的一个函数。如我们将看到的那样，多元回归模型的灵活性则大我们将看到的那样，多元回归模型的灵活性则大得多。得多。使用多元回归的动因使用多元回归的动因 先用两个例子来说明，如何用多元回归分析来先用两个例子来说明，如何用多元回归分析来解决简单回归所不能解决的问题。解决简单回归所不能解决的问题。 wage =0+1educ+2exper+u (3.1)n其中其中exper是在劳动市场上以年计的工作经是在劳动市场上以年计的工作经历。历。则工资则工资wage由受教育水平和工作经历这两个解由受教育水平和工作经历这两个解释变量或自变量及那些观测不到的其他因

5、素来释变量或自变量及那些观测不到的其他因素来决定。我们首要感兴趣的，是在保持所有其他决定。我们首要感兴趣的，是在保持所有其他影响工资的因素不变情况下，影响工资的因素不变情况下，educ对对wage的影的影响；即我们只对参数响；即我们只对参数1感兴趣。感兴趣。 与仅联系与仅联系wage和和educ的简单回归分析相比，方程的简单回归分析相比，方程(3.1)有效地把有效地把exper从误差项中取出并把它明确地从误差项中取出并把它明确地放到方程之中。所以系数放到方程之中。所以系数2度量了度量了exper在其他条在其他条件不变情况下对工资的影响，这点也有意义。件不变情况下对工资的影响，这点也有意义。就像

6、在简单回归中一样，我们将不得不对就像在简单回归中一样，我们将不得不对(3.1)中中的的u如何与自变量如何与自变量educ和和exper相关做出假定。但相关做出假定。但像我们在第像我们在第3.2节中将看到的那样，有一点我们节中将看到的那样，有一点我们充满信心：因为充满信心：因为(3.1)中明确地包含了工作经历，中明确地包含了工作经历，所以我们就能在保持工作经历不变的情况下，度所以我们就能在保持工作经历不变的情况下，度量教育对工资的影响。如果将工作经历放到误差量教育对工资的影响。如果将工作经历放到误差项的简单回归分析中，我们就不得不假定工作经项的简单回归分析中，我们就不得不假定工作经历与受教育水平

7、无关，显然这是一个脆弱的假定。历与受教育水平无关，显然这是一个脆弱的假定。 第二个例子第二个例子问题：解释在高中阶段对每个学生的平均开支问题：解释在高中阶段对每个学生的平均开支(expend)对平均标准化考试成绩对平均标准化考试成绩(avgscore)的影响。的影响。假设平均考试成绩取决于学校基金、平均家庭假设平均考试成绩取决于学校基金、平均家庭收入收入(avginc)及其他不可观测因素：及其他不可观测因素：n avgscore=0+1expend+2avginc+u (3.2)n出于政策目的，所关心的系数是出于政策目的，所关心的系数是expend在其他条件在其他条件不变情况下对不变情况下对a

8、vgscore的影响的影响1。通过在模型中明。通过在模型中明确包括确包括avginc，我们就能控制其对，我们就能控制其对avgscore的影响。的影响。n由于平均家庭收入与每个学生的开支趋于相关，所由于平均家庭收入与每个学生的开支趋于相关，所以加入这个变量可能很重要。简单回归中，以加入这个变量可能很重要。简单回归中，avginc被包括在误差项中，而被包括在误差项中，而avginc与与expend可能相关，从可能相关，从而导致在两变量模型中对而导致在两变量模型中对1的的OLS估计有偏误。估计有偏误。前面两个例子已经说明，除主要关心的变量外，前面两个例子已经说明，除主要关心的变量外，如何把其他的可

9、观测因素也包括在回归模型中。如何把其他的可观测因素也包括在回归模型中。一般地，我们可以把含有两个自变量的模型写一般地，我们可以把含有两个自变量的模型写作作 y=0+1 x1+2 x2+u (3.3)n其中，其中，0是截距，是截距，1度量了在其他条件不变度量了在其他条件不变情况下情况下y相对相对x1的变化，而的变化，而2 则度量了在其则度量了在其他条件不变情况下他条件不变情况下y相对相对x2的变化的变化 多元回归分析对推广变量之间的函数关系也有多元回归分析对推广变量之间的函数关系也有帮助。例如：假设家庭消费帮助。例如：假设家庭消费( (conscons) )是家庭收入是家庭收入( (incinc

10、) )的一个二次函数：的一个二次函数：cons=cons=0 0+1 1inc+inc+2 2incinc2 2+u+u (3.4) (3.4)n其中其中u u包括了影响消费的其他因素，在这个模包括了影响消费的其他因素，在这个模型中，消费只取决于型中，消费只取决于收入收入这一个观测变量；这一个观测变量；所以看上去，一个简单的回归分析就可以对所以看上去，一个简单的回归分析就可以对付。但简单回归不能处理这个模型，因为它付。但简单回归不能处理这个模型，因为它包括了收入的两个函数包括了收入的两个函数incinc和和incinc2 2（因此就有（因此就有三个参数三个参数0 0、1 1和和2 2）。尽管如

11、此，通过）。尽管如此，通过令令x x1 1=inc=inc和和x x2 2= =incinc2 2，消费函数还是可以很容，消费函数还是可以很容易地写成一个含两个自变量的回归模型。易地写成一个含两个自变量的回归模型。机械地看，用普通最小二乘法去估计方机械地看，用普通最小二乘法去估计方程程(3.1)和和(3.4) ，应该没有什么差别。每个，应该没有什么差别。每个方程都可以写成像方程都可以写成像(3.3)那样的方程。但重那样的方程。但重要的差别在于，人们对要的差别在于，人们对参数的解释参数的解释。(3.1)(3.1)中，中，1 1是是educeduc在其他条件不变情况下对在其他条件不变情况下对wag

12、ewage的影响。而方程的影响。而方程(3.4)(3.4)中的参数中的参数1 1则没有这则没有这样的解释。换句话说，度量样的解释。换句话说，度量incinc在保持在保持incinc2 2不变不变的情况下对的情况下对conscons的影响是毫无意义的，如果的影响是毫无意义的，如果incinc变化，则变化，则incinc2 2也一定会变化！相反，相对收入变也一定会变化！相反，相对收入变化的消费变化化的消费变化即边际消费倾向即边际消费倾向可近似为：可近似为：换句话说，收入对消费的边际效应取决于换句话说，收入对消费的边际效应取决于2 2、1 1和收入水平。这个例子表明，在任何一个特和收入水平。这个例子

13、表明，在任何一个特定应用中，对自变量的定义都是至关重要的定应用中，对自变量的定义都是至关重要的incinccons212在含有两个自变量的模型中，在含有两个自变量的模型中，u u与与x x1 1和和x x2 2如何如何相关的关键假定是，相关的关键假定是，E(E(u ux x1 1, x, x2 2) )= =0 0 (3.5)意味着，对总体中意味着，对总体中x x1 1和和x x2 2的任何值，非观测因的任何值，非观测因素的平均都等于零。素的平均都等于零。如何解释前面例子中条件均值为零的假定：如何解释前面例子中条件均值为零的假定：n在在( (3.1) 中，这个假定是中，这个假定是E(uE(ue

14、duc,exper)=0educ,exper)=0。意味着，影响意味着，影响wagewage的其他因素都与的其他因素都与educeduc和和experexper无关。因此，如果我们认为天生能力是无关。因此，如果我们认为天生能力是u u的一部的一部分，那我们就需要假定，对工人总体中受教育和分，那我们就需要假定，对工人总体中受教育和工作经历的各种组合，其平均能力水平都相同。工作经历的各种组合，其平均能力水平都相同。这可能正确也可能不正确，但我们将看到，这正这可能正确也可能不正确，但我们将看到，这正是为了判断普通最小二乘法是否导致无偏估计量是为了判断普通最小二乘法是否导致无偏估计量而需要知道的问题。

15、而需要知道的问题。 (3.2)的例子类似于工资方程。其零条件均值的的例子类似于工资方程。其零条件均值的假定为假定为E(uexpend,avginc)=0，它意味着，影，它意味着，影响学生考试成绩的因素响学生考试成绩的因素学校或学生的个人学校或学生的个人特征特征总体上与学生的平均开支和平均家庭总体上与学生的平均开支和平均家庭收入无关。收入无关。在在 (3.4)中的二次消费函数，对零条件均值假中的二次消费函数，对零条件均值假定的解释则略有不同。直接照写，定的解释则略有不同。直接照写， (3.5)就变就变成了成了E(uinc,inc2)=0。因为一旦知道了。因为一旦知道了inc，那，那就会知道就会知

16、道inc2，所以在预期表达式中包括，所以在预期表达式中包括inc2项是多此一举：项是多此一举：E(uinc,inc2)=0等价于等价于E(uinc)=0。虽然在表述这个假定时让。虽然在表述这个假定时让inc2和和inc一一起出现在预期项中并没有错，但起出现在预期项中并没有错，但E(uinc)=0更更简明扼要。简明扼要。问题问题用定罪概率用定罪概率(prbconv)和宣判监禁的平均时间长和宣判监禁的平均时间长度度(avgsen)来解释城市谋杀率来解释城市谋杀率(murdrate)的一个的一个简单模型：简单模型： murdrate=0 0+1 1prbconv +2 2 avgsen+u u中包含

17、了一些什么因素？你认为关键假定中包含了一些什么因素？你认为关键假定(3.5)有可能成立吗？有可能成立吗？因素包括了年龄和性别分布、警力规模因素包括了年龄和性别分布、警力规模(或更或更一般地，投入到与犯罪做斗争的资源一般地，投入到与犯罪做斗争的资源)、人口、人口和一般历史因素。这些因素当然有可能与和一般历史因素。这些因素当然有可能与prbconv和和avgsen相关，这时就意味着相关，这时就意味着(3.5)不成不成立。比如，某些在预防犯罪和执法方面投入较立。比如，某些在预防犯罪和执法方面投入较多气力的城市，其警力规模可能与多气力的城市，其警力规模可能与prbconv和和avgsen都相关。都相关

18、。含有含有K个自变量的模型个自变量的模型一旦开始多元回归，没有必要局限于两个自变一旦开始多元回归，没有必要局限于两个自变量。多元回归分析允许多个可观测因素影响量。多元回归分析允许多个可观测因素影响y。n在上述工资的例子中，我们还可以包括在职在上述工资的例子中，我们还可以包括在职培训的数量、现任工作的任期、个人能力的培训的数量、现任工作的任期、个人能力的某种度量，甚至是像兄弟姐妹的个数或母亲某种度量，甚至是像兄弟姐妹的个数或母亲受教育程度等人口变量。受教育程度等人口变量。n在学校基金的例子中，额外的变量可能包括在学校基金的例子中，额外的变量可能包括对教师质量和学校规模的某种度量。对教师质量和学校

19、规模的某种度量。多元回归分析模型多元回归分析模型y = 0 + 1x1 + 2x2 + . . . kxk + u01 12 211110111,1iiik ikiknnnkknyxxxyxxyxyxxy x 一般的多元线性回归模型一般的多元线性回归模型( (multiple linear regression model，也称为多元回归模型，也称为多元回归模型) )在总在总体中可以写成体中可以写成y=0+1 x1+2 x2+3 x3+k xk +u (3.6)n其中其中0 0为截距为截距(intercept)(intercept)，1 1是与是与x x1 1相联系的相联系的参数，参数，2 2

20、是与是与x x2 2相联系的参数，等等。由于有相联系的参数，等等。由于有k k个个自变量和一个截距项，所以方程自变量和一个截距项，所以方程(3.6)(3.6)包含了包含了k k+1+1个个( (未知的未知的) )总体参数。为了表达上的简便，把这总体参数。为了表达上的简便，把这种不同于截距的参数称为斜率参数种不同于截距的参数称为斜率参数( (slope parameter) )，尽管它们并不一定表示斜率。，尽管它们并不一定表示斜率。 如方如方程程(3.4)(3.4)，其中，其中1 1和和2 2本身都不是斜率，但它们本身都不是斜率，但它们一起决定了消费与收入之关系的斜率。一起决定了消费与收入之关系

21、的斜率。 多元回归的术语类似于简单回归的术语。恰如多元回归的术语类似于简单回归的术语。恰如简单回归中一样，变量简单回归中一样，变量u u表示误差项表示误差项( (error term) )或干扰项或干扰项( (disturbance)e)。它包括除。它包括除x1，x2，x3，xk之外仍影响之外仍影响y y的一些因素。无论在我的一些因素。无论在我们的模型中包含了多少个解释变量，总有一些们的模型中包含了多少个解释变量，总有一些因素我们无法包括进来，而所有这些因素就包因素我们无法包括进来，而所有这些因素就包括在括在u u中。中。 多元线性回归模型中的多元线性回归模型中的“线性线性”一词，意味着一词，

22、意味着方程方程(3.6)是其诸参数是其诸参数j的一个线性函数。多元的一个线性函数。多元线性回归的许多运用中都涉及到主要变量之间线性回归的许多运用中都涉及到主要变量之间的非线性关系。的非线性关系。多元回归与简单回归的相似点多元回归与简单回归的相似点 0 仍然是截距仍然是截距 1 到到 k 都成为斜率参数都成为斜率参数 u 仍然是误差项（或称扰动项）仍然是误差项（或称扰动项）仍然需要做一个条件期望为仍然需要做一个条件期望为0的假设，现在假的假设，现在假设：设：E(u|x1,x2, ,xk) = 0 仍然最小化残差的平方和，所以现在有仍然最小化残差的平方和，所以现在有k+1 个个一阶条件一阶条件课堂

23、问题课堂问题设想设想CEO的薪水的薪水(salary)与企业的销售量和与企业的销售量和CEO在在这个企业的任期相关：这个企业的任期相关：log(salary)=0+1 log(sales)+2 ceoten+3 ceoten2 +u (3.7)n定义定义y= log(salary)，x1= log(sales)，x2= ceoten和和x3= ceoten2，得一多元回归模型，得一多元回归模型(k=3)。试解释参数。试解释参数。参数参数1是是(其他条件不变情况下其他条件不变情况下)薪水对销售量的薪水对销售量的弹性。如果弹性。如果3=0，那么在其他条件不变情况下，那么在其他条件不变情况下，100

24、2就表示就表示ceoten增加一年导致增加一年导致salary提高的百提高的百分数。当分数。当30时，时，ceoten对对salary的影响则复杂一的影响则复杂一些。些。 关键假定用条件预期的形式可以表示为关键假定用条件预期的形式可以表示为nE(ux1,x2, , xk)=0(3.8)(3.8)要求不可观测的误差项中所有的因素都与要求不可观测的误差项中所有的因素都与解释变量无关。它还意味着，已经正确地表述解释变量无关。它还意味着，已经正确地表述了被解释变量和解释变量之间的函数关系。了被解释变量和解释变量之间的函数关系。任何一个导致任何一个导致u与某个自变量相关的问题，都与某个自变量相关的问题，

25、都会导致会导致(3.8)式不成立。假定条件式不成立。假定条件(3.8)式还表明式还表明OLS是无偏的，而如果方程中省略了一个关键是无偏的，而如果方程中省略了一个关键变量，所得到的结论便会产生偏误。变量，所得到的结论便会产生偏误。 多元回归模型的关键假定多元回归模型的关键假定 普通最小二乘法的操作和解释普通最小二乘法的操作和解释 即将解决的问题：将普通最小二乘法用于一个即将解决的问题：将普通最小二乘法用于一个特定的数据集时，在计算和代数上会有些什么特定的数据集时，在计算和代数上会有些什么特征及讨论如何解释所估计的方程。特征及讨论如何解释所估计的方程。如何得到如何得到OLS估计值？估计值？n先考虑

26、对含有两个自变量模型的估计。被估先考虑对含有两个自变量模型的估计。被估计的计的OLS方程在形式上与简单回归情况下的方程在形式上与简单回归情况下的方程相似：方程相似：22110 xxy011110111201110111() 0() 0() 0() 0(3.13)niikikiniiikikiniiikikinikiikikiyxxx yxxxyxxx yxx (3.13)通常被称为通常被称为OLS一阶条件一阶条件(first order conditions)。像在简单回归模型中一样，。像在简单回归模型中一样，OLS一一阶条件也可以通过矩法得到：在假定条件阶条件也可以通过矩法得到：在假定条件(

27、3.8)下，下，E(u)=0，E(xju)=0，其中，其中j=1，2，.，k。(3.13) 就是这些总体矩在样本中的对应样本矩。就是这些总体矩在样本中的对应样本矩。易见即便只是对中等大小，通过手算来求解易见即便只是对中等大小，通过手算来求解 (3.13)也是十分繁重的任务。不过，借助现代的也是十分繁重的任务。不过，借助现代的计算机和统计与计量软件，对较大的计算机和统计与计量软件，对较大的n和和k，也，也能很快解出这些方程。能很快解出这些方程。注意：目前必须只能这样假定注意：目前必须只能这样假定(3.13)只能得到的只能得到的唯一解。这是规范设定模型的常见情形。唯一解。这是规范设定模型的常见情形

28、。 与简单回归分析相同，与简单回归分析相同，(3.11)被称为被称为OLS回归线回归线(OLS regression line)或样本回归方程或样本回归方程(sample regression function, 简记为简记为SRF)。把。把 称为称为OLS截截距估计值距估计值(OLS intercept estimate)，而把，而把 ，.， 称为称为OLS斜率估计值斜率估计值(OLS slope estimate)（与自变（与自变量量 对应）。对应）。 说说“将将y对对x1,x2xk进行了一个进行了一个OLS回归回归”或或“将将y对对x1,x2xk进行回归进行回归”，是使用普通最小，是使用

29、普通最小二乘法而得到二乘法而得到(3.13) OLS方程方程(Equation) 的简单说的简单说法。一般默认是把截距与斜率一起估计。法。一般默认是把截距与斜率一起估计。比在计算比在计算 的背后存在的所有细节都重要的是，的背后存在的所有细节都重要的是，对所估计的方程进行解释。对所估计的方程进行解释。 01kkxxx,21j对对OLS回归方程的解释回归方程的解释01 12 2(3.14)yxx 方程方程 中的截距项中的截距项 是是y在在x1=0和和x2=0情况下的预测值。虽然它在大多情况下的预测值。虽然它在大多数情况下都没有什么意义，但对于设定的总体数情况下都没有什么意义，但对于设定的总体模型而

30、言截距项总是必需的。模型而言截距项总是必需的。估计值和局部效应估计值和局部效应(partial effect)或其他情况不或其他情况不变效应的解释。变效应的解释。n能在给定能在给定x x1 1和和x x2 2的变化的情况下，预测的变化的情况下，预测y y的变化。的变化。特别是当特别是当x x2 2固定，因而固定，因而x x2 2=0=0时，于是有时，于是有02=0112211221:,0 xyxxyxyxx 同同理理可可得得对对OLS回归方程的解释回归方程的解释关键是，通过把关键是，通过把x x2 2包含在模型中，所得到的包含在模型中，所得到的x x1 1的系数，可解释为在其他条件不变下的影的

31、系数，可解释为在其他条件不变下的影响。这正是多元回归分析有用的原因所在。响。这正是多元回归分析有用的原因所在。 含有含有k个自变量的一般情形个自变量的一般情形 012121212211., ()().(), ,., (), 所所以以所所以以保保持持固固定定，意意味味：也也就就是是，每每一一有有一一个个给给定定其其他他条条件件不不变变的的意意义义。kkkkkyxxxyxxxxxyx 因此，在估计因此，在估计x x1 1对对y y的影响时，已经控制了变的影响时，已经控制了变量量x x2 2到到x xk k的影响。其他系数与此相似。的影响。其他系数与此相似。多元回归中多元回归中“保持其他因素不变保持

32、其他因素不变”的含义的含义对多元回归分析中斜率参数的局部效应解释可能对多元回归分析中斜率参数的局部效应解释可能会导致混淆，要尽量避免这个问题。会导致混淆，要尽量避免这个问题。多元回归分析的功能在于，尽管不能在其他条件多元回归分析的功能在于，尽管不能在其他条件不变的情况下搜集数据，但它提供的系数仍可做不变的情况下搜集数据，但它提供的系数仍可做其他条件不变的解释其他条件不变的解释。n例如：在对例如：在对ACT的系数做局部效应解释时，看起来就的系数做局部效应解释时，看起来就好像是在具有同等高中好像是在具有同等高中GPA但但ACT分数可能不同的人分数可能不同的人群中抽样。然而情况并非如此，数据是来自一

33、所很群中抽样。然而情况并非如此，数据是来自一所很大的大学的随机样本：在获得数据的过程中，对大的大学的随机样本：在获得数据的过程中，对hsGPA和和ACT的样本值都没有施加任何限制。在获取的样本值都没有施加任何限制。在获取样本时，很少奢侈到能限制某些变量不变的程度。样本时，很少奢侈到能限制某些变量不变的程度。如果能搜集到具有同等高中如果能搜集到具有同等高中GPA的个人样本，那就能的个人样本，那就能进行一个进行一个colGPA对对ACT的简单回归分析。的简单回归分析。多元回归有效地模拟了对自变量的值不多元回归有效地模拟了对自变量的值不加限制的情况。加限制的情况。多元回归分析使能在非实验环境中，去做自然多元回归分析使能在非实验环境中，去做自然科学家在受控实验中所能做的事情：保持其他科学家在受控实验中所能做的事情：保持其他因素不变。因素不变。同时改变不止一个自变量同时改变不止一个自变量OLS的拟合值和残差的拟合值和残差OLS的拟合值和残差的拟合值和残差规范地讲，对任一观测规范地讲，对任一观测i，实际值都不等于预，实际值都不等于