《回归分析二》PPT课件.ppt

1、回归分析(二),多元线性回归,第一节 多元线性回归模型 第二节 回归方程的拟合优度 第三节 显著性检验 第四节 多重共线性与残差分析 第五节 利用回归方程进行估计和预测 第六节 虚拟自变量的回归,第一节 多元线性回归模型,多元回归模型与回归方程 估计的多元回归方程 参数的最小二乘估计,多元回归模型与回归方程,多元回归模型 (multiple regression model),一个因变量与两个及两个以上自变量的回归 描述因变量 y 如何依赖于自变量 x1 ， x2 ， xp 和误差项 的方程，称为多元回归模型 涉及 p 个自变量的多元回归模型可表示为,b0 ，b1，b2 ，bp是参数 是被称为

2、误差项的随机变量 y 是x1,，x2 ， ，xp 的线性函数加上误差项 包含在y里面但不能被p个自变量的线性关系所解释的变异性,多元回归模型(基本假定),误差项是一个期望值为0的随机变量，即E()=0 对于自变量x1，x2，xp的所有值，的方差2都相同 误差项是一个服从正态分布的随机变量，即N(0,2)，且相互独立,多元回归方程 (multiple regression equation),描述因变量 y 的平均值或期望值如何依赖于自变量 x1， x2 ，xp的方程 多元线性回归方程的形式为 E( y ) = 0+ 1 x1 + 2 x2 + p xp,b1，b2，bp称为偏回归系数 bi 表

3、示假定其他变量不变，当 xi 每变动一个单位时，y 的平均平均变动值,二元回归方程的直观解释,估计的多元回归方程,估计的多元回归的方程(estimated multiple regression equation),是 估计值 是 y 的估计值,用样本统计量 估计回归方程中的 参数 时得到的方程 由最小二乘法求得 一般形式为,参数的最小二乘估计,参数的最小二乘法,求解各回归参数的标准方程如下,使因变量的观察值与估计值之间的离差平方和达到最小来求得 。即,参数的最小二乘法(例题分析),【例】一家大型商业银行在多个地区设有分行，为弄清楚不良贷款形成的原因，抽取了该银行所属的25家分行2002年的有

4、关业务数据。试建立不良贷款(y)与贷款余额(x1)、累计应收贷款(x2)、贷款项目个数(x3)和固定资产投资额(x4)的线性回归方程，并解释各回归系数的含义 用SPSS进行回归,第二节 回归方程的拟合优度,多重判定系数 估计标准误差,多重判定系数,多重判定系数(multiple coefficient of determination),回归平方和占总平方和的比例 计算公式为 因变量取值的变差中，能被估计的多元回归方程所解释的比例 注意：当自变量个数的增加时，会使预测误差减小，即使新增加变量在统计上不显著，也会使 增大,修正多重判定系数(adjusted multiple coefficien

5、t of determination),用样本容量n和自变量的个数p去修正R2得到 计算公式为 避免增加自变量而高估 R2 意义与 R2类似 数值小于R2,SPSS输出结果的分析,估计标准误差 Sy,对误差项的标准差的一个估计值 用自变量估计因变量时存在的平均误差 计算公式为,SPSS输出结果的分析,如何选择自变量进入模型,Enter:强行进入法:候选自变量全部纳入模型，不作任何筛选，默认选项。,Stepwise：逐步法，根据在Options框中设定的纳入和排除标准进行变量筛选。具体做法 首先分别计算各自变量对Y的贡献大小，按由大到小挑选贡献最大的先进入方程 重新计算各自变量对Y的贡献 考察己

6、在方程中的变量是否因新变量引入而不再有统计意义。如果有则将它剔除，并重新计算各自变量对Y的贡献;如仍有变量低于入选标准，则继续考虑剔除， 直到方程内没有变量可被剔除，方程外没有变量可被引进为止。,Backward：向后法，筛选步骤和逐步法类似，但只出不进 对己纳入方程的变量按对Y的贡献大小由小到大依次剔除。 每剔除一个变量，则重新计算各自变量对Y的贡献。直到方程中所有变量均符合选入标准，没有自变量可被剔除为止。,Forward：向前法，筛选步骤和逐步法类似，但只进不出; 对己纳入方程的变量不再考察其显著性。直到方程外变量均达不到入选标准，没有自变量可被引入方程为止。,Remove：强制剔除法，

7、和”向后法”一样，也是只出不进 但它的筛选是以Block为单位。即按照移除标准将同一个Block内的变量一次全部剔除。,Options 子对话框设置回归分析的一些选项,设置纳入和排除标准，可按P值或F值来设置。,用于决定是否在模型中包括常数项，默认选中。,不分析任一选入的变量有缺失变量值的记录,而无论该缺失变量最终是否进入模型.,不分析具体进入某变量时有缺失值的记录.,将缺失值用该变量的均值代替.,如何选择自变量进入模型,SPSS中的选择标准：在模型中增加一个或一个以上的自变量之后，是否使得误差平方和SSE得到显著的减少。 即：证明SSE(旧)-SSE(新)与SSE (旧)或SSE(新)的比值

8、是否足够大。 由于二者均服从卡方分布，因此可构筑服从F分布的检验统计量。SPSS中的F统计量为： 原假设：新自变量的增加没有导致SSE显著减少 备择假设：SSE显著减少,如何选择自变量进入模型,在SPSS中，F统计量的值或与之相对应的概率即作为变量纳入或剔除的标准。 SPSS中的自变量选择方法 1。强制进入法(Enter) 2。向前选择法(Forward) 3。向后消元法(Backward) 4。逐步回归法(Stepwise) 5。强制剔除法(Remove),Forward,偏相关 系数是否最大且符合 纳入标准,开始,纳入模型,是否还存在 备择自变量,结束,是,否,否,是,Backward,偏

9、相关 系数是否最小且符合 剔除标准,开始,剔出模型,结束,是,否,Stepwise,模型是否符合 纳入标准,开始,剔出模型,是否还存在 备择自变量,结束,是,否,否,是,模型是否符合 剔出标准,纳入模型,否,第三节 显著性检验,线性关系检验 回归系数检验和推断,线性关系检验,线性关系检验,检验因变量与所有自变量之间的是否显著 也被称为总体的显著性检验 检验方法是将回归离差平方和(SSR)同剩余离差平方和(SSE)加以比较，应用 F 检验来分析二者之间的差别是否显著 如果是显著的，因变量与自变量之间存在线性关系 如果不显著，因变量与自变量之间不存在线性关系,线性关系检验,提出假设 H0：12p=

10、0 线性关系不显著 H1：1，2，p至少有一个不等于0,2. 计算检验统计量F,3. 确定显著性水平和分子自由度p、分母自由度n-p-1找出临界值F 4. 作出决策：若FF ，拒绝H0,SPSS输出结果的分析,回归系数检验和推断,回归系数的检验(步骤),提出假设 H0： bi = 0 (自变量 xi 与 因变量 y 没有线性关系) H1： bi 0 (自变量 xi 与 因变量 y有线性关系) 计算检验的统计量 t,确定显著性水平，并进行决策 tt，拒绝H0； tt，不能拒绝H0,SPSS输出结果的分析,回归系数的推断 (置信区间),回归系数在(1-)%置信水平下的置信区间为,回归系数的抽样标准

11、差,SPSS 输出结果的分析,F检验与t检验的结果出现矛盾,当F检验通过时，某些自变量的回归系数没有通过t检验，并不一定意味着这些自变量对因变量就没有影响 以上情况可能是由于自变量之间存在较大的相关性所导致的。,第四节 多重共线性 (Multi Collinearity),多重共线性及其所产生的问题 多重共线性的判别 多重共线性问题的处理,多重共线性及其产生的问题,多重共线性(multicollinearity),回归模型中两个或两个以上的自变量彼此线性相关时，回归方程中的自变量就会互相削弱各自对应变量的边际影响，使本身的回归系数下降而其标准误扩大。 当自变量之间是非线性相关时，不一定产生严重

12、的多重共线性问题 多重共线性带来的问题有 整体方程通过显著性检验，但回归系数却不显著 方程中的参数不稳定，即用不同的样本计算的回归系数的差别会很大，从而导致预测困难,多重共线性的识别,多重共线性的识别,检测多重共线性的最简单的一种办法是计算模型中各对自变量之间的相关系数，并对各相关系数进行显著性检验 若有一个或多个相关系数显著，就表示模型中所用的自变量之间相关，存在着多重共线性 如果出现下列情况，暗示存在多重共线性 模型中各对自变量之间显著相关。 当模型的线性关系检验(F检验)显著时，几乎所有回归系数的t检验却不显著 当模型拟合较好，但回归系数的显著性却不高 回归系数的正负号和预期的相反。 一

13、些重要的自变量的回归系数的标准误差较大时 当增加或减少一个自变量或改变一个观测值时，回归系数的估计值发生较大的变化,容忍度与方差膨胀因子(tolerance and VIF),Tolerance: 每个自变量 作为因变量对其它自变量回归时得到的余差比例。 即为： 容忍度的值小于0.1，则被认为存在多重共线性。 VIF为Tolerance的倒数。 特征值(eigenvalue)如果趋近于0，则存在多重共线性 条件指数(condition index)为15以上则存在多重共线性，为30以上则存在严重的多重共线性。,SPSS 输出结果的分析,多重共线性问题的处理,多重共线性(问题的处理),删除与Y相

14、关程度不高，但与其它自变量高度相关的变量 删除可以被其它自变量线性表示的变量 增大样本容量 使用因子分析减少自变量的个数,残差分析,残差分析的目的： 1.证实模型中误差项随机变量 的假设，这是整个回归分析的基础； 2.检查数据集中可能包含的异常值。 与一元回归分析中的残差分析基本类似,利用回归方程进行估计和预测,SPSS软件应用,第六节： 虚拟自变量的回归,含有虚拟自变量的回归 用虚拟自变量回归解决方差分析问题,当自变量为非数值型变量时，是否可以进行回归分析？,原始的回归分析所研究的是数值型变量之间的因果关系。 但在社会统计分析中，会经常碰到非数值型变量。 研究思路是：将这些非数值型变量进行细

15、化，分别研究不同类别(即非数值型变量的取值)情况下，因变量与其它自变量之间的关系。 例如：因变量是收入，自变量有年龄、教育程度(分为中学、大学、研究生三类)。则可分别研究不同教育程度下，年龄对收入的影响，即可建立三个方程。,引入虚拟变量对方程进行变换,可引入取值只为0,1的虚拟变量(dummy variable) ，将三个方程变换为一个方程。 为解决方程中自变量的自相关问题，可以删除一个虚拟变量，并不影响回归方程的解释能力,虚拟自变量的回归,回归模型中使用虚拟自变量时，称为虚拟自变量的回归 当虚拟自变量只有两个水平时，可在回归中引入一个虚拟变量 比如，性别(男，女) 一般而言，如果定性自变量有

16、k个水平，需要在回归中模型中引进k-1个虚拟变量,虚拟自变量的回归(例题分析),【例】为研究考试成绩与性别之间的关系，从某大学商学院随机抽取男女学生各8名，得到他们的市场营销学课程的考试成绩如下表,虚拟自变量的回归(例题分析),散点图,SPSS操作,虚拟自变量的回归 (例题分析),引进虚拟变量时，回归方程可写 E(y) =0+ 1x,即：E(y) =66.87+14.875x 男( x=0)：E(y) =0男学生考试成绩的期望值 女(x=1)：E(y) =0+ 1女学生考试成绩的期望值 注意：当指定虚拟变量01时 0总是代表与虚拟变量值0所对应的那个分类变量水平的平均值 1总是代表与虚拟变量值

17、1所对应的那个分类变量水平的平均响应与虚拟变量值0所对应的那个分类变量水平的平均值的差值，即 平均值的差值 =(0+ 1) - 0= 1,虚拟自变量的回归(例题分析),【例】为研究工资水平与工作年限和性别之间的关系，在某行业中随机抽取10名职工，所得数据如下表,y与x1的回归及分析,y与x1、 x2的回归及分析,虚拟自变量的回归 (例题分析),引进虚拟变量时，回归方程可写： E(y) =0+ 1x1+ 2x2，即：E(y) =930.5+388x1+1263x2 女( x2=0)：E(y|女性) =0 +1x1 男(x2=1)：E(y|男性) =(0 + 2 ) +1x1 0的含义表示：女性职工的期望月工资收入 (0+ 2)的含义表示：男性职工的期望月工资收入 1含义表示：工作年限每增加1年，男性或女性工资的平均增加值 2含义表示：男性职工的期望月工资收入与女性职工的期望月工资收入之间的差值 (0+ 2)