统计学第六版XX12章.ppt

第12章多元线性回归 第12章多元线性回归 12 1多元线性回归模型12 2回归方程的拟合优度12 3显著性检验12 4多重共线性12 5利用回归方程进行估计和预测12 6虚拟自变量的回归 学习目标 1 回归模型 回归方程 估计的回归方程2 回归方程的拟合优度回归方程的显著性检验多重共线性问题及其处理利用回归方程进行估计和预测虚拟自变量的回归问题用Excel进行回归分析 12 1多元线性回归模型 多元回归模型与回归方程估计的多元回归方程参数的最小二乘估计 多元回归模型与回归方程 多元回归模型 multipleregressionmodel 一个因变量与两个及两个以上自变量的回归描述因变量y如何依赖于自变量x1 x2 xp和误差项 的方程 称为多元回归模型涉及p个自变量的多元回归模型可表示为 b0 b1 b2 bp是参数 是被称为误差项的随机变量y是x1 x2 xp的线性函数加上误差项 包含在y里面但不能被p个自变量的线性关系所解释的变异性 多元回归模型 基本假定 误差项 是一个期望值为0的随机变量 即E 0对于自变量x1 x2 xp的所有值 的方差 2都相同误差项 是一个服从正态分布的随机变量 即 N 0 2 且相互独立 多元回归方程 multipleregressionequation 描述因变量y的平均值或期望值如何依赖于自变量x1 x2 xp的方程多元线性回归方程的形式为E y 0 1x1 2x2 pxp b1 b2 bp称为偏回归系数bi表示假定其他变量不变 当xi每变动一个单位时 y的平均平均变动值 二元回归方程的直观解释 估计的多元回归方程 估计的多元回归的方程 estimatedmultipleregressionequation 是估计值是y的估计值 用样本统计量估计回归方程中的参数时得到的方程由最小二乘法求得一般形式为 参数的最小二乘估计 参数的最小二乘法 求解各回归参数的标准方程如下 使因变量的观察值与估计值之间的离差平方和达到最小来求得 即 参数的最小二乘法 例题分析 例 一家大型商业银行在多个地区设有分行 为弄清楚不良贷款形成的原因 抽取了该银行所属的25家分行2002年的有关业务数据 试建立不良贷款 y 与贷款余额 x1 累计应收贷款 x2 贷款项目个数 x3 和固定资产投资额 x4 的线性回归方程 并解释各回归系数的含义用Excel进行回归 12 2回归方程的拟合优度 多重判定系数估计标准误差 多重判定系数 多重判定系数 multiplecoefficientofdetermination 回归平方和占总平方和的比例计算公式为因变量取值的变差中 能被估计的多元回归方程所解释的比例 修正多重判定系数 adjustedmultiplecoefficientofdetermination 用样本容量n和自变量的个数p去修正R2得到计算公式为避免增加自变量而高估R2意义与R2类似数值小于R2 Excel输出结果的分析 估计标准误差Sy 对误差项 的标准差 的一个估计值衡量多元回归方的程拟合优度计算公式为 Excel输出结果的分析 12 3显著性检验 线性关系检验回归系数检验和推断 线性关系检验 线性关系检验 检验因变量与所有自变量之间的是否显著也被称为总体的显著性检验检验方法是将回归离差平方和 SSR 同剩余离差平方和 SSE 加以比较 应用F检验来分析二者之间的差别是否显著如果是显著的 因变量与自变量之间存在线性关系如果不显著 因变量与自变量之间不存在线性关系 线性关系检验 提出假设H0 1 2 p 0线性关系不显著H1 1 2 p至少有一个不等于0 2 计算检验统计量F 3 确定显著性水平 和分子自由度p 分母自由度n p 1找出临界值F 4 作出决策 若F F 拒绝H0 Excel输出结果的分析 回归系数检验和推断 回归系数的检验 线性关系检验通过后 对各个回归系数有选择地进行一次或多次检验究竟要对哪几个回归系数进行检验 通常需要在建立模型之前作出决定对回归系数检验的个数进行限制 以避免犯过多的第一类错误 弃真错误 对每一个自变量都要单独进行检验应用t检验统计量 回归系数的检验 步骤 提出假设H0 bi 0 自变量xi与因变量y没有线性关系 H1 bi 0 自变量xi与因变量y有线性关系 计算检验的统计量t 确定显著性水平 并进行决策 t t 拒绝H0 t t 不能拒绝H0 Excel输出结果的分析 回归系数的推断 置信区间 回归系数在 1 置信水平下的置信区间为 回归系数的抽样标准差 Excel输出结果的分析 12 4多重共线性 多重共线性及其所产生的问题多重共线性的判别多重共线性问题的处理 多重共线性及其产生的问题 多重共线性 multicollinearity 回归模型中两个或两个以上的自变量彼此相关多重共线性带来的问题有可能会使回归的结果造成混乱 甚至会把分析引入歧途可能对参数估计值的正负号产生影响 特别是各回归系数的正负号有可能同我们与其的正负号相反 Excel输出结果的分析 多重共线性的识别 多重共线性的识别 检测多重共线性的最简单的一种办法是计算模型中各对自变量之间的相关系数 并对各相关系数进行显著性检验若有一个或多个相关系数显著 就表示模型中所用的自变量之间相关 存在着多重共线性如果出现下列情况 暗示存在多重共线性模型中各对自变量之间显著相关 当模型的线性关系检验 F检验 显著时 几乎所有回归系数的t检验却不显著回归系数的正负号与其的相反 Excel输出结果的分析 多重共线性 例题分析 例 判别各自变量之间是否存在多重共线性 贷款余额 应收贷款 贷款项目 固定资产投资额之间的相关矩阵 多重共线性 例题分析 例 判别各自变量之间是否存在多重共线性 相关矩阵系数的检验统计量 多重共线性 例题分析 t 25 2 2 0687 所有统计量t t 25 2 2 0687 所以均拒绝原假设 说明这4个自变量两两之间都有显著的相关关系由表Excel输出的结果可知 回归模型的线性关系显著 Significance F 1 03539E 06 0 05 这也暗示了模型中存在多重共线性固定资产投资额的回归系数为负号 0 029193 与预期的不一致 多重共线性问题的处理 多重共线性 问题的处理 将一个或多个相关的自变量从模型中剔除 使保留的自变量尽可能不相关如果要在模型中保留所有的自变量 则应避免根据t统计量对单个参数进行检验对因变量值的推断 估计或预测 的限定在自变量样本值的范围内 Excel输出结果的分析 12 5利用回归方程进行估计和预测 软件应用 置信区间估计 例题分析 STATISTICA输出的不良贷款的置信区间 预测区间估计 例题分析 STATISTICA输出的不良贷款的预测区间 12 6虚拟自变量的回归 含有一个虚拟自变量的回归用虚拟自变量回归解决方差分析问题 含有一个虚拟自变量的回归 虚拟自变量 dummyvariable 用数字代码表示的定性自变量虚拟自变量可有不同的水平只有两个水平的虚拟自变量比如 性别 男 女 有两个以上水平的虚拟自变量贷款企业的类型 家电 医药 其他 虚拟变量的取值为0 1 虚拟自变量的回归 回归模型中使用虚拟自变量时 称为虚拟自变量的回归当虚拟自变量只有两个水平时 可在回归中引入一个虚拟变量比如 性别 男 女 一般而言 如果定性自变量有k个水平 需要在回归中模型中引进k 1个虚拟变量 虚拟自变量的回归 例题分析 例 为研究考试成绩与性别之间的关系 从某大学商学院随机抽取男女学生各8名 得到他们的市场营销学课程的考试成绩如下表 虚拟自变量的回归 例题分析 散点图 y与x的回归 虚拟自变量的回归 例题分析 引进虚拟变量时 回归方程可写 E y 0 1x男 x 0 E y 0 男学生考试成绩的期望值女 x 0 E y 0 1 1女学生考试成绩的期望值注意 当指定虚拟变量0 1时 0总是代表与虚拟变量值0所对应的那个分类变量水平的平均值 1总是代表与虚拟变量值1所对应的那个分类变量水平的平均响应与虚拟变量值0所对应的那个分类变量水平的平均值的差值 即平均值的差值 0 1 0 1 虚拟自变量的回归 例题分析 例 为研究工资水平与工作年限和性别之间的关系 在某行业中随机抽取10名职工 所得数据如下表 y与x1的回归及分析 y与x1 x2的回归及分析 虚拟自变量的回归 例题分析 引进虚拟变量时 回归方程可写 E y 0 1x1 2x2女 x2 0 E y 女性 0 1x1男 x2 1 E y 男性 0 2 1x1 0的含义表示 女性职工的期望月工资收入 0 2 的含义表示 男性职工的期望月工资收入 1含义表示 工作年限每增加1年 男性或女性工资的平均增加值 2含义表示 男性职工的期望月工资收入与女性职工的期望月工资收入之间的差值 0 2 0 2 用虚拟自变量回归解决方差分析问题 方差分析的回归方法 例题分析 引进虚拟变量建立回归方程 E Y 0 1x1 2x