统计学第10讲 相关与回归分析(白)含检验.ppt

第8章相关与回归分析 8 1相关与回归的基本概念8 2简单线性相关与回归分析8 3多元线性相关与回归分析 选讲 8 4非线性相关与回归分析 学习目标 1 变量间的相关关系与相关系数的计算2 总体回归函数与样本回归函数3 线性回归的基本假定4 简单线性回归参数的估计与检验5 常用的可以转换为线性回归的非线性函数6 非线性相关指数 学习重点 相关系数的计算相关分析与回归分析的联系与区别总体回归函数与样本回归函数线性回归的基本假定简单线性回归参数的估计与检验非线性相关指数 学习难点 总体回归函数与样本回归函数的联系与区别线性回归的基本假定简单线性回归参数的估计与检验常用的可以转换为线性回归的非线性函数 授课学时 6学时 10 1相关与回归的基本概念 一 变量间的相互关系二 相关关系的类型三 相关分析与回归分析 一 变量间的相互关系 确定性的函数关系Y f X 不确定性的统计关系 相关关系相关关系是指变量之间存在一定的相依关系 但又不是确定的和严格依存的 Y f X u u为随机变量 如广告费用 X 与销售收入 Y 之间的关系 居民的可支配收入 X 与居民的消费支出 Y 之间的关系 没有关系变量间关系的图形描述 坐标图 散点图 二 相关关系特点 1 变量间关系不能用函数关系精确表达 2 一个变量的取值不能由另一个变量唯一确定 当变量x取某个值的时候 变量y的取值可能有几个 3 各观测点 x y 分布在某条线的周围 相关关系的例子商品的消费量 y 与居民收入 x 之间的关系商品的消费量 y 与物价 x 之间的关系商品销售额 y 与广告费支出 x 之间的关系粮食亩产量 y 与施肥量 x1 降雨量 x2 温度 x3 之间的关系收入水平 y 与受教育程度 x 之间的关系 相关关系举例 三 相关关系的类型 1 不完全相关 介于完全相关与不相关之间 2 完全相关 函数关系 一个变量的变化完全由另一个变量的变化所确定 3 不相关两个变量的变化相互之间完全没有关系 1 按相关的程度划分 1 线性相关 2 非线性相关 2 按相关的形式划分 3 按相关的方向划分 1 正相关例如收入与消费的关系 2 负相关例如物价与消费的关系 1 单相关 又称一元相关 指两个变量之间的相互关系 2 复相关 又称多元相关 指三个变量及以上变量之间的相互关系例如 某种商品的需求与其价格水平以及收入水平之间的相关关系便是一种复相关 3 偏相关 在某一变量与多个变量相关时 当假定其他变量不变 其中两个变量的相关关系 例如 在假定人们的收入水平 偏好等不变的条件下 某种商品的需求与其价格水平的关系就是一种偏相关 4 按相关关系涉及的变量多少划分 相关关系的图示 定性分析 是依据研究者的理论知识和实践经验 对客观现象之间是否存在相关关系 以及何种关系作出判断 定量分析 在定性分析的基础上 通过编制相关表 绘制相关图 计算相关系数等方法 来判断现象之间相关的方向 形态及密切程度 四 相关关系的判断 研究现象之间的依存关系的一种表格 首先要通过实际调查取得一系列成对数据作为相关分析的原始资料 然后将某一变量按其数值的大小顺序排列 再将与其相关的另一变量的对应值平行排列 即可得到简单的相关表 一 相关表 例 为了研究分析某种产品完成量与其单位产品成本之间的关系 调查30个同类公司得到的原始数据如表 整理后有 二 相关图 又称散点图 是以直角坐标系的横轴代表变量x 纵轴代表变量y 将两个变量相对应的成对数据用坐标点的形式描绘出来 用于反映两个变量之间相关关系的图形 销售收入与广告费相关图 五 相关分析与回归分析 回归的古典意义 高尔顿遗传学的回归概念父母身高与子女身高的关系 无论高个子或低个子的子女都有向人的平均身高回归的趋势 回归的现代意义 一个因变量对若干解释变量依存关系的研究回归的目的 实质 由固定的自变量去估计因变量的平均值 回归分析 是指对具有相关关系的变量 依据其关系性质 选择一个合适的数学模型 回归方程 用来近似地表示变量间数量平均变化关系的一种统计方法 回归分析按分析变量的多少可分为一元回归分析和多元回归分析 按分析变量间的表现形式可分为现性回归分析和非线性回归分析 相关分析与回归分析的关系 联系 1 共同的研究对象 都是对变量间相关关系的分析 2 相关分析是回归分析的基础和前提 只有当变量间存在相关关系时 用回归分析去寻求相关的具体数学形式才有实际意义 3 相关分析只表明变量间相关关系的性质和程度 要确定变量间相关的具体数学形式依赖于回归分析区别 1 相关分析与回归分析在研究目的和方法上是有明显区别的 相关分析研究变量之间相关的方向和相关的程度 但是 相关分析不能指出变量间相互关系的具体形式 也无法从一个变量的变化来推测另一个变量的变化情况 回归分析则是研究变量之间相互关系的具体形式 它对具有相关关系的变量之间的数量联系进行测定 确定一个相关的数学方程式 根据这个数学方程式可以从已知量来推测未知量 从而为估算和预测提供了一个重要的方法 2 相关分析可以不必确定变量中哪个是自变量 哪个是因变量 而回归分析则必须事先研究确定具有相关关系的变量中哪个为自变量 哪个为因变量 3 相关分析所涉及的变量可以都是随机变量 一般地说 回归分析中因变量是随机的 而把自变量作为研究时给定的非随机变量 六 回归模型的类型 一个自变量 两个及两个以上自变量 回归模型 多元回归 一元回归 线性回归 非线性回归 线性回归 非线性回归 10 2简单线性相关与回归分析 一 简单线性相关系数及检验二 总体回归函数与样本回归函数三 回归系数的估计四 简单线性回归模型的检验五 简单线性回归模型预测 一 简单线性相关系数及检验 一 相关系数的定义 单相关分析是对两个变量之间的线性相关程度进行分析 线性相关程度可用 总体相关系数特点 对于特定的总体来说 总体相关系数是客观存在的特定数值 表现为一个常数 样本相关系数 样本相关系数通常用表示特点 样本相关系数是根据从总体中抽取的随机样本的观测值计算出来的 是对总体相关系数的估计 它是个随机变量 二 相关系数的特点 相关系数的取值在 1与1之间 当r 0时 表明X与Y没有线性相关关系 但可能存在其他类型关系 当时 表明X与Y存在一定的线性相关关系 若表明X与Y为正相关若表明X与Y为负相关 当时 表明X与Y完全线性相关 若r 1 称X与Y完全正相关 若r 1 称X与Y完全负相关 三 相关系数的计算 例 计算工业总产值与能源消耗量之间的相关系数 结论 工业总产值与能源消耗量之间存在高度的正相关关系 能源消耗量x的变化能够解释工业总产值y变化的95 2 四 使用相关系数的注意事项 X和Y都是相互对称的随机变量 所以 相关系数只反映变量间的线性相关程度 不能说明非线性相关关系 相关系数不能确定变量的因果关系 也不能说明相关关系具体接近于哪条直线 五 相关系数的检验 1 为什么要检验 样本相关系数是随抽样而变动的随机变量 相关系数的统计显著性还有待检验 2 检验的依据 如果X和Y都服从正态分布 在总体相关系数的假设下 可采用t检验来确定变量之间相关关系的显著性 与样本相关系数r有关的t统计量服从自由度为n 2的t分布 3 相关系数的检验方法 给定显著性水平 查自由度为n 2的临界值若 表明相关系数r在统计上是显著的 应否定而接受的假设 反之 若 应接受的假设 二 一元线性回归模型 若干基本概念 Y的条件分布 Y在X取某固定值条件下的分布 对于X的每一个取值 都有Y的条件期望与之对应 在坐标图上Y的条件期望的点随X而变化的轨迹所形成的直线或曲线 称为回归线 如果把Y的条件期望表示为X的某种函数 这个函数称为回归函数 如果其函数形式是只有一个自变量的线性函数 如称为简单线性回归函数 一 总体回归函数 PRF 概念 将总体因变量Y的条件均值表现为自变量X的某种函数 这个函数称为总体回归函数 简记为PRF 表现形式 1 总体回归直线 2 总体一元线性回归模型 3 简单线性回归的基本假定 假定1 误差项u是一个期望值为0的随即变量 即假定2 对于所有的X值 误差项ui的方差为常数 假定3 自变量是给定的变量 与随机误差项线性无关假定4 无自相关假定 随机误差项u的逐次值互不相关假定5 正态性假定 随机误差项ui是无法直接观测 为进行回归分析 需对其概率分布进行假设 满足这些假设的模型称为标准的一元线性回归模型 二 样本回归函数 SRF 概念 总体回归函数实际上是未知的 需要用样本的信息对其进行估计 根据样本数据拟合的直线 称为样本回归直线 其相应的函数称为样本回归函数 简记为SRF 表现形式 线性样本回归函数可表示为 样本回归方程 四 样本回归函数与总体回归函数的关系 1 相互联系 样本回归函数的函数形式应与设定的总体回归函数的函数形式一致 和是对总体回归函数参数的估计 是对总体条件期望的估计 残差e在概念上类似总体回归函数中的随机误差u 回归分析的目的 用样本回归函数去估计总体回归函数 样本回归函数与总体回归函数的关系 2 相互区别 总体回归函数虽然未知 但它是确定的 样本回归线随抽样波动而变化 可以有许多条 样本回归线还不是总体回归线 至多只是未知总体回归线的近似表现 总体回归函数的参数虽未知 但是确定的常数 样本回归函数的参数可估计 但是随抽样而变化的随机变量 总体回归函数中的是不可直接观测的 而样本回归函数中的是只要估计出样本回归的参数就可以计算的数值 三 回归系数的最小二乘估计 基本思想 回归分析主要任务是建立能够反映真实总体回归函数的样本回归函数 在用样本资料确定样本回归方程时 希望估计值偏离实际观测值的残差越小越好 可以取残差平方和作为衡量与偏离程度的标准 最小二乘准则 最小二乘法 图示 x y xn yn x1 y1 x2 y2 xi yi 一 回归系数的估计的最小二乘法公式 将 对求偏导数 并令其等于零 可得 加以整理后有 设 解方程组可得求解的标准方程如下 分析 因为工业总产值与能源消耗量之间存在高度正相关关系 所以可以拟合工业总产值对能源消耗量的线性回归方程 即线性回归方程为 计算结果表明 在其他条件不变时 能源消耗量每增加一个单位 十万吨 工业总产值将增加0 7961个单位 亿元 二 最小二乘估计的概率分布性质 和都是服从正态分布的随机变量 其期望为概率分布为 三 总体方差的无偏估计 总体随机误差项的方差可以反映理论模型误差的大小 是检验模型时必须利用的一个重要参数 可以证明的无偏估计为 四 一元线性回归模型的检验 回归模型的参数 系数 估计出来后 必须对其进行检验 对回归系数的假设检验 是在对总体回归系数某种原假设成立的条件下 确定适当的统计量 在一定的显著水平下对原假设进行统计检验 一 拟合优度的度量 回归直线对数据的拟合优度 样本观测值聚集在样本回归线周围的紧密程度 样本回归直线是对样本数据的一种拟合 不同估计方法可拟合出不同的回归线 如果各观测值数据的散点都聚集回归直线周围 那么这条直线对数据拟合效果就好 否则 拟合效果就差 通常用判定系数度量回归模型的拟合优度 离差平方和的分解 图示 1 判定系数的定义 判定系数的定义是建立在对因变量总离差平方和分解的基础上 离差平方和的分解 三个平方和的关系 两端平方后求和有 从图上看有 SST SSR SSE 离差平方和的分解 三个平方和的意义 总的离差平方和 SST 反映因变量的n个观察值与其均值的总离差回归平方和 SSR 反映自变量x的变化对因变量y取值变化的影响 或者说 是由于x与y之间的线性关系引起的y的取值变化 也称为可解释的平方和 残差平方和 SSE 反映除x以外的其他因素对y取值的影响 也称为不可解释的平方和或剩余平方和 2 判定系数 可决系数R2 的特点 1 回归平方和占总离差平方和的比例 2 反映回归直线的拟合程度 3 取值范围在 0 1 之间 4 R2 1 说明回归方程拟合的越好 R2 0 说明回归方程拟合的越差 5 判定系数等于相关系数的平方 即R2 r 2 二 回归系数显著性的t检验 对回归模型的统计检验 除了对模型拟合程度的检验外 还包括各回归系数的显著性检验和对回归方程的总显著检验 在一元线性回归中 由于只有一个自变量 对各回归系数的显著性检验与对回归方程的总显著性检验实际是等价的 故这里只讨论对回归系数的显著性检验 检验目的是评价两个变量之间是否有关系 即变量X是否对变量Y有影响 思想 是未知的 而且不一定能获得大样本 这时可用的无偏估计代替去估计参数的标准误差 回归系数显著性的t检验 续 用估计的参数标准误差对估计的参数作标准化变换 所得的t统计量将不再服从正态分布 而是服从t分布 可利用t分布作有关的假设检验 回归系数显著性t检验的方法 1 提出假设一般假设 常用假设 2 计算统计量 3 给定显著性水平 确定临界值 4 检验结果判断若则拒绝原假设 而接受备择假设若则接受原假设 拒绝备择假设 回归系数显著性的P值检验 P值的意义 P值的意义 在既定原假设下计算回归系数的t统计量 可求得统计量t大于的概率 这里的是t统计量大于值的概率 是尚不能拒绝原假设最大显著水平 称为所估计的回归系数的P值 回归系数显著性的P值检验 检验方法 回归系数显著性的P值检验方法 将所取显著性水平与P值对比 所取的显著性水平 例如取0 05 若比P值更大 就可在显著性水平下拒绝 所取的若小于P值 就应在显著性水平下接受 五 简单线性回归模型预测 如果所拟合的样本回归方程经过检验 被认为具有经济意义 同时具有较高的拟合度 就可利用其进行预测 即用自变量X的取值估计或预测因变量Y的取值 1 点预测 2 区间预测 的个别值置信度为1 的预测区间 因变量的区间预测的特点 续 3 预测区间与样本容量有关 样本容量n越大 越大 预测误差的方差越小 预测区间也越窄 4 当样本容量趋于无穷大 即n 时 不存在抽样误差 平均值预测误差趋于0 此时个别值的预测误差只决定于随机扰动的