《统计学》线性回归模型

1 第八章回归和相关分析 2 1导言 3 在自然界和人类社会中 经常会遇到一些变量共处于一个统一体中 他们相互联系 相互制约 在一定条件下相互转化 社会经济现象尤其如此 例如某生产厂家的生产费用由所生产的产品数量和各种生产投入要素的价格等因素所决定 4 在社会经济现象中 变量之间的关系大致可以分为两种 1 函数关系2 统计关系 5 函数关系 变量之间依一定的函数形式形成的一一对应关系称为函数关系 若两个变量分别记作y和x 则当y与x之间存在函数关系时 x值一旦被指定 y值就是唯一确定的 函数关系可以用公式确切的反映出来 一般记为y f x 6 例如 某种商品的销售额 y 与销售量 x 之间的关系 在销售价格 p 一定的条件下 只要给定一个商品销售量 就有一个唯一确定的商品销售额与之对应 用公式表示为y p x 7 统计关系 两个变量之间存在某种依存关系 但变量Y并不是由变量X唯一确定的 它们之间没有严格的一一对应关系 两个变量之间的这种关系就是统计关系 也称为相关关系 8 相关关系与函数关系有十分密切的联系 在实际中 由于观察和测量误差等原因 函数关系往往是通过相关关系表现的 而在研究相关关系时 又常用函数关系作为工具 以相应的函数关系数学表达式表现相关关系的一般数量关系 9 例如 同样收入的家庭 用于食品的消费支出往往并不相同 因为对家庭食品费用的影响 不仅有家庭收入的多少 还有家庭人口 生活习惯等因素 所以 家庭食品费用支出与家庭收入之间不是函数关系 而是相关关系 10 在含有变量的系统中 考察一些变量对另一些变量的影响 它们之间可能存在一种简单的函数关系 也可能存在一种非常复杂的函数关系 有些变量之间的关系是非确定性的关系 这种关系无法用一个精确的数学来表示 11 我们需要区分两种主要类型的变量 一种变量相当于通常函数关系中的自变量 它或者能控制或者虽不能控制但可观测 这种变量称为自变量 自变量的变化能波及另一些变量 这样的变量称为因变量 人们通常感兴趣的问题是自变量的变化对因变量的取值有什么样的影响 12 回归分析正是研究自变量的变动对因变量的变动的影响程度 其目的在于根据已知自变量的变化来估计或预测因变量的变化情况 13 回归的内容包括如何确定因变量与自变量之间的回归模型 如何根据样本观测数据估计并检验回归模型及未知参数 在众多的自变量中 判断哪些变量对因变量的影响是显著的 哪些变量的影响是不显著的 根据自变量的已知值或给定值来估计和预测因变量的平均值等等 14 线性回归分析是研究变量与变量之间的线性相关关系 从分析的内容上看 线性回归是建立变量间的拟合线性相关模型 主要用于估计和预测 线性回归模型应用领域极为广泛 在许多领域里都有应用非常成功的例子 它是现代应用统计分析方法中的重要内容之一 15 一元线性回归模型 16 8 2 1一元线性回归模型的数学表示式 如果两个变量之间存在相关关系 并且一个变量的变化会引起另一个变量按某一线性关系变化 则两个变量间的关系可以用一元线性回归模型描述 17 其数学模型为 y 8 1 其中 y为因变量 x为自变量 为模型参数 为回归截距 为回归系数 为随机误差项 且 N 0 18 在实际问题中 8 1 中的模型参数是未知的 通常只能在自变量的一些点上对因变量进行观测 得到一定量的数据 由数据出发对模型进行推断 19 8 2 2回归系数的最小二乘估计 假定 为n次独立试验所得到的样本观测值 则有 i 1 2 n 8 2 其中i i 1 2 n为随机误差项 对i i 1 2 n的基本假定是i i 1 2 n相互独立 服从N 0 分布 20 记Q Q 是直线y 对于所有数据点的偏差平方和 取直线y 使得Q 达到最小即Q Q z用y 来估计回归直线 这种方法称为最小二乘法 21 为求与分别对应的最小二乘估计 注意到Q 是的非负二次函数 因此最小值点存在且唯一 应满足以下方程组 22 求解方程组得 其中 23 8 2 3利用最小二乘法所得到的估计量有如下性质 1 分别是的无偏估计 2 和的最小二乘估计和为 方差最小 线性无偏估计 3 的无偏估计为 24 在实际中 方差是未知的 因此 可用估计量来估计 25 例题1 在某类企业中随机抽取10个企业 搜集它们的产量和生产费用情况 获得数据如表1所示 26 表1企业产量和生产费用 27 我们可作出散点图 易看出变量x与y之间的关系近似可看作是线性关系 根据表1的数据 利用最小二乘法 求一元线性回归方程 28 以下列出的为计算表 29 30 134 7909 0 3978x为所求的一元回归模型 31 8 2 4一元线性回归模型的检验 我们根据样本观测值 利用最小二乘法建立起一元线性回归模型 该模型是否满足回归模型的基本假设 还需要进行统计检验 32 统计检验应包括两方面的内容 一是回归方程的显著性检验 即反映回归模型 对样本观测值的拟合程度如何 一是回归系数的显著性检验 即检验变量y与变量x之间是否能用线性关系来描述 以下介绍三种检验的方法 33 1 回归模型的拟合程度的测度 变量y的各个观测点聚集在回归直线 周围的紧密程度 称为回归直线对样本数据点的拟合程度 常用可决系数R2来表示 34 总的离差平方和SST 35 因为 0故SST 记SSR SSE 则SST SSR SSE 8 5 SSR称为回归平方和 SSE称为残差平方和 36 8 5 可作如下解释 因变量的总变化量 有SST表示 可分成两部分之和 其中一部分是由自变量所引起的变化 由SSR刻画 另一部分是随机误差所引起的变化 由SSE刻画 变量y的各个观测值点与回归直线越靠近 SSR在SST中所占的比重越大 可见 比值SSR SST的大小 能反映回归模型拟合程度的优劣 37 由此 可定义统计量 R2 R2称为 可决系数 显然 0 R2 1 当R2接近于1时 回归平方和SSR在总的平方和SST中所占的比重大 说明自变量对因变量的影响较大 反之 当R2接近与0时 回归平方和SSR在总的平方和SST中所占的比重小 说明自变量对因变量的影响较小 综上所述 R2越接近与1 说明模型越有效 R2越接近与0 说明模型越无效 应该注意的是 R2通常只用于模型有效性的一个大致的判断 38 R2称为 可决系数 显然 0 R2 1 当R2接近于1时 回归平方和SSR在总的平方和SST中所占的比重大 说明自变量对因变量的影响较大 反之 当R2接近与0时 回归平方和SSR在总的平方和SST中所占的比重小 说明自变量对因变量的影响较小 综上所述 R2越接近与1 说明模型越有效 R2越接近与0 说明模型越无效 应该注意的是 R2通常只用于模型有效性的一个大致的判断 39 可决系数R2只说明了回归方程对样本观察值拟合程度的好坏 却不能表示回归直线估计值与变量y的各实际观察值的绝对离差的数额 估计标准误差则是反映回归估计值与样本实际观察值的平均差异程度的指标 用Syx表示估计标准误差 其计算公式为 Syx 40 若估计标准误差Syx小 表示各实际观察值与回归估计值平均差异小 实际观察点靠近回归直线 回归直线的拟合程度好 代表性高 若样本观察点全部落在直线上 则Syx 0 说明样本实际值与估计值没有差别 若Syx大 则说明回归直线拟合不好 代表性差 41 估计标准误差也可化简为Syx 42 2 回归系数的显著性检验 一元线性回归模型中 一次项系数是一个关键的量 通过可反映自变量x的变动对因变量y的影响 若 0意味着y不随x变动而变动 因此y与x之间不存在线性关系 若0 说明变量y与x之间存在线性关系 当 0时 x对y的影响为正效应 当 0时x对y的影响为负效应 影响的大小由的绝对值来反映 43 回归系数的显著性检验通常是通过回归系数的t值检验 检验步骤如下 统计假设 H0 0H1 0 44 计算回归系数的t值 t 其中 45 在原假设成立的条件下 t服从自由度为n 2的t分布 即t t n 2 若给定的显著性水平为 通常取 0 05 查t分布表 得到临界值使得P t 46 假设的检验决策规则是 若 t 则拒绝接受原假设H0 若 t 时说明变量y与x之间存在线性关系 t 时 意味着y不随x变动而变动 47 虽然在回归函数中常数项的作用不如重要 但有时也要对它作区间估计或假设检验 例如有时要检验假设 0 这相当于要检验回归直线是否通过原点 下面介绍以下关于的统计假设检验 48 检验步骤如下 统计假设 H0 0H1 0计算回归系数的t值t 在原假设H0成立时 t服从自由度为n 2的t分布 49 对给定的显著性水平 决策规则是 若 t 则拒绝接受原假设H0 若 t 则接受原假设H0 50 3 回归方程线性关系的显著性检验 该检验是以方差分析方法为基础 反映y与x之间是否存在线性相关关系的检验 也被称为回归方程的F检验 其检验步骤如下 51 统计假设H0 0H1 0计算回归方程的F统计量 F 可证明 在原假设H0成立时 有F F 1 n 2 52 根据给定的显著性水平 查F分布表 对于给定的显著性水平 假设检验决策的规则为 若F 1 n 2 时 则拒绝接受原假设H0若F 1 n 2 时 则接受原假设H0 53 也就是说 F 1 n 2 时 回归方程的回归效果是显著的 F 1 n 2 时 回归方程的回归效果是不显著的 54 例题2 利用例题1的结果 检验生产费用和产量之间存在着线性关系的假设是否成立 解 1 F检验统计假设 H0 0H1 0 55 SSR 1666 3577SST 887 7423统计量F 15 0166 56 给定的显著性水平 0 01 查F分布表 得 1 8 11 26由于F 15 0166 1 8 11 26 所以 拒绝接受H0 即生产费用和参量之间存在着十分显著的线性关系 57 8 2 5一元线性回归模型的应用 回归模型在应用领域里一项重要的研究内容是如何利用回归模型进行预测 预测就是在确定自变量的某一个值时 求相应的因变量y的估计值 其中可分为点预测和区间预测 58 1 点预测点预测是将自变量的预测值代入回归模型 所得到的因变量y的值作为与相对应的的预测 不难验证 是无偏预测 59 2 区间预测类似于对参数作置信区间估计 可对预测作指定置信水平的预测区间 这样可以以相当大的概率保证预测的 方向 及精度 60 对于与相对应的值为 由于样本的不得到的回归模型的 会不同 通过 预测的 这个与之间总存在一定的抽样误差 可证明 N 0 61 其中 因此 的概率为1 的预测区间为 62 因而 对于给定的置信水平1 有 为的置信水平100 1 的预测区间 63 例题3 依据例题1中所建立的回归模型 给定x0 50 千个 时 试预测y0 并求 0 05时y0的预测区间 64 解 当x0 50时 134 7909 0 397850 154 6809 千元 8 2 306 26 3301所以 128 3607 181 0209 为y0的置信水平95 的预测区间 65 3多元线性回归模型及其应用 一元线性回归将影响因变量的自变量限制在一个 但在实际中 社会经济现象的复杂性决定了某一现象的变动往往受多种因素的影响 如某种产品单位成本的高低受产品原材料消耗量 原材料价格 产品产量等多种因素影响 企业的利润受产品销售收入 产品销售成本 期间费用等因素影响 这就需要研究两个或两个以上自变量对因变量的影响 一个因变量与多个自变量之间的线性相关关系称为多元线性回归 66 8 3 1多元线性回归模型的数学表示式为 y 8 6 其中 y为因变量 i 1 2 n为自变量 i 0 1 k为回归参数 为随机变量 且 67 8 3 2参数的最小二乘估计 实际上 回归参数 通常是未知的 需要对其进行估计 假定对于自变量 和因变量y已得到n次观测 第i次观测值为 i 1 2 n 68 于是有 i 1 2 n其中 为相互独立的随机变量 且 69 回归参数 常用最小二乘法来估计 记Q 70 求它的最小值点 即Q Q 则就是 的最小二乘估计 71 令Q对 的一阶偏导数为零 即可求出最小二乘估计 j 1 2 n 72 将上述方程组整理可得到 8 7 方程组 8 7 称为 正规方程组 73 记 74 则模型 8 6 可表示为Y X 正规方程组 8 7 可表示为 XTX XTY 75 当k 1阶方阵XTX满秩时 即等价于r X k 1 可解出的唯一最小二乘估计这样就得到了y的估计式可以看出 最小二乘估计是y的观测值的线性函数 且是的无偏估计 76 因为E XTX 1XTE y XTX 1XTX 类似于一元线性模型 可证明最小二乘估计为的 方差最小 线性无偏估计 方差最小 可理解为 对的每个分量 最小二乘估计的方差最小 77 8 3 3多元线性回归模型的检验 多元线性回归模型的检验包括两个方面 对回归模型的拟合程度的评价 和回归线性相关关系的检验 方法和一元线性回归类同 78 8 3 4多元线性回归模型的应用 在多元线性回归模型中 预测的方法与一元线性回归模型的情况非常类似 建立了线性回归模型之后 便可用它对有关变量进行预测 79 给定 对应的因变量记为y0 则y0的点估计可由模型求得 80 若记 则可证明 N于是 N 0 1 用代替 便有 t n k 1 81 对于给定的 的置信度为100 1 的置信区间为 82 4回归分析中的一些特殊问题 83 前面我们介绍了线性回归模型的建立和应用 一元线性回归分析在实际中应用并不广泛 而更多的是多元线性回归模型 但在实际中 正确应用线性回归模型分析实际问题并不是一件容易的事 由于有多个自变量 以下我们来介绍回归分析中的一些特殊问题 84 8 4 1自变量的选择问题 在建立一个回归模型时 我们要将所有可能对因变量产生影响的自变量考虑到模型中去 而通常在所有备选的自变量中 只有一部分真正对因变量有影响 这样的变量称为有效变量 而其它的则可能对因变量没有影响 称为无效变量 因此需要将有效变量保留在模型中 而无效变量应从模型中去掉 这样就产生了自变量的筛选问题 具体方法略 85 8 4 2多重共线型问题 在许多场合 如社会研究 时常分析等领域中 自变量是随机的 在这种情况下 自变量之间就会有很强的统计相关性 即多重共线性 由于样本数据间存在着线性相关关系而产生的问题就称为多重共线性问题 因此检验多重共线型问题是必要的 具体方法略 86 在多重共线性现象中 一种极端情况是自变量间的相关系数为 这种情况称为完全的多重共线性现象 此时 某个自变量可表