数学建模讲座-回归模型.ppt

回归模型 数学建模讲座 前言 回归分析就是研究变量之间统计规律的方法 回归分析属于 黑箱 建模中常用的方法 其主要问题包括 确定变量之间的定量关系式 即回归方程 检验回归方程的可信度 判断自变量对因变量的影响 预测及控制因变量的变化 回归模型按模型中自变量的多少 分为一元回归模型和多元回归模型 按模型中自变量与因变量之间是否线性 分为线性回归模型和非线性回归模型 分类 主要问题 前言 画散点图 拟合模型中的参数 如果通过检验 即可用于预测 如果未通过检验 重新选择回归方程类型 直观判断 选择回归方程类型 模型的检验 主要内容 一元线性回归模型多元线性回归模型非线性回归模型利用EXCEL求解回归模型 一 一元线性回归模型 例1 根据调查得到某市职工个人月可支配收入与月消费支出数据资料 如下表 试研究职工个人月可支配收入与月消费支出的关系 1 一元线性回归方程 为了研究两者之间的关系 先画散点图 以月可支配收入x为横坐标 消费支出y为纵坐标 如下图所示 数据点整体呈单调增加的趋势 且大致位于一条直线附近 因此考虑建立一元线性回归模型 一 一元线性回归模型 一 一元线性回归模型 参数估计 假设观察数据为根据求极值的必要条件 对上式关于两个参数求偏导 并令之等于0 解出参数得 其中 一 一元线性回归模型 2 一元线性回归模型的检验 在例1中 已知的离散数据分布在回归直线的附近 从直观上看出 回归直线较好地刻画了离散数据的变化趋势 但这种直观的观察的说服力并不强 需要从统计分析的角度对建立的模型进行统计检验 主要分为 对一元线性回归模型的检验 拟合优度检验 显著性检验 回归方程线性关系的显著性检验 F检验 回归系数的显著性检验 t检验 一 一元线性回归模型 对于一个回归方程而言 即使它通过了显著性检验 还不能说结果就很好 还需要从回归好坏程度 即拟合优度的角度检验回归方程 1 拟合优度检验 对于线性回归模型 主要通过复相关系数R2和调整的复相关系数 adjustR2 来度量拟合优度 复相关系数 显然 0 R2 1 且R2越接近1 因变量y与自变量x之间的线性相关程度越强 拟合优度越好 A 标准误差检验它描述了平均的预测精度 B 可决系数检验令越接近于1 说明回归模型的自变量越能解释因变量的变动 模型的检验 C 回归方程的显著性检验 F检验 令其中F服从 若 则回归方程显著 D 回归系数的显著性检验 t检验 令其中 取显著性水平为若 则回归系数显著 下面根据例1中的数据 利用EXCEL建立一元线性回归模型并进行检验 可得如下结果 回归方程 y 0 509091x 244 545 复相关系数 0 962062 接近1 说明拟合优度较好 F检验 统计量F的值为F 202 8679245 查表得F分布的临界值F0 05 1 n 2 F0 05 1 8 5 318 显然F F 回归方程的线性关系显著 一 一元线性回归模型 一 一元线性回归模型 二 多元线性回归模型 多元线性回归模型是处理多个变量之间关系的最简单模型 其一般表达式为 1 多元线性回归方程 与一元线性回归模型的检验一样 多元线性回归模型的检验也主要分为 2 多元线性回归模型的检验 二 多元线性回归模型 例2 已知我国1978 1994年之间国有独立核算工业总产值 职工人数和固定资产的统计数据如下表所示 试建立它们之间的多元线性回归模型 二 多元线性回归模型 接上页 二 多元线性回归模型 二 多元线性回归模型 回归方程 复相关系数 0 995764 接近1 说明拟合优度较好 F检验 统计量F的值为F 1018 551 查表得F分布的临界值F0 05 k n k 1 F0 05 3 13 3 41 显然F F 回归方程的线性关系显著 调整的复相关系数 0 994786 接近1 说明拟合优度较好 二 多元线性回归模型 t检验 四个回归系数的T值依次为 0 25179 0 671538 0 78098 7 432745 查表得临界值t0 025 n k 1 2 532638 有三个系数的统计量的绝对值都小于临界值 不能认为系数显著性不为零 应减少变量 从上述检验结果可以看出 尽管通过了线性显著性检验 拟合优度也很好 但是有三个回归系数的t检验未通过 我们将t检验统计量最小的变量 即时间 删除 重新建立多元线性回归模型 二 多元线性回归模型 下面对新建立的模型进行检验 可得 二 多元线性回归模型 非线性回归模型 在很多实际问题中 从统计数据的散点图或从机理分析判断 两个变量之家的关系并不是线性关系 而是非线性关系 要描述这种非线性关系 就需要对这两个变量建立非线性回归模型 由于非线性回归模型的类型有无穷多种 而且求解的计算复杂度也比线性回归模型大得多 因此非线性回归模型比较复杂 它的求解方法主要分两类 首先 有一些非线性模型可以通过变量代换等方法线性化 然后按照线性回归的方法求解 其次 可以将非线性回归模型转化为非线性规划问题 然后按照非线性规划问题的相关算法求解 一 一元多项式回归模型 1 一元多项式回归方程 研究一个因变量与一个或多个自变量间多项式的回归分析方法 称为多项式回归 polynomialregression 如果自变量只有一个时 称为一元多项式回归 如果自变量有多个时 称为多元多项式回归 一 一元多项式回归模型 此为多元线性回归模型 可按可按本章第一节关于求解多元线性回归的方法求出回归系数 再将变量代回 即得 一元m次多项式回归方程为 当然 还要根据多元线性回归方程显著性的检验方法进行检验 一 一元多项式回归模型 例1 给动物口服某种药物A1000mg 每间隔1小时测定血药浓度 g ml 得到下表中的数据 血药浓度为5头供试动物的平均值 试建立血药浓度 依变量y 对服药时间 自变量x 的回归方程 血药浓度与服药时间测定结果表 血药浓度随服药时间的变化曲线 一 一元多项式回归模型 如图所示 血药浓度与服药时间的变化关系显然是非线性的 考虑用一元二次多项式回归模型 利用EXCEL求解此二元线性回归模型 得二元线性回归方程为 一 一元多项式回归模型 对上式进行显著性检验及拟合优度检验 得到如下结果 复相关系数R2 0 993804 调整的复相关系数R 2 0 9917 都接近1 表明拟合优度好 上述结果说明此二元线性回归模型通过了各项显著性检验和拟合优度检验 变量代回即得二次多项式回归模型 一 一元多项式回归模型 2 基函数的选择 一 一元多项式回归模型 求解回归系数的方法 一 一元多项式回归模型 注 这种通过变量代换将回归模型化为多元线性回归模型的方法与求解多项式回归的方法相同 前提是变量y关于回归系数必须满足线性关系 二 内线性回归模型 在第五章求解非线性最小二乘模型时 我们把一些非线性的最小二乘逼近模型通过变量代换化为了线性最小二乘逼近 与之相同 我们在解一些非线性回归模型时 也可以通过对因变量及回归变量都进行适当的变量代换把它们线性化 即化为线性回归模型 这类非线性回归模型称为内线性回归模型 内线性回归模型 线性化后为 二 内线性回归模型 内线性回归模型 线性化后为 二 内线性回归