数学建模——线性回归分析.pptx

线性回归分析 2011/9/10zhaoswallow2 一、引言 2004年全国数模竞赛的B题 “电力市场的 输电阻塞管理” 第一个问题： 某电网有8台发电机组，6条主要线路， 表 1和表2中的方案0给出了各机组的当前出力和 各线路上对应的有功潮流值，方案132给出了 围绕方案0的一些实验数据，试用这些数据确 定各线路上有功潮流关于各发电机组出力的近 似表达式。 2011/9/10zhaoswallow3 表1 各机组出力方案 （单位：兆瓦，记作MW） 方案机组123 4 5 678 0120731808012512581.190 1133.02731808012512581.190 2129.63731808012512581.190 3158.77731808012512581.190 4145.32731808012512581.190 512078.5961808012512581.190 612075.451808012512581.190 712090.4871808012512581.190 812083.8481808012512581.190 912073231.398012512581.190 1012073198.488012512581.190 1112073212.648012512581.190 1212073190.558012512581.190 131207318075.85712512581.190 141207318065.95812512581.190 151207318087.25812512581.190 161207318097.82412512581.190 171207318080150.7112581.190 2011/9/10zhaoswallow4 18 1207318080141.5812581.190 19 1207318080132.3712581.190 20 1207318080156.9312581.190 21 1207318080125138.8881.190 22 1207318080125131.2181.190 23 1207318080125141.7181.190 24 1207318080125149.2981.190 25 120731808012512560.58290 26 120731808012512570.96290 27 120731808012512564.85490 28 120731808012512575.52990 29 120731808012512581.1104.84 30 120731808012512581.1111.22 31 120731808012512581.198.092 32 120731808012512581.1120.44 2011/9/10zhaoswallow5 表2 各线路的潮流值（各方案与表1相对应，单位：MW） 方案线路123456 0164.78140.87-144.25119.09135.44157.69 1165.81140.13-145.14118.63135.37160.76 2165.51140.25-144.92118.7135.33159.98 3167.93138.71-146.91117.72135.41166.81 4166.79139.45-145.92118.13135.41163.64 5164.94141.5-143.84118.43136.72157.22 6164.8141.13-144.07118.82136.02157.5 7165.59143.03-143.16117.24139.66156.59 8165.21142.28-143.49117.96137.98156.96 9167.43140.82-152.26129.58132.04153.6 10165.71140.82-147.08122.85134.21156.23 11166.45140.82-149.33125.75133.28155.09 12165.23140.85-145.82121.16134.75156.77 13164.23140.73-144.18119.12135.57157.2 14163.04140.34-144.03119.31135.97156.31 15165.54141.1-144.32118.84135.06158.26 2011/9/10zhaoswallow6 24167.69138.07-144.14119.19137.11157.65 25162.21141.21-144.13116.03135.5154.26 26163.54141-144.16117.56135.44155.93 27162.7141.14-144.21116.74135.4154.88 28164.06140.94-144.18118.24135.4156.68 29164.66142.27-147.2120.21135.28157.65 30164.7142.94-148.45120.68135.16157.63 31164.67141.56-145.88119.68135.29157.61 32164.69143.84-150.34121.34135.12157.64 16166.88141.4-144.34118.67134.67159.28 17164.07143.03-140.97118.75133.75158.83 18164.27142.29-142.15118.85134.27158.37 19164.57141.44-143.3119134.88158.01 20163.89143.61-140.25118.64133.28159.12 21166.35139.29-144.2119.1136.33157.59 22165.54140.14-144.19119.09135.81157.67 23166.75138.95-144.17119.15136.55157.59 2011/9/10zhaoswallow7 仔细分析题目，可以发现，该问题就是要找 出各线路上有功潮流与8台发电机出力的函数关 系，这在数学上是一个函数拟合问题。 对函数拟合，可以采用线性函数，也可以采 用非线性函数，比如多项式函数，三角函数，指 数函数等等。在给出具体问题的具体数据时，首 先想到的还是最简单的方法下手，采用最简单的 函数去拟合，也就是线性函数来表达。 1、模型的分析 2011/9/10zhaoswallow8 由电网的拓扑结构，线路上的有功潮流由 机 组出力决定。又根据功率的叠加原理，各线路 上有功潮流应为各发电机组出力的线性组合， 考虑对所有实验数据采用最小二乘法进行线性 拟合，从而得到各线路有功潮流关于各发电机 组出力的近似表达式。 2011/9/10zhaoswallow9 2、模型的建立与求解 2011/9/10zhaoswallow10 根据表1和表2围绕方案0的1-32组实验数 据，可以列出关于未知数的32个方程的方程 组，利用SAS或Matlab编程求解方程组，得 2011/9/10zhaoswallow11 还需要根据样本值运用假设检验来判断， 以确定求得的回归方程是否有价值。 在许多国际国内数学建模竞赛中，都有可能用到回归分析。因此 ，我们介绍线性回归分析的基本原理，对模型好坏的评价指标，可线性 化的回归分析，利用统计软件的实现等具体问题。 2011/9/10zhaoswallow12 二、回归分析方法 回归分析是研究一个或一组变量（因变量， 结果）与另一些变量（自变量或回归变量， 原因）之间的依存关系。 在回归模型中，若变量之间的关系是线性关系 ，称为线性回归模型，否则，称为非线性回归 模型。 当自变量只有一个，称为一元线性回归， 如果 自变量有多个，称为多元线性回归。 2011/9/10zhaoswallow13 1、一元线性回归 一元线性回归模型为 满足 2011/9/10zhaoswallow14 一元线性回归 2011/9/10zhaoswallow15 则 令 正规方程组 一元线性回归 2011/9/10zhaoswallow16 整理得 一元线性回归 2011/9/10zhaoswallow17 其中， 参数的最小二乘估计 一元线性回归 2011/9/10zhaoswallow18 称作y关于x的一元经验回归方程。 一元线性回归 2011/9/10zhaoswallow19 一元线性回归 2011/9/10zhaoswallow20 一元线性回归 2011/9/10zhaoswallow21 2、多元线性回归 模型为 ： 2011/9/10zhaoswallow22 多元线性回归 2011/9/10zhaoswallow23 令 多元线性回归 注意：矩阵X的第一 列全是1. 2011/9/10zhaoswallow24 则（6）可用矩阵表达为 多元线性回归 2011/9/10zhaoswallow25 对应正规方程组为 在X不是列满秩时，其解虽然不唯一，但对任意一组解都使得残差平方和最 小。 多元线性回归 2011/9/10zhaoswallow26 多元线性回归 关于多重共线性的知识请参阅韩中庚数学建模方法及其应用。 2011/9/10zhaoswallow27 当 p=1 时，多元线性回归就变成一元线性回 归分析了，这时参数的求解和误差的方差的无偏估 计与一元得到的结论是一样的，类似地也有经验回 归平面方程。 多元线性回归 2011/9/10zhaoswallow28 3、回归模型的假设检验 在许多实际问题中，我们事先并不能断定 因变量与自变量之间是否确有线性关系，而前 面建立的因变量与多个自变量间的线性关系只 是一种假设，尽管这种假设常常不是没有根据 的。这就意味，所求得的经验回归方程是否有 实用价值，需要经过假设检验才能确定。 2011/9/10zhaoswallow29 主要从以下几个方面进行检验 ： a、 回归方程的检验； b、 回归系数的检验； c、 回归好坏程度的度量。 2011/9/10zhaoswallow30 a、回归方程的检验 是否全为零。若全为零，则认为线性回归不 显著，否则认为线性回归显著。为此，在上 述模型中作假设 要检验（6）的变量间有没有这种线性关系， 只要检验p个系数 2011/9/10zhaoswallow31 考虑总偏差平方和，利用正规方程组，有 为了构造检验统计量，记 经验回归方程 回归方程的检验 2011/9/10zhaoswallow32 回归方程的检验 2011/9/10zhaoswallow33 它是由自变量X的取值变化且通过线性回 归模型对y的影响所构成的误差平方和。 它是由随机误差和其他未加控制的因素所引起的误差平方和。 回归方程的检验 2011/9/10zhaoswallow34 回归方程的检验 2011/9/10zhaoswallow35 构造检验统计量为 回归方程的检验 2011/9/10zhaoswallow36 相应的检验法则为： 回归方程的检验 2011/9/10zhaoswallow37 不全为零，但这并不意味着每个自变量 可能会起重要作用，而有的可能起的作用不大 或者不起作用。 因此，在通过前面的线性回归模型的检验， 回归方程的检验 2011/9/10zhaoswallow38 还有必要从线性回归模型中剔除那些次要 的、 可有可无的自变量，只保留那些起重要作用的 自变量，以从新建立更为简练的线性回归模型， 使之有利于实际应用。 回归方程的检验 2011/9/10zhaoswallow39 b、回归系数的检验 检验假设 2011/9/10zhaoswallow40 下面的任务是选取检验统计量。 由（7） 所以， 回归系数的检验 2011/9/10zhaoswallow41 则可以证明注意：矩阵C的下标都 是从0开始的！ 回归系数的检验 2011/9/10zhaoswallow42 回归系数的检验 2011/9/10zhaoswallow43 如果回归方程的检验结果是显著的，而且各个 回归系数的检验结果都为显著时，说明各个自变量 对因变量的单纯影响都是显著的。 若有回归系数经显著性检验为不显著时，说明 其对应的自变量在回归方程中是不重要的，此时应 该剔除。 回归系数的检验 2011/9/10zhaoswallow44 在对变量进行剔除时，需要注意 ： 1）一次只能剔除一个不显著的回归系数对应 的自变量，而且被剔除的自变量，应该是所 有不显著的回归系数中的t值最小者。 2）重新进行少一个自变量的多元线性回归分析。 回归系数的检验 2011/9/10zhaoswallow45 前面说的是剔除变量，也会有变量因素考虑不周的情况，这时应该考 虑引入新的变量，那么如何引入新的变量？ 对于模型的选择，目前普遍采用的是逐步回归法。也即，每引入一 个变量，要进行逐个检验，将不显著的变量剔除。 详细情况请参阅韩中庚数学建模方法及其应用第九章。 回归系数的检验 2011/9/10zhaoswallow46 c、复相关系数 对一个回归方程来说，即使回归显著，但还 涉及到回归好坏程度的度量。对于一个因变量 和一组自变量之间相关程度，则要采用的复相关 系数来度量。 研究一个变量与多个变量的线性相关称为复 相关分析。 2011/9/10zhaoswallow47 复相关系数定义为 复相关系数 2011/9/10zhaoswallow48 但是复相关系数也有一些缺点。当采用的自变量 自变量的引入可能是多余的。 为了更准确地反映参数个数的影响，采用调整的 复相关系数 2011/9/10zhaoswallow49 4、预测 如果经检验，认为线性回归方程是可信的，而 且拟合的又好，那么接下来就要用它进行预测。 时对y做区间估计，即以一定的置信度预测 y的观察值的取值范围，也即y的预测区间。 2011/9/10zhaoswallow50 预测 2011/9/10zhaoswallow51 因而 其中 此时 预测 2011/9/10zhaoswallow52 预测 2011/9/10zhaoswallow53 预测 2011/9/10zhaoswallow54 三、可线性化的一元非线性回归模型 上面主要讲的是线性回归，而对于一元回归， 非线性回归的情形也是很常见的，对这些问题做回 归就是曲线回归。 配置曲线回归的一个基本方法是通过适当的变 量代换把非线性回归化为线性回归。具体如下：先 画出观察值的散点图，通过与常见的函数曲线对比 ，经验的选择曲线类型。 常见的是下面六类曲线： 2011/9/10zhaoswallow55 （1）双曲线 可线性化的一元非线性回归模型 2011/9/10zhaoswallow56 （2）幂函数曲线 可线性化的一元非线性回归模型 2011/9/10zhaoswallow57 （3）指数曲线 ： 可线性化的一元非线性回归模型 2011/9/10zhaoswallow58 （4）倒指数曲线 ： 可线性化的一元非线性回归模型 2011/9/10zhaoswallow59 （5）对数曲线 ： 可线性化的一元非线性回归模型 2011/9/10zhaoswallow60 （6）S型曲线： 可线性化的一元非线性回归模型 2011/9/10zhaoswallow61 设有模型 线性回归模型： 实验数据按上面的变量代换算出 可线性化的一元非线性回归模型 2011/9/10zhaoswallow62 再按前面的线性回归公式计算参数估计，得 当y与x适合模型 可线性化的一元非线性回归模型 2011/9/10zhaoswallow63 其他几种曲线都可通过适当的变量代换转化为 线性回归模型。这类回归模型就称为可线性化的 一元非线性回归模型。 表面上看，该模型比上面的模型简单，然而它却无法化成线性回归，因为 它是所谓本质上非线性的模型。 可线性化的一元非线性回归模型 值得注意的是，并非所有的曲线回归问题都可 线性化，例如 2011/9/10zhaoswallow64 多项式回归的处理方法和前面的曲线回归类似 ，通过变量转换化成多元线性回归来解决。 对于一元m次多项式回归， 可线性化的一元非线性回归模型 2011/9/10zhaoswallow65 因此可以用前面的方法解决多项式回归问题。二元多项式回归处理方法 类似。 值得注意的是，随着自变量个数的增加,多元 多项式回归分析的计算量急剧增加。因此，在多项式回归中较为常用的是一 元二次多项式回归和一元三次多项式回归。 可线性化的一元非线性回归模型 2011/9/10zhaoswallow66 四、软件应用 解决线性回归问题的常用软件有：Matlab，统计软件SPSS和SAS。SPSS 的求解与SAS相同。这里介绍Matlab和SAS的求解方法。 2011/9/10zhaoswallow67 1、线性回归的matlab实现 回归分析的求解在Matlab中可用regress实现， 其使用格式为： 其中y为列向量，表示因变量的取值； X为矩阵，代表自变量的取值；(注意：第一列全是1) alpha为置信水平，缺省时取0.05。 b,bint,r,rint,stats = regress(y,X,alpha) 2011/9/10zhaoswallow68 当置信区间包含0时，说明该参数未通过T检 验，可认为0。 r-残差向量，取值为Y-X*b。 rint-残差的置信度为1-alpha的置信区间。 stats-回归方程的统计量，stats(1)为复相关系数， stats(2)为F 值， stats(3)为F值对应的概率值，stats(4)为误差方差的估计值。 线性回归的matlab实现 2011/9/10zhaoswallow69 对照前面所讲的参数意义，采用Matlab可方便求解该问题。第一个回归模型计算 结果如下，其他类似。 第 1条线路回归方程参数: 系数， 置信下限， 置信上限 110.29651，109.37571，111.21731 0.08284， 0.08109， 0.08459 0.04828， 0.04432， 0.05224 0.05297， 0.05164， 0.05430 0.11993， 0.11684， 0.12303 -0.02544，-0.02737，-0.02351 0.12201， 0.11939， 0.12463 0.12158， 0.11855， 0.12461 -0.00123，-0.00335， 0.00090 线性回归的matlab实现 2011/9/10zhaoswallow70 统计量值R2=0.9995,F=5861.51944,p=0.00000 方案0的原始值，预测值，相对误差百分比: 164.7800 164.7120 0.0413 140.8700 140.8238 0.0328 -144.2500 -144.2051 0.0312 119.0900 119.0412 0.0410 线性回归的matlab实现 2011/9/10zhaoswallow71 2、SASv9求解过程 （1）启动SAS软件，鼠标点击Solutions- Analysis-Analyst，启动分析家。 2011/9/10z