数学建模回归分析

1、a1回归分析回归分析山东建筑大学贺长伟a2引言引言 回归分析是处理很难用一种精确方法表示出来的变量之间关系的一种数学方法，它是最常用的数理统计方法，能解决预测、控制、生产工艺优化等问题。它在工农业生产和科学研究各个领域中均有广泛的应用。 回归分析一般分为线性回归分析和非线性回归分析。本节着重介绍线性回归分析的根本结论及其在Matlab中的相应命令。线性回归分析是两类回归分析中较简单的一类，也是应用较多的一类。a3一一 一元线性回归分析一元线性回归分析 针对一组二维数据针对一组二维数据 其中其中 互不相同，其最简单的数据拟合形式为互不相同，其最简单的数据拟合形式为寻求直线寻求直线 ，使，使 在最

2、小二乘在最小二乘准那么下与所有数据点最为接近。准那么下与所有数据点最为接近。 但由于随机观测误差的存在，满足上述数据但由于随机观测误差的存在，满足上述数据点的直线应该是点的直线应该是 (1.1)(1.1) 其中其中x, yx, y是准确的是准确的, , 是两个未知参数，是两个未知参数， 是是均值为零的随机观测误差，具有不可观测性，均值为零的随机观测误差，具有不可观测性， 可以合理地假设这种观测误差服从正态分布。可以合理地假设这种观测误差服从正态分布。ixa4 于是我们得到一元线性回归模型为于是我们得到一元线性回归模型为 (1.2)(1.2) 其中其中 未知，固定的未知参数未知，固定的未知参数

3、称为回归称为回归系数，自变量系数，自变量x x称为回归变量。称为回归变量。 (1.1)(1.1)式两边同时取期望得：式两边同时取期望得： 称为称为y y 对对x x的回归直线方程。的回归直线方程。 在该模型下，第在该模型下，第i i个观测值可个观测值可以看作样本这些样本相互独立但不同分布以看作样本这些样本相互独立但不同分布, ,i = 1,2,ni = 1,2,n的实际抽样值，即样本值。的实际抽样值，即样本值。a5 一元线性回归分析的主要任务是：a.用实验值样本值对 作点估计；b.对回归系数 作假设检验；c.在 处对y 作预测，并对y作区间估计。1、 回归参数 估计 假设有n组独立观测值： 那

4、么由(1.2)有 1.3a6 其中其中 相互独立。记相互独立。记 称称 为偏离真实直线的偏差平方和。由最为偏离真实直线的偏差平方和。由最小二乘法得到的估计小二乘法得到的估计 称为称为 的最小二的最小二乘估计，其中乘估计，其中 经验回归方程为经验回归方程为 1.41.4 a7这样我们得到这样我们得到 的无偏估计的无偏估计 ，其中其中 服从正态分布服从正态分布a82 模型的假设、预测、控制模型的假设、预测、控制1 1、回归方程的显著性检验、回归方程的显著性检验 在实际问题中，因变量在实际问题中，因变量y y 与自变量与自变量x x之间是否之间是否有线性关系有线性关系(1.1)(1.1)只是一种假设

5、，在求出回归方程只是一种假设，在求出回归方程之后，还必须对这种回归方程同实际观测数据拟之后，还必须对这种回归方程同实际观测数据拟合的效果进行检验。合的效果进行检验。 由由(1.1)(1.1)可知，可知， 越大，越大，y y 随随x x变化的趋势就变化的趋势就 越明显；反之，越明显；反之， 越小，越小，y y 随随x x变化的趋势就越不变化的趋势就越不明显。特别当明显。特别当 =0=0时，那么认为时，那么认为y y 与与x x之间不存在之间不存在线性关系，当线性关系，当 时，那么认为时，那么认为y y与与x x之间有线性之间有线性关系。因此，问题归结为对假设关系。因此，问题归结为对假设 进行检验

6、。进行检验。11110a9 假设假设: : 被拒绝，那么回归显著，认为被拒绝，那么回归显著，认为y y 与与x x之间存在线性关系，所求的线性回归方程有意之间存在线性关系，所求的线性回归方程有意义；否那么回归不显著，义；否那么回归不显著，y y与与x x的关系不能用一元的关系不能用一元线性回归模型来描述，所得的回归方程也无意义。线性回归模型来描述，所得的回归方程也无意义。此时，可能有如下几种情况：此时，可能有如下几种情况：1 1x x对对y y没有显著影响，此时应丢掉变量没有显著影响，此时应丢掉变量x x；2 2x x对对y y 有显著影响，但这种影响不能用线性关有显著影响，但这种影响不能用线

7、性关 系来表示，应该用非线性回归；系来表示，应该用非线性回归；3 3除除x x之外，还有其他不可忽略的变量对之外，还有其他不可忽略的变量对y y 有显有显 著影响，从而削弱了著影响，从而削弱了x x对对y y 的影响。此时应用的影响。此时应用 多元线性回归模型。因此，在接受多元线性回归模型。因此，在接受H0 H0 的同的同 时，需要进一步查明原因以便分别处理。时，需要进一步查明原因以便分别处理。a10检验方法：检验方法：a aF F检验法检验法 对样本方差对样本方差 进行分解，有进行分解，有 上式中的上式中的 是由实际观测值没有落在回归直线上是由实际观测值没有落在回归直线上引起的否那么为零，引

8、起的否那么为零，U U 是由回归直线引起的。是由回归直线引起的。因因此，此，U U 越大，越大， 就越小，表示就越小，表示y y 与与x x的线性关系就越的线性关系就越显著；否那么，显著；否那么，U U 越小，越小， 就越大，表示就越大，表示y y 与与x x的线的线性性关系就越不显著。这样我们就找到了一种判别回归关系就越不显著。这样我们就找到了一种判别回归直线拟合程度好坏的方法：如果直线拟合程度好坏的方法：如果U /sU /s接近于接近于1 1，即，即U / U / 较大时，那么对拟合效果感到满意。较大时，那么对拟合效果感到满意。a11 由由F F分布有分布有 其中其中r r称为相关系数。对

9、给定的显著水平称为相关系数。对给定的显著水平a a ，有置，有置信信 水平为水平为1-a 1-a 的临界值的临界值 ，从而，从而F F检验法检验法 的检验准那么为：当的检验准那么为：当 时，拒绝时，拒绝 ；否那么就接受；否那么就接受a12b bt t检验法检验法当成立时，由当成立时，由T T分布的定义有分布的定义有因此，对于给定的显著水平因此，对于给定的显著水平a a ，用，用T T统计量检验统计量检验 ，有置信水平为有置信水平为1-a 1-a 的临界值的临界值, ,从而从而t t检验法的检验准那么为：检验法的检验准那么为：当当 时，拒绝时，拒绝 ；否那么就接受；否那么就接受a132 2、预测

10、与控制、预测与控制当检验结果拒绝了当检验结果拒绝了: : ，接下来的问题是如，接下来的问题是如何利用回归方程何利用回归方程 进行预测和控制。进行预测和控制。预测就是对固定的预测就是对固定的x x值预测相应的值预测相应的y y 值，控制就是通值，控制就是通过控制过控制x x的值，以便把的值，以便把y y 的值控制在制定的范围内。的值控制在制定的范围内。(a)(a)预测预测 设设y y 与与x x满足模型满足模型(1.2)(1.2)。令。令 表示表示x x的某个固的某个固定值，且定值，且 假设假设 相互独立，那么相互独立，那么 的预测值和预的预测值和预测区间如下。测区间如下。a14 y y 的预测

11、值为的预测值为 的回归值的回归值 。它是。它是 的无偏估计，即的无偏估计，即 给定显著水平给定显著水平 ， 的置信水平为的置信水平为1- 1- 的预测区间的预测区间 为为 ，其中，其中 由上式可知，剩余标准差由上式可知，剩余标准差 越小，预测区间越越小，预测区间越小，预测值越精确；对于给定的样本观测值和置信小，预测值越精确；对于给定的样本观测值和置信水平而言，水平而言， 越靠近越靠近 时，预测精度就越高。时，预测精度就越高。a15 (b)(b)控制控制 假设要假设要 的值以的值以1- 1- 的概率的概率落在落在 指定区间指定区间(c,d)(c,d)之内，变量之内，变量x x应控制在什么范围应控

12、制在什么范围内内 的问题就是所谓的控制问题。它是预测问题的的问题就是所谓的控制问题。它是预测问题的反反 问题。问题。 只要控制只要控制x x满足以下两不等式满足以下两不等式 这要求这要求 假设方程假设方程 分别有解分别有解a,ba,b，那么，那么(a,b)(a,b)就是所求的就是所求的x x的控制区间。的控制区间。a16二二 可线性化的一元非线性回归曲线回归可线性化的一元非线性回归曲线回归 在工程技术中，自变量在工程技术中，自变量x x与因变量与因变量y y 之间有时之间有时呈现出非线性或曲线关系，这是通常出现两呈现出非线性或曲线关系，这是通常出现两种情况：一种是呈现多项式的关系，这种情况通种

13、情况：一种是呈现多项式的关系，这种情况通过变量替换可化为多元线性回归问题给予解决；过变量替换可化为多元线性回归问题给予解决；另一种是呈现出其它非线性关系，通过变量替换另一种是呈现出其它非线性关系，通过变量替换可化为一元线性回归问题给予解决。可化为一元线性回归问题给予解决。 假设匹配曲线经验公式为含参量假设匹配曲线经验公式为含参量a,ba,b的非的非线性曲线，采用的方法是通过变量替换把非线性线性曲线，采用的方法是通过变量替换把非线性回归化为线性回归。通常匹配的含参量回归化为线性回归。通常匹配的含参量a,ba,b的非线的非线性曲线有以下六类，具体的替换方法如下：性曲线有以下六类，具体的替换方法如下

14、：a17 1 1 双曲线双曲线 作变量替换作变量替换 得得 2 2 幂函数曲线幂函数曲线 两边取常用对数：两边取常用对数： ，再作，再作 代换代换 那么幂函那么幂函 数曲线方程就变成直线方程数曲线方程就变成直线方程 注：对于非线性回归问题的注：对于非线性回归问题的MatlabMatlab实现问题，一实现问题，一种方法是化为相应的线性模型实现，另种方法是种方法是化为相应的线性模型实现，另种方法是直接应用直接应用MatlabMatlab中相应的命令，其结果是一致的。中相应的命令，其结果是一致的。a18三三 多元线性回归分析多元线性回归分析 一般地，在实际问题中影响应变量一般地，在实际问题中影响应变

15、量y y 的自变量往的自变量往 往不止一个，不妨设有往不止一个，不妨设有k k 个为个为 。通通 过观测得到一组过观测得到一组k +1k +1维相互独立的试验观维相互独立的试验观测测 数据数据 ， 其中其中n k +1n k +1。假设变量。假设变量y y 与变量与变量 之间有线性关系：之间有线性关系： (1.5)(1.5) 其中其中 是随机变量，一般假设是随机变量，一般假设 那么观测数据满足那么观测数据满足 (1.6)(1.6)a19 其中其中 互不相关且均是与互不相关且均是与 同分布的随同分布的随机变量。令机变量。令 那么那么(1.6)(1.6)可简写为可简写为 其中其中X X 为的为的n

16、 n* *(k +1)(k +1)矩阵，称为回归设计矩阵矩阵，称为回归设计矩阵或资料矩阵，或资料矩阵，Y Y 是是n n维观察值列向量，维观察值列向量， 为为k +1k +1维维未知的列向量，未知的列向量， 是满足是满足 的的n n维随机列向量维随机列向量. .a20 一般称一般称 (1.7)(1.7) 为为k k 线性回归模型高斯线性回归模型高斯马尔科夫线性模型马尔科夫线性模型 对对(1.7)(1.7)取数学期望得到取数学期望得到 称为线性回归方程。称为线性回归方程。a21 对线性模型所要考虑的主要问题是：对线性模型所要考虑的主要问题是：i i用实验观测数据对未知参数用实验观测数据对未知参数

17、 做点估计和假设检验，从而建立因变量做点估计和假设检验，从而建立因变量y y 和自和自 变量变量 之间的线性关系；之间的线性关系；iiii在在 处对处对y y 的值作预测和的值作预测和 控制，并对控制，并对y y 作区间估计。本局部总是假设作区间估计。本局部总是假设 n k +1n k +1。 具体方法略具体方法略a22四、逐步线性回归分析四、逐步线性回归分析 逐步线性回归分析方法就是一种自动从大量可供逐步线性回归分析方法就是一种自动从大量可供选择的变量中选择那些对建立回归方程比较重要的变选择的变量中选择那些对建立回归方程比较重要的变量的方法，它是在多元线性回归根底上派生的一种算量的方法，它是

18、在多元线性回归根底上派生的一种算法技巧，详可参阅相应的文献。法技巧，详可参阅相应的文献。 其根本思路为：从一个自变量开始，视自变量其根本思路为：从一个自变量开始，视自变量对对y y 作用的显著程度，从大到小依次逐个引入回归方作用的显著程度，从大到小依次逐个引入回归方程。当引入的自变量由于后面自变量的引入而变得不程。当引入的自变量由于后面自变量的引入而变得不显著时，要将其剔除掉。引入一个自变量或从回归方显著时，要将其剔除掉。引入一个自变量或从回归方程中剔除一个自变量，为逐步回归的一步。对于每一程中剔除一个自变量，为逐步回归的一步。对于每一步，都要进行步，都要进行y y 值检验，以确保每次引入新的

19、显著性值检验，以确保每次引入新的显著性变量前回归方程中只包含对变量前回归方程中只包含对y y 作用显著的变量。这个作用显著的变量。这个过程反复进行，直至即无不显著的变量从回归方程中过程反复进行，直至即无不显著的变量从回归方程中剔除，又无显著变量可引入回归方程止。剔除，又无显著变量可引入回归方程止。a23五五 回归分析的回归分析的Matlab实现实现 MatlabMatlab统计工具箱中提供了一些回归分析的命令，统计工具箱中提供了一些回归分析的命令，现介绍如下。现介绍如下。 1 1、多元线性回归、多元线性回归 多元线性回归的命令是多元线性回归的命令是regressregress，此命令也可用，此

20、命令也可用于于 一元线性回归。其格式为：一元线性回归。其格式为： 1 1确定回归系数的点估计，用命令：确定回归系数的点估计，用命令： b=regress(Yb=regress(Y，X)X)。 2 2求回归系数的点估计和区间估计，并检验回归求回归系数的点估计和区间估计，并检验回归 模型，用命令：模型，用命令： bb，bintbint，r r，rintrint，stats=regress(Ystats=regress(Y，X X，alpha)alpha)。 3 3画出残差及其置信区间，用命令：画出残差及其置信区间，用命令： rcoplotrcoplotr r，rintrint。a24 在上述命令中

21、，各符号的含义为：在上述命令中，各符号的含义为： i i ，Y Y，X X的定义同本局部前面所述。对的定义同本局部前面所述。对一元线性回归，在一元线性回归，在 ，Y Y，X X中取中取k=1k=1即可；即可； iiiialphaalpha为显著性水平缺省时为为显著性水平缺省时为0.050.05； iiiiiibintbint为回归系数的区间估计；为回归系数的区间估计； ivivr r与与rintrint分别为残差及其置信区间；分别为残差及其置信区间； v vstatsstats是用于检验回归模型的统计量，有三是用于检验回归模型的统计量，有三个数值，第一个是个数值，第一个是 ，第二个是，第二个是

22、F F值，第三个是值，第三个是与与F F对应的概率对应的概率P P。其中。其中 与与F F定义同前，值越大，定义同前，值越大，说明回归方程越显著，说明回归方程越显著，P a(0.01P a(0.01或或0.05) 0.05) 时拒时拒绝绝 ，回归模型成立。，回归模型成立。a25 例例1 1 合金的强度合金的强度y y 与其中的碳含量与其中的碳含量x x有比较密切的关系，今从有比较密切的关系，今从生产中收集了一批数据如下表。试先拟合一个函数生产中收集了一批数据如下表。试先拟合一个函数y(x)y(x)，再用，再用回归分析对它进行检验。回归分析对它进行检验。 解解 先画出散点图：先画出散点图： x=

23、0.10:0.01:0.18;x=0.10:0.01:0.18; y=42.0,41.5,45.0,45.5,45.0,47.5,49.0,55.0,50.0;y=42.0,41.5,45.0,45.5,45.0,47.5,49.0,55.0,50.0; plot(x,y, + )plot(x,y, + ) 可知可知y y与与x x大致为线性关系。大致为线性关系。 设回归模型为设回归模型为 ，用，用regressregress和和rcoplotrcoplot编程如下：编程如下： clc,clearclc,clear x1=0.10:0.01:0.18 ;x1=0.10:0.01:0.18 ;

24、y=42.0,41.5,45.0,45.5,45.0,47.5,49.0,55.0,50.0 ;y=42.0,41.5,45.0,45.5,45.0,47.5,49.0,55.0,50.0 ; x=ones(9,1),x1;x=ones(9,1),x1; b,bint,r,rint,stats=regress(y,x);b,bint,r,rint,stats=regress(y,x); b,bint,stats,rcoplot(r,rint) b,bint,stats,rcoplot(r,rint)a26a27即即 =27.4722=27.4722， =137.5000=137.5000， 的

25、置信区的置信区18.685118.6851，36.259436.2594， 的置信区间是的置信区间是75.775575.7755，199.2245199.2245；R R2=0.79852=0.7985，F F =27.7469=27.7469， p p = 0.0012= 0.0012。可知所设回归模型。可知所设回归模型成立。成立。 观察命令观察命令rcoplot(r,rint)rcoplot(r,rint)所画的残差分布，除第所画的残差分布，除第8 8个数据外个数据外其余残差的置信区间均包含零点，第其余残差的置信区间均包含零点，第8 8个点应视为异常点，将其个点应视为异常点，将其剔除后重新

26、计算，可得剔除后重新计算，可得应该用修改后的这个结果应该用修改后的这个结果。a28a29 2 2、多元二项式回归、多元二项式回归 多元二项式回归可用命令：多元二项式回归可用命令： rstool(x,y,model,alpha)rstool(x,y,model,alpha)。其中，输入数据。其中，输入数据x x、y y 分别为分别为n n m m矩阵和矩阵和n n维列向量；维列向量；alphaalpha为显著性水为显著性水平平 缺省时为缺省时为0.050.05；modelmodel由以下由以下4 4个模型中选择个模型中选择1 1个个 用字符串输入，缺省时为线性模型：用字符串输入，缺省时为线性模型

27、： linearlinear线性：线性： purequadraticpurequadratic纯二次：纯二次： interactioninteraction交叉：交叉： quadraticquadratic完全二次：完全二次：a30 3 3 、非线性回归、非线性回归非线性回归可用命令非线性回归可用命令nlinfit,nlintool,nlparci,nlpredcinlinfit,nlintool,nlparci,nlpredci来实现。来实现。命令格式如下：命令格式如下：回归：回归可用命令回归：回归可用命令 beta,r,J=nlinfit(x,y,model,beta0)beta,r,J=

28、nlinfit(x,y,model,beta0)或者或者 nlintool(x,y,model,beta0,alpha)nlintool(x,y,model,beta0,alpha)来实现。来实现。其中命令其中命令beta,r,J=nlinfit(x,y,model,beta0)beta,r,J=nlinfit(x,y,model,beta0)的作的作用用为确定回归系数；为确定回归系数；而命令而命令nlintool(x,y,model,beta0,alpha)nlintool(x,y,model,beta0,alpha)产生一个交互产生一个交互式的画面，画面中有拟合曲线和式的画面，画面中有拟合

29、曲线和y y的置信区间。通过左下的置信区间。通过左下方的方的ExportExport下拉式菜单，可以输出回归系数等。下拉式菜单，可以输出回归系数等。a31 这里的输入数据这里的输入数据x x、y y分别为分别为n nm m矩阵和矩阵和n n维列维列向量，对一元非线性回归，向量，对一元非线性回归，x x为为n n维列向量；维列向量； modelmodel是事先用是事先用m-m-文件定义的非线性函数；文件定义的非线性函数；beta0beta0是回归系数的初值。是回归系数的初值。BetaBeta是估计出的回归系数，是估计出的回归系数，r r残差、残差、J JJacobianJacobian矩阵是估计预测误差需矩阵是估计预测误差需要的数据。要的数据。alphaalpha为显著性水平，缺省时为。为显著性水平，缺省时为。 预测和预测误差估计：预测和预测误差估计预测和预测误差估计：预测和预测误差估