多元回归拟合算法 (1)

1、 电化学甲醛检测仪浓度预测算法：电化学甲醛检测仪浓度预测算法：多元回归拟合算法汇报人：孙皓目录123多元回归分析简介多元回归分析步骤逐步回归用于甲醛浓度预测多元回归分析 回归分析：是一种通过一组自变量来预测一个或多个因变量的统计方法。 多元线性回归 多元：有多个自变量； 线性：通过自变量的线性组合对因变量进行预测或估计；基本概念：多元线性回归模型：), 0(Y2mm110Nxx ：常数项,又称为截距 ， : :偏回归系数，简称回归系数。表示相应的自变量对因变量的影响程度。 : :去除m个自变量对Y的影响后的随机误差，不可观测。且通常假定 012m2(0,)N若进行n次独立观测，得到n组样本数据

2、 , , 每一组样本数据分别满足多元线性回归模型，即有：12(,;)iiipixxxy1,2,in 1011121211201212222201122ppppnnnpnpnyxxxyxxxyxxx 写成矩阵形式：YX 12(,)Tn 12(,)TnYy yy 01(,)Tp 111212122212111ppnnnpxxxxxxXxxx 多元线性回归基本步骤 步骤一：回归系数的求解的求解方法：最小二乘法 我们寻求回归系数 的适宜数值应该使得实际观察值和回归方程估计值之间残差平方和最小，即有：01,.,p01,.,p 2211=()残差平方和nniiiiiQyy 2011221()niiipip

3、iyxxx 根据最小二乘法理论，将上式分别对 求偏导数，令偏导数为零,可获得P1个正规方程，求解正规方程可得待估参数值。01,.,p 0112210011221110112212()02()02()0niiipipiniiipipiiniiipipipiPQyxxxQyxxxxQyxxxx (0,1, )iip (0,1, )iip 是要求解的 的最小二乘估计值。 步骤二：对得到的回归方程进行检验11( )niiE yyyn n组观测值的均值记为：总离差平方和： 21()niiyySST 回归平方和： 21()niiySySR 残差平方和： 21()niiiyySSE SSTSSRSSE 22

4、2111()()()nnniiiiiiiyyyyyyUQ则有： yabxxyy0()yy0()yy ()yy0ySSTSSRSSE 222111()()()nnniiiiiiiyyyyyyUQ 常用的检验方法：可决系数 F检验 T检验 多重共线性检验对回归方程的检验： 拟合度检验（针对全部自变量的选择） 回归方程的显著性检验（针对回归模型） 回归系数的显著性检验（针对回归系数） 多重共线性检验（针对自变量与自变量之间的线性关系）可决系数：（判定系数，决定系数）22222211yyyyyyyyRSSTSSESSTSSESSTSSTSSRR 回归平方和占总离差平方和的比例。或者说，因变量取值的变差

5、中，能被多元回归方程所解释的比例。由R 2的意义看来，其值越接近于1，意味着模型的拟合优度越高。 从理论上来讲，随着自变量个数的不断增加，会使得R2不断增加。为避免增加自变量而高估 R 2，引入了调整的R 2式中，n为样本量，p为自变量个数2(1)1(1)SSEnpRSSTn 调整的R 2的引入，目的是惩罚过多的使用不重要的自变量，也可以用于比较多个模型。F检验： 该类检验主要针对回归方程的显著性检验 回归方程的显著性检验主要是检验被解释变量与所有的解释变量之间的线性关系是否显著。），（1p) 1/() (/)() 1/(/22pnFpnyypyypnSSEpSSRF对于多元线性回归方程来说，

6、F检验的检验统计量： 式中，n为样本量，p为自变量个数。其中p,n-p-1又被称为自由度。F检验的主要流程：1.提出假设H0：12k=0 线性关系不显著；（不存在线性关系）H1：1，2， k至少有一个不等于0。2.计算检验统计量F），（1p) 1/() (/)() 1/(/22pnFpnyypyypnSSEpSSRF3.由F值得到检验P值 作出决策 确定显著性水平和P比较，P 拒绝H0.T检验： 前面两种检验，讨论了回归方程中全部自变量的总体回归效果, 但总体回归效果显著并不说明每个自变量对因变量都是重要的, 即可能有某个自变量对y并不起作用或者能被其它的自变量的作用所代替, 因此对这种自变量

7、我们希望从回归方程中剔除, 这样可以建立更简单的回归方程。T检验主要针对的是回归系数的显著性检验 回归系数的显著性检验主要是检验回归方程中被解释变量与每一个解释变量之间的线性关系是否显著。对于多元线性回归方程来说， T检验的检验统计量为：式中，n为样本量，p为自变量个数，n-p-1为自由度， (1)iiitt npSiS为回归系数 的标准差；ii为 对应的回归系数；ixT检验的主要步骤：1.提出假设 H0： bi = 0 (自变量 xi 与 因变量 y 没有线性关系) H1： bi 0 (自变量 xi 与 因变量 y有线性关系) (1)iiitt npS3.由T值得到检验P值 作出决策 确定显

8、著性水平和P比较， P拒绝H0.2.计算检验的统计量 t多重共线性检验：多重共线性是指解释变量之间存在线性相关关系的现象。多重共线性的后果 （1）偏回归系数估计困难甚至难以得到估计值； （2）偏回归系数的估计值得方差增大，使得估计值不合理； （3）偏回归系数估计值不稳定（随着样本含量的增减各偏回归系数发生 较大变化或当一个自变量被引入或剔除时其余变量偏回归系数有很大变化）； （4）偏回归系数假设检验的结果不显著，容易产生错误的判定01122mMk Xk Xk XV 多重共线性的衡量：（1） 容忍度21iiRTol 是第i个解释变量与方程中其他解释变量间的复相关系数的平方，表示解释变量之间的线性

9、相关程度。 容忍度的取值范围在0-1之间，越接近0表示多重共线性越强，越接近1表示多重共线性越弱。2iR（2）方差膨胀因子VIF 方差膨胀因子是容忍度的倒数。 VIF越大多重共线性越强，当VIF大于等于10时，说明存在严重的多重共线性。 （3）多元决定系数诊断 假定多元回归模型 p个自变量,其多元决定系数为 。分别构成不含其中某个自变量(Xi,i=1,2,p)的p个回归模型,并应用最小二乘法准则分别拟合回归方程,求出它们各自的决定系数 (i=1,2,p)。 p,x,xx212yR2iR 如果其中的某一个 与 很接近,假设不含 的回归模型，其决定系数与 很接近，说明将 从模型中去掉，对回归模型的

10、决定系数影响不大。 因此，可认为该变量对Y总变异的解释能力可由其他自变量代替。它很有可能是其他自变量的线性组合。该自变量进入模型后就有可能引起多重共线性问题。2iR2yR1X2yR1X逐步回归主要思想： 在考虑的全部自变量中按其对因变量的贡献（偏回归平方和）的大小, 由大到小地逐个引入回归方程,。另外, 己被引入回归方程的变量在引入新变量后也可能失去重要性, 而需要从回归方程中剔除出去。引入一个变量或者从回归方程中剔除一个变量都称为逐步回归的一步, 每一步都要进行相关的检验。回归步骤：全部待引入回归方程的变量分别计算其偏回归平方和, 并选其中偏回归平方和最大的一个变量，进行F检验，显著则引入，

11、不显著则停止引入。对已引入回归方程的变量计算其偏回归平方和, 然后选一个偏回归平方和最小的变量,进行F检验, 如果显著则不踢出转到 。如不显著则需踢出，然后按偏回归平方和由小到大地依次对方程中其它变量进行 F 检验。偏回归平方和： 多元回归拟合在甲醛浓度预测中的应用 在回归模型中，自变量的次数超过三次的模型很不稳定，故实际中尽量采用3次以下的模型来进行拟合。 模型中可能存在的项有：v2t2、v2t、vt2、vt、v2、v、t2、t、 ln(v2t2 )、ln(v2t)、ln(vt2 )、ln(vt)、ln(v2)、ln(v)、 ln(t2 )、ln(t)、EXP(v2)、EXP(v)。计算每个变量的偏回归平方和V的贡献最大，将V加入模型运用SPSS进行逐步回归，得到回归方程含有的项为v2t和v。配成配成： 2Yab Vc V t在MALAB中使用Regress函数可求出系数，进而完成相关的数据处理工作。序号：预测值（ppm）：真实值（ppm）：相对误