浅谈回归分析

浅谈回归分析第1页，课件共79页，创作于2023年2月8/25/20231实验目的实验内容2、掌握用数学软件求解回归分析问题。1、直观了解回归分析基本内容。1、回归分析的基本理论。3、实验作业。2、用数学软件求解回归分析问题。第2页，课件共79页，创作于2023年2月8/25/20232一元线性回归多元线性回归回归分析数学模型及定义*模型参数估计*检验、预测与控制可线性化的一元非线性回归（曲线回归）数学模型及定义*模型参数估计*多元线性回归中的检验与预测逐步回归分析第3页，课件共79页，创作于2023年2月8/25/20233一、数学模型例1测16名成年女子的身高与腿长所得数据如下：以身高x为横坐标，以腿长y为纵坐标将这些数据点（xI，yi）在平面直角坐标系上标出.散点图解答第4页，课件共79页，创作于2023年2月8/25/20234一元线性回归分析的主要任务是：返回第5页，课件共79页，创作于2023年2月8/25/20235二、模型参数估计1、回归系数的最小二乘估计第6页，课件共79页，创作于2023年2月8/25/20236返回第7页，课件共79页，创作于2023年2月8/25/20237三、检验、预测与控制1、回归方程的显著性检验第8页，课件共79页，创作于2023年2月8/25/20238（Ⅰ）F检验法

（Ⅱ）t检验法第9页，课件共79页，创作于2023年2月8/25/20239（Ⅲ）r检验法第10页，课件共79页，创作于2023年2月8/25/2023102、回归系数的置信区间第11页，课件共79页，创作于2023年2月8/25/2023113、预测与控制（1）预测第12页，课件共79页，创作于2023年2月8/25/202312（2）控制返回第13页，课件共79页，创作于2023年2月8/25/202313四、可线性化的一元非线性回归（曲线回归）例2出钢时所用的盛钢水的钢包，由于钢水对耐火材料的侵蚀，容积不断增大.我们希望知道使用次数与增大的容积之间的关系.对一钢包作试验，测得的数据列于下表：解答第14页，课件共79页，创作于2023年2月8/25/202314散点图此即非线性回归或曲线回归

问题（需要配曲线）配曲线的一般方法是：第15页，课件共79页，创作于2023年2月8/25/202315通常选择的六类曲线如下：返回第16页，课件共79页，创作于2023年2月8/25/202316一、数学模型及定义返回第17页，课件共79页，创作于2023年2月8/25/202317二、模型参数估计第18页，课件共79页，创作于2023年2月8/25/202318返回第19页，课件共79页，创作于2023年2月8/25/202319三、多元线性回归中的检验与预测

（Ⅰ）F检验法（Ⅱ）r检验法(残差平方和）第20页，课件共79页，创作于2023年2月8/25/2023202、预测（1）点预测（2）区间预测返回第21页，课件共79页，创作于2023年2月8/25/202321四、逐步回归分析（4）“有进有出”的逐步回归分析。（1）从所有可能的因子（变量）组合的回归方程中选择最优者；（2）从包含全部变量的回归方程中逐次剔除不显著因子；（3）从一个变量开始，把变量逐个引入方程；选择“最优”的回归方程有以下几种方法：

“最优”的回归方程就是包含所有对Y有影响的变量,而不包含对Y影响不显著的变量回归方程。以第四种方法，即逐步回归分析法在筛选变量方面较为理想.第22页，课件共79页，创作于2023年2月8/25/202322这个过程反复进行，直至既无不显著的变量从回归方程中剔除，又无显著变量可引入回归方程时为止。逐步回归分析法的思想：从一个自变量开始，视自变量Y作用的显著程度，从大到地依次逐个引入回归方程。当引入的自变量由于后面变量的引入而变得不显著时，要将其剔除掉。引入一个自变量或从回归方程中剔除一个自变量，为逐步回归的一步。对于每一步都要进行Y值检验，以确保每次引入新的显著性变量前回归方程中只包含对Y作用显著的变量。返回第23页，课件共79页，创作于2023年2月8/25/202323统计工具箱中的回归分析命令1、多元线性回归2、多项式回归3、非线性回归4、逐步回归返回第24页，课件共79页，创作于2023年2月8/25/202324多元线性回归

b=regress(Y,X)1、确定回归系数的点估计值：第25页，课件共79页，创作于2023年2月8/25/2023253、画出残差及其置信区间：rcoplot（r，rint）2、求回归系数的点估计和区间估计、并检验回归模型：

[b,bint,r,rint,stats]=regress(Y,X,alpha)回归系数的区间估计残差用于检验回归模型的统计量，有三个数值：相关系数r2、F值、与F对应的概率p置信区间显著性水平（缺省时为0.05）第26页，课件共79页，创作于2023年2月8/25/202326例1解：1、输入数据：x=[143145146147149150153154155156157158159160162164]';X=[ones(16,1)x];Y=[8885889192939395969897969899100102]';2、回归分析及检验：[b,bint,r,rint,stats]=regress(Y,X)b,bint,statsToMATLAB(liti11)题目第27页，课件共79页，创作于2023年2月8/25/2023273、残差分析，作残差图：rcoplot(r,rint)从残差图可以看出，除第二个数据外，其余数据的残差离零点均较近，且残差的置信区间均包含零点，这说明回归模型y=-16.073+0.7194x能较好的符合原始数据，而第二个数据可视为异常点.4、预测及作图：z=b(1)+b(2)*xplot(x,Y,'k+',x,z,'r')返回ToMATLAB(liti12)第28页，课件共79页，创作于2023年2月8/25/202328多项式回归（一）一元多项式回归

（1）确定多项式系数的命令：[p，S]=polyfit（x，y，m）（2）一元多项式回归命令：polytool（x，y，m）1、回归：y=a1xm+a2xm-1+…+amx+am+12、预测和预测误差估计：（1）Y=polyval（p，x）求polyfit所得的回归多项式在x处的预测值Y；（2）[Y，DELTA]=polyconf（p，x，S，alpha）求polyfit所得的回归多项式在x处的预测值Y及预测值的显著性为1-alpha的置信区间YDELTA；alpha缺省时为0.5.第29页，课件共79页，创作于2023年2月8/25/202329法一直接作二次多项式回归：t=1/30:1/30:14/30;s=[11.8615.6720.6026.6933.7141.9351.1361.4972.9085.4499.08113.77129.54146.48];

[p,S]=polyfit(t,s,2)ToMATLAB（liti21）得回归模型为：第30页，课件共79页，创作于2023年2月8/25/202330法二化为多元线性回归：t=1/30:1/30:14/30;s=[11.8615.6720.6026.6933.7141.9351.1361.4972.9085.4499.08113.77129.54146.48];T=[ones(14,1)t'(t.^2)'];[b,bint,r,rint,stats]=regress(s',T);b,statsToMATLAB(liti22)得回归模型为：Y=polyconf(p,t,S)plot(t,s,'k+',t,Y,'r')预测及作图ToMATLAB(liti23)第31页，课件共79页，创作于2023年2月8/25/202331（二）多元二项式回归命令：rstool（x，y，’model’,alpha）nm矩阵显著性水平（缺省时为0.05）n维列向量第32页，课件共79页，创作于2023年2月8/25/202332例3设某商品的需求量与消费者的平均收入、商品价格的统计数据如下，建立回归模型，预测平均收入为1000、价格为6时的商品需求量.法一直接用多元二项式回归：x1=[10006001200500300400130011001300300];x2=[5766875439];y=[10075807050659010011060]';x=[x1'x2'];rstool(x,y,'purequadratic')第33页，课件共79页，创作于2023年2月8/25/202333在画面左下方的下拉式菜单中选”all”,则beta、rmse和residuals都传送到Matlab工作区中.在左边图形下方的方框中输入1000，右边图形下方的方框中输入6。则画面左边的“PredictedY”下方的数据变为88.47981，即预测出平均收入为1000、价格为6时的商品需求量为88.4791.第34页，课件共79页，创作于2023年2月8/25/202334在Matlab工作区中输入命令：beta,rmseToMATLAB(liti31)为剩余标准差，表示应变量Y值对于回归直线的离散程度。第35页，课件共79页，创作于2023年2月8/25/202335结果为:b=110.53130.1464-26.5709-0.00011.8475stats=0.970240.66560.0005法二ToMATLAB(liti32)返回将化为多元线性回归：第36页，课件共79页，创作于2023年2月8/25/202336非线性回归（1）确定回归系数的命令：

[beta，r，J]=nlinfit（x，y，’model’,beta0）（2）非线性回归命令：nlintool（x，y，’model’,beta0，alpha）1、回归：残差Jacobian矩阵回归系数的初值是事先用m-文件定义的非线性函数估计出的回归系数输入数据x、y分别为矩阵和n维列向量，对一元非线性回归，x为n维列向量。2、预测和预测误差估计：[Y，DELTA]=nlpredci（’model’,x，beta，r，J）求nlinfit或nlintool所得的回归函数在x处的预测值Y及预测值的显著性为1-alpha的置信区间YDELTA.第37页，课件共79页，创作于2023年2月8/25/202337例4对第一节例2，求解如下：2、输入数据：x=2:16;y=[6.428.209.589.59.7109.939.9910.4910.5910.6010.8010.6010.9010.76];beta0=[82]';3、求回归系数：[beta,r,J]=nlinfit(x',y','volum',beta0)；beta得结果：beta=11.6036-1.0641即得回归模型为：ToMATLAB(liti41)题目第38页，课件共79页，创作于2023年2月8/25/2023384、预测及作图：[YY,delta]=nlpredci('volum',x',beta,r,J)；plot(x,y,'k+',x,YY,'r')ToMATLAB(liti42)第39页，课件共79页，创作于2023年2月8/25/202339例5财政收入预测问题：财政收入与国民收入、工业总产值、农业总产值、总人口、就业人口、固定资产投资等因素有关。下表列出了1952-1981年的原始数据，试构造预测模型。

解设国民收入、工业总产值、农业总产值、总人口、就业人口、固定资产投资分别为x1、x2、x3、x4、x5、x6，财政收入为y，设变量之间的关系为：y=ax1+bx2+cx3+dx4+ex5+fx6使用非线性回归方法求解。第40页，课件共79页，创作于2023年2月8/25/2023401．

对回归模型建立M文件model.m如下:functionyy=model(beta0,X)a=beta0(1);b=beta0(2);c=beta0(3);d=beta0(4);e=beta0(5);f=beta0(6);x1=X(:,1);x2=X(:,2);x3=X(:,3);x4=X(:,4);x5=X(:,5);x6=X(:,6);yy=a*x1+b*x2+c*x3+d*x4+e*x5+f*x6;

第41页，课件共79页，创作于2023年2月8/25/2023412.

主程序liti6.m如下:X=[598.00349.00461.0057482.0020729.0044.00…………..2927.006862.001273.00100072.043280.00496.00];y=[184.00216.00248.00254.00268.00286.00357.00444.00506.00...271.00230.00266.00323.00393.00466.00352.00303.00447.00...564.00638.00658.00691.00655.00692.00657.00723.00922.00...890.00826.00810.0]';beta0=[0.50-0.03-0.600.01-0.020.35];betafit=nlinfit(X,y,'model',beta0)ToMATLAB(liti6）第42页，课件共79页，创作于2023年2月8/25/202342betafit=0.5243-0.0294-0.63040.0112-0.02300.3658即y=0.5243x1-0.0294x2-0.6304x3+0.0112x4-0.0230x5+0.3658x6结果为:返回第43页，课件共79页，创作于2023年2月8/25/202343逐步回归逐步回归的命令是：stepwise（x，y，inmodel，alpha）运行stepwise命令时产生三个图形窗口：StepwisePlot，StepwiseTable，StepwiseHistory.在StepwisePlot窗口，显示出各项的回归系数及其置信区间.StepwiseTable窗口中列出了一个统计表，包括回归系数及其置信区间，以及模型的统计量剩余标准差（RMSE）、相关系数（R-square）、F值、与F对应的概率P.矩阵的列数的指标，给出初始模型中包括的子集（缺省时设定为全部自变量）显著性水平（缺省时为0.5）自变量数据,阶矩阵因变量数据，阶矩阵第44页，课件共79页，创作于2023年2月8/25/202344例6水泥凝固时放出的热量y与水泥中4种化学成分x1、x2、x3、x4

有关，今测得一组数据如下，试用逐步回归法确定一个线性模型.1、数据输入：x1=[7111117113122111110]';x2=[26295631525571315447406668]';x3=[615886917221842398]';x4=[6052204733226442226341212]';y=[78.574.3104.387.695.9109.2102.772.593.1115.983.8113.3109.4]';x=[x1x2x3x4];第45页，课件共79页，创作于2023年2月8/25/2023452、逐步回归：（1）先在初始模型中取全部自变量：stepwise(x,y)得图StepwisePlot和表StepwiseTable图StepwisePlot中四条直线都是虚线，说明模型的显著性不好从表StepwiseTable中看出变量x3和x4的显著性最差.第46页，课件共79页，创作于2023年2月8/25/202346（2）在图StepwisePlot中点击直线3和直线4，移去变量x3和x4移去变量x3和x4后模型具有显著性.

虽然剩余标准差（RMSE）没有太大的变化，但是统计量F的值明显增大，因此新的回归模型更好.ToMATLAB(liti51）第47页，课件共79页，创作于2023年2月8/25/202347（3）对变量y和x1、x2作线性回归：X=[ones(13,1)x1x2];b=regress(y,X)得结果：b=52.57731.46830.6623故最终模型为：y=52.5773+1.4683x1+0.6623x2ToMATLAB(liti52）返回第48页，课件共79页，创作于2023年2月8/25/202348作业1、考察温度x对产量y的影响，测得下列10组数据：求y关于x的线性回归方程，检验回归效果是否显著，并预测x=42℃时产量的估值及预测区间（置信度95%）.2、某零件上有一段曲线，为了在程序控制机床上加工这一零件，需要求这段曲线的解析表达式，在曲线横坐标xi处测得纵坐标yi共11对数据如下：求这段曲线的纵坐标y关于横坐标x的二次多项式回归方程.第49页，课件共79页，创作于2023年2月8/25/202349第50页，课件共79页，创作于2023年2月8/25/2023504、混凝土的抗压强度随养护时间的延长而增加，现将一批混凝土作成12个试块，记录了养护日期x（日）及抗压强度y（kg/cm2）的数据：第51页，课件共79页，创作于2023年2月8/25/202351谢谢大家第52页，课件共79页，创作于2023年2月8/25/202352四软件开发人员的薪金问题：一家高技术公司人事部门为研究软件开发人员的薪金与他们的资历、管理责任、教育程度等因素之间的关系，要建立一个数学模型，以便分析公司人士策略的合理性，并作为新聘用人员工资的参考。他们认为目前公司人员的薪金总体上是合理的，可以作为建模的依据，于是调查了46名开发人员的档案资料，如表。其中资历一列指从事专业工作的年数，管理一列中1表示管理人员，0表示非管理人员，教育一列中1表示中学程度，2表示大学程度，3表示更高程度（研究生）第53页，课件共79页，创作于2023年2月8/25/202353编号薪金资历管理教育编号薪金资历管理教育011387611113198003130211608103141141740103187011131520263413041128310216132314030511767103171284440206208722121813245502071177220219136775030810535201201596551109121952032112366601101231330222213526131114975311231383960212213713122422884612第54页，课件共79页，创作于2023年2月8/25/202354编号薪金资历管理教育编号薪金资历管理教育251697871136168821202261480380237241701213271740481138159901301282218481339263301312291354880140179491402301446710014125685151331159421002422783716123223174101343188381602332378010124417483160134254101112451920717023514861110146193462001开发人员的薪金与他们的资历、管理责任、教育程度第55页，课件共79页，创作于2023年2月8/25/202355分析与假设：按照常识，薪金自然按照资历（年）的增长而增加，管理人员的薪金高于非管理人员，教育程度越高薪金越高。薪金记作，资历（年）记作，为了表示是否为管理人员定义1，管理人员0，非管理人员为了表示三种教育程度，定义1，中学0，其它1，大学0，其它这样，中学用表示，大学用表示，研究生则用表示。第56页，课件共79页，创作于2023年2月8/25/202356为了简单起见，我们假定资历（年）对薪金的作用是线性的，即资历每加一年，薪金的增长是常数；管理责任、教育程度、资历诸因素之间没有交互作用，建立线性回归模型。基本模型：薪金与资历，管理责任，教育程度之间的多元线性回归模型为其中，是待估计的回归系数，是随机误差。利用MATLAB的系统工具箱可以得到回归系数及其置信区间（置信水平）、检验统计量的结果，见表。第57页，课件共79页，创作于2023年2月8/25/202357参数参数估计值置信区间11032[1025811807]546[484608]6883[62487517]-2994[-3826-2162]148[-636931]第58页，课件共79页，创作于2023年2月8/25/202358结果分析：从表中，，即因变量（薪金）的95.7%可由模型确定，值超过检验的临界值，远小于，因而模型从整体来看是可用的。比如，利用模型可以估计（或估计）一个大学毕业、有2年资历、管理人员的薪金为模型中各个回归系数的含义可初步解释如下：的系数为546，说明资历每增加一年，薪金增长546；的系数为6883，说明管理人员的薪金比非管理人员多6883；的系数为-2994，说明中学程度的薪金比研究生少2994；的系数为148，说明大学程度的薪金比研究生多148，但是应该注意到的置信区间包含零点，所以这个系数的解释是不可靠的。注意：上述解释是就平均值来说的，并且，一个因素改变引起的因变量的变化量，都是在其它因素不变的条件下才成立的。第59页，课件共79页，创作于2023年2月8/25/202359进一步讨论：的置信区间包含零点，说明上述基本模型存在缺点。为了寻找改进的方向，常用残差分析法（残差指薪金的实际值与模型估计的薪金之差，是基本模型中随机误差的估计值，这里用同一个符号）。我们将影响因素分成资历与管理—教育组合两类，管理--教育组合定义如表。组合123456管理010101教育112233管理—教育组合第60页，课件共79页，创作于2023年2月8/25/202360为了对残差进行分析，下图给出与资历的关系，及与管理--教育组合间的关系。与资历的关系与组合的关系从左图看，残差大概分成3个水平，这是由于6种管理—教育组合混在一起，在模型中未被正确反映的结果；从右图看，对于前4个管理—教育组合，残差或者全为正，或者全为负，也表明管理--教育组合在模型中处理不当。在模型中，管理责任和教育程度是分别起作用的，事实上，二者可能起着交互作用，如大学程度的管理人员的薪金会比二者分别的薪金之和高一点。第61页，课件共79页，创作于2023年2月8/25/202361以上分析提示我们，应在基本模型中增加管理更好的模型：与教育的交互项，建立新的回归模型。增加与的交互项后，模型记作利用MATLAB的统计工具箱得到的结果如表：第62页，课件共79页，创作于2023年2月8/25/202362参数参数估计值置信区间11204[1104411363]497[486508]7048[68417255]-1727[-1939-1514]-348[-545-152]-3071[-3372-2769]1836[15712101]第63页，课件共79页，创作于2023年2月8/25/202363由上表可知，这个模型的做该模型的两个残差分析图，可以看出，已经消除了不正常现象，这也说明了模型的适用性。和值都比上一个模型有所改进，并且所有回归系数的置信区间都不含零点，表明这个模型完全可用。与的关系与组合的关系第64页，课件共79页，创作于2023年2月8/25/202364从上图，还可以发现一个异常点：具有10年资历、大学程度的管理人员（编号33）的实际薪金明显低于模型的估计值，也明显低于与他有类似经历的其他人的薪金。这可能是由我们未知的原因造成的。为了使个别数据不致影响整个模型，应该将这个异常数据去掉，对模型重新估计回归系数，得到的结果如表。残差分析见图。可以看到，去掉异常数据后结果又有改善。第65页，课件共79页，创作于2023年2月8/25/202365参数参数估计值置信区间11200[1113911261]498[494503]7041[69627120]-1737[-1818-1656]-356[-431-281]-3056[-3171-2942]1997[18942100]第66页，课件共79页，创作于2023年2月8/25/202366与的关系与组合的关系模型的应用：对于第二个模型，用去掉异常数据（33号）后估计出的系数得到的结果是满意的。模型的应用之一，可以用来“制订”6种管理—教育组合人员的“基础”薪金（即资历为零的薪金），这是平均意义上的。利用第二个模型和去掉异常数据后得到的回归系数，可以得到如下结果：第67页，课件共79页，创作于2023年2月8/25/202367组合管理教育系数“基础”薪金10194632111344830210844412198825031120061318241第68页，课件共79页，创作于2023年2月8/25/202368可以看出，大学程度的管理人员薪金比研究生程度管理人员

薪金高，而大学程度的非管理人员薪金比研究生程度非管理

人员薪金略低。当然，这是根据这家公司实际数据建立的模

型得到的结果，并不具普遍性。评注：从建立回归模型的角度，通过这个问题的求解我们学习了：1）对于影响因变量的定性因素（管理、教育），可以引入0—1变量来处理，0—1变量的个数比定性因素的水平少1（如教育程度有3个水平，引入2个0—1变量）。2）用残差分析法可以发现模型的缺陷，引入交互作用项常常可以得到改善。3）若发现异常值应剔除，有助于结果的合理性。思考：在这里我们由简到繁，先分别引进管理和教育因素，再引入交互项。试直接对6种管理-教育组合引入5个0—1变量，建立模型，看结果如何。第69页，课件共79页，创作于2023年2月8/25/202369五教学评估为了考评教师的教学质量，教学研究部门设计了一个教学评估表，对学生进行一次问卷调查，要求学生对12位教师的15门课程（其中3为教师有两门课程）按以下7项内容打分，分值为1—5分（5分最好，1分最差）：问题：~课程内容组织的合理性；~主要问题展开的逻辑性；~回答学生问题的有效性；~课下交流的有助性；~教科书的帮助性；~考试评分的公正性；~对教师的总体评价。第70页，课件共79页，创作于2023年2月8/25/202370收回问卷调查表后，得到了学生对12为教师、15门课程各项评分的平均值，见表。

教师编号课程编号12014.464.424.234.104.564.374.1122244.113.823.293.603.993.823.3833013.583.313.243.764.393.753.1743014.424.374.344.403.634.274.3953014.624.474.534.674.634.574.69第71页，课件共79页，创作于2023年2月8/25/202371教师编号课程编号63093.183.823.923.623.504.143.2573112.472.793.583.502.843.842.8483114.293.924.053.762.764.113.9593124.414.364.274.754.594.114.18103124.594.344.244.392.644.384.44113334.554.454.434.574.454.404.47124244.674.644.524.393.484.214.6133513.713.413.394.184.064.063.1744114.284.454.104.073.764.434.1594244.244.384.354.484.154.504.33第72页，课件共79页，创作于2023年2月8/25/202372不一定每项都对教师总体评价有显著影响，并且各项内容之间也可能存在很强的相关性，他们希望得到一个总体评价与各项具体内容之间的模型，模型应尽量简单和有效，并且由此能给教师一些合理的建议，以提高总体评价。准备知识：逐步回归这个问题给出了6个自变量，但我们希望从中选出对因变量影响显著的那些来建立回归模型。变量选择的标准应该是将所有对因变量影响显著的自变量都选入模型，而影响不显著的自变量都不选入模型，从便于应用的角度，应使模型中的自变量个数尽量少。逐步回归就是一种从众多自变量中有效的选择重要变量的方法。教学研究部门认为，所列各项具体内容第73页，课件共79页，创作于2023年2月8/25/202373逐步回归的基本思路是，先确定一个包含若干自变量的初始集合，然后每次从集合外的变量中引入一个对因变量影响最大的，再对集合中的变量进行检验，从变得不显著的变量中移出一个影响最小的，依次进行，直到不能引入和移出为止。引入和移出都以给定的显著性水平为标准。利用MATLAB系统工具箱中的逐步回归命令stepwise可以实现逐步回归。Stepwise提供人机交互式画面，可以在画面上自由引入和移出变量，进行统计分析。具体用法参见MATLAB丛书回归模型的建立与求解：我们利用MATLAB命令得到各个变量的回归系数，置信区间，及剩余标准差（RMSE），决定系数（R-square），值，值。见表。第74页，课件共79页，创作于2023年2月8/25/202374参数参数估计值置信区间10.5162[0.01