回归分析.doc

第十四节 回归分析在散布图中我们研究了两个变量是否存在相关关系及其密切程度的问题；在方差分析中，我们研究了一个或几个因素对产品质量特性的影响是否显著的问题。当因素与质量特性的相关关系密切或因素对质量特性影响显著时，如果我们需要进一步研究这种密切关系或影响呈现何种统计规律时，这就需要用回归分析的方法来解决。一、概念1.回归分析的含义若具有相关关系的变量间（自变量x，因变量y）存在相关的定量关系，并能用函数表达出来，这种关系称为变量y对变量x的回归关系。研究变量间的相关关系并为其建立函数形式，叫回归分析。2.用途确定几组相关数据之间是否存在相关关系，若存在相关关系，为其建立函数表达式；分析影响因素的重要性；根据一个或几个变量的值，预测和控制某一随机变量的变化范围。二、一元线性回归分析1.一元线性回归的模式设产品的质量特性为y，影响其的质量因数为x，若不存在试验误差时，y为x的线性函数，即y=a+bx今对x在水平x1，x2，xn上进行试验，由于存在试验误差，使相应的质量特性出现为随机变量y1，y2，yn。设；yi=a+bxi+i；i=1，2，n式中a，b是未知参数，i是试验的随机误差，是不可观测的随机变量。yi是试验结果，是可观测的随机变量。假定：1，2，n，相互独立且均服从正态分布n（0，2），我们称满足该条件的结构式yi=a+bxi+i为一元线性回归模式（或一元线性回归方程）。所谓“一元”，指自变量（质量因素）只有一个；所谓“线性”指不存在试验误差时，y与x之间的关系为线性关系，即y=a+bx。一元线性回归所要解决的问题是：判定x与y之间是否存在线性关系，这就等于检验假设：ho：b=0；倘若x与y之间存在线性关系，则求出这种关系：=a+bx；给定x= x0，求出（x0）=a+bx0的区间估计；若给定y的区间，预测x的控制区间。2.一元线性回归方程的建立例1.6-1 设某化工产品收率y与反应温度x之间存在直线关系，今测得5对数据如表1.14-1表中xi、yi的对应数据。表1.14-1 回 归 直 线 计 算 表ixi（）yi（%）xi2yi2xi yi1234570709010011011.2511.2811.6511.7512.144900640081001000012100126.5625127.2384135.7225136.8900147.3798787.5902.41048.51170.09133.445058.0241500673.79305243.8平均9011.604解：作散布图作散布图（见图1.14-1）。从图中点的分布情况可看出，x与y大致是直线关系，故适宜选配回归直线。12.2012.0011.8011.6011.4011.2011.00 70 80 90 100 110 （） 图1.6-3 例1.6-1的散布图x（反应温度）收率y 建立回归方程计算xi2、yi2、xiyi 、xi、yi、xi2、yi 2、xiyi如表1.14-1中的对应数据。计算lxx、lxy、lyylxx=41500-（450）2/5=1000lxy =5243.8-45058.02/5=22.0lyy=673.7930-（58.02）2/5=0.5289b= lxy /lxx=22.0/1000=0.022a=11.604-0.02290=9.624=a+bx=9.624+0.022x。其在散布图上的直线如图1.14-1所示。3.一元回归方程的统计分析求出的回归直线方程是否真正反映了x与y之间的统计规律，必须进行检验。即，我们需要检验假设h 0：b=0是否成立，只有当拒绝h 0时，即b0时，x与y之间配置的回归直线方程才有意义，否则x与y之间不存在直线关系，配置的回归直线无利用价值。波动平方和的分解s总=st= lyy=0.5289s回=b lxy=0.02222.0=0.484se= st- s回=0.5289-0.484=0.0449ft=n-1=4, f回=1, fe= ft- f回=4-1=3方差分析列方差分析表，见表1.14-2。表1.14-2 例1.6-1的方差分析表来源sfvfs，（%）回归e0.48400.0449130.48400.015032.27*0.48400.059988.6711.33t0.528940.5289100.00f0.05（1，3）=10.13，f0.01（1，3）=34.12由于ff0.05（1，3），所以判为显著，说明x与y之间存在直线关系。4.利用一元回归方程进行预测由于y是随机变量，在给定的自变量x的值确定后y的值可能不同，但在一定范围内波动，即y（xo）是可以预测其所处的范围的。所谓预测，就是给定x=x0，预测随机变量y0=a+bx0+0的取值范围（y0-，y0+，）预测区间半径，为：，=t/2(n-2)=|x0-|越大，这说明预测点x0偏离数据x1，x2，xn的中心越大，则区间估计的精度与预测的精度越差。一般要求，min1in xix0max1in xi即回归方程的区间估计与预测，不能轻易超过试验数据的取值范围。给定=0.05，x0=95，查3.2.3t分布表，t/2(n-2)=t0.025（3）=3.1824，0=9.624+0.022x0=9.624+0.02295=11.714=，=t/2(n-2)=0.12233.1824本例概率为0.95的预测区间为：（-，+），即（11.714-0.431，11.714+0.431）=（11.283，12.145）即反应温度为95时，有95%的把握预测收率为11.283%至12.145%。5.利用一元回归方程进行控制控制不过是预测的反问题。假定要求指标在（yl，yu ）区间为合格，现在要决定自变量x0在什么范围内，才能以1-的概率保证指标合格。则要求自变量x0满足如下不等式组： a+bx-u1-/2 yl a+bx+u1-/2 yu在例1.14-1中，如要求以0.95的概率保证收率在（11.5，12.0）以内，则反应温度应控制在什么范围内。由于u0.975=1.96，解不等式组：9.624+0.022x-1.960.122211.59.624+0.022x+1.960.122212.00.022x11.5-9.624+1.960.12220.022x12.0-9.624-1.960.1222得x:（96,97），即若反应温度控制在9697之间，有95%的把握保证收率在（11.5，12.0）以内。三、二元线性回归分析1.二元线性回归的模式若产品的质量特性y与影响其的质量因素x1，x2之间存在线性相关关系，配置的线性回归方程为：=b0+b1x1+ b2x2该方程表示三维空间的一个平面，因此称为回归平面。其中b0为常数项，b1、b2称为方程的偏回归系数。y对某一自变量的回归系数表示当其它变量都固定时，该自变量变化一个单位，y变化的平均数值，故b1表示当x2固定时，x1变化一个单位，引起变化的平均数值。若、分别是试验观测数据y、x1、x2的算术平均值：=y i/n，=x i /n，=x2i/nl12=l21=x1i x2 i -（x1 i）（x2 i）/nlky=xkiy i -（xk i）（yk i）/n，k=1，2lkk=x2ki-（xk i）2/n，k=1，2于是正规方程可表示为：l11 b1+ l12 b2= l1yl21 b1+ l22 b2= l2y用行列式求解这组正规方程即得：b1=b2=b0=-b1+b2以上的计算公式可列二元线性回归计算表，见表1.14-3。表1.14-3 二元线性回归计算表序号x1x2yx12x22x1x2x1 yx2 yy212nx1ix2iy ix 1i 2x2i2x1i x2ix1 i y ix2i y iy2 i2.二元线性回归方程的建立例1.6-2 水泥一天强度、矿渣掺加量与到七天的强度增加率，根据专业知识和生产实践，知道其相关关系为负相关关系。设：水泥一天到七天的强度增加率为y； 矿渣掺加量为x1（%）；水泥一天的耐压强度为x2（0.1mpa）；试验测得的100组数据见表1.14-4。试确定其二元线性回归方程。表1.14-4 例1.6-2的回归计算表序号x1 ix2 iy ix1 i 2x2 i 2x1 i x2 ix1 i y ix2 i y iy i 21210049.9251.1950.0351.53525144383.593.563.935.832492.00642620.41462503.0002655.3409270426011936129627042601193612962595.842910.692210.321848.6017902128182.2364196.6179299.3705186.68181.56172.93205.885067.224542456.0825707805742210984210984229769.3423586.71720726.09由上表可计算：lyy=l11=l22=l12=l21=229769.34-5067.224542/100=-383.7924l1y=23586.717-5056.22465.08/100=20.0902l2y=20726.9-4542465.08/100=-397.8436因二元线形正规方程可表示为：l11 b1+ l12 b2= l1yl21 b1+ l22 b2= l2y将具体数值代入正规方程，可得方程组：311.3889 b1-383.7924 b2=20.0902-383.7924 b14686.36 b2=-397.8436解该得方程组得：b1=b0=- b1- b2=求得的二元线性回归方程为：=10.9305-0.0446 x1-0.0885 x2多元线性回归方程上面的数据处理方法可推广到多个变量的线性回归方程。若影响y的因素有k个：x1，x2，xk，则多元线性回归方程为：= b0+b1x1+ b2x2+ bkxk式中，b0为常数项，b1，b2，bk为偏回归系数。回归系数的正规方程为：l11 b1+ l12 b2+l1k bk= l1yl21 b1+ l22 b2+l2k b = l2ylk1 b1+ lk2 b2+lkk b = lky常数项b0的计算公式为：b0=多项式回归在实际工作中，并非诸因素和指标之间都具备线性相关关系。例如某个因素和指标之间经试验，开始阶段指标随因素增加而增大，但增大到一定值之后，再增加因素值时指标反而减小。这种情况可用抛物线函数来描述它们之间的相关关系，即。对这种函数，若令：，则原方程变为：上式就是多元线性回归了。所谓多项式回归，就是变量间具备下面的通式：y=b0+b1z1+ b2z2+ b3z12+ b4 z1z2+b5 z22+若令x1=z1，x2= z2 ，x3=z12，x4= z1 z2，x5=z22，则多项式通式可变为：y=b0+b1x1+ b2x2+ b3x3+ b4x4+b5 x5+上面这种分析方法可适用于相当多的非线形问题。若从实践经验或理论分析知道，回归方程是下面的非线性方程： y=b0+b1f1（z1，z2，zk）+b2 f2（z1，z2，zk）+ bm fm（z1，z2，zk）其中所有的fi（z1，z2，zk）都是自变量的已知函数而不包括任何未知参数。令x1= f1（z1，z2，zk）x2= f2（z1，z2，zk）xm= fm（z1，z2，zk）则非线性方程的形式变为：y=b0+b1x1+ b2x2+ bmx2这类问题都可用多元线性回归的方式进行处理，多项式回归在回归问题中占有特殊地位，因为任何函数至少在一个比较小的范围内，可用多项式任意逼近。因此，在比较复杂的质量管理问题中，如化工、轻工、电子、机械等行业进行定量质量管理分析时，可以先不管质量指标y与诸因素x之间究竟为何种相关关系，而先用多项式回归进行分析计算后，再确定实际的相关关系。3.二元回归方程的统计分析计算波动平方和与自由度s总=st= lyy=43.9499s回=biliy=b1l1y+ b2l2y =（-0.0446）20.0902+（-0.0885）（-397.8436）=34.3131se= st- s回=43.9499-34.3131=9.6368f回=k=2，ft=n-1=100-1=99, ,fe= ft- f回=99-2=97方差分析列方差分析表，见表1.14-5。表1.14-2 例1.6-1的方差分析表来源sfvfs，（%）回归e34.31319.636829717.15660.0993172.775*34.11249.837577.6222.38t43.94999943.9499100.00f0.01（2，97）=4.89由于ff0.01（2，97），所以判回归为高度显著。回归高度显著,说明水泥一天强度、矿渣掺加量对七天的强度增加率影响高度显著。4.利用二元回归方程进行预测在多项式回归中，预测区间的样本半径近似标准差为：回，=0.550当=0.05，x1=50，x2=45时，y0=10.9305-0.0446 x1-0.0885 x2=10.9305-0.044650-0.088545=4.723y的预测区间为：（y0-，y0+，）=（4.723-0.550，4.723+0.550）=（4.173，5.273）即当矿渣掺加量为