matlab第十讲

1、1MATLAB数据处理与应用数据处理与应用2011-2012学年选修课学年选修课西南交通大学摩擦学研究所2主要内容方差分析回归分析聚类分析判别分析西南交通大学摩擦学研究所3MATLAB方差与回归分析方差与回归分析 方差分析任何事物总受多种因素的影响，但各个因素对事物的影响可能是不相同的，而且同一个因素不同水平的影响也可能不通利用测量数据分析各个因素对该事物的影响是否显著，这种数据处理方法即为数理统计中的方差分析如果仅考虑某一因素A对事件的影响，在试验时让其他因素保持不变，只改变因素A，这样试样称为单因素试验西南交通大学摩擦学研究所4MATLAB方差与回归分析方差与回归分析 方差分析如果考虑两个

2、及以上的因素A、B等对事件的影响，则称为双因素或多因素试验A、B等因素所处的状态称为水平利用试验数据分析各因素对事件的影响是否显著的方法则响应称为单因子方差分析、双因子方差分析、多因子方差分析西南交通大学摩擦学研究所5MATLAB方差与回归分析方差与回归分析 单因子方差分析anova1单因子方差分析p=anova1(X,group)p为零假设存在的概率，一般p小于0.05或0.01时，认为结果显著，当X为矩阵时，利用group变量作为X中样本箱形图的标签p=anova1(X,group,displayopt)displayopt为0时，则激活anoval表和箱形图的显示p,table=anov

3、a1()返回单元数组表中的anoval表p,table,stats=anoval()返回stats结构，用于多元比较检验西南交通大学摩擦学研究所6MATLAB方差与回归分析方差与回归分析 单因子方差分析有反应A-P，现研究反应温度对反应速度的影响，固定其他因素，在三个温度水平进行试验，得到如下结果，请分析温度对反应速度的影响温度 35 40 46 1 45 56 59 2 42 52 63 3 46 51 65西南交通大学摩擦学研究所7MATLAB方差与回归分析方差与回归分析 单因子方差分析x=45 42 46;56 52 51;59 63 65;anova1(x)ans =4.8095e-0

4、04结果表明零假设存在的概率小于0.05，所以拒绝零假设，即各列均值之间有显著差异，结果说明温度对反应速度的影响相关大西南交通大学摩擦学研究所8MATLAB方差与回归分析方差与回归分析 西南交通大学摩擦学研究所9MATLAB方差与回归分析方差与回归分析 单因子方差分析方差分析表第一列为误差来源，第二列显示每一个误差来源的平方和，第三列显示与每一个误差来源相关的自由度，第四列显示均值平方和，它是误差来源平方和自由度的比值，第五列显示F统计值，为均值平方和的比值，第六列显示p值箱形图中心线上较大的差异对应于较大的F值和较小的p值西南交通大学摩擦学研究所10MATLAB方差与回归分析方差与回归分析

5、双因子方差分析当有两个因素同时影响事件时，采用因子方差分析，因素即为变量，变量的不同取值或说因素的不同情况为因素水平因素水平的改变所造成的试验结果的改变称为主效应当某一因素的效应随另一因素的水平不同而改变时，则称这两个因素存在交互作用，由于交互作用引起的试验结果的改变称为交互效应是否存在交互效应，可通过专门的数学方法进行检验，也可通过交互图来判断西南交通大学摩擦学研究所11MATLAB方差与回归分析方差与回归分析 双因子方差分析anova2双因子方差分析p=anova2(X,reps displayopt)比较X中两列以上和两行以上的均值，不同列中的数据代表一个因子A的变化，不同行中的数据代表

6、因子B的变化；p为零假设的概率，当小于0.05或0.01时，一般认为可以拒绝零假设，当displayopt为on时，则显示方差分析表和箱形图p,table=anova2()返回单元数组表中的anova表p,table,stats=anova2()返回stats结构，用于多元检验西南交通大学摩擦学研究所12MATLAB方差与回归分析方差与回归分析 双因子方差分析举例：为了考察固化时及固化温度对胶粘剂粘结材料强度的影响，进行12次试验得到如下结果，分析固化时间和固化温度的不同是否对粘结强度有显著影响时间 25 50 90 10 52.3/58.9 136.8/132.1 230.5/224.8 3

7、0 83.6/85.3 157.3/153.4 260.4/264.8 60 115.6/112.9 187.9/185.2 323.8/329.9西南交通大学摩擦学研究所13MATLAB方差与回归分析方差与回归分析 双因子方差分析x=52.3 58.9 83.6 85.3 115.6 112.9;136.8 132.1 157.3 153.4 187.9 185.2;230.5 224.8 260.4 264.8 323.8 329.9;anova2(x,2)ans =1.0e-004 * 0.0000 0.0000 0.1794通过结果分析可知，固化时间、固化温度及二者交互作用对反应的p值

8、都远小于0.05，所以拒绝三个零假设，认为固化温度、固化时间和二者交互作用对粘结强度具有显著影响西南交通大学摩擦学研究所14MATLAB方差与回归分析方差与回归分析 西南交通大学摩擦学研究所15MATLAB方差与回归分析方差与回归分析 多因素方差分析anovanN因素方差分析p=anovan(X,group)比较X中对应于N个不同因子的观察值的均值，因子水平由单元数group指定，group中N个单元中的每一个包含一些列因子水平，确定相对于N个因子中的某一个X的观察值，p为零假设的概率，一般小于0.05或0.01时，可认为拒绝零假设p=anovan(X,group,model)用model指定

9、的模型进行方差分析，其中model可以是linear、interaction、full、一个向量或整数西南交通大学摩擦学研究所16MATLAB方差与回归分析方差与回归分析 多因素方差分析p=anovan(X,group,model,sstype)用于根据sstype指定的平方和类型计算方差分析，它可以是1、2或3，默认为3，sstype的取值只影响非平衡数据的计算p=anovan(X,group,model,sstype,gnames)用字符数组标注方差分析表中的N个试验因子p=anovan(X,group,model,sstype,gnames,displayopt)当displayopt显

10、示on时，显示anova表和箱形图p,table=anovan()返回单元数组表中的anova表p,table,stats=anovan()返回stats结构，用于多元检验西南交通大学摩擦学研究所17MATLAB方差与回归分析方差与回归分析 多因素方差分析为了达到排放标注，逆采用空气催化氧化法处理废液，试验研究了影响空气催化氧化法效果的各种因素，测定了催化剂投加量、空气量、通气时间等因素对偏二甲菁去除率的影响，试分析影响处理效果的因素序号 催化剂投加量 空气量 通气时间 偏二甲氰去除率 1 20 200 1 33 2 20 200 1 62 3 20 400 1 37 4 20 400 3 6

11、3 5 40 200 1 58 6 40 200 3 75 7 40 400 1 63 8 40 400 3 80西南交通大学摩擦学研究所18MATLAB方差与回归分析方差与回归分析 多因素方差分析x=33 62 37 63 58 75 63 80;group=cat1;cat1;cat1;cat1;cat2;cat2;cat2;cat2;air1;air1;air2;air2;air1;air1;air2;air2;time1;time2;time1;time2;time1;time2;time1;time2;anovan(x,group,2,3,cat;air;time)ans =0.02

12、36 0.1257 0.0215 0.3440 0.0903 0.5000通过结果分析，催化剂和氧化时间对处理效果具有显著影响，而空气量影响不显著西南交通大学摩擦学研究所19MATLAB方差与回归分析方差与回归分析 西南交通大学摩擦学研究所20MATLAB方差与回归分析方差与回归分析 多元方差分析单因素多元方差分析检验某变量是否受到其它一个或多个变量的影响，利用该分析过程可以分析因素之间的主效应，也可以分析因素之间的交互效应manova1单因素多元方差分析d=manova1(X,group,alpha)对group分组中的X各列的多变量均值以显著性指标alpha进行单因素多元分析，返回d，它是

13、包含组均值的空间维数的估计manovacluter分组聚类manovacluter(stats)进行多元分析后，生成均值的树形图西南交通大学摩擦学研究所21MATLAB方差与回归分析方差与回归分析 多元方差分析manovacluter(stats,method)使用method指定的方法进行分类H=manovacluter(stats,method)返回图中直线的句柄向量multcompare均值或其它估计的多元比较检验c=multcompare(stats,alpha,displayopt)在alpha显著性水平下用stats结构中的信息进行多元比较检验，返回比较结果的矩阵c=multcom

14、pare(stats,alpha,displayopt, ctype, estimate)指定进行比较的估计，并指定临界值西南交通大学摩擦学研究所22MATLAB方差与回归分析方差与回归分析 多元方差分析举例：某工厂排出的污水属于第二类污染物，为了达到国家污水排放标准，工厂对污水进行了处理，为了考察处理工艺参数对处理效果的影响，对污水进行监测，某段时间的监测结果如下，试进行多元方差分析参数 Ph值 悬浮物 CODCr BOD5参数1 6.3 167 360 286参数1 6.8 172 371 280参数1 7.0 169 362 374 参数1 6.5 175 366 270参数2 7.4

15、201 387 289参数2 7.0 214 375 283参数2 7.3 210 381 278参数2 6.9 208 390 279参数3 7.6 187 359 261参数3 7.2 193 357 267西南交通大学摩擦学研究所23MATLAB方差与回归分析方差与回归分析 多元方差分析x=6.3 167 360 286;6.8 172 371 280;7.0 169 362 274; 6.5 175 366 270;7.4 201 387 289;7.0 214 375 283;7.3 210 381 278;6.9 208 390 279;7.6 187 359 261;7.2 19

16、3 357 267;group=参数1;参数1;参数1;参数1;参数2;参数2;参数2;参数2;参数3;参数3;d,p=manova1(x,group)d,p,stats=manova1(x,group)manovacluster(stats)结果表明：各均值可能位于相同的平面上，但没有位于同一条直线上，即处理方法参数1、3两者之间对处理结果没有显著性差异西南交通大学摩擦学研究所24MATLAB方差与回归分析方差与回归分析 西南交通大学摩擦学研究所25MATLAB方差与回归分析方差与回归分析回归分析在许多问题中，常常会遇到许多相互联系、相互制约的变量，常见的变量之间的关系有两类确定性关系非确定

17、性关系回归一词由美国的高尔顿于1886年首先提出来，他在研究家族成员质检单遗传规律时发现此种现象研究一个随机变量与一个可控变量之间的相关关系的统计方法称为回归分析一元回归分析+多元回归分析西南交通大学摩擦学研究所26MATLAB方差与回归分析方差与回归分析回归分析回归分析研究内容从一组数据从发，确立变量间是否存在相关关系，如存在相关关系，确定他们之间的合适的数学表达式，并对可信程度做统计分析从共同影响一个变量的许多变量中，判断哪些变量的影响是显著的，哪些变量的影响是不显著的利用所确定的回归方程进行预测与控制西南交通大学摩擦学研究所27MATLAB方差与回归分析方差与回归分析回归分析rcoplo

18、t残差个案排序图rcoplot(r,rint)在回归得到残差处显示一个置信区间的误差条图西南交通大学摩擦学研究所28MATLAB方差与回归分析方差与回归分析回归分析regress多元线性回归b=regress(y,x)返回X处的最小二乘拟合值b,bint,r,rint,stats=regress(y,x)在b中返回B的估计，r为残差，stats包含R2统计量，回归的F值和p值b,bint,r,rint,stats=regress(y,x,alpha)给出bint和rint的100(1-alpha)%的置信区间西南交通大学摩擦学研究所29MATLAB方差与回归分析方差与回归分析回归分析lever

19、age生成回归的中心化杠杆值，以衡量由于给定观察值在输入空间中的位置而引起的对回归的影响h=leverage(data)找到data矩阵中每一行的中心化杠杆值h=leverage(data,model)找到回归的中心化杠杆值，并使用model指定的模型类型model可以是以下任何一种：interactioin包含常数项、线性项和交互项；quadratic交互项加上平方项；purequadratic包含常数项、线性项和平方项西南交通大学摩擦学研究所30MATLAB方差与回归分析方差与回归分析回归分析regstats回归诊断图形用户界面regstats(responses,data)对带常数项的线

20、性回归模型进行回归诊断，它创建一个图形窗口regstats(responses,data,model)控制回归模型的级次西南交通大学摩擦学研究所31MATLAB方差与回归分析方差与回归分析回归分析stepwise逐步回归的交互式环境stepwise(x,y)拟合y与x的列之间的回归模型stepwise(x,y,inmodel)允许控制初始回归模型的项目，inmodel是X中的选定系数，包含在初始模型中stepwise(x,y,inmodel,alpha)允许控制拟合系数的置信区间宽度，默认时alpah=1-(1-0.025)(1/p)，p为x中的列数西南交通大学摩擦学研究所32MATLAB方差

21、与回归分析方差与回归分析回归分析glmfit广义线性拟合b=glmfit(x,y,distr)用响应Y，预测变量X和分布distr拟合广义线性模型b=glmfit(x,y,distr,link,estdisp,offset,pwts,const)对于拟合提供其他控制，link变量指定分布参数和预测变量组合之间的线性关系b,dev,stats=glmfit()返回附加输出dev和stats西南交通大学摩擦学研究所33MATLAB方差与回归分析方差与回归分析回归分析polyfit多项式线性曲线拟合p,s=polyfit(x,y,n)拟合n次多项式的最小二乘意义上的系数估计值西南交通大学摩擦学研究所

22、34MATLAB方差与回归分析方差与回归分析回归分析robust稳健回归b=robust(x,y)用稳健回归来拟合，它受异常值的影响小b,stats=robust(x,y)返回stats结构b,stats=robust(x,y,wfun,tune,cost)指定一个加权函数、一个协调常数和是否显示常数项西南交通大学摩擦学研究所35MATLAB方差与回归分析方差与回归分析回归分析lscov已知方差下进行拟合最小二乘运算X=LSCOV(A,B,V)返回解向量XX,DX=LSCOV(A,B,V)返回标准误差DX西南交通大学摩擦学研究所36MATLAB方差与回归分析方差与回归分析回归分析rstool交

23、互式拟合及响应面的可视化rstool(x,y)显示95%置信区间的交互式预测图rstool(x,y,model)允许控制初始回归模型rstool(x,y,model,alpha,xname,yname)在图中标注x轴和y轴西南交通大学摩擦学研究所37MATLAB方差与回归分析方差与回归分析回归分析x2fx将一个因子设置矩阵转换为一个设计矩阵D=x2fx(x)为带常数项线性模型将系统输入矩阵转换为设计矩阵D=x2fx(x,model)允许控制回归模型的级次西南交通大学摩擦学研究所38MATLAB方差与回归分析方差与回归分析回归分析测定了苯甲醛和9个一取代甲氰化合物的有机碳吸附系数K1和正辛醇水分

24、配系数K2，试找出二者之间的关系 1 2 3 4 5 6 7 8 9 10K1 2.15 2.22 2.30 2.31 2.29 1.60 1.59 1.45 1.57 1.81K2 1.60 1.59 1.45 1.57 1.81 2.25 2.24 2.24 2.27 2.45西南交通大学摩擦学研究所39MATLAB方差与回归分析方差与回归分析回归分析x=1.60 1.59 1.45 1.57 1.81 2.25 2.24 2.24 2.27 2.45;y=2.15 2.22 2.30 2.31 2.29 2.44 2.52 2.52 2.58 2.60;rstool(x,y)regres

25、s(x,y)betarmseresidualsd=x2fx(x)regress(y,d)西南交通大学摩擦学研究所40MATLAB方差与回归分析方差与回归分析回归分析regstats(y,x)b,bint,r,rint,stats=regress(y,x)西南交通大学摩擦学研究所41MATLAB方差与回归分析方差与回归分析回归分析多元线性回归regress若y=2+0.5x+b，bN(0,0.12)x=rand(10,1);x=ones(10,1),x;y=x*2;0.5+0.1*randn(10,1);b,bint,r,rint,stats=regress(y,x);b,statsrcoplo

26、t(r,rint)西南交通大学摩擦学研究所42MATLAB方差与回归分析方差与回归分析西南交通大学摩擦学研究所43MATLAB方差与回归分析方差与回归分析非回归分析nlinfit非线性最小二乘数据拟合beta=nlinfit(x,y,model,beta0)返回model中描述的非线性函数的系数，期中model是一个自定义函数beta,r,J=nlinfit(x,y,model,beta0)返回拟合系数、残差和雅可比矩阵西南交通大学摩擦学研究所44MATLAB方差与回归分析方差与回归分析非回归分析nlintool非线性拟合GUInlintool(x,y,model,beta0,alpha)为预

27、测图，提供非线性曲线拟合，置信区间为100(1-alpha)%，缺省95%nlintool(x,y,model,beta0,alpha,xname,yname)用字符标注x和y轴西南交通大学摩擦学研究所45MATLAB方差与回归分析方差与回归分析非回归分析nlpredci计算非线性模型预测值的置信区间ypred=nlpredci(f,inputs,beta,r,J)给定beta、残差r和雅可比矩阵J，拟合参数兵返回预测响应ypred,delta=nlpredci(f,inputs,beta,r,J)返回参数delta，用于计算非线性最小二乘预测的置信区间ypred=nlpredci(f,inp

28、uts,beta,r,J,simpot,predopt)控制置信区间的类型西南交通大学摩擦学研究所46MATLAB方差与回归分析方差与回归分析非回归分析nlparci非线性参数估计的置信区间ci=nlparci(beta,r,J)给定拟合参数beta、残差r和雅可比矩阵J，返回非线性最小二乘参数估计beta的95%置信区间ci西南交通大学摩擦学研究所47MATLAB方差与回归分析方差与回归分析非回归分析在研究过程反应过程中，建立了一个反应速率和反应物含量的数学模型，形式为：其中 是未知的参数，x1,x2,x3是三种反应物的含量，y是反应速率，今测得一组数据如下表，试确定参数，参考值为(1,0.

29、05,0.02,0.1,2)3423125311xxxxy54321,西南交通大学摩擦学研究所48MATLAB方差与回归分析方差与回归分析序号反应速率yx1x2x318.554703001023.79285801034.8247030012040.024708012052.754708010614.391001901072.54100806584.3547019065913.0010030054108.510030010110.05100801201211.3228530010133南交通大学摩擦学研究所49MATLAB方差与回归分析方差与回归分析非回归分析x=470

30、 285 470 470 470 100 100 470 100 100 100 285 285;300 80 300 80 80 190 80 190 300 300 80 300 190;10 10 120 120 10 10 65 65 54 120 120 10 120;y=8.55 3.79 4.82 0.02 2.75 14.39 2.54 4.35 13 8.5 0.05 11.32 3.13;beta0=1 0.05 0.02 0.1 2;beta,R,J=nlinfit(x,y,eg9_2fun,beta0);betabetaci=nlparci(beta,R,J)ypre,

31、delta=nlpredci(eg9_2fun,x,beta,R,J);plot(x(:,1),y,o,x(:,1),ypre,*);西南交通大学摩擦学研究所50MATLAB方差与回归分析方差与回归分析西南交通大学摩擦学研究所51MATLAB方差与回归分析方差与回归分析异常数据的处理若确认列状数据为来自同一总体的样本，那么绝大部分数据应该在均值的4或5个标准差之内，因一些外在的因素往往会有一些坏数据混杂其中，这些坏数据往往会严重影响统计量的计算结果，从而影响统计推断的正确性，所以应该去除这些坏数据可以个别处理，也可以按一定百分比剔除掉最大和最小的一部分数据，如上下各剔除2.5%，坏数据除去后，

32、统计量应该重新计算西南交通大学摩擦学研究所52MATLAB方差与回归分析方差与回归分析异常数据的处理trimmean(data,percent)忽略数据上下个percent/2%后的均值，期中0=percent=100设列状数据为cdata，可用下列M文件trim.m去除坏数据clearc=nan;ones(100,1);inf;100mean(c),trimmean(c,5)c=trim(c);mean(c)西南交通大学摩擦学研究所53MATLAB方差与回归分析方差与回归分析异常数据的处理function data=trim(data,outval)if nargin1, data(any(outliers),:)=;else data(fin