数据分析及DPS数据处理系统

数据分析及DPS数据处理系统第1页/共129页2主要参考资料试验应用统计：设计、创新和发现，第2版，GeorgeE.P.Box等著，张润楚等译，机械工业出版社，2010试验的设计与分析：王万中主编，高等教育出版设，2004.试验设计与分析及参数优化，吴建福(美)等著(张润楚等译)，中国统计出版社，2003DPS数据处理系统-实验设计、统计分析及数据挖掘,第2版，唐启义著，科学出版社，2010第2页/共129页3实验设计优化与DPS第3页/共129页4DPS开发背景上世纪80年代以来，很多单位都着手编写统计分析程序，但随着时间的推移，绝大多数程序由于算法落后、数据格式规范性差、输出格式零乱、缺乏完整性而被淘汰。目前，国外大型统计软件，如SAS、SPSS等占优势。这从短期效应来看，引进国外软件，有利国内科研对数据处理需求。但从长期看，特别是从知识产权来讲，依赖于国外软件需要昂贵的费用支持。如在SAS平台上开发的程序，由于摆脱不了SAS的环境，难在国内推广应用。因此，研制、推广适合国内需要的统计软件，是势在必行的事；我们通过近20多年的努力，开发成功了功能完整的DPS数据处理系统，其功能已接近ＳＡＳ、SPSS的水平。第4页/共129页51988年开始，历时10年，1997年推出DOS版本第1版，同时出版配套专著第1版(4000册)；1998年完成Window版(第2版)，2002年和2007年分别出版配套专著3000册；2010年再次出版配套专著3500册（165万字)；目前软件版本12.01版。DPS数据处理系统开发历程第5页/共129页6出版教材：唐启义《DPS数据处理系统－实验设计、统计分析及数据挖掘》第2版，科学出版社，2010年。唐启义冯明光《DPS数据处理系统－实验设计、统计分析及数据挖掘》科学出版社，2007年。唐启义冯明光《实用统计分析及其DPS数据处理系统》科学出版社，2002年。唐启义冯明光《实用统计分析及其计算机处理平台》中国农业出版社，1997年。第6页/共129页7DPS数据处理系统－实验设计、统计分析及数据挖掘第7页/共129页8DPS用户界面与数据接口第8页/共129页9第9页/共129页10DPS功能特色实验设计：均匀设计混料实验设计统计分析：动态聚类分析因子分析模型统计检验与评价第10页/共129页11DPS的应用用户数已超过10000；遍及国内各个省市，包括港、台，各个行业和领域；美国宾州大学林共进博士的实验室用于工业实验设计（大样本实验设计）；成为赴国外攻读博士、或访问学者的工具。第11页/共129页12DPS使用(类似Excel电子标的操作)第12页/共129页13数据统计分析基本步骤(1)将数据输入到DPS的电子表格里。数据一般是一行为一个记录(样本)，一列一个指标（变量）。(2)用鼠标选中待分析的数据。(3)进入菜单选择相应的统计功能项。(4)系统对选中的数据进行分析，并将分析结果返回到另一电子表格。第13页/共129页14第14页/共129页15第15页/共129页16

某县植保站，调查4个水稻品种上稻纵卷叶螟卷叶率(%),结果列于下表。水稻品种卷叶率（%）合计平均A131.927.931.828.435.9155.931.18A224.825.726.827.926.2131.426.28A322.123.627.324.925.8123.724.74A427.030.829.024.528.5139.827.96合计=550.8第16页/共129页17数据转换：如数值相差几个数量级，可用对数转换;如许多小区值为0，则可用平方根转换;如指标是百分数,且大部分数值大于70％或小于30％，可用反正弦平方根转换。

一般用Tukey法和LSD法。但注意：目前国内目前的农药实验要求Duncan法。第17页/共129页18第18页/共129页19学会思考在您目前从事或涉及到的研究领域，在实验设计或进行数据分析时，您最有可能碰到哪些统计学方面的问题？在试验设计与数据处理分析中，您有可能用到工具软件（如DPS）中的哪些功能、或数据分析方法来解决您的问题，以及使用这些方法时的注意事项。第19页/共129页20实验设计与统计分析第20页/共129页21第21页/共129页221实验设计实验设计特点实验设计基本原则实验设计基本内容和步骤常用实验设计方法第22页/共129页231、实验设计ExperimentDesign

的特点试验研究和调查研究主要区别：对研究对象是否进行干预。试验研究特点：根据研究目的(或假设)主动加以干预措施，观察结果，回答研究假设所提出的问题。第23页/共129页24实验研究(例子)

新农药防治某作物害虫的效果首先假设该农药可以杀死害虫。在田间划分几个随机区组，区组内随机设置小区，必要时各个小区接入害虫卵块。将农药配制成不同的浓度，再加一个空白(清水)对照。在害虫防治适期施药、处理。处理(施药)后24小时、72小时、…，调查各个小区的虫量(观察指标)，并对数据进行方差分析，看各处理间有无显著差异，进而得出该农药是否具有对该害虫防治效果的结论。

从该例中可以看出研究者施加了干预措施，即施用不同浓度的农药。再经过观察总结，验证提出的假设是否正确。

第24页/共129页252、实验设计基本原则随机对照重复

目的是为有效控制非处理因素第25页/共129页262.1随机化原则

目的：研究者在实验设计时，并不完全知道实验过程中的许多非实验因素，随机误差干扰在所难免，因此有必要采用随机化的办法抵消这些干扰因素的影响。随机化原则包括两方面随机分配：把实验处理对象随机分到各个区组内，以增强可比性(区组内小区随机设置)。随机抽样：总体中的每一个观察单位都有同等的机会被选入到样本中来(如实验结果的调查)。第26页/共129页272.2对照原则

设置对照小区，除实验处理不同外，实验过程中的实验条件和辅助措施都应相同，以便比较所研究对象存在的真实差异。抵消害虫、病害自身消长趋势的影响抵消实验环境的其它因素的干扰

第27页/共129页28常见的对照空白对照(如农药药效实验中用清水处理，重金属元素检测的空白处理)标准对照(如农药药效实验中的标准农药品种)第28页/共129页29

例子:复配农药防治一代二化螟的单因素随机区组设计单因素随机区组设计第29页/共129页302.3重复的原则是指各处理组及对照组的重复要有一定数量。重复数太少的话，很可能把某些偶然现象当作客观规律。重复数太多的？人力物力浪费。在保证实验结果具有一定可靠性的条件下，确定合适的重复(区组)数量。第30页/共129页313实验设计的基本内容和步骤建立研究假设（提出要解决的问题）明确研究范围（受试对象）确立处理因素（处理因素）明确观察指标（实验效应）控制误差和偏倚(区组设计)第31页/共129页323.1建立研究假设

科研选题：研究的题目要有科学性和新颖性、社会效益和经济效益、最后要考虑可行性。第32页/共129页333.2明确研究范围实验中的三个基本要素为：处理因素、实验效应和受试对象。明确研究范围即：受试对象所组成的研究总体规定本次研究的总体范围如研究病虫为害对作物产量影响，首先确定作物产量的考察标准以及计量方法，然后根据研究需要，选定实验田块安排实验，确定实验处理因素(不同的害虫密度梯度设置)，使得实验效果清晰、明了。第33页/共129页34实验设计的基本要素例如：用某种杀虫剂

防治作物害虫，观察其

虫口数量下降情况。基本要素：处理因素（杀虫剂）受试对象（作物害虫）实验效应（虫口数量下降）第34页/共129页353.3确定处理因素处理因素是根据研究目的而施加的特定实验措施(如农药药效实验种的不同农药浓度)。为了增强可比性，实验通常设立对照，如空白或者标准。对照也是一种处理措施。第35页/共129页363.4明确观察指标实验中的实验效应主要指处理因素作用于实验对象的反应，这种效应将通过实验中观察指标显示出来。选用的指标应该是：客观性强（易观察，可量可测，操作性强）灵敏度高（对各个处理的反应要灵敏）精确性强（要反应研究对象的实质，不受或少受其它因素的影响）第36页/共129页373.5控制误差和偏倚误差（error）：测量值与真值之差

1，5，9=>5(真正均值＝5)偏倚（bias）：在实验中由于某些非实验因素的干扰所形成的系统误差

4，5，9=>6(真正均值＝5)第37页/共129页38完全随机实验随机区组设计裂区实验设计正交设计二次正交回归组合设计均匀实验设计4常用实验设计方法第38页/共129页39常用试验设计完全随机设计随机区组设计裂区设计样本容量估计随机分组方差分析多重比较局部控制随机分处理方差分析多重比较主区裂区方差分析正交设计水平数＜5正交表安排方差分析均匀设计均匀表安排线性回归分析多项式逐步回归模型优化正交回归组合Mc+Mr+M0二次多项式回归模型优化水平数＝5第39页/共129页404.1完全随机实验

概念：首先将受试对象随机分配到实验(处理)组和对照组，通过比较分析回答研究假设。统计方法成组设计的两样本均数比较(t检验)，相应的秩和检验(非参数检验)成组设计的多个样本均数比较(方差分析),相应的秩和检验(非参数KruskalWallis检验)两样本率(卡方检验)或多样本率比较(Logistic回归)第40页/共129页41完全随机设计的

随机分配方法使用随机数字表DPS生成：如3个处理，5次重复，共15个实验处理(样品)的实验：第41页/共129页42分配结果分组对象编号甲组1791014乙组58111315丙组234612第42页/共129页43

实验结果分析：方差分析

假定该实验是甲组是对照，乙组和丙组是不同微量元素处理的盆栽实验，实验指标是植株鲜重，问不同处理的植株鲜重是否不同？133.8125.3143.1128.9135.7151.2149162.7143.8153.5193.4185.3182.8188.5198.6第43页/共129页44完全随机设计实验结果

方差分析数据格式在菜单下执行“实验统计”->“完全随机设计”下面的“单因素实验统计分析”。第44页/共129页45数据转换：如数值相差几个数量级，可用对数转换;如许多小区值为0，则可用平方根转换;如指标是百分数,且大部分数值大于70％或小于30％，可用反正弦平方根转换。

一般用Tukey法和LSD法。国内目前的农药实验要求Duncan法。第45页/共129页46第46页/共129页47数据描述：均值和标准差是必须的，处理样本数也要说明。方差分析：F值、自由度和P值；如P<0.05则差异显著，如P<0.01则差异极显著。多重比较：均值后面跟有相同字母的就没差异。第47页/共129页48正确理解差异显著或极显著的统计意义

"差异显著"或"差异极显著"不应该误解为相差很大或非常大,也不能认为在专业上一定就有重要或很重要的价值.“显著”或“极显著”是指不同处理没有差异的可能性小于5%或1%，即认为它们有实质性差异的可能性是95%或99%。有些试验结果虽然差别大，但由于试验误差大，也许还不能得出“差异显著”的结论；而有些试验结果间的差异虽小，但由于试验误差小，反而可能推断为“差异显著”。第48页/共129页49IIIIII均值A17.9710.6210.6213.07B41.9520.8879.1447.33C53.9598.1267.7573.27IIIIII均值A11.2212.5511.5516.53B23.4822.9432.0736.16C39.7141.8036.6151.64两个栽培试验，不同处理A、B、C间的成活率，谁的差异大？实验１实验２A：空白对照；B：标准对照；C：新技术处理第49页/共129页50实验1的方差分析表方差分析表变异来源平方和df均方F值p值区组间325.702162.850.2630.7807处理间5470.9822735.494.4260.0969误差2472.304618.07总变异8268.978第50页/共129页51实验2的方差分析表

方差分析表变异来源平方和df均方F值p值区组间5.6522.830.1840.8386处理间1143.642571.8237.2360.0026误差61.43415.36总变异1210.728第51页/共129页52两实验各处理均值比较实验1实验2处理均值5%显著水平均值5%显著水平处理373.27

a39.37

a处理247.33

ab26.16

b处理113.07

b11.77

cF值4.4337.24P值0.09690.0026第52页/共129页534.2随机区组设计概念：将研究对象按性质相同或相近者组成b个区组（局部控制），每个区组中的k个处理随机分配。优点利用区组，进一步控制偏倚，减少实验的偏差；但实验结果中若有数据缺失，统计分析较麻烦(目前可用一般线性模型解决)。第53页/共129页54例用区组设计方法将20个实验对象，接受甲、乙、丙、丁4个处理。将20个实验对象分成5个区组，即l一4号为第1区组，5—8号为第2区组，余类推，接受四种处理方式。第54页/共129页5520名实验对象分配的配伍组和处理组区组处理组甲乙丙丁132142876531011912414151316519181720第55页/共129页56统计方法:定量资料：配对t检验、随机区组方差分析其它情形：Wilcoxon配对检验，Friedman非参数检验。第56页/共129页57随机区组设计实现确定处理因素，田间划分区组DPS生成实验方案：如5个处理，设置4个区组，共20个实验处理的实验。执行实验设计菜单下的“单因素随机区组设计”第57页/共129页58随机区组设计实验处理结果

(对号入座填入表格)

得到数据方差分析格式在菜单下执行“实验统计”->“随机区组设计”下面的“单因素实验统计分析”。第58页/共129页59数据转换：如数值相差几个数量级，可用对数转换;如许多小区值为0，则可用平方根转换;如指标是百分数,且大部分数值大于70％或小于30％，可用反正弦平方根转换。

一般用Tukey法和LSD法。但注意：目前国内目前的农药实验要求Duncan法。第59页/共129页60

结果描述及数据分析与完全随机实验设计相同，就当是区组间那一行不存在第60页/共129页61基数的调整？原始观察值：协方差分析相对防治效果第61页/共129页62实验中缺掉1～2个处理小区怎么办？一般线性模型在方差分析中的应用。

第62页/共129页63实际例子第63页/共129页64执行“实验统计”->“一般线性模型GLM”分析在“可供分析变异来源”列表框中先选“B”,点击”>”,再选“A”,点击”>”,将这两项加入到右边。并选I型平方和分解。多重比较方法，这里选”Duncan”法，然后点击”OK”即可输出结果。第64页/共129页65第65页/共129页664.3两因素随机区组设计问题提出：不同农药或某农药不同浓度，在不同时期或不同施药技术情况下对病虫的防治效果。一般情况:两因素随机区组设计。特殊情况:植保农药实验，加上施药时期、施药技术等因子后，含有“伪因子”情形，需用一般线性模型分析第66页/共129页67伪因子农药不同种类、不同浓度处理，一般要设空白作为对照。空白和其它因子组合，如和施药时期、施药技术的组合，实际上还是“空白”，没有不同（伪因子）。因此“伪因子”的多因子农药实验中经常遇到。农业中的多因素农药、施肥等实验，只要有空白作为对照，就有这种现象存在。第67页/共129页68

例如进行不同农药不同浓度、在不同时期防治二化螟药效实验。其空白对照和不同施药时期的搭配就是“伪因子”第68页/共129页69某实验处理得到作物产量结果如下：这样的数据不能直接进行两因素随机区组设计的方差分析第69页/共129页70含伪因子实验结果统计分析第70页/共129页71实验结果解释(1：方差分析表)第71页/共129页72实验结果解释(2：多重比较)第72页/共129页734.4多因子实验完全随机设计、随机区组设计（析因设计）裂区设计均匀设计正交设计正交回归组合设计

正交设计及正交回归组合设计是应用最广泛的多因子实验设计。第73页/共129页74一般多因素试验设计(析因设计)当处理因素较多时：处理组合呈指数增长5个因素,5个水平,3个区组有多少处理组合？＝55=3025次x3=9075正交试验设计：从所有的试验组合中，选择在试验因子空间相互正交的一些点来进行试验。需要的实验次数是水平数的平方更多因素的实验设计：为什么一般用正交实验设计？第74页/共129页754.4.1正交设计当实验涉及的因素在三个或三个以上，且因素间可能存在交互作用时，可用正交设计。正交实验中各因素的水平数可以相等，也可以不相等。它利用一套规格化的正交表，将各实验因素、各水平之间的组合均匀搭配，合理安排，可以用较少的、有代表性的处理组合数，提供充分有用的信息，还可以找出较优组合，用以指导实践。第75页/共129页76正交实验举例分析(p269-274)

花菜留种正交试验的因子与水平表

因

子水

平

1水

平

2A：浇水次数不干死为原则，整个生长期只浇1~2次根据生长需水量和自然条件浇水，但不过湿B：喷药次数发现病害即喷药每半月喷一次C：施肥次数开花期施硫酸铵进室发根、抽苔、开花和结实期各施肥一次D：进室时间11月初11月15日第76页/共129页77研究目的为了解决花菜留种问题，进一步提高花菜种子的产量和质量，科技人员考察了浇水、施肥、病害防治和移入温室时间对花果留种的影响，进行了这4个因素各因素两水平的正交试验。

第77页/共129页78L8（27）正交表8：实验次数；

2：各因素的水平数7：最多安排的实验因素及其效应数（包括误差项）第78页/共129页79有重复的两水平正交实验上例属于无重复的两水平正交实验如果想增大误差自由度以提高检测诸因子作用的能力，或者想研究各因子间的所有交互作用，就可采用重复实验的方法，假定把每一个实验都重复三次，结果如下。第79页/共129页80有重复的两水平正交实验第80页/共129页81正交实验数据统计分析：初步分析：比一比，看一看统计分析：方差分析，及多重比较有重复和没有重复的统计分析。第81页/共129页82无重复时统计分析(要有空白列)第82页/共129页83极差分析结果均值因子水平1水平2x(1)33.500065.2500x(2)65.750033.0000A×B44.000054.7500x(4)36.750062.0000A×C69.500029.2500x(6)50.250048.5000x(7)50.500048.2500第83页/共129页84各个因子各水平均值第84页/共129页85因子极小值极大值极差R调整R＇x(1)33.500065.250031.750045.0850x(2)33.000065.750032.750046.5050A×B44.000054.750010.750015.2650x(4)36.750062.000025.250035.8550A×C29.250069.500040.250057.1550x(6)48.500050.25001.75002.4850x(7)48.250050.50002.25003.1950第85页/共129页86方差分析表（不显著的互作项可作为空白列，重新分析）正交设计方差分析表(完全随机模型)变异来源平方和df均方F值p值x(1)2016.125012016.1250329.16330.0351x(2)2145.125012145.1250350.22450.0340A×B231.12501231.125037.73470.1027x(4)1275.125011275.1250208.18370.0441A×C3240.125013240.1250529.00000.0277x(6)*6.125016.1250x(7)10.1250110.12501.65310.4208误差6.125016.1250总和8923.8750第86页/共129页87有重复时统计分析第87页/共129页88根据重复的设计类型确定第88页/共129页894.4.2定量数学模型

二次正交回归设计正交试验结果分析考虑因子间的交互作用。根据一般正交试验结果可建立回归模型，如

Y=290-106x1+93x2+31x3+6x4线性回归模型能优化吗：求最大、最小值

优化需要二次曲线方程第89页/共129页90二次多项式回归方程，可以优化，如y=68.5-15X1-40X2+0.0X1*X1+0.0X2*X2+15X1*X2但是一般实验设计得到的自变量，其二次项，互作项之间不一定正交。在没有计算机软件的情况下，计算工作量也大。第90页/共129页91要建立二次多项式优化，因子之间又要正交：正交回归组合设计使得试验因素的整个设计矩阵，包括二次项、互作项都相互正交。第91页/共129页92第92页/共129页93二次.正交.旋转.组合.设计二次：模型优化；正交：各个因子正交；消除因子间互作的影响；旋转：各个因子点到中心的距离相等；组合：加上适当的中心试验点(0,0,0…,0)个数，适当整个设计矩阵满足要求。根据中心点数不同(当然为保持正交性，相应的臂长也不同)，有：二次正交旋转组合设计二次通用组合设计二次正交回归组合设计

Centercompositedesigns(CCD)

第93页/共129页94零水平星号臂长实验设计零水平必须大于臂长正的星号臂值水平须“过量”变化区间第94页/共129页95

试验设计

首先确定因子和各个处理因子的零水平、变化区间。如有一个4因子的试验，第一个因子是播种期，零水平3月31日，变化区间5天；第二个因子是播种量，零水平40公斤，变化区间5公斤；第三因子是移栽期叶龄，零水平6叶，变化区间1叶；第四因子是氮肥用量，零水平20公斤，变化区间5公斤。其试验设计可按下图方式编辑，并定义成数据。第95页/共129页96第96页/共129页97第97页/共129页98实验结果统计分析

左边方实验设计表，右边一列放各个处理相应的产量，然后用鼠标选中。最后进入主菜单，选择“试验统计”中的“实验优化分析”下面的“二次多项式回归”。系统出现如下界面。第98页/共129页99第99页/共129页100输出结果①、各个因素(试验处理水平)编码的平均值和标准差,以及相关系数矩阵；②、二次多项式回归模型；③、回归模型的F检验值及显著水平p，一般显著水平小于等于0.05时即可对该模型进一步分析，如果F太小，回归方程不显著，则不适合建立二次多项式回归模型来分析试验结果；第100页/共129页101模型统计检验变异来源平方和自由度均方F值p值回归468.291433.44931.26880.3026残差553.642126.3636

失拟420.371042.03673.46970.0264

误差133.271112.1154总变异1021.9335第101页/共129页102④、各个因子项的回归系数、标准回归系数、t检验值及显著水平p；⑤、回归模型的复相关系数R剩余标准差和调整后的相关系数，一般来说，调整后的相关系数越大越好；⑥、各个处理的观测值、拟合值和拟合误差，以及Durbin-Watson(DW)统计量。DW统计量只当分析样本按某一顺序(如处理先后)存放时才有意义，该值要在2的附近为好；第102页/共129页103⑦、其他因子为零时单因子和两因子互作效应分析，可在DPS系统作图功能的支持下，分别作x-y曲线图和等高线图；⑧、其他因子为零水平时，各个因素的灵敏度分析，给出了系数灵敏度、导数、平均效应y/x和目标函数y，根据这些数据，可以进行边际分析；第103页/共129页104应用典型方程，我们可以得到如下信息：一是稳定点处是否是拟合模型的极大值、极小值或者是鞍点：当典型方程的各个系数为负时，稳定点为模型的极大值；当典型方程的各个系数为正时，稳定点为模型的极小值；当典型方程的各个系数有正有负时，稳定点为鞍点。这一点很重要，这时因为我们在寻优建模时，往往根据专业背景，指定模型寻优方向。这种寻优方向可能和拟合模型本身的最优解不一致，或部分因子不一致。不一致时，采用数值寻优算法得到的最优点有可能位于实验因子取值的边界上。第104页/共129页105第105页/共129页106同时，根据典型方程，判断各个因素在稳定点附近的变化大小。系数越大，变化越快，该点的稳定性就较差，这是在应用中需要注意的。最后，如果通过数值优化分析和典型分析得到的最优值一致，那么模型可以认为是较好的，如果不一致，在模型应用时，需要进行更深入的分析，探明原因，且模型结果谨慎应用。第106页/共129页107多因子实验优化中的区组设计多因子优化设计试验，一般试验次数较多。试验次数增加会带来量方面的问题：一是试验时间延长。有的实验处理是依时间顺序一个接一个地进行的。由于时间延而产生的对实验结果的影响叫做时间漂移，这一影响很可能增加试验误差。这种情况在工业试验中较为普遍。另一种情况是试验区增大。在农林生物的田间试验中，因处理因子多、实验区加大、这样难以在同质的条件下进行试验，而需要进行小区控制、实行区组设计。第107页/共129页108DPS提供的区组设计功能区组设计应用与多因子优化试验是有必要的。但遗憾的是，我们以往的试验优化分析工具，都没有提供可处理区组设计功能。这里，我们增加了处理含有若干区组的二次正交回归组合(中心复合)设计试验数据分析建模功能，该功能模块在“试验统计”“试验优化分析”“区组设计二次多项式回归”里面。第108页/共129页109区组设计统计分析数据格式二次正交回归组合设计或其他多因子试验，如果在实施时划分了B个区组，在试验结果的数据分析时，数据的第一列放区组的顺序编号(1，2，...,B)，其它列则和其它多因素实验设计一样，放各个处理因子的编码值或各个因子试验实施的水平值，最右边放试验观察指标结果值。第109页/共129页110区组设计优化分析变异来源平方和自由度均方F值p值回归679.541642.472.35690.0383模型468.291433.451.85620.1042区组211.252