第一专题科学研究的试验设计与统计分析问题 讲座

1、 第一讲第一讲 科学研究的试验设计与统计科学研究的试验设计与统计分析问题分析问题 科学研究科学研究科学试验科学试验一个试验有五个组成部分：一个试验有五个组成部分：假设假设、试验设计、试验执行试验设计、试验执行，统计分析和解释统计分析和解释。 一、科学试验的基本要求一、科学试验的基本要求二、科学试验的误差来源及控制途径二、科学试验的误差来源及控制途径三、试验设计的基本原则三、试验设计的基本原则四、异常数据处理及漏失数据弥补四、异常数据处理及漏失数据弥补五、方差分析的数据要求与数据转换五、方差分析的数据要求与数据转换六、统计分析结果图形的选择六、统计分析结果图形的选择七、试验设计与统计分析方法的选

2、择七、试验设计与统计分析方法的选择一、科学试验的基本要求一、科学试验的基本要求1. 试验结果要可靠试验结果要可靠 要求有较高的准确度和精确度要求有较高的准确度和精确度 。 什么是准确度？什么是精确度？什么是准确度？什么是精确度？-误差误差 试验观测值试验观测值y = u+(u为真值，理论值为真值，理论值) 完全偶然，找不出原因的称偶然误差，随机误差完全偶然，找不出原因的称偶然误差，随机误差误差误差 有一定原因的偏差，称系统误差有一定原因的偏差，称系统误差 -系统误差使数据偏离理论真值，影响数据的准确性。系统误差使数据偏离理论真值，影响数据的准确性。准准确度确度是指试验结果的实际值或是指试验结果

3、的实际值或观测值与其理论真值观测值与其理论真值的符合程的符合程度或接近程度。度或接近程度。-偶然误差使数据相互分散，影响数据的准确性。偶然误差使数据相互分散，影响数据的准确性。 精确度精确度是指是指观测值之间观测值之间的符合程度。的符合程度。a: 准而集中，准而集中， b:不准但集中不准但集中 c:不准且分散不准且分散 d:分散但接近真值分散但接近真值具有高的准确度和精确度具有高的准确度和精确度 准确度低精确度高准确度低精确度高 准确度低精确度低准确度低精确度低 有一定准确度但精确度低有一定准确度但精确度低理论理论真值真值2. 试验条件要有代表性试验条件要有代表性 试验条件要能代表将来使用这一

4、结果地区的自然条件。试验条件要能代表将来使用这一结果地区的自然条件。3.试验的重演性试验的重演性 在相同条件下再进行试验或实践能重复获得与试验结在相同条件下再进行试验或实践能重复获得与试验结果类似的结果。果类似的结果。4. 应当选择适当的试验指标，并有相应的数据分析方法应当选择适当的试验指标，并有相应的数据分析方法二、田间（野外）试验的误差来源及控制途径二、田间（野外）试验的误差来源及控制途径科学试验误差包括偶然误差和系统误差。科学试验误差包括偶然误差和系统误差。农林业的田间（野外）试验的主要误差来源有：农林业的田间（野外）试验的主要误差来源有：1.试验材料固有的差异如动植物材料的基因型不同、

5、苗试验材料固有的差异如动植物材料的基因型不同、苗木的粗细不一、插穗的粗细不一、种子的批次不同等。木的粗细不一、插穗的粗细不一、种子的批次不同等。控制途径：控制途径：尽量选择均匀一致的材料，或通过分组局部尽量选择均匀一致的材料，或通过分组局部控制差异。控制差异。2.农业操作或管理技术不一致引起的差异农业操作或管理技术不一致引起的差异 在动植物整个生长期间要进行农事（抚育）管理、饲养管理，需要施肥、除草及病虫害防治等，操作不规范或质量不一致，观测人员、时间、仪器等的不一致等等。控制途径：严格按试验方案中的操作规程或通过技术培训。3. 外界环境条件差异外界环境条件差异主要是气候、土壤水分、土壤养分等

6、差异。控制途径：（1）选择地势平坦、均匀的试验地（2）采用适当的小区技术（3）应用良好的试验设计和相应的统计分析，如随机区组、拉丁方、裂区试验设计，把环境差异通过区组变异从总变异中分离出来。三、试验设计的基本原则三、试验设计的基本原则 重复 试验中同一处理的单元数成为重复数，将一基本试验重复次以上或在野外每一试验处理设置个以上样地或试验小区 作用：（1）估计试验误差 （2）降低误差，更精确地估计处理效应 平均数的方差： 特别注意避免假重复晚松林有：晚松林有：5,39,42,70;木荷林有：木荷林有：38,47,54,77;枫香林有：枫香林有：27,53,78;湿地松林有：湿地松林有：1,2,3

7、,6,10,11,13,14,19等等2.随机排列 试验材料的配置和处理在试验地上的顺序是随机排列的，以获得独立的随机变量值。作用：防止系统误差，正确地估计误差 。3. 局部控制 分范围、分地段局部控制试验材料或外界环境差异。将试验材料或试验地根据差异划分成若干区组，每一区组内比较均匀一致。试验设计的三个基本原则，其最终目的是提高试验的精确度和准确度，使试验结果更可靠。四、异常数据处理及漏失数据弥补四、异常数据处理及漏失数据弥补试验（抽样调查）试验（抽样调查） 获取样本获取样本统计分析统计分析 在一定的可靠性下对总体进行推断的过在一定的可靠性下对总体进行推断的过程（参数估计或假设检验）程（参数

8、估计或假设检验）用样本平均数估计总体平均数的前提是正态分布用样本平均数估计总体平均数的前提是正态分布 U=2.576 =0.01(两尾概率之和）两尾概率之和） 误差值超过误差值超过3的概率仅为的概率仅为 0.0027，因此在数据测试中，因此在数据测试中，若误差超过若误差超过3，该观测值可认为，该观测值可认为 是可疑值，异常数据。是可疑值，异常数据。 1.异常数据处理判断数据异常的通用原则：判断数据异常的通用原则： 如果至少有如果至少有10个独立的值，若其中一个值处于区域个独立的值，若其中一个值处于区域x4之外，则之外，则 完全可以将该值完全可以将该值 x看成异常值。计算平看成异常值。计算平均数

9、和标准差时，不能使用被怀疑为异常值的数据，必均数和标准差时，不能使用被怀疑为异常值的数据，必须进行检查。须进行检查。数据取舍准则数据取舍准则 ：（1）、拉依达（）、拉依达（Pan Ta)准则：准则：3准则准则若若 xd-x 3则则xd剔除剔除注意：数据数注意：数据数nkx时，舍去xd，系数kx可以查表或按以下公式计算： kx=t(n-1) (1+1/n ) 如 实验数据： 2.0， 2.1， 2.4 ，3.4， 3.5， 4.2， 7.9 n=7 查表 kx=1.79x=3.64，=2.04 检验xd=7.9 xd-x = 7.9-3.64 =4.26kx=1.792.04=3.66xd必须舍

10、去。（3）、拉格布斯（Grubbs）准则原则： xd-x g0时应剔除xdg0可查g0 （n,）表，如显著水平=0.05，可靠性95%时，n=10，g0（10,0.05）=2.184、t 检验准则 先把测量误差最大值作为被检验量x0除去，进行计算x及计算，若: x0-x k(,n) 时，x0值舍去k(,n)可以按公式计算，k(,n)= t(n-1) (1+1/（n-1）)2、漏失数据弥补试验中可能出现意外造成试验数据的漏失。弥补原则：（1）有重复的试验，且每一处理至少有一个以上数据为丢失时，用未丢失数据的平均数代替丢失的数据。（2）无重复试验，按补上缺少的数据后所得到的剩余离差平方和最小的原则

11、进行弥补。（3）丢失几个数据，方差分析时剩余项的自由度就要相应减少几个。如：下表试验结果丢失2个数据y1和y2要进行弥补B A A1 A2 A3 A4B1 3.5 y1 2.0 1.4B2 2.3 2.0 1.5 y2 B3 2.0 1.9 1.2 0.3 6y1+y2=18.2 y1=2.95 y2=0.53 Y1+6y2=6.1 dfe= 6-2=4 =0=0五、方差分析的数据要求与数据转换五、方差分析的数据要求与数据转换1、方差分析的数据要求-满足四个基本假定（1）正态（分布）：总体的被研究指标值遵循正态分布 （可从数据类型或通过分布的检验判断）（2）独立：样本的抽取是随机的（3）随机：

12、抽样为重复或抽样比很小的不重复抽样（4）等方差：各亚总体的方差齐性 （可通过方差齐性检验判断） 2、数据转换、数据转换方差分析以满足以上四个基本假定为前提，对于不满足以上前提条件的数据进行适当的转换。（1）平方根变换）平方根变换 适用范围： 一般适用于遵循泊松（poisson)分布的数据。而且从数据看各处理内的标准差有极明显的差别。通常是计数数据。 转换方法：xij 或 （数据小于10或0） raMSeSE raMSeSE （2）反正弦变换 适用范围：适用于数据遵循二项分布的数据，方差与均值存在一定比例关系。如百分率数据，特别当百分率数据特别大或特别小（数值不在20-80%内）应作数据转换。

13、转换方法： Xij Xij 为百分率Xij为角度值（3）对数变换适应范围：对于前面的两类数据（计数数据、百分率数据）有时也可以进行对数变换。转换方法：xij lg xij 或 lg （xij+ 1）（数据中有0时）原则上数据转换前后都要作相应的统计检验，看是否满足正态分布和等方差条件。六、统计分析结果图形的选择六、统计分析结果图形的选择图标是表述研究结果的重要途径，图形是直观表达研究结果的有效方法，应科学、合理应用图形。常用的图形有散点图、条形（直方图）、连线（折线）图、饼图等，不同图形表述不同的信息。1、条形图条形图 ：条形图是统计图资料分析中最常用的图形。条形统计图可以清楚地表明各类型（处

14、理）数量的多少。按照排列方式的不同，可分为纵式条形图和横式条形图 。2、折线图折线图：运用非常普遍的一种图形 以折线的上升或下降来表示统计数量的增减变化的统计图。与条形图比较，折线统计图不仅可以表示数量的多少，而且可以反映同一事物在不同时间里的发展变化的情况。3、散点图、散点图通常用来描述两种现象的相关关系。 4、饼图或扇形图（百分数比较图）饼图或扇形图（百分数比较图）表示每组数据相对于总体的大小，反映部分与部分、部分与总体之间的数量关系。以一个圆的面积表示事物的总体，以扇形表示占总体的百分数的。除此之外还有聚类分析的聚类图、主成分分析的点图等。相关概念小区技术七、试验设计与统计分析方法的选择

15、七、试验设计与统计分析方法的选择1、试验设计方法的选择 （1）完全随机化试验）完全随机化试验：试验地环境条件均匀一致单因素试验单因素试验 （2）随机区组试验：）随机区组试验：试验地环境条件有较大差异 （3）拉丁方试验：）拉丁方试验：试验地环境条件差异来自两个方向 （4）平衡不完全区组设计或平衡格子设计）平衡不完全区组设计或平衡格子设计： 处理数 较多，一个区组内安排不下 所有处理。 双因素完全随机化试验双因素完全随机化试验：试验环境条件均匀一致， 按双因素方差分析进行结果分析。双因素试验双因素试验 双因素随机区组试验双因素随机区组试验：试验环境条件有较大差异 裂区试验裂区试验：两个试验因素有一

16、些特殊要求 如面积要求、精度要求有差异、 效应大小有差异等。 正交试验设计：正交试验设计：分析各因子的效应；给因子排序； 寻找 最佳组合 均匀设计：均匀设计：因子和水平数较多时多因素试验多因素试验 配方均匀设计配方均匀设计：主要目的是寻找最佳配方 回归正交设计、回归旋转设计：回归正交设计、回归旋转设计：分析各因子的效应， 建立试验结果与因子的回归关系模型2、统计分析方法选择、统计分析方法选择（1）方差分析（含多重比较）：）方差分析（含多重比较）：判断某试验因素各处理之间的显著性或试验因素对试验结果是否产生显著影响。结论是定性的。（2）回归与相关分析）回归与相关分析：建立变量之间的回归关系模型，

17、判断回归与相关关系显著性，并进行预测。结论是定量的。（3）协方差分析）协方差分析：对于一些处理变量难于人为控制的情形，如嫁接试验的沾木接口粗细不一致、毛竹笋用林施肥试验中竹林初始密度不一致、生猪喂养试验中仔猪的重量不一致等。通过回归分析与方差分析相结合的统计控制方法通过回归分析与方差分析相结合的统计控制方法把处理变量自身带来的差异进行调整。（4）典范相关分析（典型相关分析）：）典范相关分析（典型相关分析）：典型相关分析是研究多个说明变量构成的说明变量组与多个基准变量构成的基准变量组之间的相关关系的一种多变量统计分析方法。如：研究小麦形态因子性状：穗长（X1）、剑叶宽（X2）、剑叶长（X3）、株

18、高（X4）与产量性状：千粒重（y1)、株粒重（y1) 、主穗粒重（y1)和主穗粒数（y1)的关系。(5) 主成分分析主成分分析 在进行多指标分析时会遇到指标数（变量数）比较多或在进行多指标分析时会遇到指标数（变量数）比较多或样本数比较多，而且指标之间可能存在一定的相关性、信息样本数比较多，而且指标之间可能存在一定的相关性、信息量重叠的情况。因此希望能通过一定的统计方法找出能反映量重叠的情况。因此希望能通过一定的统计方法找出能反映主要信息的少数几个综合变量或样本。主要信息的少数几个综合变量或样本。实际应用中有两种类型：实际应用中有两种类型：R型分析和型分析和Q型分析型分析R型分析：从观测变量出发

19、选主成分，找出能反映原变量主型分析：从观测变量出发选主成分，找出能反映原变量主要信息的新变量要信息的新变量Q型分析：从型分析：从N个样品中找出互不相关的有代表性的样品。个样品中找出互不相关的有代表性的样品。 R型分析：变量在主成分1和2平面上的图形Q型分析：样品在主成分1和2平面上的图形（6）聚类分析：根据个体多种特性的观测数据，定量地确定它聚类分析：根据个体多种特性的观测数据，定量地确定它们之间的相似性或相异性，并把它们聚成若干类，使任何一个们之间的相似性或相异性，并把它们聚成若干类，使任何一个类的个体之间的相似性大于不同类之间的相似性的统计分析方类的个体之间的相似性大于不同类之间的相似性的统计分析方法。法。聚类分析也分聚类分析也分R型和型和Q型两种型两种R型：用于变